シスコサポートコミュニティ Live Expert Webcast vpc(virtual PortChannel) 再入門
|
|
|
- Laurence O’Connor’
- 5 years ago
- Views:
Transcription
1 シスコサポートコミュニティ Live Expert Webcast vpc(virtual PortChannel) 再入門 岸田拓也 (Takuya Kishida) テクニカルサービスカスタマーサポートエンジニア 2014 年 1 月 14 日 2014 Cisco and/or its affiliates. All rights reserved. 1
2 岸田拓也 (Takuya Kishida) シスコテクニカルサポートカスタマーサポートエンジニア 2014 Cisco and/or its affiliates. All rights reserved. 2
3 今日のプレゼンテーション資料のコピーはチャットウィンドウ内のリンクからダウンロードいただけます Or, Cisco and/or its affiliates. All rights reserved. 3
4 Q&A パネルから ALL PANELIT を選択したまま送信してください 2013 Cisco and/or its affiliates. All rights reserved. 4
5 岸田拓也 (Takuya Kishida) テクニカルサービスカスタマーサポートエンジニア 2014 年 1 月 14 日 2014 Cisco and/or its affiliates. All rights reserved. 5
6 A. 専門的な内容も任せろ!! B. 普段から良く触れている C. 基本概念は問題無い D. 設定したことがある E. 聞いたことはある F. 聞いたこともなかった 2014 Cisco and/or its affiliates. All rights reserved. 6
7 1. vpc 概要 2. vpc 動作詳細 3. vpc 障害時の挙動 4. vpc 固有機能 5. vpc トラブルシューティング 2014 Cisco and/or its affiliates. All rights reserved. 7
8 2013 Cisco and/or its affiliates. All rights reserved. 8
9 vpc 論理 冗長化 = 筐体冗長化 => TP による帯域制限片系障害時の影響は不可避 一つに見える => 帯域有効活用 耐障害性 UP!! vpc のメリット 帯域有効活用 負荷分散 論理構成の簡略化 障害時の収束速度向上 2014 Cisco and/or its affiliates. All rights reserved. 9
10 NX-O 全 version 対応 License Base License から対応 Product Nexus2000,3000,5000,6000,7000 Cisco Nexus 3000 Cisco Nexus 6000 Cisco Nexus 2000 Cisco Nexus 5000 Cisco Nexus Cisco and/or its affiliates. All rights reserved. 10
11 vpc peer device : vpc を構成する Nexus vpc Domain : vpc を構成する Nexus の Group vpc peer-keepalive link : vpc peer 間の相互死活監視 vpc の生命線専用の L3 回線 (mgmt 等 ) を推奨 vpc peer-link : vpc peer 間の情報同期や実通信用 vpc の大黒柱 (10G L2 link 限定 ) vpc member port : vpc 構成 port 通常の Port-Channel (L2) を vpc に設定 vpc : 対向からは一つの Port-channel と見えている 通常の Port-channel : ここは vpc を意識する必要なし vpc VLAN : Peer-Link で Allowed されている VLAN 2014 Cisco and/or its affiliates. All rights reserved. 11
12 Po2 (vpc2) 状態確認 Po1 Po3 (vpc3) 設定 N7K# show vpc ( 省略 ) vpc Peer-link status interface port-channel3 switchport switchport mode trunk id Port tatus Active vlans switchport trunk allowed vlan 1, vpc 3 1 Po1 up 1,100,200 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1,200 feature vpc vpc domain 1 peer-keepalive destination <IP> source <IP> interface port-channel1 switchport switchport mode trunk switchport trunk allowed vlan 1,100,200 spanning-tree port type network vpc peer-link interface port-channel2 switchport switchport mode trunk switchport trunk allowed vlan 1,100 vpc Cisco and/or its affiliates. All rights reserved. 12
13 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 econdary Po3 vpc domain id : 1 Peer status : peer adjacency formed ok vpc keep-alive status : peer is alive Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 13
14 - Consistency Type - 正常に vpc を動作させるために両 peer 間の設定整合性 (consistency) を確認 Consistency は大きく二種類 Type 1 両 peer で整合性が取れていないと vpc が機能しない uspend 状態となる TP mode, TP port guard 機能等 LACP mode, switchport mode 等 VLAN ( ) Type 2 両 peer で整合性が取れていないと 問題が発生しうる vpc 自体は機能する VI Qo VLAN は厳密には Type 1 ではないが 片側のみで Allowed 存在する VLAN は uspend される Type の定義は NX-O ver. によって異なる場合がある 2014 Cisco and/or its affiliates. All rights reserved. 14
15 - Consistency Type 1 Fail 例 - N7K# show vpc ( 省略 ) Configuration consistency status : success Per-vlan consistency status : failed success <---- Type-2 consistency status : success ( 省略 ) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 15
16 - Consistency Type 1 Fail 例 - N7K# show vpc ( 省略 ) Configuration consistency status : success Per-vlan consistency status : failed Type-2 consistency status : success ( 省略 ) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100 原因例 : 片側のみ VLAN 200 で TP が無効化されている vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1 N7K# show vpc consistency-parameters global Name Type Local Value Peer Value TP Mode 1 Rapid-PVT Rapid-PVT TP Disabled 1 VLANs 200 None ( 省略 ) 2014 Cisco and/or its affiliates. All rights reserved. 16
17 - Consistency Type 2 Fail 例 - N7K# show vpc ( 省略 ) Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success failed <---- Type-2 ( 省略 inconsistency ) reason : VI type-2 configuration incompatible vpc ( Peer-link 省略 ) status vpc Peer-link status id Port tatus Active vlans -- id ---- Port tatus Active vlans 1 -- Po up ,100, Po1 up 1,100,200 vpc status vpc status id Port tatus Consistency Reason Active vlans -- id ---- Port tatus Consistency Reason Active vlans 2 -- Po up success success , Po3 Po2 up success success 1,200 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 17
18 - Consistency Type 2 Fail 例 - N7K# show vpc ( 省略 ) Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : failed Type-2 inconsistency reason : VI type-2 configuration incompatible ( 省略 ) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 原因例 : 片側のみ VI 100 が UP 状態 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1,200 N7K# show vpc consistency-parameters global Name Type Local Value Peer Value TP Mode 1 Rapid-PVT Rapid-PVT ( 省略 ) Interface-vlan admin up Cisco and/or its affiliates. All rights reserved. 18
19 Core 層 Aggregation 層 Access 層 ingle-ided vpc Double-ided vpc ingle-ided vpc 2014 Cisco and/or its affiliates. All rights reserved. 19
20 2013 Cisco and/or its affiliates. All rights reserved. 20
21 TP の必要性 論理 BPDU の処理 vpc Primary vpc econdary BPDU vpc でも TP は必要注 1:vPC peer を TP Primary/2ndary ROOT とすることを推奨注 2:vPC peer-link は常に Fwd state BPDU の生成 処理 計算は vpc Primary が担当 econdary は vpc 配下が BPDU を econdary へ送信した時に Primary へ転送するだけ 2014 Cisco and/or its affiliates. All rights reserved. 21
22 IP: VI100 : VLAN MAC Address * aaaa * bbbb VI100 : VLAN MAC Address * aaaa * bbbb L3 L2 (VLAN 100) To bbbb MAC: aaaa MAC: bbbb L2 通信 : 両 peer で MAC table を同期 => どちらもローカルで処理可能無闇に peer-link を使用しない 最短距離を移動 2014 Cisco and/or its affiliates. All rights reserved. 22
23 IP: VI100 : VLAN MAC Address * aaaa * bbbb VI100 : VLAN MAC Address * aaaa * bbbb L3 L2 (VLAN 100) To bbbb MAC: aaaa MAC: bbbb L2 通信 : 両 peer で MAC table を同期 => どちらもローカルで処理可能無闇に peer-link を使用しない 最短距離を移動 2014 Cisco and/or its affiliates. All rights reserved. 23
24 IP: VI100 : VLAN MAC Address * aaaa * bbbb VI100 : VLAN MAC Address * aaaa * bbbb L3 L2 (VLAN 100) To GW To bbbb L2 通信 : 両 peer で MAC table を同期 => どちらもローカルで処理可能無闇に peer-link を使用しない 最短距離を移動 L3 通信 : IP address は同期しない => 片 peer での処理 peer-link を迂回する ( 要注意 : 後述 ) 2014 Cisco and/or its affiliates. All rights reserved. 24
25 OK!! OK!! 両者の違い : 転送先が vpc か否か 2014 Cisco and/or its affiliates. All rights reserved. 25
26 OK!! Traffic vpc peer-link vpc member port vpc peer-link から受信したものは vpc port へは出せない 2014 Cisco and/or its affiliates. All rights reserved. 26
27 Routing VLAN A Line VLAN B Line 2014 Cisco and/or its affiliates. All rights reserved. 27
28 IP: MAC: DT Po3 W 2 1. Host が DT( ) 宛に packet を送信 2. Host の Default GW は N1 or N2 ( 今回は N2 とする ) N1 : N2 : Host が N2 ( ) の ARP 解決 IP MAC :0000: W1 が DT( ) 宛の packet を受信 宛先 IP : / MAC : N 1 N 2 Po2 5. W1 が の L2 (MAC) lookup * dynamic 270 Po2 6. W1 が Po2 で Hash 計算 => N1 方面 Nexus# show port-channel load-balance forwarding-path < 省略 > crc8_hash: 0 Outgoing port id: Ethernet1/3 VLAN 200 VLAN 100 W 1 Host 7. N1 が ingress L2 lookup => PL 経由で N2 へ G static - sup-eth1(r) * static - vpc Peer-Link * dynamic 360 Po Cisco and/or its affiliates. All rights reserved. 28
29 IP: MAC: DT W 2 Po3 8. N2 が ingress L2 lookup * static - vpc Peer-Link G static - sup-eth1(r) * dynamic 90 Po2 9. N2が L3 lookup /24, ubest/mbest: 1/0, attached *via , Vlan200, [0/0], 01:19:35, direct 10. N2 が ARP 解決 Address Age MAC Address Interface :03: Vlan :04: Vlan N2 が egress L2 lookup N 1 N 2 * dynamic 420 Po3 Po2 vpc loop 防止機能により Drop W 1 L3 level での見え方 VLAN 200 VLAN 100 Host 原因 :W1 上での L3 通信の送出方向 vpc は L2 level で筐体を一つに見せる技術 2014 Cisco and/or its affiliates. All rights reserved. 29
30 VI L3 Line Routing Protocol Peer L2 Line L3 vpc は基本的に L2 の機能 L2 L3 port での vpc は設定自体不可 OK!! vpc loop 防止機能を考慮すると避けるべき L3 OK!! L3 部分のデザインは慎重に!! ( 左記以外にも非サポート構成あり ) L Cisco and/or its affiliates. All rights reserved. 30
31 vpc L2 level での冗長性担保 HRP L3 level での冗長性担保 VLAN 200 VLAN 100 IP : IP : MAC: VI IP/MAC VI IP/MAC IP : MAC: VI IP/MAC VI IP/MAC VIP / VMAC VIP / VMAC 宛先 IP : 宛先 MAC: 宛先 IP : 宛先 MAC: VMAC vpc 上では HRP は Active / tandby 双方が転送可能 (DataPlane Level での Dual Active) VIP 宛の ARP request や PING の返答は Active のみが行う (GARP も同様 ) ただし non-vpc VLAN 上の HRP は通常通り Active 側のみが転送 2014 Cisco and/or its affiliates. All rights reserved. 31
32 Nexus1 VIP / VMAC VIP / VMAC Nexus2 設定 feature hsrp interface Vlan100 no shutdown no ip redirect ip address /24 hsrp 100 preempt priority 105 ip vpc 用の特別な設定は一切必要ナシ VLAN 200 VLAN 100 G (Gateway) bit Data Plane 処理はローカルで HRP Active VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID G 100 < HRP VMAC > static - F F sup-eth1(r) G 100 < Nexus1 MAC > static - F F sup-eth1(r) * 100 < Nexus2 MAC > static - F F vpc Peer-Link HRP tandby VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID G 100 < HRP VMAC > static - F F vpc Peer-Link(R) * 100 < Nexus1 MAC > static - F F vpc Peer-Link G 100 < Nexus2 MAC > static - F F sup-eth1(r) 2014 Cisco and/or its affiliates. All rights reserved. 32
33 L3 Line L2 Line Routed Port VI Routing Protocol Routing Routing は vpc より上側のみで行うとシンプルでよい Peer 間を跨ぐ L3 link : L3 Backup Link VIP / VMAC L3 Uplink を失っても Routing 情報を Peer から学習可能 L3 Backup Link が無いと : 片 vpc peer の L3 Uplink が全て落ちた場合 その peer は Routing 情報を失う (Routing 情報は同期しない ) => その Peer が要 Routing 通信を受信すると Drop 発生 DGW:VIP DGW:VIP この構成例では vpc VI は Passive I/F で設定を推奨 2014 Cisco and/or its affiliates. All rights reserved. 33
34 vpc (virtual PortChannel) とは筐体間を跨ぐ L2 PortChannel L2/L3 境界で Gateway として使用されることが多く L2 domain 構成を簡素かつ強固にする Data Plane レベルでは vpc domain は一つの筐体とみなせるが Control Plane レベルでは別筐体として動く vpc peer 間の Config 整合性には要注意 vpc loop 防止機能を常に念頭に 2014 Cisco and/or its affiliates. All rights reserved. 34
35 2013 Cisco and/or its affiliates. All rights reserved. 35
36 2013 Cisco and/or its affiliates. All rights reserved. 36
37 着目点 : 1. 障害箇所 (Peer-link, Peer-Keepalive, vpc port, etc...) 2. vpc role ケーススタディ vpc port 障害 Peer-Link 障害 Peer-Keepalive 障害 筐体障害 Peer-Link, Peer-Keepalive 同時障害 2013 Cisco and/or its affiliates. All rights reserved. 37
38 Primary econdary N7K# show vpc ( 省略 ) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 Po2 Po1 Po3 VLAN MAC Address Ports * bbbb Po bbbb vpc Peer-Link vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1,200 N7K# show vpc ( 省略 ) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 down* success success Cisco and/or its affiliates. All rights reserved. 38
39 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : peer is alive Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 down - Primary は変化なし vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 39
40 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 econdary Po1 Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : peer is alive Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : secondary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) econdary は vpc port を抑制 (suspend) 理由 : 情報同期が出来ない為 vpc Peer-link status id Port tatus Active vlans Po1 down - vpc status id Port tatus Consistency Reason Active vlans Po2 down success success - 3 Po3 down success success Cisco and/or its affiliates. All rights reserved. 40
41 Interval 1 秒 KeepAlive は 3 種類の Timer を持つ KeepAlive Interval KeepAlive 信号の送信間隔 デフォルト 1 秒 KeepAlive Timeout KeepAlive 信号の Timeout 時間 デフォルト 5 秒で Down とみなす KeepAlive Hold Timeout 3 秒 5 秒 Timeout を Hold Peer-Link Down 時の特別猶予時間 KeepAlive のカウントダウンを停止 デフォルト 3 秒 Peer-Link Down カウントダウン開始 対向 peer を Down と認識 2014 Cisco and/or its affiliates. All rights reserved. 41
42 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 Po3 vpc domain id : 1 Peer status : peer adjacency formed ok vpc keep-alive status : peer is not reachable through peer-kee Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 Primary は変化なし vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 42
43 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Po1 econdary Po3 vpc domain id : 1 Peer status : peer adjacency formed ok vpc keep-alive status : peer is not reachable through peer-kee Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : secondary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 up 1,100,200 econdary も変化なし KeepAlive はあくまで他の要素での問題発生時の命綱 vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 43
44 N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : uspended (Destination IP not reachabl Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 down - 特に変化なし vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 44
45 Operational Primary N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Po1 econdary Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : uspended (Destination IP not reachabl Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : secondary, operational primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) econdary は PL,KA 両 down により Primary down を検知 Primary へ昇格 vpc Peer-link status id Port tatus Active vlans Po1 down - vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 45
46 (KeepAlive が最初に Down していた場合 ) N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : uspended (Destination IP not reachabl Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) vpc Peer-link status id Port tatus Active vlans Po1 down - Primary は変化なし vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 46
47 (KeepAlive が最初に Down していた場合 ) Operational Primary N7K# show vpc Legend: (*) - local vpc is down, forwarding via vpc peer-link Po2 Primary Po1 econdary Po3 vpc domain id : 1 Peer status : peer link is down vpc keep-alive status : uspended (Destination IP not reachabl Configuration consistency status : success Per-vlan consistency status : success Type-2 consistency status : success vpc role : secondary, operational primary Number of vpcs configured : 2 Peer Gateway : Disabled Dual-active excluded VLANs : - Graceful Consistency Check : Enabled Auto-recovery status : Enabled (timeout = 240 seconds) お互いが自分のみ活動中と認識 両 peer が Primary として活動 同期不可状態で稼働 vpc Peer-link status id Port tatus Active vlans Po1 down - vpc status id Port tatus Consistency Reason Active vlans Po2 up success success 1,100 3 Po3 up success success 1, Cisco and/or its affiliates. All rights reserved. 47
48 2013 Cisco and/or its affiliates. All rights reserved. 48
49 Orphan portが存在する時のpeer-link 障害時対策 Peer-link 障害時には通常 vpc secondaryのvpc portとviがsuspendされるが 本機能によりVIのuspendを防ぐことが可能設定 vpc domain 1 dual-active exclude interface-vlan X 通常時 Dual-Active Exclude VI 設定後 Primary econdary Primary econdary L3 L2 orphan port 孤立 orphan port VI は UP orphan port:vpc VLAN に属するが vpc を構成していない Port 2014 Cisco and/or its affiliates. All rights reserved. 49
50 対向 vpc peer の物理 MAC 宛通信もローカルで処理可能にする機能主に HRP 使用時の問題対策用機能 NexusA GW : VIP VIP / VMAC VIP / VMAC NexusB 宛先 IP : 宛先 MAC: VMAC NexusB の MAC table NexusA の VI MAC => vpc loop 防止機能により Drop の危険性 GW への ARP を正式に実施しないデバイス (NA や LoadBalancer にたまに見られる ) 設定 vpc domain 1 peer-gateway VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID G c07.ac64 static - F F sup-eth1(r) * 100 < NexusA MAC > static - F F vpc Peer-Link G 100 < NexusB MAC > static - F F sup-eth1(r) Peer-gateway 設定 VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID G c07.ac64 static - F F sup-eth1(r) G 100 < NexusA MAC > static - F F vpc Peer-Link(R) G 100 < NexusB MAC > static - F F sup-eth1(r) G (Gateway) bit Data Plane 処理はローカルで 対向 peer を向いている MAC も Peer-Link に渡すことなく処理 G bit は Nexus7000 のみ Nexus5X00 は別の方法で実装 2014 Cisco and/or its affiliates. All rights reserved. 50
51 通常の vpc : BPDU の処理は vpc Primary が担当し 実際の TP root は片方のみ => vpc Primary (TP root) 再起動時には Topology Change 発生 要 TP 再収束時間 Peer-switch : BPDU の処理は両 peer が担当し TP root は vpc domain 全体となる => vpc peer 再起動時にも Topology Change なし 設定 vpc domain 1 peer-switch 両 peer の TP priority は同値設定 TP root 通常時 TP root Peer-switch あり Primary econdary Primary econdary BPDU 2014 Cisco and/or its affiliates. All rights reserved. 51
52 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Primary econdary 通常時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 52
53 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Primary econdary 通常時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 53
54 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Primary econdary 通常時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 54
55 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Primary econdary Primary econdary 通常時 Arp ync 設定時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 55
56 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Primary econdary Primary econdary 通常時 Arp ync 設定時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 56
57 vpc 復旧時に即座に ARP 同期を行う機能 通常は ARP は MAC と異なり 復旧後即座に同期されないため L3 domain からの通信が vpc peer で破棄されてしまう可能性がある そこに対する対策機能 設定 vpc domain 1 ip arp synchronize Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Addr MAC Addr I/F <IP> <MAC> Vlan100 <IP> <MAC> Vlan100 Primary econdary Primary econdary 通常時 Arp ync 設定時 Primary/econdary は関係ない Primary 再起動時等にも効果あり 2014 Cisco and/or its affiliates. All rights reserved. 57
58 Peer-LinkがUPしてからPC VLANのVIとvPC portの有効化までの待機時間を調整する機能 ( 無効化不可 ) vpc port : デフォルト30 秒 VI : デフォルト10 秒 再起動等から復旧した vpc peer の Routing Table が収束する前に vpc port から packet を受信し 破棄してしまう可能性への対策機能 設定 vpc domain 1 delay restore <sec> delay restore interface-vlan <sec> VI 用待機時間は interface-vlan オプションを使用 デフォルト 10 秒 Delay Restore の動作 Primary/econdary は関係ない 2014 Cisco and/or its affiliates. All rights reserved. 58
59 Peer-LinkがUPしてからPC VLANのVIとvPC portの有効化までの待機時間を調整する機能 ( 無効化不可 ) vpc port : デフォルト30 秒 VI : デフォルト10 秒 再起動等から復旧した vpc peer の Routing Table が収束する前に vpc port から packet を受信し 破棄してしまう可能性への対策機能 設定 vpc domain 1 delay restore <sec> delay restore interface-vlan <sec> VI 用待機時間は interface-vlan オプションを使用 デフォルト 10 秒 VI delay timer 開始 ( 設定範囲 : sec) Delay Restore の動作 Primary/econdary は関係ない 2014 Cisco and/or its affiliates. All rights reserved. 59
60 Peer-LinkがUPしてからPC VLANのVIとvPC portの有効化までの待機時間を調整する機能 ( 無効化不可 ) vpc port : デフォルト30 秒 VI : デフォルト10 秒 再起動等から復旧した vpc peer の Routing Table が収束する前に vpc port から packet を受信し 破棄してしまう可能性への対策機能 設定 vpc domain 1 delay restore <sec> delay restore interface-vlan <sec> VI 用待機時間は interface-vlan オプションを使用 デフォルト 10 秒 VI delay timer 開始 ( 設定範囲 : sec) vpc delay timer 開始 ( 設定範囲 : sec) Delay Restore の動作 Primary/econdary は関係ない 2014 Cisco and/or its affiliates. All rights reserved. 60
61 Peer-LinkがUPしてからPC VLANのVIとvPC portの有効化までの待機時間を調整する機能 ( 無効化不可 ) vpc port : デフォルト30 秒 VI : デフォルト10 秒 再起動等から復旧した vpc peer の Routing Table が収束する前に vpc port から packet を受信し 破棄してしまう可能性への対策機能 設定 vpc domain 1 delay restore <sec> delay restore interface-vlan <sec> VI 用待機時間は interface-vlan オプションを使用 デフォルト 10 秒 VI delay timer 開始 ( 設定範囲 : sec) vpc delay timer 開始 ( 設定範囲 : sec) Delay Restore の動作 Primary/econdary は関係ない 2014 Cisco and/or its affiliates. All rights reserved. 61
62 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 設定 vpc domain 1 auto recovery (reload-delay <sec>) - 効果 1 - Primary econdary Auto Recovery 非設定時 2014 Cisco and/or its affiliates. All rights reserved. 62
63 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 設定 vpc domain 1 auto recovery (reload-delay <sec>) - 効果 1 - vpc secondary として suspend 状態のまま Primary econdary Auto Recovery 非設定時 2014 Cisco and/or its affiliates. All rights reserved. 63
64 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 設定 vpc domain 1 auto recovery (reload-delay <sec>) - 効果 1 - vpc secondary として suspend 状態のまま Primary econdary Primary econdary Auto Recovery 非設定時 Auto Recovery 設定時 2014 Cisco and/or its affiliates. All rights reserved. 64
65 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 設定 vpc domain 1 auto recovery (reload-delay <sec>) - 効果 1 - vpc secondary として suspend 状態のまま Operational Primary Primary econdary Primary econdary KeepAlive Timer => TimeOut x 3 ( デフォルト5 秒 x3) Auto Recovery 非設定時 Auto Recovery 設定時 2014 Cisco and/or its affiliates. All rights reserved. 65
66 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 - 効果 2 - 設定 vpc domain 1 auto recovery (reload-delay <sec>) reload-delay オプションは効果 2 用の Timer 値 Auto Recovery 非設定時 vpc restore Timer 後 Delay Restore 機能による Timer が作動する 2014 Cisco and/or its affiliates. All rights reserved. 66
67 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 - 効果 2 - Peer-Link が一度も UP したことがないと 単独では作動しない 設定 vpc domain 1 auto recovery (reload-delay <sec>) reload-delay オプションは効果 2 用の Timer 値 none established Auto Recovery 非設定時 vpc restore Timer 後 Delay Restore 機能による Timer が作動する 2014 Cisco and/or its affiliates. All rights reserved. 67
68 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 - 効果 2 - Peer-Link が一度も UP したことがないと 単独では作動しない 設定 vpc domain 1 auto recovery (reload-delay <sec>) reload-delay オプションは効果 2 用の Timer 値 none established Auto Recovery 非設定時 Auto Recovery 設定時 vpc restore Timer 後 Delay Restore 機能による Timer が作動する 2014 Cisco and/or its affiliates. All rights reserved. 68
69 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 - 効果 2 - Peer-Link が一度も UP したことがないと 単独では作動しない 設定 vpc domain 1 auto recovery (reload-delay <sec>) reload-delay オプションは効果 2 用の Timer 値 none established none established vpc restore Timer ( デフォルト 240 秒 ) Auto Recovery 非設定時 Auto Recovery 設定時 vpc restore Timer 後 Delay Restore 機能による Timer が作動する 2014 Cisco and/or its affiliates. All rights reserved. 69
70 2 つの効果を持つ機能 効果 1 : Peer-link down 状態で vpc Primary に筐体障害が発生した場合の対策機能 効果 2 : 両 vpc peer が停止し 片 peer のみが復旧した場合の対策機能 - 効果 2 - Peer-Link が一度も UP したことがないと 単独では作動しない 設定 vpc domain 1 auto recovery (reload-delay <sec>) reload-delay オプションは効果 2 用の Timer 値 Primary none established none established vpc restore Timer ( デフォルト 240 秒 ) Auto Recovery 非設定時 Auto Recovery 設定時 vpc restore Timer 後 Delay Restore 機能による Timer が作動する 2014 Cisco and/or its affiliates. All rights reserved. 70
71 2013 Cisco and/or its affiliates. All rights reserved. 71
72 Peer KeepAlive が通らない 使用 vrf の確認 (KeepAlive はデフォルトで management vrf を使用する ) PING での疎通確認 推奨設定例 :mgmt port / management vrf を使用 Peer-Link が設定出来ない Link UP しない 設定 I/F の確認 (Port-channel 上のみ設定可能 物理 I/F への直設定は不可 L2 10G link 限定 ) KeepAlive の疎通確認 (vpc のほぼ全初期設定は KeepAlive が前提 ) 推奨設定例 : 冗長性確保の為に 別 module から一本ずつの最低 10G x 2 link を用意 (module 型 Nexus の場合 ) vpc port が設定出来ない Link UP しない 設定 I/F の確認 (Port-channel 上のみ設定可能 物理 I/F への直設定は不可 L2 link 限定 ) Peer-Link が UP になっているか確認 両 vpc peer で vpc port 番号や Port-channel,LACP の設定が一致しているか確認 その他 Consistency Check を漏れなく確認 同筐体の別 VDC 間で vpc domain を構成していないか確認 ( 非サポート構成 ) 2014 Cisco and/or its affiliates. All rights reserved. 72
73 Packet の想定される転送経路の特定 宛先 / 送信元 IP, MAC, VLAN の確認 各 Network 機器の転送情報確認 (TP port 状態 MAC, ARP, Routing Table 等 ) Packet の Drop 箇所 問題転送箇所の特定 各 Network 機器の I/F counter 確認 Traceroute Packet の宛先 送信元を調整 比較 PAN (witch Port ANalyzer) 等々. Nexus への突入 Packet 情報から Nexus 内部処理の確認 MAC, ARP, Routing Table の oftware entry の確認 各 Line card 上の FIB(Forwarding Information Base) 等の Hardware entry の確認 上記 entry が両 vpc peer で同期されていることの確認 vpc loop 防止機能に Hit していないか確認 2014 Cisco and/or its affiliates. All rights reserved. 73
74 Port-channel サマリー情報 N7000# show port-channel summary Flags: D - Down P - Up in port-channel (members) - witched R - Routed U - Up (port-channel) Group Port- Type Protocol Member Ports Channel Po1(U) Eth LACP Eth1/1(P) Eth1/2(P) 2 Po2(U) Eth LACP Eth1/3(P) 3 Po3(U) Eth NONE Eth1/4(P) コマンド出力結果は注無く省略しているものあり 以下同様 vpc peer 間でのPort-channel,LACP 設定不一致 対向機器間での設定不備等がないことを確認 LACP 詳細情報 N7000# show lacp interface e1/3 Interface Ethernet1/3 is up Channel group is 2 port channel is Po2 PDUs sent: 52 PDUs rcvd: 22 Lag Id: [ [(7f9b, ee-be-1, 8002, 8000, 103), (8000, 0-2a-6a c1, 1, 8000, 103)] ] Operational as aggregated link since at Jan 4 10:17: Local Port: Eth1/3 MAC Address= 0-1b-54-c2-b4-43 < 省略 > LACP_Activity=active LACP_Timeout=Long Timeout (30s) <----- LACP rateが対向と一致していないとflapする可能性がある < 省略 > Neighbor: 0x103 < 省略 > LACP_Activity=active LACP_Timeout=Long Timeout (30s) <----- LACP rateが対向と一致していないとflapする可能性がある < 省略 > 2014 Cisco and/or its affiliates. All rights reserved. 74
75 LACP は LAG-id でバンドルする I/F の親機器を認識 => vpc peer 間では LAG-id を統一する必要あり vpc peer 間の vpc port 設定整合性 N7000# show vpc consistency-parameters vpc 2 Name Type Local Value Peer Value < 省略 > lag-id 1 [(7f9b, [(7f9b, ee-be-1, 8002, ee-be-1, 8002, 0, 0), (8000, 0, 0), (8000, 0-2a-6a c1, 1, 0-2a-6a c1, 1, 0, 0)] 0, 0)] mode 1 active active < 省略 > vpc system-mac vpc role や system-mac の確認 N7000# show vpc role vpc Role status vpc role : primary Dual Active Detection tatus : 0 vpc system-mac : 00:23:04:ee:be:01 vpc system-priority : vpc local system-mac : 00:1b:54:c2:b4:43 vpc local role-priority : 対向機器の system-mac Nexus7000/5000 なら下記コマンドにて確認可能 N5500# show lacp system-identifier 32768,0-2a-6a c Cisco and/or its affiliates. All rights reserved. 75
76 Running-config の便利な見方 part1 N7000# show running-config vpc version 6.2(2a) feature vpc logging level vpc 5 vpc domain 1 role priority 1 peer-keepalive destination source peer-gateway auto-recovery interface port-channel1 vpc peer-link interface port-channel2 vpc 2 interface port-channel3 vpc 3 <-- vpc 関連のみ抜き出す為 trunk 情報等は見えない All オプションを付ければ デフォルトコンフィグまで表示可能 Running-config の便利な見方 part2 N7000# show running-config interface po1 membership version 6.2(2a) interface port-channel1 switchport switchport mode trunk switchport trunk allowed vlan 1,30,100,200 spanning-tree port type network vpc peer-link interface Ethernet1/1 <-- Port-channelの構成要素 switchport がまとめて見える switchport mode trunk switchport trunk allowed vlan 1,30,100,200 channel-group 1 no shutdown interface Ethernet1/2 switchport switchport mode trunk switchport trunk allowed vlan 1,30,100,200 channel-group 1 no shutdown 2014 Cisco and/or its affiliates. All rights reserved. 76
77 KeepAlive の受信状況確認 N7000# show vpc peer-keepalive 最新の受信 送信結果 vpc keep-alive status : peer is alive --Peer is alive for : (42404) seconds, (729) msec --end status : uccess --Last send at : :56: ms --ent on interface : mgmt0 --Receive status : uccess --Last receive at : :56: ms --Received on interface : mgmt0 --Last update from peer : (0) seconds, (697) msec KeepAlive Packetの詳細情報 vpc Keep-alive parameters --Destination : Keepalive interval : 1000 msec --Keepalive timeout : 5 seconds --Keepalive hold timeout : 3 seconds --Keepalive vrf : management --Keepalive udp port : Keepalive tos : 192 その他 N7000# show vpc N7000# show vpc consistency-parameters global N7000# show vpc consistency-parameters vpc <X> N7000# show vpc consistency-parameters interface N7000# show system internal vpcm event-history interactions H/W の vpc 対応確認 N7000# show hardware feature-capability VPC module 1 : Yes module 3 : Yes module 7 : Yes module 9 : Yes module 10 : Yes < 省略 > 本当に初期の頃は EPLD version によっては非対応なものがあった ReleaseNote 参照 - vpc トラシューの肝 - 設定ミス等ではない vpc でのトラブルは各 peer 間の情報交換や同期の際に 何らかの理由で転送情報が正しく update されない等の事象が比較的多い その為 その異変に気が付くためには vpc 特有のコマンドだけではなく vpc の特徴的な動きを理解した上で 使用する MAC や ARP 等の entry を基本に忠実に的確に追うことが必要となる 2014 Cisco and/or its affiliates. All rights reserved. 77
78 GW : VIP VIP / VMAC VIP / VMAC Host To erver 事象内容 : erver からの帰り通信が vpc 部分で破棄される 状況 : 各 END(Host,erver) の Gateway は問題ない Packet は Nexus に到達していることは確定 Routing や MAC 情報も問題ない Nexus の PAN でも Packet 送出が確認できる 調査方法 : erver の送出 I/F で packet capture Nexus の入力側で PAN(packet capture) GW : VIP erver 原因 : erver の帰り通信の宛先 MAC が VMAC でなく Nexus の物理 MAC だった回避策 : erver 側の設定見直し Nexus 上で peer-gateway の設定 注意 :vpc loop 防止機能による Drop は PAN 複製後に実施されるため 送出側の PAN では Drop されずに見えてしまう 2014 Cisco and/or its affiliates. All rights reserved. 78
79 MAC table 確認 N7000# show mac address-table vlan 100 Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen,+ - primary entry using vpc Peer-Link, (T) - True, (F) - False VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID G b.54c2.b443 static - F F sup-eth1(r) <----- UP( 自 control-plane) 宛 G b.54c2.b7c2 static - F F vpc Peer-Link(R) <----- Peer-GatewayでG bit 付与 * a.6a69.21c1 dynamic 30 F F Po2 Hardware table 確認 HW table の entry が実際の処理に使用される GM(Gateway MAC) は 1 が G bit 付与 0 が無し N7000# show hardware mac address-table 1 vlan 100 < は module 番号 FE Valid PI BD MAC Index tat W Modi Age Tmr GM ec TR NT RM RMA Cap Fld Always ic fied Byte el ure AP FY TURE Learn a.6a69.21c1 0x0040a 0 0x b.54c2.b443 0x010c7 1 0x b.54c2.b7c2 0x x N7000# show vlan internal bd-info vlan-to-bd all-vlan VDC Id Vlan Id BD Id VLAN は内部では BD(BridgeDomain) に置き換えられる Index は I/F 識別子 下記 I(rc Index) に相当 N7000# show system internal eltm info interface brief i Int -- 0x40a 0x408 0x10c7 Interface If Index LIF I CR_FLAG tate Layer Mode #Mem sup-eth1 0x x1ff81 0x10c7 INTF LIF UP Po1 0x x4003 0x408 INTF LIF UP L2 TRUNK 1 Po2 0x x4004 0x40a INTF LIF UP L2 TRUNK Cisco and/or its affiliates. All rights reserved. 79
80 MAC table 確認 N5500# show mac address-table vlan 10 Legend: * - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC age - seconds since last seen,+ - primary entry using vpc Peer-Link VLAN MAC Address Type age ecure NTFY Ports/WID.ID.LID * a.6a69.22fc static 0 F F Po1 <----- vpc peer-link 宛 * a.6a69.21c1 static 0 F F Router <----- 自 control-plane 宛 * b.54c2.b441 dynamic 20 F F Po10 Hardware table 確認 HW table の entry が実際の処理に使用される N5500# sh platform fwm info hw-stm VLAN MAC Address Port loc misc cdce a.6a69.22fc l2mp-nh 1:1279:0 0:0:1:0 2.a.bd (e:0) <--- Nexus5500でのvPCの内部処理の特徴 a.6a69.21c1 Router 1:1746:0 0:0:1:0 2.a.bc.0.0.2b (e:0) b.54c2.b441 Po10 1:3622:0 1:0:1:0 2.a.be (e:0) vpc peer の認識に switch-id を使用 N5500# show platform fwm info l2mp vpcce l2mp vpc ce role: MATER my swid: 2748 (0xabc) emu swid: 2750 (0xabe) my peer swid: 2749 (0xabd) my ftag: 256 (0x100) peer ftag: 257 (0x101) switch-id( と ftag) と I/F の関連付け N5500# show platform fwm info l2mp route swid l2mp_route[0x95cbd14] < 省略 > ftag: 256 (0x100) switchid: 2749 (0xabd)-> l2mp_nexthop[0x891681c] < 省略 > multipath ifindex: Po1 (0x ) 2014 Cisco and/or its affiliates. All rights reserved. 80
81 N7000-A# show mac address-table vlan 100 VLAN MAC Address // Ports/WID.ID.LID // G b.54c2.b443 // sup-eth1(r) G b.54c2.b7c2 // vpc Peer-Link(R) f.ee57.69c1 // vpc Peer-Link 設定等に全く不備が無いにも関わらず MAC 学習 同期が正常に実施されていない場合はこのように直接 学習履歴 同期履歴を確認することも有用 N7000-B# show mac address-table vlan 100 VLAN MAC Address // Ports/WID.ID.LID // G b.54c2.b443 // vpc Peer-Link(R) G b.54c2.b7c2 // sup-eth1(r) * f.ee57.69c1 // Eth3/3 N7000-B# show system internal l2fm l2dbg macdb address 547f.ee57.69c1 Legend Db: 0-MACDB, 1-GWMACDB, 2-MACDB, 3-RMDB, 4-ECMACDB rc: 0-UNKNOWN, 1-L2FM, 2-PEER, 3-LC, 4-HRP 5-GLBP, 6-VRRP, 7-TP, 8-DOTX, 9-PEC 10-CLI 11-PVLAN 12-ETHPM, 13-ALW_LRN, 14-Non_PI_MOD, 15-MCT_DOWN, 16 - DB 17-OTV, 18-Deounce Timer, 19-AM, 20-PCM_DOWN, 21-MCT_UP, 22-L2VPN lot:0 based for LC 19-MCEC 20-OTV/ORIB N7000-A# show system internal l2fm l2dbg macdb address 547f.ee57.69c1 < 省略 > VLAN: 100 MAC: 547f.ee57.69c1 Time If/swid Db Op rc lot FE at Jan 4 15:54: x1a INERT rc2. Peer から学習した履歴 この I/F(0x1a102000) は Peer のもの VLAN: 100 MAC: 547f.ee57.69c1 Time If/swid Db Op rc lot FE at Jan 4 15:54: x1a INERT rc3.lc(linecard) の Eth3/3 から学習した履歴 I/F index 変換 N7000-B# show interface snmp-ifindex i 0x1a Eth3/ (0x1a102000) 2014 Cisco and/or its affiliates. All rights reserved. 81
82 N7000-A# show mac address-table vlan 100 VLAN MAC Address // Ports/WID.ID.LID // G b.54c2.b443 // sup-eth1(r) G b.54c2.b7c2 // vpc Peer-Link(R) f.ee57.69c1 // vpc Peer-Link N7000-B# show mac address-table vlan 100 VLAN MAC Address // Ports/WID.ID.LID // G b.54c2.b443 // vpc Peer-Link(R) G b.54c2.b7c2 // sup-eth1(r) * f.ee57.69c1 // Eth3/3 違った形での確認も可能 lot2(=mod3) で学習後 peer へ同期情報を送信 N7000-B# show system internal l2fm debugs 25) Event:E_DEBUG, length:76, at usecs after at Jan 4 18:00: <--- 新規学習 entry の notification を送信 [104] l2fm_send_nl_to_peer(1240): ent new learn notfn to peer for 1 entries 35) Event:E_DEBUG, length:113, at usecs after at Jan 4 18:00: <--- 0x1a102000(eth3/3) で新規学習 (=NL) [104] l2fm_macdb_insert(5730): slot 2 fe 0 mac 547f.ee57.69c1 vlan 100 flags 0x107 hints 0 E8 NL lc : 0x1a Peer から同期情報を受信後 local に反映 N7000-A# show system internal l2fm debugs 29) Event:E_DEBUG, length:157, at usecs after at Jan 4 18:00: <--- 0x (Po1) で新規登録 [104] l2fm_copy_one_cookie_to_notif(4067): mac 547f.ee57.69c1 vlan 100 new if_index = 0x , old if_index = 0, peer_gmac=0, is_del=0, mac move flags = 0 30) Event:E_DEBUG, length:86, at usecs after at Jan 4 18:00: <--- 新規学習 entry の notification を受信 [104] l2fm_mcec_nl_sync(1550): Received New Learn notif from peer: num 1, rr_token = Cisco and/or its affiliates. All rights reserved. 82
83 N5500-A# show mac address-table vlan 10 VLAN MAC Address // Ports/WID.ID.LID // b.54c2.b7c2 // Po1 * a.6a69.21c1 // Router * a.6a69.22fc // Po1 N5500-B# show mac address-table vlan 10 VLAN MAC Address // Ports/WID.ID.LID // * b.54c2.b7c2 // Eth1/4 * a.6a69.21c1 // Router * a.6a69.22fc // Po1 N5500-B# show platform fwm info mac 001b.54c2.b7c2 10 Operation: Mac create (9) (flags: Loc (0x1) mac_info_flags (0x0) if: 0x1a hint: 100) at un Jan 5 07:40: < 省略 > Operation: Mac sent to peer on local learn (15) (flags: Loc (0x1) mac_info_flags (0x0) if: 0x1a hint: 100) at un Jan 5 07:40: N5500-A# show platform fwm info mac 001b.54c2.b7c2 10 Operation: Mac create (9) (flags: Loc (0x1) mac_info_flags (0x0) if: 0x hint: 0) at Tue Mar 3 07:42: < 省略 > Operation: Peer sent; non vpc; learnt on MCT (3) (flags: Rem (0x2) mac_info_flags (0x0) if: 0x hint: 0) at Tue Mar 3 07:42: Peer からの情報で vpc port 宛でない MAC を MCT(=Peer-Link) 上で学習登録 I/F は Po1(0x ) Local(Eth1/4) で学習した MAC を peer へ送信 I/F index 変換 N5500-B# show interface snmp-ifindex i 0x1a Eth1/ (0x1a003000) N5500-A# show interface snmp-ifindex i 0x Po (0x ) 2014 Cisco and/or its affiliates. All rights reserved. 83
84 vpc (virtual PortChannel) とは筐体間を跨ぐ L2 PortChannel vpc の強み 帯域有効活用 冗長性向上 Aggregation 層以下での簡素かつ強固な集約の実現 vpc の注意点 Data PlaneレベルとControl Planeレベルでの動作の違い vpc peer 間のConfig 整合性 vpc loop 防止機能 vpc を上手に使う為に 障害時の動きを把握し 最適な Port 配置 module 構成を心がける 様々な固有機能を有効活用 2014 Cisco and/or its affiliates. All rights reserved. 84
85 Design and Configuration Guide: Best Practices for Virtual PortChannels (vpc) on Cisco Nexus7000 eries witches Cisco NX-O Virtual PortChannel: Fundamental Design Concepts with NXO Cisco Nexus 5000 eries witches; Virtual PortChannel Quick Configuration Guide Cisco Nexus 7000 eries NX-O Interfaces Configuration Guide, Release 6.x; Configuring vpcs Cisco Nexus 5500 eries NX-O Interfaces Configuration Guide, Release 6.x; Configuring Virtual Port Channels ase_602n12_chapter_0100.html Cisco Nexus 7000 eries NX-O Troubleshooting Guide -- Troubleshooting vpcs Cisco Nexus 5000 Troubleshooting Guide; Troubleshooting Virtual Port Channel Issues Cisco and/or its affiliates. All rights reserved. 85
86 2013 Cisco and/or its affiliates. All rights reserved. 86
87 A. はい B. いいえ C. どちらでもいい 2014 Cisco and/or its affiliates. All rights reserved. 87
88 2013 Cisco and/or its affiliates. All rights reserved. 88
89 今日聞けなかった質問は 今回のエキスパートが担当するエキスパートに質問 ( 1 月 15 日 ~ 1 月 26 日まで開催 ) へお寄せください! CC のトップページやエキスパートコーナーからもアクセスできるようにいたします Webcast の内容や Q&A ドキュメントは 本日より 5 営業日以内にこのサイトへ掲載いたします Cisco and/or its affiliates. All rights reserved. 89
90 2014 年 2 月 19 日 course_details.aspx?code=oa 年 3 月 4 日 午前 10 時 ~11 時半 詳細が決まり次第 CC ホームページやソーシャルメディアでお知らせいたします 2014 Cisco and/or its affiliates. All rights reserved. 90
91 Newsletter ubscription: HYICAL%20FULFILLMENT%20Y/N=NO&UBCRIPTION%20CENTER=YE 2014 Cisco and/or its affiliates. All rights reserved. 91
92 1 ) ログイン 2 ) 星印にカーソルを合わせてクリック 2014 Cisco and/or its affiliates. All rights reserved. 92
93 Cisco and/or its affiliates. All rights reserved. 93