Metaphorical Dream

タグ:Nexus 1000v ( 7 ) タグの人気記事

ESX4.0 n1kv #7

現在のConfig

#6でまとめた内容を元にもう少しOptimizeできると思ってる。

こいつらが同じVLANになっているのはどうしようもなさそうな気もするけど(涙)
 ControlとVMotion
 PacketとFTlog


n1kv# sh run
version 4.0(4)SV1(1)
username admin password 5 $/ role network-admin
telnet server enable
ntp server 192.168.11.60
ip domain-lookup
ip host n1kv 192.168.11.152
kernel core target 0.0.0.0
kernel core limit 1
system default switchport
ip access-list pol
10 permit udp 192.168.11.91/32 192.168.11.200/32 eq 5535
ip access-list set
10 permit ip 192.168.11.91/32 192.168.11.11/32
ip access-list ludwig
statistics per-entry
16 remark ### ludwig ###
32 permit ip 192.168.11.0/24 192.168.11.0/24
48 permit ip 192.168.11.0/24 225.0.0.0/24
64 permit ip 192.168.11.0/24 192.168.12.0/24
80 deny ip 192.168.11.0/24 192.168.13.0/24
class-map type qos match-all qos
match access-group name pol
class-map type qos match-all set
match access-group name set
policy-map type qos QOS
class qos
police cir 2 mbps bc 200 ms conform transmit violate drop
class set
set dscp 46
vem 3
host vmware id 07c
vem 4
host vmware id 07c
snmp-server user admin network-admin auth md5 0xe51 priv 0xe5 localizedkey
snmp-server enable traps license
vrf context management
ip domain-name queen.eu
ip name-server 192.168.11.64
ip route 0.0.0.0/0 192.168.11.254
switchname n1kv
vlan 1,11-13
vdc n1kv id 1
limit-resource vlan minimum 16 maximum 513
limit-resource monitor-session minimum 0 maximum 64
limit-resource vrf minimum 16 maximum 8192
limit-resource port-channel minimum 0 maximum 256
limit-resource u4route-mem minimum 32 maximum 80
limit-resource u6route-mem minimum 16 maximum 48
port-profile Unused_Or_Quarantine_Uplink
description "Port-group created for Nexus1000V internal usage. Do not use."
capability uplink
vmware port-group
shutdown
state enabled
port-profile Unused_Or_Quarantine_Veth
description "Port-group created for Nexus1000V internal usage. Do not use."
vmware port-group
shutdown
state enabled
port-profile system-uplink
capability uplink
vmware port-group
switchport mode trunk
switchport trunk allowed vlan 11-13
no shutdown
system vlan 12-13
state enabled
port-profile SC2
vmware port-group
vmware max-ports 2
switchport mode access
switchport access vlan 11
no shutdown
state enabled
port-profile Ludwig
vmware port-group
vmware max-ports 8
switchport mode access
switchport access vlan 11
no shutdown
state enabled

interface port-channel1
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
sub-group cdp

interface port-channel2
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
sub-group cdp

interface Ethernet3/1
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
channel-group 1
sub-group-id 0

interface Ethernet3/2
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
channel-group 1
sub-group-id 0

interface Ethernet4/1
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
sub-group-id 0
channel-group 2

interface Ethernet4/2
switchport mode trunk
switchport trunk allowed vlan 11-13
inherit port-profile system-uplink
sub-group-id 0
channel-group 2

interface mgmt0
ip address 192.168.11.152/24

interface Vethernet3
inherit port-profile SC2
description esx41, vswif1

interface Vethernet6
inherit port-profile SC2
description esx42, vswif1

interface Vethernet7
ip port access-group ludwig in
inherit port-profile Ludwig
service-policy type qos input QOS
description Ludwig-91, Network Adapter 1

interface Vethernet8
inherit port-profile Ludwig
description Ludwig-92, Network Adapter 1

interface Vethernet9
inherit port-profile Ludwig
description Ludwig-93, Network Adapter 1

interface Vethernet10
inherit port-profile Ludwig
description Ludwig-94, Network Adapter 1

interface Vethernet11
inherit port-profile Ludwig
description Ludwig-95, Network Adapter 1

interface control0
clock timezone JST 9 0
boot kickstart bootflash:/nexus-1000v-kickstart-mz.4.0.4.SV1.1.bin sup-1
boot system bootflash:/nexus-1000v-mz.4.0.4.SV1.1.bin sup-1
boot kickstart bootflash:/nexus-1000v-kickstart-mz.4.0.4.SV1.1.bin sup-2
boot system bootflash:/nexus-1000v-mz.4.0.4.SV1.1.bin sup-2
svs-domain
domain id 11
control vlan 12
packet vlan 13
svs mode L2
svs connection VC
protocol vmware-vim
remote ip address 192.168.11.64
vmware dvs uuid "f3 55" datacenter-name queen.eu
connect

[PR]
by mdesign21 | 2009-11-14 05:19 | IT系

ESX4.0 n1kv #6


お休みしちゃいましたが、一度内容を整理してましたw

やっぱり言葉(単語)がコロコロ変わるのはあんまりよろしくないと思う。
けど、「いじってみりゃわかるよ」っていう考え方もあったりする。

親切なのは前者、エンジニアなら後者って厳しいかな(^^;

◆ESX
vswif
 ESXのServiceConsole
vmkinic
 ESXのVMotion,FTlog,SAN接続に利用
vNetwork
 仮想OSにて使用する


◆vNIC Interface
VSM(仮想OS)上で利用されるvNICは3つ

Control
 ・VEMと通信するためのL2int
 ・VSM&VME間の設定データ,Heartbeetが交換
 ・VSM上で最初のintとなる
 ・NetworkAdapter1というラベルで扱われる

Managemnet
 ・n1kv上でmgmt0として扱われる
 ・VSMとvCS間の通信で必要
 ・telnet&sshで接続する場合はmgmt0のIPを指定
 ・VSM上で2番目のintとなる
 ・NetworkAdapter2というラベルで扱われる

Packet
 ・n1kv全体に渡って調整するトラフィックを伝送するためのL2int
 ・CDP,IGMPのみに使用される
 ・VSM上で3番目のintとなる
 ・NetworkAdapter3というラベルで扱われる

◆Switchport Interface
vEth
 ・仮想OSのNICと接続される
 ・VMotionに対応するため、G0/1のようなModuleNo/PortNoという管理はしない
 ・vEth1,2,3と管理する(勝手に通番で付与される模様)
 ・新しい仮想OSが作成されると、vEthも仮想OSのvNICごとに作成される
 ・仮想OSが一時的にダウンすると、vEthは非アクティブな状態で残るが、
  その特定の仮想マシンにバインドされたままになります。
 ・仮想マシンが削除されると、vEthは新しくプロビジョニングされた
  仮想マシンへの接続に使用できるようになる。
 ・サンプルConfig
  interface Vethernet8
   inherit port-profile Ludwig
   description Ludwig-92, Network Adapter 1

Eth
 ・ホストOSの物理NIC(VMNIC)に相当する
 ・またホストOSの筐体(サーバ筐体)をSwitchに例えるならアップリンクに相当する。
  このため、原則Trunk設定にすることが必要。
 ・サンプルConfig
  interface Ethernet3/1
   switchport mode trunk
   switchport trunk allowed vlan 11-13
   inherit port-profile system-uplink
   channel-group 1
   sub-group-id 0

Po
 ・Poは同じVEM上で複数のEthをChannelするために使用する
 ・Defaultでは作成されない
 ・サンプルConfig
  interface port-channel1
   switchport mode trunk
   switchport trunk allowed vlan 11-13
   inherit port-profile system-uplink
   sub-group cdp

◆Other
DomainID
 ・ドメインIDは、VSMとVEMの識別子
 ・VSMからVEMに送信されるコマンドには、ドメインIDがタグ付け。
 ・VSMとVEMが同じドメインIDを共有している場合、
  VEMはVSMからの要求とコマンドを受け入れ応答します。
 ・VEMが適切なドメインIDでタグ付けされていないコマンドまたは
  設定要求を受信すると、その要求は無視されます。
 ・同様に、VSMが誤ったドメインIDでタグ付けされたVEMからの
  パケットを受信すると、そのパケットは無視されます。

不透明データ
 ・不透明データとは、VSMによって保守され、VSMとVMwarevCenterServerの間の
  リンクが確立されたときにvCSに伝達される設定パラメータの集合。
 ・不透明データには、VEMのインストール時に各VEMがVSMとの接続を確立するために
  必要な設定詳細情報が含まれます。
  特に、不透明データには次のものが含まれます。
   ●スイッチドメインID
   ●スイッチ名
   ●コントロールとパケットのVLANID
   ●SystemPortProfile
    ・正しく設定されるには、VEMがVSMと通信する必要がある。
    ・vCSは、不透明データをVEMに自動的に送信します。
     VEMはそれを使用してVSMとの通信を確立し、適切な設定データをDLする。

SystemVLAN
 ・PortProfile内に追加できるオプションのパラメータで定義
 ・オプション定義されたPortProfileは、不透明データに含まれる
  特別なSystemPortProfileになる。
 ・SystemPortProfileを使用し定義されたSystemVLANのいずれかに属するintは、
  VEMがVSMと通信しない場合であっても、ESXのBoot時に自動的にEnableとなる
 ・ESXがブートしVSMと通信できない場合は、上記動作により、
  重要なホスト機能の使用がEnableになります。
 ・ControlVLANとPacketVLANは、SystemVLANとして定義する必要があります。
 ・他のVLANもシステムVLANとして定義すると有用な場合があります。
  vswifやvmknic intに使用されるVLANなど

トラフィック分類
 ●コントロールトラフィック
  ・ToS=5
  ・コントロールトラフィックは、絶対優先にする。
  ・帯域幅=10KBps未満しか必要としない。
 ●仮想マシンデータトラフィック
  ・ToS=6
  ・データトラフィックは、仮想OSで送受信される全Trafficを一般化したもの。
  ・VMwareESXホスト内では、これが主要なトラフィックタイプです。
  ・VSM管理インターフェイスは、このカテゴリの範囲内になります。
 ●VMwareESX管理トラフィック
  ・ToS=6
  ・VMwarevCenterServerでは、VMwareESXホストの監視と設定を行うために
   VMwareESX管理インターフェイスへのアクセスが必要です。
  ・管理トラフィックは、一般に小さい帯域幅しか必要としませんが、
   高優先順位のトラフィックとして処理する必要があります。
 ●VMwareVMmotionトラフィック
  ・ToS=3
  ・VMwareVMotionトラフィックは常に発生するわけではありません。
  ・VMwareVMotionが開始されると、10~60秒の間にわたってDataのBurstが発生。
  ・使用可能な帯域幅の大きさに基づいて仮想OSの移動の持続期間が長くなる。
 ●パケットトラフィック
  ・ToS=0
  ・CDPとIGMPのみのため。
 
標準PortChannel
 ・Catalyst6500 VirtualSwitchingSystem1440、
 ・CiscoNexus7000 virtualPortChannel
 ・CiscoCatalystBladeSwitch3120forHP

VirtualPortChannelHostMode
 ・vPC-HMでは、PortChannelがに分割されます。
 ・各Sub-group、1台のUpStream物理スイッチへの1つ以上のUplinkを表します。
 ・vPC-HMが使用される場合、2つの0と1だけをサポートします。
 ・vPC-HMが使用されると、VEM上の各vEthintは、RoundRobinを使用して2つの
  どちらかにマッピングされます。
 ・障害時は自動FailOver実施

遅延
 ・VSMとVEMの間のラウンドトリップ遅延は、50msec未満にする。

[PR]
by mdesign21 | 2009-11-13 05:09 | IT系

ESX4.0 n1kv #5

Interface周りの設定は一通り完了。

いろいろ失敗&いじってみて構成変更を余儀なくされた。
n1kvを0(ゼロ)から再構築できないところが痛い。>Licenseの絡みで。

あと、いじってみての感想は
 「vSphereと言えども、絶対無停止は有り得ない」
という
観点での作りこみが足りないよ>しsこさん
って感じかな。

あと、SPANとIP-ACL&QoSを少々検証してみた。

この辺りは普通に動作した。

今やろうとしてるのは、ERSPAN(Encapsulated Remote SPAN )かな。

まだなのは、以下の通り(やるやらないは別として)
 ・PrivateVLAN
 ・IGMP Snooping
 ・AAA
 ・RADIUS
 ・TACACS+
 ・PortSecurity
 ・MAC-ACL
 ・SNMP
 ・NetFlow
 ・Syslog
 ・HA(ライセンス1個のため検証不可)

んまぁ、だから、どうしたの?的な機能しか無い点は否めない(笑)

VSM(n1kvのsup)停止時のリスクを考えたら、
 「n1kvは入れない」
という選択肢の方が現実的だと思えてならない。

[PR]
by mdesign21 | 2009-11-08 23:48 | IT系

ESX4.0 n1kv #4

アンインストできねぇ。

1.Management
2.Control
3.Packet

って、
3つのVLANが必須なんだけど、
このうち、2と3のVLANのVLAN IDを変えたくて試行錯誤した。

諦めてはいないけど、一時保留。

再デプロイ
 →ライセンスが入らなくなる
Plug-Inやホーム>ネットワーク>n1kv(vNDSに相当する)
 →削除できない

んで、結局インスト直後のテンプレートから復帰。

あぁ!
 ・テンプレートをiSCSIに保存
 ・DCごとDelっちゃう
 ・テンプレートから復帰
ってやれば、いけるかなぁ。>たった今思いついたw

でも、真面目にこんな↑ことしなきゃ、
アンインストできないのであれば、
 ・くそアプライアンス決定
 ・初期の設計が超重要
だと思う。

ライセンス再発行であれば対応できるのだろうけど、
デモライセンスじゃあ、再発行してくれんだろう。。。

もう1個ダミーを作るか?>垢

ちなみに、くそアプライアンスな点として、
n1kvのSUPに相当するモノ(VSM)が
仮想マシンとして稼動してるんだけど、
こいつを落としちゃうと、、、死にたくなってくる。

SUPを冗長化すりゃあ、イイってもんじゃね~からな!>しsこ
標準のvNDSみたいに稼動してくれりゃ~いいのに。

それと、標準のvNDS以上に操作手順っていうか順番がシビアです。

[PR]
by mdesign21 | 2009-11-07 04:49 | IT系

ESX4.0 n1kv #3

まだ全部は理解&イメージできていないんだけど、
vNDS(仮想NW分散スイッチ)との比較をしながら、
徐々に掴んでいければと思ってる。

マニュアルをざ~っと読んで
 ・できること
 ・できないこと
 ・肝になること
をピックアップしつつ掻い摘んでる。

ポイントは、
 Switchとしての管理系
  ・vrf context management
  ・interface mgmt0
  ・svs-domain
  ・svs connection VC
 Switchとしてのアーキテクチャ
  ・port-profile
  ・interface Ethernet
  ・interface Vethernet
といった辺りの
 ・違い
 ・相関関係
 ・ESXやvCS(vCenterServer)、仮想OSへの影響
 ・ESXやvCS、仮想OSの動作
ってことが整理できてくれば、
 「○○をしたいときに××をする」
といったイメージが沸いてくるのかなぁと。

フィーリング的に
 Management用のInterfaceがvrf上にある
のは、
 ASR1000系に似てるなぁ
って思うんだけど、ベースは
 Linuxカーネルだからだろ!
ってな具合で、
徐々に攻めていこうかなと。

でも、飽きてきちゃったら、Hadoopやっちゃってもいいかなぁ(^^;

仮想マシンを複数台並べても
 Hadoopは効果を発揮してくれるのかな
って思うと、
とても気になって眠れない。

[PR]
by mdesign21 | 2009-11-06 01:48 | IT系

ESX4.0 n1kv #2

コンフィグなんですが、こんな↓感じです。

n1kv# sh run
version 4.0(4)SV1(1)
username admin password 5 / role network-admin
telnet server enable
ntp server 192.168.11.60
ip domain-lookup
ip host n1kv 192.168.11.152
kernel core target 0.0.0.0
kernel core limit 1
system default switchport
vem 3
host vmware id 07
vem 4
host vmware id 07
snmp-server user admin network-admin auth md5 0xe51 priv 0xe5 localizedkey
snmp-server enable traps license
vrf context management
ip domain-name queen.eu
ip name-server 192.168.11.64
ip route 0.0.0.0/0 192.168.11.254
switchname n1kv
vlan 1,11-13
vdc n1kv id 1
limit-resource vlan minimum 16 maximum 513
limit-resource monitor-session minimum 0 maximum 64
limit-resource vrf minimum 16 maximum 8192
limit-resource port-channel minimum 0 maximum 256
limit-resource u4route-mem minimum 32 maximum 80
limit-resource u6route-mem minimum 16 maximum 48
port-profile Unused_Or_Quarantine_Uplink
description "Port-group created for Nexus1000V internal usage. Do not use."
capability uplink
vmware port-group
shutdown
state enabled
port-profile Unused_Or_Quarantine_Veth
description "Port-group created for Nexus1000V internal usage. Do not use."
vmware port-group
shutdown
state enabled
port-profile system-uplink
capability uplink
vmware port-group
switchport mode trunk
switchport trunk allowed vlan 11-13
no shutdown
system vlan 12-13
state enabled
port-profile data11
vmware port-group
switchport mode access
switchport access vlan 11
no shutdown
state enabled
port-profile vm-uplink
capability uplink
vmware port-group
switchport mode access
switchport access vlan 11
no shutdown
state enabled

interface Ethernet3/1
inherit port-profile vm-uplink

interface Ethernet3/2
inherit port-profile system-uplink

interface Ethernet4/1
inherit port-profile vm-uplink

interface Ethernet4/2
inherit port-profile system-uplink

interface mgmt0
ip address 192.168.11.152/24

interface Vethernet1
inherit port-profile data11
description Ludwig-91, Network Adapter 1

interface control0
clock timezone JST 9 0
boot kickstart bootflash:/nexus-1000v-kickstart-mz.4.0.4.SV1.1.bin sup-1
boot system bootflash:/nexus-1000v-mz.4.0.4.SV1.1.bin sup-1
boot kickstart bootflash:/nexus-1000v-kickstart-mz.4.0.4.SV1.1.bin sup-2
boot system bootflash:/nexus-1000v-mz.4.0.4.SV1.1.bin sup-2
svs-domain
domain id 11
control vlan 12
packet vlan 13
svs mode L2
svs connection VC
protocol vmware-vim
remote ip address 192.168.11.64
vmware dvs uuid "f3 5" datacenter-name queen.eu
connect

[PR]
by mdesign21 | 2009-11-06 01:31 | IT系

ESX4.0 n1kv #1

日付が変わってしまったよ、トホホ。

http://communities.vmware.com/message/1351070

上記URLと同じエラーが表示されて、物理NICをn1kvのアップリンクに追加できなかったw

けど、過去形なわけです。

できたw

インストマニュアルとやらを熟読しても、どこにも書いとらん操作をせなばならない。

ってことに、どれだけ時間が掛かってると思っているんじゃい!

んまぁ、マニュアルなんて、そんなもんか。

己の勘の鋭さにホレボレしてしまったので、今夜ゆっくりおやすみなさい。。。

[PR]
by mdesign21 | 2009-11-05 01:35 | IT系