Metaphorical Dream

タグ:ストレージ ( 5 ) タグの人気記事

Linux FCoE その4 インストール 手順 with 自動起動設定

10/30のBlogに記載した方法だと、
FCoE Targetを手動にて起動していましたが、
以下の方法であれば自動起動してくれます。

◆FCoE TargetとInitiatorのインストール手順 with FCoE Target自動起動手順に修正

追加修正箇所や注意点は以下に記載。

■追加修正箇所
 項番3-4を追加
 項番5-1-4を修正
 項番5-1-5を追加
 項番8-1を修正

■注意点
「◆FCoE TargetとInitiatorのインストール手順 with FCoE Target自動起動手順に修正」
の場合、
動作的には問題ないものの、"/etc/rc.d/init.d/scst start" を実行すると
必ず[失敗]の表示となりますが、気にしないでください。

"/etc/rc.d/init.d/scst status"を実行するとOKとなっており、
Initiator側からも正常に認識するので。
ちなみに、Initiator側でうまくTargetを認識しないときは、
迷わずInitiatorを再起動してください。

さらに、Initiator側でどうしてもTargetを認識しないときは、
「◆FCoE TargetとInitiatorのインストール手順」の通り、
手動で起動するようにしてください。


ちなみに、VMWare上では恐らくインストールできないと想定されます。

正確に言うとインストールは間違いなくできますが、
Initiator側からTargetを認識できない状態となります。
もしくは認識できたとしても、
fdiskなどができない=BlockDeviceとして使用できない
という状態なります。

なぜなら、今回の手順の場合、
FCoE TargetとInitiatorはDAS(直接接続)構成であることが必須なためです。

VMの場合、必ず仮想スイッチ(vSwitchやvDSも含む)に接続することになるため、
FCoEフレームを転送できない状態となります。

Pcapすると解りますが、FLOGIやPLOGIがうまく出来なかったり、
FLOGIやPLOGIの後にTarget側でRejectされます。

仮想FCoEスイッチとか開発されてくれたら嬉しいけど、
あんま意味ないか。。。


[PR]
by mdesign21 | 2010-10-31 17:05 | IT系

Linux FCoE その3 インストール 手順

Fedora13にてFCoE TargetとFCoE Initiatorをインストールする手順です。
重要なのは、SCST+FCSTによる"FCoE Target"のインストール方法かなと。

私の備忘録を一部抜粋しているだけなので、
内容についての保証はできません。

また、よほどのチャンレンジャーやLinuxDriverの開発者でもない限り、
本番環境での使用は厳禁だと思います。
検証環境やFCoEのお勉強用途として使用できるレベルと考えた方が無難です。
なぜか?「再起動するとOKになる」といった事がチラホラなので。

今回はGigabit Ethernet NICを使用した手順となるため、
IEEE DCB(別名CEEやらCisco DCEというヤツ)は、
withoutとなります。

というのも、
現時点では、IEEE DCBはHardwareによる実装が必要のようで、
FCoEに加えてIEEE DCBをサポートさせるには、
IEEE DCB対応の10Gbit Ethernet NICが必須だろうと想定しています。

んまぁ、ここでは規格化途中の流動的な細かい話を追跡しても、
徒労に終わるだけなので、IEEE DCBについては除外します。

そんなことよりも、
 「Fibre ChannelをEthernetでカプセル化する技術=FCoE」
のみに的を絞って記載したいと思います。

ちなみに、今回は予算の都合上、Intel EXPI9301CTを使用しますが、
私の想定では、Intel82599を搭載した型番:E10G42BTDAを使用すれば、
上記したIEEE DCBをサポートしたFCoEを動作させることも可能だと考えています。

なぜなら、Linux KernelのBuild時には、
DCBのサポート有無を選択できるようになっているためです。
 ※
 今回はKernelのmenu config実行時に、確認のみですが、
 IEEE DCBの項目も参照するように記載しました。

以下のリンクにインストール手順をtxtファイルでアップしました。
ブラウザにより、文字化けする場合には、S-JISにしてみてください。

◆FCoE TargetとInitiatorのインストール手順


正直なところ早さと確実さを優先した関係で、
少々ダサい手順となっている感があるw
と言いつつ、
スマートな手順も見つけたんだけど、
手順に落とし込むのが辛い(涙)


上記は2010/10/31に修正済み。
修正済み手順は以下に掲載。

◆FCoE TargetとInitiatorのインストール手順 with FCoE Target自動起動手順に修正

また修正箇所など詳細は2010/10/31のBlogに記載。



手順の最後におまけとして、
同じVLAN上で、FC,IPv4,IPv6のPingを行う手順を記載しました。
その際に取得したPcapファイルは以下のリンクからDLできます。

◆FCoE TargetとInitiatorのPcap結果


[PR]
by mdesign21 | 2010-10-30 03:20 | IT系

Linux FCoE その2

もったいぶっているワケではなく、もうちょい検証させてください。

とりあえず、ML115同士であれば、100%確実に実装できる手順までは落とし込めた。

けど、「敷居が高い」と思う人も居る。

んまぁ、「敷居が高い」と思うなら、最初から別にやらなくてもいいと思うけど、
それじゃあんまりなので、VM上でできるか?をチェックしようと思う。

あとは、「主目的=Protocolのお勉強」が、やっぱりメインになると思う。

実際、いじってて思うのは、まだまだテスト環境でも使用しづらい面もあるので。

とはいえ、諭吉さん数十人を集めるよりかは、
遥かに容易で愉しみながらお勉強できるレベル
という観点に的を絞れば充分過ぎると、
オレは思う。

[PR]
by mdesign21 | 2010-10-26 00:02 | IT系

Linux FCoE その1

Linux(Fedora13)とSCST FCST fcoe-utilsを使って、
FCoEのInitiatorとTargetの実装に成功したw

e0113173_1311843.jpg


1年くらい前から、あれやこれや模索していたのだけど、何とかここまで辿り着けたよ。

EtherフレームとFCフレームのごちゃまぜ感が
たまらなく愛しいと思えるようになってきたら
チャレンジしてみよう!

以下のLog類は何のことやら?感が否めないので、
後日整理してアップしよう。

これで今までPcapできなかったFCとも仲良くなれそうな気がする。

久々の会心の一撃にちょっぴり浮かれたい気分w

◆InitiatorのStatsの結果◆
[root@fedora132 ~]# fcoeadm -s eth1
eth1 interval: 1 Err Inv IvTx Link Cntl Input Input Output Output
Seconds TxFrames TxBytes RxFrames RxBytes Frms CRC Byte Fail Reqs Requests MBytes Requests MBytes
------- --------- ------------ --------- -------------- ---- ---- ---- ---- ---- --------- --------- --------- ---------
488 795519 828131712 6129 2970996 0 0 0 0 6 826 16384 1572 1056768
489 840343 874847980 6305 2978388 0 0 0 0 6 826 16384 1660 1056768
490 884268 920614052 6475 2985528 0 0 0 0 6 826 16384 1745 1056768
491 926471 964601044 6641 2992500 0 0 0 0 6 826 16384 1828 1056768

◆InitiatorのLog◆
[root@fedora132 ~]# fcoeadm -i eth1
Description: 82574L Gigabit Network Connection
Revision: 00
Manufacturer: Intel Corporation
Serial Number: 001B21570B9C
Driver: e1000e 1.0.2-k2
Number of Ports: 1

Symbolic Name: fcoe v0.1 over eth1
OS Device Name: host8
Node Name: 0x1000001B21570B9C
Port Name: 0x2000001B21570B9C
FabricName: 0x0000000000000000
Speed: 1 Gbit
Supported Speed: 1 Gbit
MaxFrameSize: 1452
FC-ID (Port ID): 0x010102
State: Online

[root@fedora132 ~]# fcoeadm -i eth1tt eth1
Interface: eth1
Roles: FCP Target, FCP Initiator
Node Name: 0x1000001B214982FA
Port Name: 0x2000001B214982FA
Target ID: 0
MaxFrameSize: 1452
OS Device Name: rport-8:0-0
FC-ID (Port ID): 0x010101
State: Online

LUN ID Device Name Capacity Block Size Description
------ ----------- ---------- ---------- ----------------------------
0 /dev/sdb 74.54 GB 512 SCST_BIO 7:0:0:0 (rev 210)


[root@fedora132 ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 18:A9:05:55:73:DE
inet addr:192.168.11.117 Bcast:192.168.11.255 Mask:255.255.255.0
inet6 addr: fe80::1aa9:5ff:fe55:73de/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:193052 errors:0 dropped:0 overruns:0 frame:0
TX packets:100497 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:272114701 (259.5 MiB) TX bytes:11824883 (11.2 MiB)
Interrupt:18

eth1 Link encap:Ethernet HWaddr 00:1B:21:57:0B:9C
inet6 addr: fe80::21b:21ff:fe57:b9c/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:10418 errors:0 dropped:0 overruns:0 frame:0
TX packets:1574593 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:4293224 (4.0 MiB) TX bytes:1702304812 (1.5 GiB)
Memory:fcee0000-fcf00000

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)


◆TargetのLog◆
[root@fedora13 ~]# /usr/libexec/fcoe/fcc.sh
FC HBAs:
HBA Port Name Port ID State Device
host6 21:00:00:e0:8b:0e:1d:90 00:00:00 Online QLA2340 FW:v3.03.27 DVR:v8.02.01-k4
host7 20:00:00:1b:21:49:82:fa 01:01:01 Online eth1

host7 Remote Ports:
Path Port Name Port ID State Roles
7:0-1 20:00:00:1b:21:57:0b:9c 01:01:02 Online FCP Initiator

[root@fedora13 ~]# lv /etc/fcoe/cfg-eth1
## Type: yes/no
## Default: no
# Enable/Disable FCoE service at the Ethernet port
FCOE_ENABLE="yes"

## Type: yes/no
## Default: yes
# Indicate if DCB service is required at the Ethernet port
#DCB_REQUIRED="yes"
DCB_REQUIRED="no"

## Type: yes/no
## Default: yes
# Indicate if VLAN discovery should be handled by fcoemon
AUTO_VLAN="yes"

[root@fedora13 ~]# lv /etc/fcoe/cfg-eth1scst.conf
# Automatically generated by SCST Configurator v2.0.0.


HANDLER vdisk_blockio {
DEVICE 7:0:0:0 {
filename /dev/sdb1
}
}

TARGET_DRIVER fcst {
TARGET 20:00:00:1b:21:49:82:fa {
rel_tgt_id 1
enabled 1

LUN 0 7:0:0:0

GROUP host00 }
}
}

[root@fedora13 ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:24:81:E1:B5:52
inet addr:192.168.11.116 Bcast:192.168.11.255 Mask:255.255.255.0
inet6 addr: fe80::224:81ff:fee1:b552/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:100400 errors:0 dropped:0 overruns:0 frame:0
TX packets:419992 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:24438612 (23.3 MiB) TX bytes:549897597 (524.4 MiB)
Interrupt:18

eth1 Link encap:Ethernet HWaddr 00:1B:21:49:82:FA
inet6 addr: fe80::21b:21ff:fe49:82fa/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1574408 errors:0 dropped:0 overruns:0 frame:0
TX packets:10423 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1702276716 (1.5 GiB) TX bytes:4292162 (4.0 MiB)
Interrupt:18 Memory:fcee0000-fcf00000

lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)

[PR]
by mdesign21 | 2010-10-21 01:40 | IT系

linux fcoe



現在(2010/10/30)はFedora13でFCoE TargetとInitiatorの
インストールに成功し手順をアップ済みです。

◆FCoE TargetとInitiatorのインストール手順

ここ数日、昼休み時間を利用して、
以下のサイトやIntelのサイトを調べた結果、
ある程度見えてきた感があるので、...ψ(。。 )メモメモ

(1)~(5)まで番号を振ってみたものの、
結局まとまりのないモノになってしまった、、、ごめん。

http://www.open-fcoe.org/

以下のwikiを読む限り、Open-FCoEを使うことにより、
以下の3つのことが出来そう。

http://www.open-fcoe.org/openfc/wiki/index.php/Main_Page

 1.FCoE イニシエータ
 2.FCoE SW ターゲット
 3.FCoE SW ゲートウェイ

で、結論から先に言うと、
 ・1と2は今の環境でも出来そう。
 ・3は以下の物品が必要
   Intel82599搭載NICが4つ
   SFP+ DAC(Direct Attached Cable)が2つ
と考えている。

(1)
そこで、まずは1と2について。

 1.FCoE Initiator Quickstart
 2.FCoE SW Target Quickstart
 
 上記wikiの1&2の各項を読み解くと、
 gitを使ったり、KernelにPatchやModuleを当てて
 Rebuildしたりといった少々敷居の高そうなことは
 必要なもののHardwareがネックとなって「出来ない」
 ということは無い感じがする。
 
 現に2.においても、
  ・Fedora 7 systems
  ・Intel NICs - e1000 driver
  ・MTU = 2500
  ・static any IP addresses
 といった前提条件にて、
 FCoEの実装手順が書かれているため。
 
 但し、手順としては、1よりも2の方が
 難しくなっているのは、確かだけど。
 
 ちなみに、1と2における注意事項として、
 1と2は直結しろ!と書いてある。
 
 原文は以下の通り。
  The FCoE Initiator can use used with FCoE SW target
  with back to back crosswire ethernet connection
  between FCoE initiator and SW target ethernet interfaces.
 
 んまぁ、FCoEスイッチを咬ませるわけじゃないので、
 極々当たり前な話だなと。

(2)
次に3について。
 これは結論にも書いた通り、Hardwareで縛られている。
 
 一番のネックはDCB(Deta Center Bridging)の実装に関して、
 Hardwareレベルでの対応&未対応で成否が分かれる。
 
 当たり前な話だけど、FCoEは「単純な10GbEではない!」ってこと。
 
 ちなみに「DCB」はIEEEにて定義された言葉で、
 同義語としては以下のようなものがある。
  DCE(Data Center Ethernet)
  CEE(Converged Enhanced Ethernet)
  ※
  FCoEのwikiに書いてあるので詳細は割愛
 
 DCBを実装するには"dcbd-0.7.14.tar.gz"をコンパイルして
 インストールする必要があるのだけれど、こいつのREADMEを読んだ時点で、
 「Intel82599は福沢さん7人分」と騒いでいたわけです。
 
 以下、dcbdの「Requirements」の要所のみを抜粋。
 - Linux kernel version 2.6.24 or later.
 - Linux ixgbe driver version 1.3.31.2 or newer.
 - 2.6.23 or newer version of the "iproute2" package should be downloaded
 - 82598-based Intel adapter.
 
 ちなみに、Intelチップの各種ドライバを確認したところ、
 以下のラインナップになっている。

 Intel82574などの安価なchip(マザボOnboardからすれば安価でもないよね)
  →e1000eやe1000ドライバ
 Intel82575&82576(D万円以下でゲット可能 型番:E1G42ET)
  →igbドライバ
 Intel82598&82599(H万円くらいでゲット可能 型番:E10G42BTDA)
  →ixgbeドライバ
 
 話が若干逸れたけど、手順としては以下のイメージ(相当乱暴な書き方です)
  ・ixgbeドライバのインスト
  ・dcbdのインスト
  ・HBA API Libraryのインスト
  ・Lib HBA Linuxのインスト
  ・fcoe-utilsのインスト
 
 上記を実施することにより、CiscoやらBrocadeから発売されている
 FCoE対応スイッチと謳われている製品と、
 ほぼ同等なことが可能になると想定している。
 
 オレの想定イメージとしては、こんな感じ。
 
e0113173_22454444.jpg

 
(3)
それで、一番最初の話に戻すと、以下2種類の物品が必要となる。
 A.Intel82599搭載NICが4つ
 B.SFP+ DAC(Direct Attached Cable)が2つ
 
 A.はH万円*4で福沢さん28人分
 B.はE-F万円*2で福沢さん6-8人分
 トータルで福沢さん36人くらい呼べば良いかなと。
  ※
  概ね「Ensoniq TS-10」1台分かぁ~。
  あの頃は、TS-10をゲットしたことによって、
  水を得た魚のようにゴリゴリ作ってたなぁと。

 A.の補足
  上図で言うと、1で1個、2で1個、3で2個必要なんですね。
  3からLANスイッチ向けのNICは、普通のNICでOKなので。
 B.の補足
  SFP付きのケーブルだからお得感有り
  イメージとしては、こんなもんです。
  http://www.hpc-technologies.co.jp/images2/swich/10GbE-SFC+capper-w400.jpg

(4)
ここで、オレの悩みとしては、FCoEのスキルを修得する代償として、
福沢さん36人分が妥当かどうか?ってところ。

例えば、これが半年後 or 1年後において、
 ・価格的にどうなっているのか?
  →福沢さんが半分や1/3で済んじゃうかもしれない。
 ・FCoEスキルを持った人材に対する市場価値はどうなっているのか?
  →「やっぱりiSCSIで充分だよ、ドラえも~ん!」ってな
   方向に動き出したら、ご愁傷様となってしまう。
   っていうか、危険だしw

但し、福沢さん36人ってのは、現在の価格として高いか?安いか?を見積もる場合、
CiscoNexus5010=福沢さん250人分なので、いわずもがなという点は否めない。

(5)
本題からは逸れるけど「スキルを福沢さんに変える」っていうことは、
こういった点を算段した上で、時間との戦いを繰り広げる(※)必要がありそうだなと。
 ※
 時間経過と共に"とあるスキル"を修得した人口は増えるから
 相対的に"とあるスキル"の価値は下がると考えている。

(A)スキルを修得(のために投資)する期間
(B)スキルを利用(して収穫)する期間

(A)と(B)が交互に訪れれば、頑張り甲斐もあるんだけどねぇ(^^;
さらに欲を言えば、(B)の期間に新しい(A)が出来れば言うこと無しかなと。

ただ、(A)の見極めが難しいのも確かです。

[PR]
by mdesign21 | 2010-01-25 22:45 | IT系