Metaphorical Dream

<   2009年 12月 ( 9 )   > この月の画像一覧

wireshark1.3.2 Dev Ver.

wireshark1.3.2 Dev Ver.

アップされていたのでDL&インストしてみたところ予想的中。

WirelessNWエンジニアなら、皆インストしているハズです。

なぜなら、CAPWAPのデコードが可能になってるから。

[PR]
by mdesign21 | 2009-12-27 01:10 | IT系

クリスマスプレゼント

自分の胃袋にバリュームをプレゼントした。

辛かった。

っていうか、バリューム飲むの苦しくて、涙出るんっすけど。

バリューム飲むと気分が悪くなる旨、問診時に医師へ伝えたところ、
「別日程で胃カメラに変えられるよ」とのこと。

どっちもイヤ。

[PR]
by mdesign21 | 2009-12-25 23:43 | Diary

欲しい機能(Service)一覧

*=必要な時のみ使用

1.VM
KVM
VMWS(心が折れてこっちになるやも)

2.Shell
ssh
telnet*

3.File
smb
WebDAV
NFS
iSCSI
ftp
tftp

4.NW
NTP
RADIUS
OpenVPN
DHCP
DNS

5.Other
asterisk
VNC
OpenSSL(Port開くわけじゃないけど一応入れとく)

欲しいServiceを列挙したものの、う~ん難しいぞと。

いきなりKVMを突っ込むか?っていうのは検討必須。
Bridge接続前提として考えた場合、KVMとOpenVPNの共存は要検証だし。

フェーズを別けて考えるか。
あと、内向けと外向けのサービス精査は重要。

2は勝手に入って、3は必須でも、4の一部は必須じゃない部分もある。

5のVNCは微妙(^^;
但し、KVMを突っ込むならVNCが無いと、Win系OS起動直後の設定がやや難になるし。
んまぁ、Win系OSのテンプレートを作っておいて、IPをFIXして、
RemoteDesktopを稼動させておけば、いけるかなぁ。
virt-managerをこっちに引っ張れればとも考えつつ、ClientOSがWin前提なので、
心が折れてVMWSで妥協ってことも有りうる(笑)

さらに微妙なのが、5のasterisk。
個人的にはもういらないかな?感はあるのだが、
おかん曰く
 早く電話直してよ
とのこと。

悩むな。

trunkしてぇ~。

[PR]
by mdesign21 | 2009-12-23 08:51 | IT系

知らなかったよ

久石譲=Quincy Jonesから、もじったらしい。

オレだけか、、、知らなかったよ。


最近のお気に入りは、「Orianthi」

「This is IT」最高!

えぇ、ミーハーなもんで(^^;


とはいえ、試験勉強は粛々と進めておりますが、

知らなかったついでにもう一つ。

ab(ApacheBench)コマンドなんて知らなかったよ。

それと、LILOがやたらと登場する反面、GRUBが登場しないのが「?」です。


別件でvSphereを獲りに行くらしいが、静観する宣言をしておいたw

どの程度のレベルが要求されるのか?不明なので。

ある程度見えてきた段階で、喰っていこうかなと。

いずれにせよ、喰わされることになるから、焦る必要は無い。

それよりも、
 「満を持して出撃し、総力を挙げて一気にケリを着ける。」
って形にもっていきたい。

そのために自主トレメニューを強化しておこうかなと。

ブルペンで終わるかも?しれないけど(笑)

[PR]
by mdesign21 | 2009-12-22 03:06 | Diary

Sector/Sphere


Sector/Sphere
http://sector.sourceforge.net/

Hadoopと比較して(Hadoop→Sector)、
 ・TeraSortベンチマークで2倍(2889sec→1265sec)
 ・Malstoneベンチマークで桁違い(454min→33min)
の速さらしい。

加えて、
 ・データ容量が大きくなればなるほど差が大きくなる。
   ex. 6675sec→1526sec,840min→43min
 ・異なるロケーション間での処理にも充分耐えられる。
   HadoopはMaster&SlaveやSlave&Slave間の遅延に弱い。
らしい。
(その他、詳細な違いは割愛)

本当か?ウソか?は、この目で確かめていないから、
何とも言えんけど、とてつもなく心を揺さぶられる。

「どういう仕組みでこういう結果を出せるんですか?」っていうところが
見たくて、知りたくて、いじりたくて仕方ない。

けど、悔しいのは、
 確かめる術はある
のに、
 オレには確かめるスキルが無い
ってこと。

だってさ、
 「複数のLogファイルからホスト名とIPアドレスを引っこ抜く、
  Pealスクリプトなら書ける程度のスキルじゃダメっすか?」
なんて、言えないじゃん(笑)

オレはNWエンジニアだ。

「職種が違う」といった言い訳は抜きにして、
「エンジニア」と謳っていても、
「所詮この程度なんだ」と思うと居た堪れない。

もしオレに動く理由(ワケ)が必要ならば、
これは充分過ぎるほどの理由になっていると思う。

[PR]
by mdesign21 | 2009-12-18 00:06 | IT系

2つ目のゴリゴリ Hadoop複数台構成

Hadoopの複数台構成による動作確認をしてみたw

サンプルPGのWordcountなんだけどね(^^;
Mapする際のファイル容量103MBのtxtファイルをPerlで生成した。

んで、Slave機を1台づつ3台まで増やしたときの時間を確認。

Slave1台目=1分23秒
Slave2台目=49秒
Slave3台目=1分2秒

3台目よりも2台目の方が早いのは、ご愛嬌か(笑)

ちなみに、Master&Slave機はいずれもVMWS2.0上の仮想OS(CentOS54x64)です。

なので、物理的な絶対リソース(CPU&メモリなど)は変わらず、
単純にSlave機の台数増にて処理速度が向上していると理解できる。

さすがというか?
話題通りというか?

今度は1GBのtxtファイルと5台くらいのSlave機でやってみたいかな。


[root@nm01 ~]# hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount inputs outputs
09/12/13 18:06:32 INFO input.FileInputFormat: Total input paths to process : 1
09/12/13 18:06:32 INFO mapred.JobClient: Running job: job_200912131758_0003
09/12/13 18:06:33 INFO mapred.JobClient: map 0% reduce 0%
09/12/13 18:06:51 INFO mapred.JobClient: map 5% reduce 0%
09/12/13 18:06:54 INFO mapred.JobClient: map 6% reduce 0%
09/12/13 18:06:57 INFO mapred.JobClient: map 12% reduce 0%
09/12/13 18:07:00 INFO mapred.JobClient: map 19% reduce 0%
09/12/13 18:07:03 INFO mapred.JobClient: map 25% reduce 0%
09/12/13 18:07:07 INFO mapred.JobClient: map 33% reduce 0%
09/12/13 18:07:10 INFO mapred.JobClient: map 38% reduce 0%
09/12/13 18:07:13 INFO mapred.JobClient: map 43% reduce 0%
09/12/13 18:07:16 INFO mapred.JobClient: map 48% reduce 0%
09/12/13 18:07:19 INFO mapred.JobClient: map 55% reduce 0%
09/12/13 18:07:22 INFO mapred.JobClient: map 60% reduce 0%
09/12/13 18:07:25 INFO mapred.JobClient: map 65% reduce 0%
09/12/13 18:07:28 INFO mapred.JobClient: map 73% reduce 0%
09/12/13 18:07:31 INFO mapred.JobClient: map 82% reduce 0%
09/12/13 18:07:34 INFO mapred.JobClient: map 90% reduce 0%
09/12/13 18:07:38 INFO mapred.JobClient: map 100% reduce 0%
09/12/13 18:07:53 INFO mapred.JobClient: map 100% reduce 100%
09/12/13 18:07:55 INFO mapred.JobClient: Job complete: job_200912131758_0003
09/12/13 18:07:55 INFO mapred.JobClient: Counters: 17
09/12/13 18:07:55 INFO mapred.JobClient: Job Counters
09/12/13 18:07:55 INFO mapred.JobClient: Launched reduce tasks=1
09/12/13 18:07:55 INFO mapred.JobClient: Launched map tasks=2
09/12/13 18:07:55 INFO mapred.JobClient: Data-local map tasks=2
09/12/13 18:07:55 INFO mapred.JobClient: FileSystemCounters
09/12/13 18:07:55 INFO mapred.JobClient: FILE_BYTES_READ=1738984
09/12/13 18:07:55 INFO mapred.JobClient: HDFS_BYTES_READ=106208077
09/12/13 18:07:55 INFO mapred.JobClient: FILE_BYTES_WRITTEN=1799550
09/12/13 18:07:55 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=38346
09/12/13 18:07:55 INFO mapred.JobClient: Map-Reduce Framework
09/12/13 18:07:55 INFO mapred.JobClient: Reduce input groups=1815
09/12/13 18:07:55 INFO mapred.JobClient: Combine output records=45141
09/12/13 18:07:55 INFO mapred.JobClient: Map input records=5060900
09/12/13 18:07:55 INFO mapred.JobClient: Reduce shuffle bytes=60502
09/12/13 18:07:55 INFO mapred.JobClient: Reduce output records=1815
09/12/13 18:07:55 INFO mapred.JobClient: Spilled Records=78157
09/12/13 18:07:55 INFO mapred.JobClient: Map output bytes=155807080
09/12/13 18:07:55 INFO mapred.JobClient: Combine input records=13775130
09/12/13 18:07:55 INFO mapred.JobClient: Map output records=13732600
09/12/13 18:07:55 INFO mapred.JobClient: Reduce input records=2611
[root@nm01 ~]#


[root@nm01 ~]# hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount inputs outputs
09/12/13 19:16:15 INFO input.FileInputFormat: Total input paths to process : 1
09/12/13 19:16:15 INFO mapred.JobClient: Running job: job_200912131907_0002
09/12/13 19:16:16 INFO mapred.JobClient: map 0% reduce 0%
09/12/13 19:16:30 INFO mapred.JobClient: map 9% reduce 0%
09/12/13 19:16:31 INFO mapred.JobClient: map 22% reduce 0%
09/12/13 19:16:33 INFO mapred.JobClient: map 27% reduce 0%
09/12/13 19:16:34 INFO mapred.JobClient: map 37% reduce 0%
09/12/13 19:16:36 INFO mapred.JobClient: map 43% reduce 0%
09/12/13 19:16:37 INFO mapred.JobClient: map 54% reduce 0%
09/12/13 19:16:39 INFO mapred.JobClient: map 59% reduce 0%
09/12/13 19:16:40 INFO mapred.JobClient: map 70% reduce 0%
09/12/13 19:16:42 INFO mapred.JobClient: map 75% reduce 0%
09/12/13 19:16:43 INFO mapred.JobClient: map 82% reduce 0%
09/12/13 19:16:45 INFO mapred.JobClient: map 88% reduce 0%
09/12/13 19:16:47 INFO mapred.JobClient: map 95% reduce 0%
09/12/13 19:16:50 INFO mapred.JobClient: map 100% reduce 0%
09/12/13 19:16:52 INFO mapred.JobClient: map 100% reduce 16%
09/12/13 19:17:02 INFO mapred.JobClient: map 100% reduce 100%
09/12/13 19:17:04 INFO mapred.JobClient: Job complete: job_200912131907_0002
09/12/13 19:17:04 INFO mapred.JobClient: Counters: 17
09/12/13 19:17:04 INFO mapred.JobClient: Job Counters
09/12/13 19:17:04 INFO mapred.JobClient: Launched reduce tasks=1
09/12/13 19:17:04 INFO mapred.JobClient: Launched map tasks=2
09/12/13 19:17:04 INFO mapred.JobClient: Data-local map tasks=2
09/12/13 19:17:04 INFO mapred.JobClient: FileSystemCounters
09/12/13 19:17:04 INFO mapred.JobClient: FILE_BYTES_READ=1738984
09/12/13 19:17:04 INFO mapred.JobClient: HDFS_BYTES_READ=106208077
09/12/13 19:17:04 INFO mapred.JobClient: FILE_BYTES_WRITTEN=1799550
09/12/13 19:17:04 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=38346
09/12/13 19:17:04 INFO mapred.JobClient: Map-Reduce Framework
09/12/13 19:17:04 INFO mapred.JobClient: Reduce input groups=1815
09/12/13 19:17:04 INFO mapred.JobClient: Combine output records=45141
09/12/13 19:17:04 INFO mapred.JobClient: Map input records=5060900
09/12/13 19:17:04 INFO mapred.JobClient: Reduce shuffle bytes=60502
09/12/13 19:17:04 INFO mapred.JobClient: Reduce output records=1815
09/12/13 19:17:04 INFO mapred.JobClient: Spilled Records=78157
09/12/13 19:17:04 INFO mapred.JobClient: Map output bytes=155807080
09/12/13 19:17:04 INFO mapred.JobClient: Combine input records=13775130
09/12/13 19:17:04 INFO mapred.JobClient: Map output records=13732600
09/12/13 19:17:04 INFO mapred.JobClient: Reduce input records=2611


[root@nm01 ~]# hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar wordcount inputs outputs
09/12/13 19:03:25 INFO input.FileInputFormat: Total input paths to process : 1
09/12/13 19:03:26 INFO mapred.JobClient: Running job: job_200912131901_0001
09/12/13 19:03:27 INFO mapred.JobClient: map 0% reduce 0%
09/12/13 19:03:46 INFO mapred.JobClient: map 6% reduce 0%
09/12/13 19:03:48 INFO mapred.JobClient: map 19% reduce 0%
09/12/13 19:03:49 INFO mapred.JobClient: map 24% reduce 0%
09/12/13 19:03:52 INFO mapred.JobClient: map 30% reduce 0%
09/12/13 19:03:54 INFO mapred.JobClient: map 40% reduce 0%
09/12/13 19:03:55 INFO mapred.JobClient: map 46% reduce 0%
09/12/13 19:03:57 INFO mapred.JobClient: map 56% reduce 0%
09/12/13 19:04:00 INFO mapred.JobClient: map 79% reduce 0%
09/12/13 19:04:03 INFO mapred.JobClient: map 84% reduce 0%
09/12/13 19:04:06 INFO mapred.JobClient: map 89% reduce 0%
09/12/13 19:04:09 INFO mapred.JobClient: map 95% reduce 16%
09/12/13 19:04:12 INFO mapred.JobClient: map 100% reduce 16%
09/12/13 19:04:25 INFO mapred.JobClient: map 100% reduce 100%
09/12/13 19:04:27 INFO mapred.JobClient: Job complete: job_200912131901_0001
09/12/13 19:04:27 INFO mapred.JobClient: Counters: 17
09/12/13 19:04:27 INFO mapred.JobClient: Job Counters
09/12/13 19:04:27 INFO mapred.JobClient: Launched reduce tasks=1
09/12/13 19:04:27 INFO mapred.JobClient: Launched map tasks=2
09/12/13 19:04:27 INFO mapred.JobClient: Data-local map tasks=2
09/12/13 19:04:27 INFO mapred.JobClient: FileSystemCounters
09/12/13 19:04:27 INFO mapred.JobClient: FILE_BYTES_READ=1738984
09/12/13 19:04:27 INFO mapred.JobClient: HDFS_BYTES_READ=106208077
09/12/13 19:04:27 INFO mapred.JobClient: FILE_BYTES_WRITTEN=1799550
09/12/13 19:04:27 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=38346
09/12/13 19:04:27 INFO mapred.JobClient: Map-Reduce Framework
09/12/13 19:04:27 INFO mapred.JobClient: Reduce input groups=1815
09/12/13 19:04:27 INFO mapred.JobClient: Combine output records=45141
09/12/13 19:04:27 INFO mapred.JobClient: Map input records=5060900
09/12/13 19:04:27 INFO mapred.JobClient: Reduce shuffle bytes=60502
09/12/13 19:04:27 INFO mapred.JobClient: Reduce output records=1815
09/12/13 19:04:27 INFO mapred.JobClient: Spilled Records=78157
09/12/13 19:04:27 INFO mapred.JobClient: Map output bytes=155807080
09/12/13 19:04:27 INFO mapred.JobClient: Combine input records=13775130
09/12/13 19:04:27 INFO mapred.JobClient: Map output records=13732600
09/12/13 19:04:27 INFO mapred.JobClient: Reduce input records=2611

[PR]
by mdesign21 | 2009-12-13 19:28 | IT系

1つ目のゴリゴリ

117-201=Pass!

500/800(合格点/満点)で、570でした。

ちょ~~~、ヤバかった。

試験でこんなに泣かされそうな思いをしたのは、初めてだよ(涙)

2つ目は概ね目処がたったから、あとは粛々とやるだけかな。

ポイントはホスト名に「.」を入れるな!ってところ。
ドメインの区切り文字のような誤認識をされちゃうっぽい。

[PR]
by mdesign21 | 2009-12-12 12:39 | IT系

Agility

自分へのスローガンかな。

最近、劇的にKHQが変化しててね。

NASが必要!と判断した。

なので、今年の自分へのご褒美を兼ねて、再びポチっちゃったw

だって、その辺のNASを買うぐらいなら、
ポチっちゃった方が良いだもん、どう考えても。

静音性については、KHQが劇的に変化してるので、また今度レビューするぜ!

電力については、MyGoodSolutionが見つかったので問題無し。

あとはサービス方法だね。

今週末は117-201とClouderaHadoopで、ゴリゴリいくぜ!

[PR]
by mdesign21 | 2009-12-11 01:28 | IT系

ESX4.0 iSCSI boot

ひょんなことから、ESX4.0でiSCSI bootをしようってことになったw

結論:今は無理!
理由:ドライバが。。。

現在使用中のNIC=EXPI9301CTには、82547Lが実装されている。

んで、82547LのRomを書き換えて、iSCSI Hardwareイニシエータを稼動させ、
iSCSIターゲット内のディスクを認識するところまでは成功した。

具体的には、ML115G5の起動中にCtl+Dをして、
EXPI9301CTのiSCSI Hardwareイニシエータ設定画面を出す。
必要な項目を諸々設定(※)し、元の画面に戻すと、
iSCSIターゲット内のディスクを認識した。
 ※
 iSCSIターゲット&イニシエータの設定ができる人なら、
 とりわけ難しい設定項目は無いので省略。

上記の状態で、ML115G5からHDDを抜く。

んでもって、ESXインストCDを入れてReboot。

ESXのインスト画面を進めていくのだけど、
iSCSIターゲット内のディスクを認識してくれない(涙)

よく考えれば当然なんだが、ドライバがねぇ。

な~んだ!そんなことか!と、VM社のサイトを物色。

82547Lチップ=e1000eドライバ
82575 or 82576チップ=igbドライバ

ってことで、そもそも違うっぽい。

ダメ元で、igbドライバをDLし、ESXインスト中にigbドライバを読み込ませたが、
案の定、iSCSIターゲット内のディスクを認識してくれない。

やはりアーキテクチャが違うのだろうと妙に納得してしまう。

ちなみに、82576チップが実装されたNICを物色したところ、
E1G42ETってのがあるっぽい。

2万円以下でゲットできそう。

でもさぁ、ML115G5に4つもNICを搭載してどうすんの?感は否めない。

決して2万円が惜しいわけではないんだが、無理にゲットする必要もない気がする。

E1G42ETを搭載させたところで、iSCSIbootできる保障はどこにもないし。。。

んまぁ、これは時間が解決してくれるだろう!(※)ってことで、
一時保留とすることにしましたw
 ※
 失敗しても痛くない(良い勉強代と思える)値段に下がるまで待つってこと。

例えば、数十万円でStorageをゲットしている状態で、
2万円ケチるな!ってことならば、わからなくもないが、
1台5~6万円の鯖に2万のNICを突っ込むか?ってことになると、
なんだかなぁ~という感じなわけです。

CPUより高いNICだろ?ってな感じw

ちなみにちょっと補足すると、82547Lでも、
ESXではなく、普通のWin鯖(F6起動)なら、
Intel純正のiSCSI対応ドライバをインスト時に読み込ませれば、
iSCSI bootは可能になる。

もちろん、LinuxでもGrub上でコンパイルしてあげればOKっぽい。

実際にiSCSIターゲット内のディスクを認識したときに
パケットキャプチャしたんだけど、通常のiSCSIシーケンスが確認できたw

普通のIntel NICがHBAのように動作してくれたのには少々感動したw

だけど、こっちはあんまり興味がないのでスルー。

ただ、興味がある人なら、82547Lは4000円でお釣価格なため、
良いお勉強になること間違いなし!

[PR]
by mdesign21 | 2009-12-05 03:47 | IT系