先日起こったループ障害

日曜日に計画停電があった次の日の話で、よくある復電後の障害です。
ｇｄｇｄと書いてあるので読まなくてもおｋ。

朝10時頃、HUBの電源が入らないと連絡が入った。
行ってみると確かに電源が入っていないのでHUBを交換して完了。

その後特にネットワークに接続できない等の問い合わせも入ってないのでこれで終了かと思いきや、
停電のあった建物のL3スイッチに大量のspoofing attackログが吐かれているのを発見。
あれ～～？復電後にログ見た時は何も出てなかったのに。

ログは以下のものが秒単位で出力されてました。
11/17/2008 10:06:36.28 <Crit:IPHS> Possible spoofing attack from 00:04:96:xx:xx:xx, port 8

上のログのMACアドレスからPC特定すればいいじゃんと思いますが、
このMACアドレスはL3スイッチのものなので意味なし。

今分かることはport8に接続されているネットワーク内でループが起こっているであろうというだけ。
なので1つ1つHUBを目視しながらループさせてるLANケーブルが無いか見るしかありません。

早速OPTI VIEWを持って現場に行き、計測しまくる俺。
まあ、OPTI VIEWじゃループは検出できないんですが。（それでも原因切り分けには必須）

まず最初に目を付けたのがHUBを交換した部屋。
計測したが特に異常なし。
LANケーブルも全て追いましたがフロアHUBへの元線とPCとの接続のみでループなし。

しかし、別の島で計測したHUBからはVLANが2種類検出されることが分かりました。
普通1つのVLANしか検出されないはずなのに。

このことから、どこかのHUBで別のVLANのLANケーブルが混ざっていることが確定。
あとは見つけるだけですが、それが大変なんです。

他の島HUBも同様にLANケーブルの接続先を追っていきます。
（これらの情報は全て紙に書いておきます。）

次にこの階をまとめている大元のフロアHUBを計測。
やはり計測するごとに検出されるVLANが変わるｗ
絶対におかしいｗ

その部屋も全てのHUBの接続機器を調査しましたが問題なし。
そしてまた別の部屋のHUBを調査・・・。
これを繰り返していくうちにあっという間に定時が過ぎました＾ｐ＾；

思い切ってフロアHUBのLANケーブルを挿し直したり電源のOFF/ONをしましたが解消されず。

しょうがないので継続してHUBの接続先を調査。
ようやくループの原因と思われるLANケーブルを発見。

フロアHUBから出ているLANケーブルが2本ともこのHUBに接続されているｗ
ようやく終わる、、、と安堵のため息をつきながらLANケーブルを抜きました。

すると、別の島の人たちがネットワークに繋がらない！と叫び始めました。
もう正直ｵﾜﾀ＼(＾o＾)／と思いましたｗ

なんでループを解消したら別の島のネットワークが繋がらなくなるんだと小一時間。
ループ起こしてたHUBとカスケードもしてない島のHUBですよ？

すぐに別の島の人たちのHUBを見てみる。
別にエラーランプも付いてないし、問題なさそう。

OPTI VIEW計測するとVLANが検出されない。
さっきまで使えてたのにな～。

元線のタグを確認し、フロアHUBのポートがリンクアップしているか見る。
普通にリンクアップしてる・・・。
cable testしても問題なし、HUBの電源を入れなおしてもダメ。

となるとあれか、大元のフロアHUBが故障してるのか。
しかも全体の故障じゃなくてポート単位で。

まさかと思いましたがこれ以上何も思いつかないのでフロアHUBを交換してみました。

繋がった／(＾o＾)＼

おそらくフロアHUBのポート単位の故障に加えて、HUB内のMACテーブルも破損していた模様（？）
今となっては何が根本的な原因なのか分かりません。

ただ、ループの原因のLANケーブルは停電前から接続していたはずです。
なぜ今まで問題にならなかったのか？

それは、フロアHUBの1つのポートだけが故障していたんだろうと思います。

停電の影響によってフロアHUBの電源がOFF/ONすることでポートが復活する。
たまにあるんですよねこういうことが。

HUBのフリーズとか一部分だけの故障って見た目問題なさげなので見つけるのが大変＞＜

まあ、色々とありましたが何とか障害は復旧したわけであります。
めでたしめでたし。



最後に1つ。
ループの障害発生源を特定できるアナライザが欲しいですｗ
だけど高いから予算が下りないのは目に見えてる＼(＾o＾)／