忍者ブログ
Kossyの生活・仕事・ゲームのブログです^p^ 最近はFPSよりも音ゲーに熱を上げています
日曜日に計画停電があった次の日の話で、よくある復電後の障害です。
gdgdと書いてあるので読まなくてもおk。

朝10時頃、HUBの電源が入らないと連絡が入った。
行ってみると確かに電源が入っていないのでHUBを交換して完了。

その後特にネットワークに接続できない等の問い合わせも入ってないのでこれで終了かと思いきや、
停電のあった建物のL3スイッチに大量のspoofing attackログが吐かれているのを発見。
あれ~~?復電後にログ見た時は何も出てなかったのに。


ログは以下のものが秒単位で出力されてました。
11/17/2008 10:06:36.28 <Crit:IPHS> Possible spoofing attack from 00:04:96:xx:xx:xx, port 8

上のログのMACアドレスからPC特定すればいいじゃんと思いますが、
このMACアドレスはL3スイッチのものなので意味なし。

今分かることはport8に接続されているネットワーク内でループが起こっているであろうというだけ。
なので1つ1つHUBを目視しながらループさせてるLANケーブルが無いか見るしかありません。

早速OPTI VIEWを持って現場に行き、計測しまくる俺。
まあ、OPTI VIEWじゃループは検出できないんですが。(それでも原因切り分けには必須)

まず最初に目を付けたのがHUBを交換した部屋。
計測したが特に異常なし。
LANケーブルも全て追いましたがフロアHUBへの元線とPCとの接続のみでループなし。

しかし、別の島で計測したHUBからはVLANが2種類検出されることが分かりました。
普通1つのVLANしか検出されないはずなのに。

このことから、どこかのHUBで別のVLANのLANケーブルが混ざっていることが確定。
あとは見つけるだけですが、それが大変なんです。

他の島HUBも同様にLANケーブルの接続先を追っていきます。
(これらの情報は全て紙に書いておきます。)

次にこの階をまとめている大元のフロアHUBを計測。
やはり計測するごとに検出されるVLANが変わるw
絶対におかしいw

その部屋も全てのHUBの接続機器を調査しましたが問題なし。
そしてまた別の部屋のHUBを調査・・・。
これを繰り返していくうちにあっという間に定時が過ぎました^p^;

思い切ってフロアHUBのLANケーブルを挿し直したり電源のOFF/ONをしましたが解消されず。

しょうがないので継続してHUBの接続先を調査。
ようやくループの原因と思われるLANケーブルを発見。

フロアHUBから出ているLANケーブルが2本ともこのHUBに接続されているw
ようやく終わる、、、と安堵のため息をつきながらLANケーブルを抜きました。

すると、別の島の人たちがネットワークに繋がらない!と叫び始めました。
もう正直オワタ\(^o^)/と思いましたw

なんでループを解消したら別の島のネットワークが繋がらなくなるんだと小一時間。
ループ起こしてたHUBとカスケードもしてない島のHUBですよ?

すぐに別の島の人たちのHUBを見てみる。
別にエラーランプも付いてないし、問題なさそう。

OPTI VIEW計測するとVLANが検出されない。
さっきまで使えてたのにな~。

元線のタグを確認し、フロアHUBのポートがリンクアップしているか見る。
普通にリンクアップしてる・・・。
cable testしても問題なし、HUBの電源を入れなおしてもダメ。

となるとあれか、大元のフロアHUBが故障してるのか。
しかも全体の故障じゃなくてポート単位で。

まさかと思いましたがこれ以上何も思いつかないのでフロアHUBを交換してみました。

繋がった/(^o^)\

おそらくフロアHUBのポート単位の故障に加えて、HUB内のMACテーブルも破損していた模様(?)
今となっては何が根本的な原因なのか分かりません。

ただ、ループの原因のLANケーブルは停電前から接続していたはずです。
なぜ今まで問題にならなかったのか?

それは、フロアHUBの1つのポートだけが故障していたんだろうと思います。

停電の影響によってフロアHUBの電源がOFF/ONすることでポートが復活する。
たまにあるんですよねこういうことが。

HUBのフリーズとか一部分だけの故障って見た目問題なさげなので見つけるのが大変><

まあ、色々とありましたが何とか障害は復旧したわけであります。
めでたしめでたし。



最後に1つ。
ループの障害発生源を特定できるアナライザが欲しいですw
だけど高いから予算が下りないのは目に見えてる\(^o^)/

拍手[4回]

PR

Comment
Name
Title
Mail
URL
Comment
Pass   Vodafone絵文字 i-mode絵文字 Ezweb絵文字
無題
申し訳ございませんが、私に機器購入決定権は無いですしBlog上でのことなので
コメントは差し控えさせていただきます。
Kossy 2011/05/11(Wed)06:57: 編集
記事偶然読みました
記事偶然読みました。弊社のL2スイッチをご利用いただければ、無償で付属するGUI上でループの発生しているポートが確認できます。

またDoS攻撃などが発生していると、それも自動的に検出、攻撃パケットのみを遮断します。もしご興味があればと思いメッセージ残させていただきました。
Shawn URL 2011/05/10(Tue)23:16: 編集
この記事へのトラックバック
この記事にトラックバックする:
[118] [117] [116] [115] [114] [113] [112] [111] [110] [109] [108
«  Back :   HOME   : Next  »
カウンター
カレンダー
09 2017/10 11
S M T W T F S
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31
プロフィール

[Author] Kossy
[Steam_ID] Kossy

定時帰りどっかいった(゚-゚)

最新コメント
[07/17 Kossy]
[07/17 カサハンラ]
[09/04 Kossy]
[09/03 おちんちん]
[08/04 testes]
[08/03 Kossy]
[08/02 testes]
マシンスペック

【メインPC】
[OS] Windows10 Pro 64bit
[CPU] Core i7-4790K @4GHz
[MEM] 16GB
[VGA] NVIDIA GeForce 970GTX
[マウス] DEATHADDER CHROMA
[PAD] SteelSeries Dex Gaming
[キーボード] 似非Realforce

【Webサーバー機】
[OS] CentOS 7.2
[CPU] Core2DUO E7500 2.93GHz
[MEM] 6GB
[HDD] 150GB
ブログ内検索
バーコード
最新トラックバック
忍者ブログ [PR]