山形県基幹ネットワークが全面停止

日経コンピュータ2008.7.1、動かないコンピュータを読む。

原因は基幹ネットワークの根幹である県庁舎内のルーターからVLAN構成情報が消失してしまったことだった。
村山総合支庁にあるルーターの部品交換時に、必要な設定を怠るという初歩的なミスがデータ消失を招いた。
無効な設定情報が村山総合支庁のルーターから県庁舎内のルーターに同期されてしまい、大規模障害が起きた。

「基幹ネットワーク」ですか。そうですか。

NTT東日本-山形の担当者はドキュメントを見ながら、VLAN構成情報を再登録していった。1件1件は簡単なコマンドを入力する単純作業だが、何しろVLANは800以上もある。すべてが終わるまで5時間以上かかった。
これらはVLAN設定情報のデータをあらかじめ保存しておけば、短時間で済む作業。

基幹ネットワークの運用でこれは・・衝撃的。これって普通なの？障害復旧手順には「手打ちすること」って書いてあったのかな。笑えるんだけど。

お客さんの側も、意識を変えるか、ちゃんと予算つけてベンダーの作業内容がわかる人を雇うとかした方がいいんだろうな。「いやいや、そんないい人材なかなか現場にはこないんだ」とか、そんなこと言ってたら何もかわらないでしょ。