システムバスター 解決までの道のり
土曜日は辿り着いた解決方法の公表を急いだので経過を省略したが、問題を切り分けて解決法を見つける参考にもなるのでまとめてみる。なお、結果的に解決方法はトレンドマイクロ社発表のものと同じであったが、独自対処は諸刃の刃。当面のトラブルは回避できても、もっと大きな危機を呼び込む可能性も残る。実際、ある掲示板では「ウイルスバスターを停める」「アンインストールする」が最終解決として語られ、「それではウイルスに対して無防備になる」という指摘には罵声が飛ぶ有様。
現象
n階にある某部門の室長から「メールが動かない」と内線電話。ここから推測できる原因は、メールサーバの異常、アカウント管理の異常、アクセスライン(ISP)の異常、LANの異常、OSの異常、メーラの異常、ユーザの不具合...と多岐にわたる。LAN内の同じサーバを使うユーザに異変はなかったので、端末側の異常と判断して赴くと、同室の別マシンも動きがおかしいという。ただ、なぜか1台は正常稼動。
問題の切り分け
外側から攻めることにして、ネットワークへの接続を確認すると異常なし。つまりLAN内の他のマシンは見えるし、異常なトラフィックも生じていない。この操作で、重たいのはメーラだけでないことがわかったのでタスクマネジャーで負荷率を調べた。するとアプリケーションは何も動いていないのにCPU使用率が100%になっている。動いているプロセスは、と見ると「System」だけ。
当初、新型のワームあるいはトロイの木馬に感染した可能性も考慮したが、不審なプロセスは稼動しておらず、不審なパケットもないので除外。ただ、念のためシマンテックのサイトにつないでオンラインスキャンをかける(結果はシロ)。
「System」プロセスが暴走しているのが原因らしいが、再起動でも解消しないので、困ったときのセーフモードで起動する。するとCPU100%は解消する。
教訓
ユーザの訴えを鵜呑みにしてはいけない。問題はもっと底が深いことがある。この場合「メールがおかしい」ではなくて「パソコンがおかしい」だった。問題の広がりと範囲確定
某部門にある5台のPCのうち、4台がCPU100%障害に遭遇した。「一台だけ無事ということは、お前が犯人だ!」なんて馬鹿なことを言ってないで、少し詳しく他の4台との違いを追究していればもっと早く解決できたであろう。(後で判明したことだが、社屋内のPCは起動時にサーバからウイルスバスターの最新パターンファイルをダウンロードするところ、無事だったPCはサーバが悲劇のパターンファイル2.594(地獄よ)をダウンロードする前に起動していたのだ。)やがてn階以外でも動かないPCが報告される一方で、なんの問題も起きていないものもあることが判明する。W2Kは大丈夫なので、どうもXPが軒並みおかしいらしい、という意見が出る一方、実は筆者のXPは朝から順調なので、「それは違うのではないか」とか言ってるうちにいきなりCPU100%発生。orz これも後日の報道によれば、ウイルスバスターコーポレートエディションの場合、問題のパターンファイルに更新するとエクスプローラの起動などいくつかの操作がトリガとなって暴走するとのこと。症状の多彩さが混乱に拍車をかける。
やがておおっぴらには書けない事情でウイルスバスターが原因の可能性が浮上する。以前にもパターンアップしたらMS-Excelが動かなくなるなどの経験があったので、「もしそうならそろそろ修正版が出るころ」と最新パターン番号を調べると、2.596が出されている。
これまた以前の障害の経験を元に、クライアント側のパターンファイル(lpt$vpn.594)を削除してアップデートをかけると、見ん事に正常化。
教訓
条件が同じに見えるのに1台だけ無事ならば、「なぜ無事なのか」「その原因は」を徹底追究すること。そして仮説を立てたらそれを検証すること。
野戦病院と化す
事業所内の掃蕩が終わり、一安心したところで外部からの救援要請が舞い込み始める。この段階ではまだトレンドマイクロ社からはなんの発表もない。製品によって削除すべきファイルの存在場所が異なるので、電話をつなぎっぱなしにしてリアルタイムで状況を確認しながら操作指示。(後にトレンドマイクロ社が提供したツールもパターンファイルの場所を探し出すものらしい)
このとき、完全削除するか、万一に備えて隔離にとどめるかで迷う。会社の場合はより古いパターンの有無を確認できたし、必要とあればいくらでもコピーしてくる元があるが、1台しかない事務所のパソコンでウイルスバスターを無効化してしまうのはあまりにリスキー。その躊躇が間を取った「削除してください」という指示につながる。
そんな遠隔救援先の一人、勤務先の社長は自宅で遭難。当初「土曜でよかった。社長が出社していたら大変」と言っていたが、そうだよ自宅にもパソコンがあったのだ。なぜか激重と言いながらもメールが使え、メールでやり取りできたのは幸い。
「治りました。深謝。」という返信が来て15分後、「ウィルスバスターのパターン更新をしたところ再度同じ症状が現われましたのでセーフモードで596を削除したところ、復調しました。」という恐怖のメール。いったい何事だ? やはりゴミ箱に入れただけではだめなのか。急いでゴミ箱を空にするよう連絡。自信なさげに書いたせいか渋るので語気強く実行を要請。返事は来なかったが日記を見るとうまくいった模様。もう少しカッコ良く、優秀なスタッフみたいに書いてえな。賞与までは要求しないから(貰えるならいただきます)。
念のため電話サポートした相手にゴミ箱を空にするよう連絡したが、単純な削除だけで大丈夫な例もあった模様。VBのバージョンとか複雑な背景があるのかもしれない。
戦後処理
どう考えても全国的、全世界的な問題に発展する事象なので、少しでも経験が役に立つようblogで情報を公開した。第一報は12時を少し回ったころ。キーワードとして「WindowsXP」「ウイルスバスター」「CPU使用率が100%」「System」「0x8007043c」「動かない」を想定して文中に織り込む。それから情報収集に乗り出す。blogには生還者の証言が早くも乗り始めており、トレンドマイクロ社が対策ページを設けたことも発見。掲示板には辛くも携帯電話で辿り着いた難民があふれていた。8:30頃には早くもウイルスバスターが原因と突き止め対処法を記した書き込みも。
パソコンが1台しかない、あるいはXPでそろえていたところは全滅で、情報収集もままならず、復旧にてこずったことだろう。げにモノカルチャーは脆弱なり。管理は大変になるが、OSは複数、ウイルス対策も複数、ISPも複数、が必要かもしれない。少なくとも携帯電話での情報収集術は身につけておく必要があろう(PCと携帯電話とでは同じ「インターネット」といっても別世界の趣)。
週があけても情報は錯綜しており、「コーポレートエディションで障害が発生する可能性は著しく低い」などという記事も。経験にかんがみて著しく不同意。


Recent Comments