前回の記事もあわせてご覧ください。
死ぬほど洒落にならないITインフラの怖い話、集めてみた「第5回」
第6話 さまようメール
これは、Aさんがとあるシステムのサポート業務を担当していた時の話です。
ある日、Aさんのもとに、ユーザーから1通の問い合わせメールが届きました。
件名は、
【緊急】システムが利用できません
本文には、システムへ接続できないことと、至急確認してほしいことだけが書かれていました。
しかし、原因は分かりません。
ネットワークなのか、サーバーなのか、アプリケーションなのか。
自分の担当範囲を確認しても、異常は見つかりませんでした。
困ったAさんは、先輩のBさんに相談します。
「この問い合わせ、どう対応すればいいでしょうか」
メールを見たBさんの表情が変わりました。
「お前……このメールを開いたのか？」
「はい」
Bさんは声を落として言いました。
「助かりたいなら、今すぐほかの人に転送しろ」
Aさんは、言われたとおりネットワーク担当へ転送しました。
しばらくすると、CCにメールが届きます。
＞＞ネットワークに異常はありません。
＞＞サーバー担当へご確認ください。
ネットワーク担当から、サーバー担当へ転送されたようです。
またしばらくすると、返信が届きました。
＞＞サーバーは正常です。
＞＞アプリケーション担当へご確認ください。
メールはアプリケーション担当へ転送されました。
＞＞アプリケーションに異常はありません。
＞＞ネットワーク担当へご確認ください。
メールは、再びネットワーク担当へ戻ってきました。
不安になったAさんは、Bさんに尋ねます。
「このままで大丈夫なんでしょうか」
Bさんは周囲を確認すると、声を落として話し始めました。
「昔、似たようなメールに最後まで対応しようとした先輩がいたんだよ……」
その先輩も、最初は原因を調べるだけのつもりだったそうです。
ところが、ログの採取、ユーザーへの聞き取り、関係部署との調整、ベンダーへの問い合わせ、進捗報告、復旧後の報告書作成まで、次々と作業を任されました。
気づけば、問い合わせを受けただけだったはずの先輩が、障害対応全体の責任者になっていました。
原因が分からないままタスクだけが増え続け、その先輩は長い間、問い合わせ対応に取り込まれてしまったといいます。
BさんはAさんの目を見て、静かに言いました。
「だから、助かりたいなら今すぐ転送しろ」
「このメールに向き合った者は、助からない」
いつしか、件名には無数の文字が付いていました。
Re: Fw: Re: Fw: Re:【緊急】システムが利用できません
それでも、誰も止めませんでした。
受け取った担当者は自分の範囲を確認し、異常がなければ次の担当者へ転送します。
誰も対応を拒否しているわけではありません。
誰も手順を間違えているわけでもありません。
ただ、誰もシステム全体を見ていませんでした。
メールは何度も転送されましたが、障害対応は一歩も進みませんでした。
担当者の間を移動していたのは、メールと責任だけだったのです。
そして、そのメールは今も次の担当者を探して、ネットワークの中をさまよい続けているといいます。
この怪異の正体：サイロ化した運用体制
危険度：★★★★☆
サーバー、ネットワーク、アプリケーション、クラウド、セキュリティなど、システムの担当が細かく分かれている運用現場では、実際に似た状況が起こります。
各担当者が自分の領域だけを確認し、問題がなければ次の担当へ引き渡す。
その結果、問い合わせへの返信や転送は増えているのに、根本原因の調査は進んでいないという状態が生まれます。
分業そのものが悪いわけではありません。
専門分野ごとに担当者を配置することは、安定したシステム運用に欠かせません。
問題は、それぞれの担当領域を横断して状況を判断する役割や、共通の情報基盤が存在しないことです。
ネットワーク担当にはネットワークの情報しか見えない。
サーバー担当にはサーバーの情報しか見えない。
アプリケーション担当にはアプリケーションの情報しか見えない。
この状態では、個々の担当者が正しく調査していても、システム全体で何が起きているのかを判断できません。
問い合わせを受けた担当者が最初に考えることも原因の特定ではなくなります。
そして、それらと向き合った善意の担当者は心を擦り減らすことになります。
その結果、これは誰の担当なのかと次に転送すべき窓口を探し始めるようになります。
問い合わせのたらい回しを防ぐために必要なのは、担当窓口を増やすことではありません。
重要なのは、ネットワーク、サーバー、アプリケーションなど、それぞれの担当者が持つ情報をつなぎ合わせ、システム全体で何が起きているのかを共通して確認できる状態をつくることです。
-
何が起きているのか
-
どこに影響が出ているのか
-
どのシステムが関係しているのか
-
次に誰が何を確認するのか
これらが見えるようになれば、「自分の担当範囲では異常なし」という確認だけで終わらず、原因に向かって調査を進めることができます。
この連載では、用途の分からないVM、運用を支配するルール、台帳から消えた機器、深夜2時の変更者、そして担当者の間をさまようメールなど、さまざまな怪異を紹介してきました。
一見すると別々の話ですが、共通しているのは「見えていないこと」です。
どんな機器が存在しているのか。
何と何がつながっているのか。
誰が管理しているのか。
いつ構成が変わったのか。
障害がどこから始まり、どこまで影響しているのか。
見えないものが増えるほど、IT環境で起きていることは怪奇現象のように見えてきます。
しかし、必要な情報を把握できれば、怪異に見えた事象も調査可能な問題へ変わります。
見えないものを見えるようにすること。
この連載で紹介してきた怪異に共通する対策は、実はそこにあります。
この連載の最初に、毎回こう書いていました。
サーバーは増えていく。
構成図は消えていく。
障害はなぜか金曜日に起きる。
そして誰も、何もしていないと言う。
しかし、
サーバーが増えたなら、検出する。
構成が変わったなら、記録する。
障害が起きたなら、影響範囲を確認する。
「何もしていない」と言われたなら、変更履歴を見る。
そうすれば、「原因不明の怪異」は「調査できる事象」に変わります。
ITの世界で本当に怖いのは、障害が起きることではありません。
何が起きているのか、誰にも見えていないことです。
横河レンタ・リースでは、ITインフラの「見えない」を「見える」に変える様々なサービスを提供しています。
「うちにも心当たりがあるかもしれない……」と思った方は、ぜひお気軽にご相談ください。
お問い合わせ (総合) | 法人向けパソコン (PC) ・計測器レンタルなら横河レンタ・リース
