2022年3月28日

停電が発生した当日と翌日はオフィスには誰もおらず、オフィスに設置されたファイルサーバーにアクセスしなかったため、ファイルサーバーが停電に伴って止まってしまったことに気づいたのは翌々日でした。ファイルサーバ―にアクセスできないと連絡を受けて現地を訪問して状態を確認したところ、ネットワーク障害ではなく、サーバー機そのものが停止していました。ネットワーク障害やディスク障害であればサーバー自体は稼働しているのが普通ですが、問題のサーバーは完全に停止していたため、電源周りの障害が原因の可能性が高いことはすぐに当たりがつきました。恐る恐る電源ボタンをオンにすると何事もなかったかのように起動でき、ネットワークやディスクにも特段の障害はログを見ても見当たらず、何故停止していたのか原因がすぐには分かりませんでした。

さらにログを遡って確認したところ、システムが停止した時間帯のあたりはつきましたが、そういった不具合が発生する前にシステム停止を引き起こしそうなエラーもみあたらないため、考え込んでしまいました。しばらくして、地震で都内の一部が停電していたことを思い出し、あらためてログの時間帯と突き合わせ手みると地震が起きてから1時間半ほど経ってからであることに気づきました。停電が発生した地域を確認するとまさにオフィスのある地区で、復旧までにかなりの時間を要していました。停電発生以降は、サーバーに繋いであるUPSのバッテリーで電源が供給されたものの、バッテリーが切れてしまったために停電発生からしばらくしてからサーバーが停止してしまったのだろうと結論が出ました。

停電中のサーバーへの電源供給でいったんバッテリー切れを起こしたはずですが、その後の供給復活により充電が回復して、確認した時点ではUPSのバッテリー容量表示は100％だったためバッテリーが切れていたとは考えていませんでした。もともとこのUPSは長時間の停電対策というよりは、AC電源が不安定な場合に発生する瞬停や短時間の停電を回避することを主な目的としていたため、想定外の状況に対応しきれなかったわけです。

4年前の北海道の地震で全域ブラックアウトが起こった時点で、同じような事態を想定しているべきでしたが、今回はそれほど長時間の停電はなく地域も限られていたため、原因に思いいたるまでに時間がかかってしまいました。このシステムに関しては早々にUPSと連携して自動シャットダウンが可能なように調整する予定です。

2022年3月