イベントレポート
IIJ Technical DAY 2018
北海道がブラックアウト、そのときIIJは――
インターネット事業者のリアルな体験談と災害対策
2018年12月21日 06:05
株式会社インターネットイニシアティブ（IIJ）が11月22日、年次技術イベント「IIJ Technical DAY 2018」を開催した。その中から、3つの講演の模様をレポートする。
「IIJ Technical DAY 2018」記事一覧
「災害とインターネット」と題するパネルディスカッションでは、9月6日に北海道全域に停電を起こした地震（平成30年北海道胆振地方中等部を震源とする地震）を中心に、IIJの災害対応について、リアルな体験談から日頃の備えまで語られた。
パネリストは、小林努氏（サービス基盤本部副本部長）、藤井直人氏（サービス統括本部サービス運用企画部長）、太田良二氏（東日本事業部札幌支店技術課長）。また、堂前清隆氏（広報部副部長／技術広報担当）が司会進行を務めた。
そのとき、札幌オフィスは？
北海道の地震は、午前3時8分に起きた。札幌の太田氏は、寝ていたところ、地震で起きたという。
「会社から安否確認が来て、機材が壊れたりしていないということで安心しました。停電にはなっていましたが、一時的なものだと思って、また寝ました。しかし、朝起きたらエレベーターが動かない、街の信号が動いていない、オフィスの電気もつかない。そこでまず、復電したときに火災などにならないようブレーカーを全部落としました。」（太田氏）
一方、データセンターのサーバーは非常用電源に切り替わって無事に動いていた。そこで、データセンターから客先対応やメール対応などをした。客先でも、サーバーの電源は確保されていたものの、照明はついていなかったため、ヘッドランプで作業にあたったという。
「携帯電話は、当初はつながりました。しかし、局舎の電源がどんどん落ちていくにしたがって、次第につながらなくなっていきました。室内だとつながらないので、連絡するときは屋外に、といった具合です。ただし、なぜかデータセンター内はアンテナマークが3本立つ状態だったので、それで作業しました（笑）。」（太田氏）
平成30年北海道胆振地方中東部を震源とする地震の経過（2018年9月6日）
- 3時08分 北海道で震度6強
- 5時58分 北海道内全域で295万戸停電厚真の発電所がダウン
- 9時41分 道内9町の一部で固定電話が不通携帯もつながりにくく
- 9時43分 北海道新幹線、地震で全線運転見合わせ
- 10時13分 シャープ「停電時はブレーカーをオフに」
- 10時35分 道内の工場や物流、各地でストップ
- 11時21分 道内9町の一部で固定電話が不通 公衆電話を無料に
- 12時11分 旭川市総合防災センターに充電器
- 12時28分 KDDI「スマホをもたせる方法」
- 12時30分 「停電時は家電のプラグを抜いて」
- 12時46分 北海道の全域停電「完全復旧まで1週間以上」経産相
- 14時02分 北海道電力社長が会見「復旧に1週間以上」
- 14時53分 ドコモ「待受時間延ばせます」
- 15時01分 「携帯が4時間で使えなくなる」ネット情報、ドコモ否定
- 15時23分 札幌は都市機能まひ、渋滞にクラクション
- 15時39分 道内の公衆電話5800台の通話を無料にNTT東日本
朝日新聞：タイムライン「北海道で震度7」より抜粋
http://www.asahi.com/special/timeline/20180906-hokkaidojishin/
災害対策本部の大忙しの一日
一方、東京の藤井氏は、災害対策本部の本部長として対応に加わった。
「危機管理室のメンバーの家族がちょうどテニスの全米オープンを見ていて起きていたので、テロップで知って、起こしたそうです（笑）。その人が経営層に連絡したあとで私を起こしたので、まず社内のIRC（チャット）を見ました。すると、バックボーンオペレーターのメンバーはすでに待機していて、バックボーンや設備系は無事、ただしIIJからつながるお客様側で障害が起きていることが分かりました。まずは、そこまでの情報を経営層のメーリングリストに報告しました。
また、大規模障害対策本部のメンバーに私が指令を出しました。さらに、私のサブをしている者と分担して、データセンターチームに連絡して確認したり、サポートセンターのオペレーターのラインを増やしたりと対応して、そのあたりで4～5時ごろになりました。」（藤井氏）
「たまたま9月6日には取締役会が予定されていたので、そのための資料も用意しました。大きく分けて2つ、データセンターの非常用発電機の燃料がどれだけもつかということと、顧客の影響です。特に顧客については、自治体やメディア、公共機関など、災害対応に影響のあるところをリストアップしました。
さらに、お客様の仕事が始まる9時より前に一報として、非常用発電機で動いていることと、十分な燃料があるということの2点をアナウンスしました。」（藤井氏）
災害対策本部の対応（2018年9月6日）
- 3時08分 発災
- 3時30分ごろ 札幌DC、商用電源断、非常用発電機稼働
- 4時55分 社内向け第0報
- 7時00分ごろ 対策本部設置
- 8時17分 法人お客様向けアナウンス第1報
- 14時30分ごろ 札幌DC、商用電源回復
- 15時00分 札幌DC、商用電源回復アナウンス
セッション数と電力復旧のグラフはほぼ一致
なお、小林氏は「あとで資料になるかもしれない」と考え、このときのトラフィックと接続数のデータをとって、グラフを作った。
「地震とともに、トラフィックも接続数もドンと落ちています。ただし、ちょっとだけ生きているところがあって、これは非常用電源でつながっていたお客様です。フレッツ回線は生きていました。
朝になって対策するところが少しずつ出てきます。昼すぎになって電力が復旧し始めると、上がります。例えば、電力が落ちてもブロードバンドルーターのスイッチが入ったままにしてあったところでは、電力が復活すると勝手に起動して接続するというのがあります。それらも含め、セッション数のグラフは電力の復旧のグラフとほぼ一致することが分かりました。」（太田氏）
ユーザーからの問い合わせは、北海道ではユーザー自身が大変なので少なかった。ただし、北海道にWAN拠点がある企業からの問い合わせがあったという。
「北海道も電力や電話が復活してきて、我々がオフィスのブレーカーを上げたら、とたんに電話がかかってきました（笑）。質問としては、非常電源がもたないのでサーバーの落としかたを教えてくれ、といったものがありましたね。また、突然電力断となったので、サーバーやネットワーク機器がおかしくなったり壊れたりしたという相談も何件かありました。」（太田氏）
札幌の中でも、場所によって電力が復旧したタイミングはまちまちだったそうだ。
「IIJのオフィスは札幌駅の目の前にあって、翌日9時になって復旧しました。一方、データセンターは駅の反対側にあって、9月6日当日の14時に復旧しています。」（小林氏）
「私の自宅も近かったのですが、復旧したのは9月8日でした。札幌メンバーの中でいちばん遅かった人は、9月9日の夜までかかったそうです。」（太田氏）
大規模災害に備えたバックボーンネットワークの変更
ここから、過去・現在におけるIIJの災害への取り組みが紹介された。
堂前氏は、これまでIIJが遭遇した特に大きな災害として、1995年の阪神淡路大震災、2001年のアメリカ同時多発テロ事件、2011年の東日本大震災をピックアップした。
「阪神淡路のときは、我々（登壇者たち）は皆、IIJにいませんでしたが、当時、緊急で立ち上がったIIJの震災情報ページを発掘しました。どうやら、ネットニュースの情報を集めたもののようです。ちなみに、東日本大震災のときには自治体サイトなどのキャッシュサーバーを“超法規措置で”立ち上げて、そのときは阪神淡路大震災のときのページのことは知りませんでしたが、あとから知ると同じようなことを考えるのだなと思いました。」（堂前氏）
さて、IIJのようなISPでは、災害が起きてもネットワークが止まらないことが重要だ。中でもバックボーンネットワークがその要となる。
「災害で影響を受けないようにバックボーンのトポロジーを考えます。しかし、大丈夫だと思っていても、考慮していなかったところで障害が起きて、反省することになります。」（小林氏）
例えば、2011年時点のバックボーンを見ると、札幌や仙台などの回線が、東京の2カ所（大手町と渋谷）に収容されていた。この2カ所で同時に障害が起きることはないだろうという考えによるものだ。しかし、東日本大震災があったことにより、同じレベルの災害が東京に起きると、東京2カ所ではだめだと判断し、トポロジー変更に着手した。
「考えとしては、可能な限り離して冗長化するというもので、東京エリア、大阪エリア、名古屋エリアで分散しています。また、拠点間ルートも、太平洋ルートと日本海ルートとか、山陰と山陽とかいったように分散しています。昔はそういう指定が難しかったのですが、いまはキャリアに細かく指定できるようになりました。
海外も同じような考え方になっていて、東京が落ちても、大阪や名古屋から国際回線につながるようになっています。さらに、東回りルートと西回りルートでも冗長化しています。」（小林氏）
そのほか回線以外の設備、例えば認証システムなども東京と大阪で冗長化しているという。
災害対策の訓練を四半期に1回
社内横断のバーチャル組織である「災害対策本部」のヘッドクォーターも、東京と大阪とで分散されている。
「日をまたいで対応するような大災害のときには、大阪の第2災害本部で引き継ぎ、交代で休むことになっています。」（藤井氏）
東京と大阪のオフィスには、そのためのスペースが用意されているという。普段は会議などに使っていいが、必要なときは災害対策本部が最優先で使う。
「ここに情報を集約して、刻々と変化する状況に反射神経レベルのスピードで対応します。」（藤井氏）
四半期に1回、テーマを設けて訓練も行っている。
「技術系の訓練のほか、総務系などの災害訓練もしています。訓練では、地震の動画をスクリーンに映したり、時間の経過をカーテンを開け閉めして示したりと、できるだけ災害時の気持ちになるようなこともしています。」（藤井氏）
こうした災害対策は、障害対策にも結びつ付いている。もともと障害対策があり、そのノウハウをもとに、災害対策にも応用しているという。
「東日本大震災までは、災害と大規模障害などとで対応体制にあまり区別がありませんでした。しかし、災害では、社員の帰宅をどうするかといった要素も入ってきます。そこで、災害の対策本部があり、災害のときは障害対策本部がその一部として動く、というかたちに変えて訓練しています。」（小林氏）
パネルディスカッションの最後は、藤井氏が「災害対策本部は、とてもアドレナリンが出る仕事です」とまとめた。
「IIJ Technical DAY 2018」記事一覧
（協力：株式会社インターネットイニシアティブ）