イベントレポート

Internet Week 2017

がんばりすぎないルーティングとは? 日本人はギリギリ運用しすぎ?

2017年の経路障害のトレンドとBGPセキュリティ/DDoS対策の最新動向

 インターネットの技術研究・開発や構築・運用などに携わる人々がリアルで集い、最新情報を共有・議論するイベント「Internet Week 2017」が、11月28日から12月1日まで開催された。その中から、いくつかのセッションの模様をお伝えする。

 11月28日に開催されたセッション「今を知り今後に備える! ルーティングセキュリティ」では、BGPプロトコルで作られているインターネットのルーティングと、そこにおけるセキュリティに関する発表がなされた。

がんばりすぎないルーティング

松崎吉伸氏(株式会社インターネットイニシアティブ)

 株式会社インターネットイニシアティブ(IIJ)の松崎吉伸氏は、「変わらないものと変わるもの」という題で、海外のネットワークオペレーターの会議に参加したときの観光写真にからめて、ルーティングで考えるべきことを語った。結論は「本当にやりたいことは、パケットを届けること」だ。

 「僕たちが毎日何をやっているかというと、交通標識みたいなものを管理している」と松崎氏。

 最近では観光地などで皆が写真を撮ってSNSで共有している。その結果、同じような大容量データを皆で見ているので、チャットツールにキャッシュを導入したら画像や動画がヒットしてうまくいった、という声もあるという。「使い方が変わるとネットワークも変わる」と松崎氏は感想を述べた。

「交通標識みたいなものを管理している」
皆が写真を撮ってSNSで共有

 日本のウイスキーがいま世界で人気なのだという。しかし、高級ウイスキーを作るには何年も寝かす必要があるため、原酒の枯渇が起こっているのだそうだ。しかも、いま投資しても何年もたったころには事情が変わっているかもしれない。「IPv4の枯渇とその延命策も同じこと」と松崎氏。

 IPアドレスは、世界の地域ごとのRIR(Regional Internet Registry)が割り当てている。「皆にはIPv6を使うよう言っている。ただし、日本はようやくIPv6利用が始まったが、国によってはそれほど伸びていないところもある」と松崎氏。一方、例えばインドではこれからインターネットが伸びるため、IPv6が急速に伸びているのだという。

日本のウイスキー人気で原酒が枯渇
中南米のRIRであるLACNIC

 ただし、国によってインフラの事情が違う。例えばニュージーランドでは、インターネットのアクセス回線として、光ファイバーよりも無線を飛ばすことが多いという。また、米国との回線が細いため、大学の先生いわく「生徒がNetflixを見て帯域がふさがるので、キャッシュを置いたら研究用の通信が通るようになった」とのこと。「ルーティング的に遠いところは、キャッシュなどで工夫するしかない。ルーティングは夢の技術ではない」と松崎氏。

 松崎氏は、インドのタクシーが客の取り合いをしている写真や、アップルストアに人が群がっている写真を見せ、こうしたものをきっちり制御するのではないやり方で安くやれるのがインターネットのいいところだと語った。「細かいトラフィック制御をやりたくなるが、通信相手の制御になるため、BGPはあまり向いていない。それに依存しすぎると期待通りにいかない」と松崎氏。

ニュージーランドでは、塔との無線でインターネット接続
混雑をきっちり制御したくなるが……

 松崎氏は最後に「昼寝しながらでもできる運用をしたい。あまりルーティングでがんばらない」とまとめた。

Level3の経路リーク事件を追う

 コーダンスの小島慎太郎氏は、「2017年ルーティングアップデートと情報収集手段」と題して、2017年の経路障害のトレンドと、その中の1つのケースについて外部から調べた方法を解説した。

 小島氏によると、毎日、何かしらの経路障害が起こっており、経路リークとハイジャックは平均して1日に10件ほどあるという。

小島慎太郎氏(コーダンス)
毎日、何かしらの経路障害が起きている

 そこから小島氏は3つの例をピックアップした。1つめが、4月にロシアのRostelecomが金融系サービスへの経路を7分間ハイジャックしたケース。これについては専門家から、オペレーションミスという意見と、悪意があるという意見の両方があるという。

 2つめが、日本でも大きな問題になった8月のGoogleによる経路リーク(12分間)。内部的な経路が、グローバルにリークした。これについては、9万2000経路がリークしたことにより、RIBやFIBのテーブルがあふれたのが大きな騒ぎになったのではないかと小島氏は推測を語った。

 3つめが、11月のLevel3によるリーク。ケースとしてはGoogleの件と似ているが、Googleほどリークした経路数は多くなく、その一方で1時間半という比較的長時間続いたという。この件が日本であまり問題にならなかったのは、Googleの件ではテーブルがあふれたが、Level3の件ではあふれなかったのではないかと小島氏は述べ、日本人はギリギリ運用しすぎでは、と自戒として語った。

Rostelecomの経路ハイジャック(4月)
Googleの経路リーク(8月)
Level3の経路リーク(11月)

 続いて、このLevel3の件を外部から調査した方法を小島氏は解説した。目的は「何かあったときの影響を知って、どう対策するかを考える」とのこと。「今回大丈夫でも、次が大丈夫かを知りたい。『データがないので分かりません』から脱却したい」と小島氏。

 スタートは、この事件を報じた米「Tech Crunch」の記事だ。まず「PeeringDB」でLevel3のAS番号を調べ、BGP UpdateやRIBアーカイブを串刺し検索するサービス「BGP Stream」でLevel3からの経路広告を検索した。

米「TechCrunch」の記事からスタート
「BGP Stream」でLevel3らの経路広告を検索した

 そのままではデータ量が多すぎるので、時刻を絞る。これには、リークされる側とリーク先を決め打ちして広告経路数の変動を見ることにして、Pythonスクリプトでカウントした。これによって、特定時間の変動に特徴があることが分かった。

リークされる側とリーク先を決め打ちして広告経路数の変動を調べる
特定時間の変動に特徴があることが分かった

 続いて、その時間を深掘りして影響範囲を調べる。これはデータ量的にPythonでは処理が大変なので、データベースのPostgreSQLに入れ、PythonからSQLクエリを実行した。さらに、偶然その時間に正常なアップデートがあったものを除くために、ASの隣接関係をピアかトランジットか調べ、ピアのものをリークしたものとして、正しい影響範囲が推測できた。

決めた時間のBGP Updateで普段は存在しない経路を探す
集計結果
ASの隣接関係を調べる
RIPE BGPlayで影響を見える化

 小島氏はまとめとして、遠くで起こった経路障害でも何が起こったか推測することはできると述べ、「どういう理由で影響しなかったか、影響があった場合のインパクトはどうかといったリスク評価に使える」と語った。

BGPsecの最新動向

 一般社団法人日本ネットワークインフォメーションセンター(JPNIC)の木村泰治氏は「BGPにおけるセキュリティ技術の最新動向~適用範囲を知り今後に供える~」と題して、「RPKI(リソースPKI)」と、RPKIによってBGPの経路情報の正しさを確認する「BGPsec」の状況を解説した。

 JPNICのRPKIではこれまで独自のルートCAを使った“オレオレ証明書”状態だったという。最新動向としては、これが2017年8月からAPNICとつながり、世界から検証可能になったことが報告された。

木村泰治氏(一般社団法人日本ネットワークインフォメーションセンター)
JPNICのRPKIがAPNICとつながった

 BGPsecの最新動向としては、まずROA(RPKIで署名されたASの情報)の数はRIPE(欧州・北アフリカなどのRIR)地域が圧倒的に多いという。一方、NIR(国ごとのレジストリ)がある国では、NIRが始めないと使えないことから、厳しい状況にあるという。

 アジア太平洋地域では、APNICではReady to ROAキャンペーンが一段落。中国のCNNICでは6月ごろにRPKIシステムを提供開始したが、ただしAPNICとはつながっていない。ベトナムのVNNICでは、RPKIについて積極的にヒアリングしているところだという。

 JPNICは2015年3月から試験提供し、その後、前述のとおりAPNICとつながった。アドレスホルダーごとに発行される証明書の数が56で、発行されているROAは159。さらに、割り振られているIPアドレスに対してROAがカバーする範囲としては、IPv4が3.3%なのに対してIPv6が40%に上るという。これは、IPv6で巨大なアドレスを持っているところが登録したことによると木村氏は説明した。

RIRごとのROAの数
アジア太平洋地域の状況
JPNICの状況

 続いて、実装状況について木村氏は解説した。実装としては、オリジン検証とASパス認証の2種類があるという。

 木村氏は、リソースCAやROAキャッシュ、対応しているBGPルーターとソフトウェアルーター、ウェブブラウザーから確認するツールと、カテゴリーごとに実装を紹介した。

オリジン検証とASパス認証の2種類
リソースCAの実装
ROAキャッシュの実装
BGPルーターの対応(一部)
ウェブブラウザーから確認するツール

 次に標準化動向。IETF SIDR WGでは、リソース証明書検証の見直しなどについて議論しているという。また、IETF SIDROPS WGではSIDRWGから移管した部分について、TALファイルへの電子署名やRPの要件定義しなおしなどについて議論しているという。

標準化動向:IETF SIDR WG
標準化動向:IETF SIDROPS WG

 最後に、JPNICの経路情報データベース「JPIR」と、「経路奉行」について木村氏は解説した。JPIRは、JPNICの割り当てとは別に、割り当てなどを検証できるものだ。この使い方や、登録されている数、更新がないオブジェクトを削除するガーベジコレクターの仕組みについて木村氏は説明した。

 経路奉行は、JPIRRへ登録されたのと異なるOrigin ASを持つ経路情報を検知し、通知する仕組みだ。これについて、登録情報に追加する方法や、経路情報を提供している組織、活用するツールなどを木村氏は説明した。

「JPIRR」のサービス
「JPIRR」に登録されているオブジェクト数
「JPIRR」のガーベジコレクター
JPNIC「経路奉行」

BGPを利用したDDoS対策の動向

 西塚要氏(NTTコミュニケーションズ株式会社 )は、「DDoS対策最新動向」と題して、BGPを利用したDDoS対策を解説した。

 西塚氏は、DDoSの概要やその種類を概説した上で、DDoS対策手法について解説。DDoS対策は検知と防御の2段階からなる。DDoS対策サービスは、その片方のものや両方のものがあり、どのように組み合わせるかが重要だと西塚氏は説明した。

西塚要氏(NTTコミュニケーションズ株式会社)
検知と防御の2段階

 検知方法の調査結果としては、1位がNetflowで、以下、ファイアウォールのログやSNMPなどが続くという。

 また、防御方法は、緩和(Mitigation)、遮断、設備増強の3つに大きく分けられる。より細かい手法の導入数としては、まずMitigation装置が1位だという。攻撃トラフィックのみを識別して阻止するもので、その仕組み上いちどは全パケットを受けるため、ユーザーより上流の事業者に導入されるという。

 続いてはBlackhole Routing。これは、攻撃を受けている宛先IPアドレス向けのトラフィックを破棄するものだ。

DDoS検知方法のランキング
DDoS防御方法のランキング
Mitigation装置
Blackhole Routing

 そのほかの手法にはBGP Flowspecによる防御もある。注目されたのは新しいもので、BGP Flowspecを使ってフィルターや制限などをする。

 ACLによる防御は「意外と馬鹿にできない」と西塚氏は言いつつ、上流に設定を依頼すると時間がかかるという問題も指摘したた。また、WAFについても、ウェブサーバーに特化したDoS攻撃などで重要になってくるだろうと語った。ロードバランサーによる防御については、設備増強にあたり、力技だが実質上の効果はあるとコメントした。

BGP Flowspecによる防御
ACLによる防御
WAFによる防御
ロードバランサーによる防御

 これらの中から、BGPを利用したDDoS対策について西塚氏はピックアップした。これには、RTBH(Remotely Triggered Black-Hole Routing)、BGP Flowspec、BGPを利用したトラフィック引き込みがある。なぜBGPかというと、隣接ASに依頼するためだと氏は説明した。

 一部のトランジットASやIXは、顧客からのRTBH経路を受け入れているという。こうしたRTBHは、メリットとしては自ASに入る前に輻輳を避けられることがある。ただしデメリットとしては、自分のところへのパケットが止まっているため、攻撃が止まったかどうかの判断ができないことがあるという。

 また、「Selective RTBH」という手法もある。地域ごとや国ごとなどの特定エリアのみ破棄するものだ。この手法の事例としては、2016年4月の「国内の動画サイト」の例が紹介された。このサイトでは、外から見て、国外からは見られないが国内からは見られるという状態になったという。これにより、国外からのトラフィックを破棄するSelective RTBHが適用されたものと西塚氏は推測を語った。

BGPを利用したDDoS対策
隣接ネットワークにおけるRTBHサービス
Selective RTBH
Selective RTBHと推測された事例

 DDoS対策サービスについても解説がなされた。西塚氏はDDoS対策サービスをトランジット型、クラウド型、DNS型に分類。特にクラウド型の一般的な手法を紹介し、実際のサービスを分類してみせた。

DDoS対策サービスのクラウド型の手法
DDoS対策サービスの分類

 最後に、これからの対策について西塚氏は語った。1つめは、パケットフィルタリングのアウトソーシング。2016年のリオ五輪では500Gと1つのネットワークのキャパシティを超える攻撃もあったことから、アウトソーシングが必要だという。

 2つめは、セキュリティオートメーション(自動化)。5分攻撃して止めてを繰り返す「Pulse wave DDoS」などもあり、前述したようにACLをメールで依頼していては対応できないことから、自動化が重要だという。

 このときに、かたったものではない正しい防御依頼であることが重要になる。これについては、専用の依頼プロトコル「DOTS(DDoS Open THreat Signaling)」が検討されているという。DOTSについてはまだRFC化されていないが、西塚氏は「私がリファレンス実装した」という「go-dots」を紹介した。2017年のIETFハッカソンで2回、賞を受賞したという。

これからのDDoS対策2題
DDoS防御を依頼するDOTSプロトコル
西塚氏によるDOTS実装「go-dots」
「go-dots」の受賞実績

 西塚氏はまとめとして、DDoS対策でもルーティングセキュリティでも、事業者間の連携が重要なことを再度強調した。また、「新しい提案が次々と出ているので一緒に試しましょう」と呼び掛けた。