期待のネット新技術

HDRは好スタート、InfiniBandのこの先は?

【InfiniBandの現在】

 「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。

 そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。

「InfiniBandの現在」記事一覧

「InfiniBand HDR」の売上、2019年度は1億ドル増

 InfiniBandの話を長々と続けてきたが、ようやくほぼ現代にたどり着いた。こちらの回でも触れたように、2019年6月にMellanoxは、InfiniBand HDRに対応したHBAとスイッチ、ケーブルを発表しており、顧客への出荷も無事始まっている。

 そのInfiniBand HDR製品の立ち上がりもなかなか素晴らしい。2020年2月に公開された2019年度のForm 10-Kによれば、2019年度の売上は13億3058万ドルで、2018年度の10億8874万ドルから2割以上の増収だし、純利益は2億510万ドルで、2018年度の1億3426万ドルから5割以上もの増益になっている。

 この2018年度から2019年度への増収増益に少なからぬ貢献を果たしたと思われるのが、InfiniBand HDRとイーサネットである。売上は、InfiniBand HDR関連製品が1018万ドルから1億4213万ドルへ、イーサネット関連製品は6億1847万ドルから7億4390万ドルへ、それぞれ増えている。要は、InfiniBand HDRとイーサネットがそれぞれ1億ドルずつ増やした結果、売上が2億ドル強ほど増えた計算だ。

 ちなみに、InfiniBand EDRは2億3466万ドルから2億7305万ドルへ微増、InfiniBand FDRやそれ以前の製品は売上を明らかに落としており、2020年はInfiniBand EDRからInfiniBand HDRへのシフトがさらに明確になるものと思われる。

 ちなみに、2019年11月のTOP500では、合計13のサイトがInfiniBand HDRを採用している。もっとも、37位のSawtooth(アイダホ大)と、117位のAitken(NASAのエイムス研究センター)の2システムは、InfiniBand EDRとInfiniBand HDRの混合構成で、今はまだ移行途中という感じだろう。

 ただ、2020年6月に開催予定となっている(が、原稿執筆時点では開催されるかはよく分からない。2月27日付のプレスリリースには「今のところ開催できるという楽観的な見通しを持っており、予定通りカンファレンスと展示会を行う予定」とある)「ISC20」で公表されるTOP500の最新リストでは、さらにInfiniBand HDRの比率が増えるのではないだろうか。

レーンあたり100Gbpsの「InfiniBand NDR」、2022年にピーク?

 さて、問題はこの後だ。本連載の第20回にも掲載したIBTA(InfiniBand Trade Association)が2018年に公開した以下のロードマップによれば、「InfiniBand NDR」が2020年にもアナウンスされる見込みとなっていた。だが、これはおそらく早くても2021年へずれ込むだろう。

 前回も少し書いたが、そもそもIBTAから現時点でもInfiniBand HDRのSpecificationが出ていないあたり、現状ではまだInfiniBand HDRそのものの標準化は完了していないと思われる。ただ、標準化前に製品が出るのは、これまでもたびたび繰り返されてきた。それに、InfiniBandのコントローラーやスイッチを提供するのが、事実上Mellanox1社へ減った現状では、Mellanox自身が互換性を保証すれば、乱暴に言えばSpecificationそのものはどうでもいいという状況だとも言える。

 そんなわけで、次はレーンあたり100GbpsのInfiniBand NDRであるが、可能か否かで言えば「不可能ではない」と言うレベルである。既に主要なIPプロバイダーは、112GT/secのPHY IPの提供を開始している。例えばBroadcomは2019年2月、56G PAM-4 PHYである「BCM87400」を発表している。これは400Gイーサネット向けの製品で、IEEE 802.3ckの100Gbps×4の構成に向けたものだ。

 もっとも、IEEE 802.3ck自身がまだ標準化の途上(現在はDraft 1.0をベースに審議中の状況)にあり、タスクフォースのMeeting Pageの資料などを読む限り、まだPHY側にいろいろと問題があって、実用化には時間が掛かりそうである(FECだけではEYEが十分開かないので、DFEをいろいろと試した結果などが報告されている)。

 おそらくこのあたりの作業が終わり、イーサネットベンダー各社(当然ここにはMellanoxも含まれる)が、実際に製品構成の検討に入るころになるまで、InfiniBand NDRの話も聞こえてこないだろう。それは早くても2020年後半の、それもかなり遅い時期か、現実的なタイムラインとしては2021年以降になるかと思われる。

 本連載の第8回に以前掲載した速度別売上推移に、2019年度分までを追加したのが以下のグラフとなるが、おおまかに言って3年前後でピークの製品が入れ替わっている(SDR:2006年、DDR:2008年、QDR:2012年、FDR:2015年、EDR:2019年?)。ここから、HDRのピークは2022年頃と予想できるし、おそらくそれまでには、次のNDR対応製品が出ているだろう。

InfiniBand速度別売上推移(2003~2019)

レーンあたり200Gbpsの「InfiniBand XDR」、信号そのものを100Gbpsに上げるのは困難

 問題はその次、レーンあたり200Gbpsに達すると思われる「InfiniBand XDR」だ。こちらについては現時点ではまだ何も明らかな情報がない。そもそも何か技術的な裏付けがあって200Gbpsをロードマップに記したのかどうかも結構怪しい。

 技術的に言えば、信号そのものを100Gbpsに上げるのはかなり困難なことが分かっており、かといって「PAM-16」(16値なので、1シンボルあたり4bitの転送が可能)を採用するのかというと、現状PAM-4ですらEYEが開かないなどと言っている(10GBASE-Tは200MHzだからまだ何とかなったが、50GHzの信号でPAM-16はかなり厳しい)わけで、あるとすれば、携帯電話のように二次変調を掛け、ここでさらに効率を引き上げるしかない。

 だが、果たしてInfiniBandのようなInterconnectで、そこまでやるか(やれるか?)と言えば、かなり怪しい。そして、これは実はイーサネットにも共通の話である。

 イーサネットに関しては、2020年4月にサンタクララで「TEF(Technology Exploration Forum) 2020」というイベントがEthernet Alliance主催で開催予定だ。ここで現状の400Gbpsの次のイーサネットに関する議論が行われることになっている(が、COVID-19の影響で本当に開催できるのか、ちょっと怪しい気がする)。

 ここで何らかの方向性が明確に打ち出せれば、もう少しInfiniBand XDRに関しても見えてくるかもしれない。だが、今のところは絵に描いた餅以上のものにはなっていない。この状況が長く続くと、あるいはほかのもの(現状、一番有力な競合はCrayのSlingshot)にHPCマーケットを奪われかねず、やや要注意である。

 Gen-Zに関しては、2020年あたりから、これを実際に搭載したサーバーが市販され始めるだろう。これがどこまでシェアを伸ばせるかはよく分からない(2020年のOCP Global Summitもキャンセルとなり、最新状況を掴むチャンスがなくなってしまった)が、ある程度普及すれば、InfiniBand生き残りのために必要となる新たなマーケットを、ここでも確保できるだろう。ただ、HPCに匹敵するほど大きくなるとは考えにくい。

 そんなわけで、頑張って生き残ってきたInfiniBandの前途にも、いろいろ険しい状況が続いている。ただ、もう忘れられてしまった規格ではなく、ごく限られた用途ではあるが、現在も結構アクティブに使われている、と言うことが、ご理解いただけたかと思う。願わくは、この先も頑張って生き残ってもらいたいものである。

「InfiniBandの現在」記事一覧

大原 雄介

フリーのテクニカルライター。CPUやメモリ、チップセットから通信関係、OS、データベース、医療関係まで得意分野は多岐に渡る。ホームページはhttp://www.yusuke-ohara.com/