Mellanox、HBA1枚で100Gbpsの「InfiniBand EDR」を2014年リリース、2017年以降は売上の中心に

「InfiniBand FDR」を高速化した「InfiniBand EDR」へ

　前回はMellanoxのイーサネットに対する取り組みについて振り返ってみたが、今回はInfiniBandに話を戻そう。「InfiniBand FDR」を利用することで、1枚のHBAで100Gbpsの転送が可能になったが、より高速なInterconnectへのニーズはもちろんあった。

　「Connect-X 3」をリリースした2011年の段階では、まだハッキリは見えていなかったものの、2012年にIntelがQLogicを買収した時点で、さらなる高速化競争を仕掛けてくることは自明だった。

　それがInfiniBandではなくOmniPathだった、というのはちょっと想定外だったかもしれないが、「InfiniBand EDR」のサポートに向け、Mellanoxは続いて邁進することになる。

「InfiniBand EDR」対応のHBA「Connect-X 4」が2014年リリース、対応スイッチは提供は遅れ

　本連載の第13回でも掲載した以下の表でも示したように、InfiniBand EDRの速度は厳密には25.78125Gbpsである。ただし64b/66bエンコードを利用するので、実効転送速度はきっちり25Gbpsだ。

出典は「InfiniBand Architecture Release 1.3 Volume 2」のTable 39

　もっとも、InfiniBand FDRと同様に、エラー訂正として「FEC（Forwared Error Correction）」を採用する関係で、実際のデータレートは24.62Gbps、4x構成では98.5Gbpsほどになる。これなら100Gbpsと称しても、差し支えない範囲だろう。

　しかし、そのInfiniBand EDRについては、さすがにMellanoxでも手こずったようだ。14Gbps対応のConnectX-3は2011年6月にリリースされたが、25Gbps対応の「Connect-X 4」のリリースは、2014年まで引っ張ることになった。

これ1つで36ポート分となるInfiniBand EDR 4xをカバーする「Switch-IB」

　最初にリリースされたのは、HBAではなくスイッチ向けのチップである。2014年6月開催の「ISC 14」にあわせ、InfiniBand EDR対応の「Switch-IB」が発表される。内容としては1～25Gbpsまでに対応したSerDes（Serializer/DeSerializer）が144ポート分で、4xの場合はこれを4つ束ねるかたちとなり、トータル36ポートという計算になる。

　6月に発表された時点では、まだ「EVB（EValuation Board：開発用評価ボード）」に実装して動作を見せる、というレベルのもので、まだ顧客へ納入できる状況ではなかった。

　その後の11月にようやく、InfiniBand EDRをサポートしたHBAとなる「ConnextX-4」が発表される。

　Switch-IB、ConnectX-4ともに、製造はTSMCの28nmプロセスだった。まだ供給量が限られていた2013年頃には複数のメーカーによる取り合いが発生していたが、2014年に入ると供給量も増え、安定して確保できるようになったことも、出荷が伸びた理由なのかもしれない。

InfiniBand EDRをサポートしたHBA「ConnectX-4」

　Switch-IBを採用したInfiniBand EDR対応スイッチの提供は、サードパーティーが先駆けて開始し、Mellanoxからの提供はやや遅れた。2014年11月18日には、ミネソタ大がMSI（Minnesota Supercomputing Institute）向けの712ノードのスーパーコンピューターにInfiniBand EDRを利用することを発表しているが、これはHP製のInfiniBand EDRスイッチが利用されていた。

　もっともMellanoxでも、11月18日には36ポートのSwitch-IB搭載製品を発表（スペックから言えばSB7700シリーズではないかと思う）している。

　多ポート製品もその後すぐに出てくるかと思いきや、そうした製品はInfiniBand HDRまでお預けとなっていて、Mellanoxが提供するのは1Uサイズで36ポートの製品止まりだった。このあたり、OEMとの間で何かしらの取り決めがあったのかもしれないが、そのあたりは資料を探しても見つからなかった。

EDRの売上は2017年にFDRを上回る、シェアではQDRをフォロー

　InfiniBand関連の売り上げを見ると、そのEDRは2014年にはさすがにほぼなかったが、2015年から急速に伸びていった。そして、この年をピークに以後次第に落ち込み始めたFDRと、2017年あたりにクロスすることとなった。

　InfiniBand FDR/EDRより前に普及していた「InfiniBand QDR」は、8x（つまり4xポート×2）で接続すると100Gbpsの帯域が利用でき、ほかに手ごろなInterconnectもないとの状況もあり、2011年の発表以来、猛烈に利用されていた。

　以下のグラフは、2012年6月～2019年11月までの7年間のTOP 500において、Interconnectの一覧からInfiniBandを利用しているサイトをピックアップしてまとめたものだ。ピーク時には255のサイトがInfiniBandをベースにHPCシステムを構築していた状況で、その大半がInfiniBand FDRをベースとしていた。

TOP500におけるInfiniBand利用サイト数

　ただ、InfiniBandを利用するサイト数は、2015年をピークとして次第に減っていく。これはさまざまな競合の登場が理由で、Crayが独自に提供する「Aries/SlingShot」のほか、Intel「Omni-Path Fabric」も頑張ってシェアを取ろうとしており、これらに次第に押されつつある状況だったわけだ。

　その結果InfiniBand QDRは、2016年と比較的早い時期にほぼ消えかけており、そのシェア、InfiniBand EDRがちょうどフォローしている、という感じだった。

HPCのアップデート、GPUの併用などでInterconnect自体の切り替えも増加

　なお、HPCの場合には、しばしば定期的に中身が総入れ替えになる。例えば2002年に運用を開始した「地球シミュレータ」は、2009年と2015年に中身がアップデートされ、現在では3世代目になっている。あるいは東京工業大学の「TSUBAME」も、2006年の稼働開始後、2010年、2013年、2017年に、それぞれアップデートされている。逆に「京コンピュータ」のように、アップデートがされずに終わった例もあり、必ずアップデートが行われるわけでもない。

　一般論として、従来は世代交代が5年程度で発生し、3～4年というケースもままあった。これはプロセスの微細化により、より高速なプロセッサやGPUが、より少ない消費電力で利用できるようになってきていたためだ。HPCの運用コストの多くを、機器＋クーラーの電気代が占めている以上、早めに省電力の新製品へ置き換え、運用コストを抑えつつ、演算性能を引き上げることでユーザーの利便性を図る、というシナリオであった。

　ただ、2014年あたりからは、プロセスの微細化が一段落してしまう。Intelは2013年に22nmプロセスの「Haswell」を出荷、続く14nmの「Skylake」は2015年に出荷されるが、ここで微細化に急ブレーキがかかっており、14nmプロセスを利用した製品が、現時点でも出荷され続けている。

　こうしたこともあって、単純に新製品へ入れ替えるのではなく、GPUの併用によるヘテロジニアス構成に切り替える、といった工夫が必要となったこともあって、システムの入れ替えサイクルが6年程度に伸びつつあるわけだ。

　すると、Interconnectの更新期間も当然伸びるという状況になり、しかも新システムが旧システムとは大きく構成が変わり、例えば以前はCPUノードのみを組み合わせていたのが、新システムはCPU＋GPUのハイブリッドになるようなケースでは、Interconnectそのものの切り替えもあり得る。

　そのいい例が、先ほども触れた東京工業大学のTSUBAMEだ。初代のTSUBAME 1.0はInfiniBand SDR 4xを利用して構築され、TSUBAME 2.0ではこれがInfiniBand QDR 4xに更新されたが、続くTSUBAME 3.0では、IntelのOmni-Path Fabricベースへと置き換えられてしまった。

　こうしたケースはほかにもあり、そんなわけでInfiniBandのHPCにおけるシェアが、2016年あたりから次第に削り取られつつある状況なのだが、それでもInfiniBand EDRの登場で、こうした状況に一定の歯止めが掛かったかたちではある。