InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心

InfiniBand FDR/EDR、高速化で配線が最長でも4mに

　InfiniBandの転送速度を高速化すれば、当然ながら配線は厳しくなる。第9回で、パッシブケーブルの場合はSDRで20m台前半、DDRで15m未満、QDRで7mという話を紹介したが、InfiniBand FDR対応のパッシブケーブルは、最長でも4mのものしか用意されていない。

　もっとも、4mというのは通常のケーブルであって、LSZH（Low Smoke Zero Halogen：火災などで燃えた場合でも低発煙性で、かつハロゲンを発生させない安全性の高いケーブル）の場合は最長3mになっているのは、LSZHだと電気特性上厳しい部分が何かあるのだろうか？　ちなみに、InfiniBand FDR対応の現行商品には、LSZHタイプはラインナップされていない。

　Specificationでは、「パッシブケーブルは通常、イコライザーの有無に関わらず低速かつ短距離の接続に用いられており、速度が上がるほど到達距離が短くなる」で済ませており、こうした点には無関心と言える。つまり仕様では、あくまでケーブルが満たすべき電気的特性を定めているに過ぎず、あとは速度と距離に合わせて、必要ならアクティブケーブルを使ったり、リピーターを挟んだりしなさい、としているだけだ。

　その電気的特性だが、表そのものには一応InfiniBand FDR/EDRがまとめて定義されている。しかし、周波数特性については、FDRが7.03125GHz、EDRが12.819GHzと、パラメーターが個別に用意されていて、FDR対応ケーブルは7.03125GHzの場合だけ満たせば済むが、EDR対応ケーブルは7.03125GHzと12.819GHz、双方のパラメーターを満たす必要があるので、なかなか大変そうである。

FDR対応パッシブケーブルは5mに、太い配線を利用して伝達特性を改善

　ついでに、より高速なものについても少し触れておこう。現行のFDR対応パッシブケーブルは、最長で5mのものまでラインナップされている。

　ケーブル長が伸びているのは、利用している配線を、直径0.2540mmのAWG30から直径0.4039mmのAWG26へ増やしたことによる。要するに、太い配線を利用して伝達特性を改善したことで、より到達距離を増やせたわけだ。

　もっとも、当然ながらケーブルそのものはその分太くなる。AWG30を利用したものは直径7.1mmで、ケーブルを曲げる場合の最小半径は35.5mmとなるのに対し、AWG26だとケーブル径9.4mm、最小曲げ半径は47mmとなり、ラックなどに高密度で実装しようとするとなかなか難しいわけだ。

　加えて言えば、さらに高速なInfiniBand HDR向けの場合、30AWGのもので最長1.5m、30AWGのものでも2mでしかない。高さが2.2mのラックもあるし、2mでは1ラック内でギリギリ届くかどうかという程度だ。物理的な距離はともかく実際にはメンテナンス性を向上するために、配線を脇に迂回させたりする関係で、配線長はどうしても長くなりがちなものだ。

　このあたりになると、素直にアクティブケーブルを使う方が無難だろう。既存のInfiniBandを利用中のユーザーがアップグレードするなら、このあたりから配線のやり直しが必須となるだろう。下手をすると、HCAよりもケーブルと配線をやり直すコストの方が高くなりかねない気がするが、実際の事例を聞いてみたいものだ。

InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心

　そのInfiniBand FDRに対応した「ConnectX-3 VPI」カードは、2011年6月に発表されている。発表のタイミングを「ISC 11（International Supercomputing Conference）」にあわせたあたりから、依然としてInfiniBandのPrimary TargetはHPC向けということがよく分かる。

Dual Portの「ConnectX-3 VPI」カード。PCI Express Gen3 x8でHostと接続される

　同時に、InfiniBand FDR対応のスイッチ向けチップである「SwitchX」と、これを利用した「SX-6000」スイッチ、更にSwitchXチップに対応したスイッチ用OS「MLNX-OS」なども発表された。いずれも、サンプル出荷そのものも同時に始まっているが、量産出荷は2011年後半とされ、実際、2011年11月のTOP500リストにおけるInfiniBand FDRベースのシステムは、54位のCarter、104位のEndeavorの2つだけである。

　ちなみに、最新のEndeavorはIntelのOmni-Pathを使っているが、InfiniBand FDRベースから切り替えたのは2017年のことだ。もともと初登録された2010年6月の時点では、InfiniBand（SDR/DDR/QDRのいずれかは不明だが、タイミングとしてはQDRと想像できる）で構築され、2011年11月の時点でInfiniBand FDRへと切り替わった。ただ、全体で言えば500システムのうち202システムがInfiniBandを導入しており、そのうちほぼ半分となる90システムがInfiniBand QDRを導入していたので、なかなかの普及率だったと言える。

　そんなわけで、2011年の速度別売上比率を見てみると、InfiniBand FDRはごくわずか（1210万ドル）でしかないが、これが2サイト分と考えれば納得できる。

　そして翌年の2012年6月には合計204システムがInfiniBandを採用。うち105システムがInfiniBand QDR、20システムがInfiniBand FDRとなっていた。この増分のほとんどは、新規に登録されたシステムばかりで、既存のシステムからのアップグレードはこの時点では見かけない。

2003~2017年のInfiniBand速度別売上推移

　これがおよそ半年後の2012年11月には219システムとなり、InfiniBand QDRは106システム、InfiniBand FDRは45システムに採用と広がっている。一方で、InfiniBand SDR/DDRを使ったシステムはかなり減っていた。もちろんこうしたシステムの中には、ランク外に落ちたというケースもある一方で、QDRをパスしてFDRに直接移行したケースも少なくない。

　当初はQDRで構築したシステムに、追加のノードをFDRで接続する、などというハイブリッド型のサイトも見られた。例えば2012年11月の時点で14位となっているNASAのPreiadesがこのパターンで、2011年6月にはQDRで構築されていたが、2012年6月にQDRとFDRのハイブリッド構成となり、2013年11月にやっとFDRのみに統一された。

　この結果、InfiniBand FDR関連製品は、2012年に2億3670万ドルという、前年比19.5倍もの伸びを見せることになった。とは言っても、この時点ではまだInfiniBand FDR関連製品の供給が十分ではなかったのか、あるいは価格的に厳しかったのかは不明ながら、InfiniBand QDRも結構な伸びを見せ、QDRとFDRの合計で4億1200万ドルもの売上を立てていた。

　全体で見ても、前年からほぼ倍増となる5億ドルもの売上を達成し、純利益も1億ドルあまりを実現していた。そして第3四半期には、前年同時期は最大でも36.79ドルだった株価のピークが120.05ドルにまで高騰している。この売上急増には、買収に起因してVoltaireの売上が合算されたことも加味されており、その反動が2013年に出ることにはなる。

2003~2017年のMellanox売上推移

　こうしたMellanoxの好景気は、当然他社もよく理解していた。Mellanoxの2012年のForm 10-Kを見ると、少数のOEMからの売り上げが猛烈に大きいそうで、実際その20％がHPから、19％がIBMからとなっていた。

　要するにHPやIBMは、InfiniBandを使って自社のサーバーシステムを構築していたという話である。実際TOP500のリストを眺めると、独自Interconnectを提供しているのはIBM（ハイエンド向け）とCray（この当時はGemini Interconnectと呼ばれるものを提供）くらいで、このほかには京（富士通のTofu Interconnect）や、天河一号A（NUDT：中国国防科学技術大学の独自開発）が目立つ程度であり、残りはInfiniBandかEthernetだった。

　Ethernetは、2012年11月のTOP500では44位が最上位であり、基本的には低価格向けで、それほどパフォーマンスが必要ないところでしか使われていない、という位置付けだった。このあたりを睨み、再びInfiniBandマーケットへと参入したのがIntelであるが、これはQLogicのInfiniBand関連資産を、丸ごと買収するかたちで行われた。そんなわけで、次回はQLogicの歴史を簡単にご紹介したい。