期待のネット新技術
InfiniBand QDR/Ethernet両対応の「ConnectX-2」と324ポートスイッチ「MTS3610」、2009年に登場
【InfiniBandの現在】
2019年11月19日 06:00
「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。
そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?
2009年には順調に市場へ投入された「InfiniBand QDR」
2009年に入ると、「InfiniBand QDR」は急速に立ち上がり始める。Mellanoxの関連プレスリリースから2009年前半のものを拾えば、HP ProLiant G6に搭載(3月30日)、Dell PowerEdge M610/M710に搭載(3月31日)、Sun Blade X6270/X6275に搭載(4月14日)、IBM System Cluster 1350とiDataPlex systemへ搭載(5月4日)、富士通のPRIMERGY BX900 Blade Serverに搭載(5月26日)、HP経由でMTS3610 Infiniband Switchを販売開始(6月2日)といった具合だ。
主要なサーバーメーカー向けのデプロイメントがこの期間に一段落した。そして2009年後半は、ASUSやMSI(ともに11月10日)のホワイトボックスサーバー向けへの対応が表明されるなど、順調に市場へ投入されていった様子がよく分かる。
エンドユーザーへの展開も進んだ。2009年11月のTOP500で世界5位となった中国NUDT(国防科技大学)の天河一号におけるInterconnectとしては同社のHCAとスイッチが利用された。
その2009年11月のTOP500を見ると、2008年比で63.4%増にあたる140万4164コアが、InfiniBandで接続されているという状況になったとする(2008年11月は85万9090コア)。システム数という意味では、TOP500に掲載された500システム中182で、全体の36.4%ほどを占めていた。と言うことは、要するにコア数が多いシステムでInfiniBandが採用されていた、という意味になるわけだ。
事実TOP10のうち5システム、TOP20のうち9システムという数字も示されていた。この2009年のInfiniBand関連の売上(以下左)は1億1600万ドルで、2008年比では微増といった感じだが、以下右の速度別内訳を見ると2009年は、InfiniBand QDRがInfiniBand DDRを抜いてトップに立った年で、以降2011年まで、この座を守り続けることになる。
カード1枚でInfiniBand QDRと10G Ethernetに対応の「ConnectX-2」
この時期、Mellanoxが注力していたのは、InfiniBand HCAやInfiniBandスイッチの高機能化である。速度に関して言えば、2004年にInfiniBand Specification Release 1.2.1がリリースされた後、その後継に関する作業がInfiniBand Trade AssociastionのWorking Groupの中で続けられてはいたものの、まだこの時点では明確なロードマップが出ていなかった。
Mellanoxではそれもあってか、速度そのものはInfiniBand QDRのままながら、機能を強化する方向に走る。まずはInfiniBandとEthernetの統合である。前回も紹介した通り第1世代のConnectXでは、InfiniBand向けとEthernet向けが別々の製品(コントローラそのものも別)だったが、これを統合して1つのカードでInfiniBandとEthernetの両対応となったのが、2009年9月に発表された「ConnectX-2」だ。
InfiniBand SDR/DDR/QDR 4xと10G Ethernetに対応し、さらにRDMAとEthernetではRoCEも利用可能なマルチプロトコルカードである。このConnectX-2の世代から、新たに「CORE-Direct」と呼ばれるハードウェアオフローディングの機能も搭載されている。
CORE-Directは、MPIなどで利用される共有メモリベースのアプリケーションを高速化するためのもので、COREとは"Collectives Offload Resource Engine"の略だそうだ。このエンジンを利用して、InfinityFabricやEthernet経由でのメモリ共有の処理を全てオフロードすることで、CPUの負荷を下げるとともに、スループット増加やレイテンシー削減を可能にするものだった。
ちなみに、当然スイッチ側でもCORE-Directへの対応が必要で、ConnectX-2から少し遅れて登場した「InfiniScale IV」というスイッチICで、これが可能になる。
「InfiniScale IV」搭載の324ポートInfiniBandスイッチ「MTS3610」
こうなると、単にInfiniBand HCAだけでなく、InfiniBandスイッチまでをまとめて提供した方が、ビジネスとして成立しやすい、となるのは当然だろう。先に少し触れたが、2009年6月には、「InfiniScale IV」を搭載した324ポートのInfiniBandスイッチ「MTS3610」の一般販売をHP経由で開始しており、こちらの売れ行きも悪くはなかったようだ。
そうしたこともあって2010年11月には、InfiniBandのスイッチの製造・販売パートナーであったVoltaireを、およそ2億1800万ドルの現金で買収。約700名の従業員と2億1700万ドルほどの同社の売上が、Mellanoxのものとなった。ちなみに買収完了が2011年2月になった関係で、売上計上は2012年になっている。そして、2010年と2011年の製品カテゴリー別売上比率を見てみると、以下のように大幅に変化していることが分かる。
2010 | 2011 | |
IC | 36.9% | 18.0% |
Board | 43.4% | 37.8% |
Switch | 12.6% | 29.5% |
Cables, etc | 7.1% | 14.7% |
それまではIC(つまりスイッチ用コントローラーと、オンボードでInfiniBandを搭載するマザーボード用HCAチップの外販)と、InfiniHost/ConnectXなどのHCAカードが売上の大半を占めていた。これに対して2011年は、スイッチの売上比率が倍以上になり、その分ICの売上が減っている。またスイッチを納入すると、必然的にケーブル類やアクセサリーの注文もあるので、バランスのいい売上構成になっていることが分かる。
次期規格「InfiniBand FDR」対応製品を2011年に投入へ
以下の資料によれば、この翌年の2011年中には、100Gbpsのソリューションをリリースするとしていた。これが、次回に解説する「InfiniBand FDR」である。最終的には2011年6月に「ConnectX-3」シリーズとして投入されるが、この時点では、もう割と目途が立っていたことを伺わせる。
こんな調子でInfiniBandのラインアップ強化に努めていた同社だが、Ethernetも引き続き頑張っていた。例えば2009年9月には、初の40G Ethernetとして「ConnectX-2 EN 50G」を発表している。こちらは「40GBASE-CX4」と「40GBASE-SR4」にそれぞれ対応したものだ。
しかし、そもそも40GBASE-CX4/SR4の標準化を行ったIEEE 802.3ba自身、Draft 2.0が出たのが2009年5月、Draft 3.0が2009年12月、最終版のDraft 3.1が2010年3月であり、標準化の完了は2010年だったことを考えれば、ずいぶん製品化を急いだという気もしなくはない。
これが当時どの程度のシェアをとれたのかは、外部には公開されていないのだが、先に挙げたMellanoxの製品ジャンル別売上推移グラフを見ると、2011年には6500万ドルほどの売上があったことを考えると、それなりに製品化を急いだ意味があったのかもしれない。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?