期待のネット新技術
InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
【InfiniBandの現在】
2020年1月7日 06:00
「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。
そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?
IntelによるQLogic買収は、シェア獲得への布石
結局のところ、IntelがInfiniBandを導入したのは、Omni-Path Fabricが提供できるようになるまでの繋ぎ、という話でしかなかったわけだ。
そのためにQLogic買収に1億2500万ドルを費やしたことが、果たして帳尻が合ったのか微妙なところだろう。しかし、何もしないでいたら、そのマーケットはMellanoxに取られてしまう。そうなった後にOmni-Path Fabricに切り替えるのは大変なので、むしろQLogicの製品を元にIntelがまずInfiniBandベースのInterconnectを納入することで顧客を確保し、その顧客に対してシームレスにOmni-Path Fabricへ移行できる(実際はそうでもなかったが)、という絵を見せる方が、シェアの獲得に役立つという判断があったのだろう。
独自に56GbE対応した12ポートスイッチ「SX1012」などでイーサーネット関連を拡大
ではそのMellanoxは? というのが今週のお題である。2012年頃までのInfiniBand界隈の動向は、以前のこちらの記事で説明しているし、InfiniBand Trade Associationが当時リリースした「InfiniBand Architecture Release 1.3」において、InfiniBand FDRとInfiniBand EDRが定義されたことも、既に紹介した通りだ。
Mellanoxでは、前倒しで2011年中にInfiniBand FDR製品を投入している。ただし、その後は、翌2013年にInfiniBand FDRベースでデュアルポートの製品を投入し、そして1枚のHBAで100Gbpsを超える転送を可能とする製品を発表した程度で終わっていた。
やはり25Gbpsの壁を超えるには相応の時間が掛かったようだ。その間、Mellanoxが何も新製品を出していなかったわけではなく、当時はイーサネット関連製品に注力していた。
2013年2月には、40Gbpsで100m、10Gbpsで1000mの到達距離を実現するMetroX/MetroDX製品を拡充したり、2013年4月にはConnectX-3にVirtualized Overlay Networkのオフロード機能を追加した「ConnectX-3 Pro」を発表したりしている。
そして5月には、12ポートの40Gbps対応イーサネットスイッチ「SX1012 」を発表している。面白いのは、このスイッチが56GbEまで性能を高められる機能を持っていたことだ。
もちろん、イーサネットに56Gbpsなんて標準規格はなく、これはMellanox独自のものだ。ただ、40GbEの速度をそのまま56Gbpsに引き上げるとなると、800MHzの信号レートを1120MHzへ引き上げるかたちになるが、果たしてそんな実装をしたんだろうか? という点は気になる。
少し資料を探してみたものの、この独自規格である56GbEの実装についての記載は見当たらず謎のままではある。筆者の勘では、物理層はInfiniBand FDRで、その上にイーサネットのMAC層を載せたような実装なのではないだろうか。こうなると、もちろんMellanox製品同士でしか56GbEは利用できない(というか、むしろそれが狙い)だろうが、SX1012は1つの40/56GbEポートを4つの10GbEポートとしても利用可能で、こちらはIEEEの定めるイーサネットの標準規格だから、MAC層から上が共通であれば、物理層に違いがあっても通信そのものに支障はない。
注力したSilicon Photonicsの開発をファンドと経営陣の対立で断念
こうした製品の拡充により、2012年には5490万ドルだったイーサネット関連製品の売り上げは、2013年には8210万ドルに、2014年には1億2600万ドルに達した。この金額は、もちろんInfiniBandには遠く及ばない(2013年は前年からかなり減ったが、それでも3億830万ドル)ものの、伸び率は悪くなく、第2の柱として着実に育ちつつあった。
明けて2014年、3月に開催されたOCF(Optical Fiber Communication) Conferenceの会場で、Mellanoxは100GbpsのQSFPソリューションを発表している。まだこの時点では、具体的な規格の中身について公式には一切説明はなかったが、100Gbpsに対応したSilicon PhotonicsのQSFPモジュールで、VCSEL(Vertical Cavity Surface Emitting LASER:垂直共振器面発光レーザー)構成であることが明らかにされている。
余談になるが、この当時Intelと同様にMellanoxも、Silicon Photonicsにずいぶん注力をしていた。2013年5月にはKotura、6月にはIPtronics A/SというSilicon Optics関連ベンチャーを丸ごと買収したほか、同じ2003年には、XLoom Communications(旧XLoom Photonics)から、Opto-Electronics関連の資産と技術者を買収している。
Mellanoxでは、これらの企業が持っていた技術を組み合わせることで、いち早くSilicon Opticsを実現しようとしていたわけだ。なぜこの分野に注力していたかと言えば、銅ケーブルでは速度や到達距離の面での限界がどうしても低く抑えられるためだ。
このために、高速あるいは長距離向けでは光ファイバーが多く利用されるが、その際に電気/光の変換モジュールが問題になることがあった。電気/光の変換は、どうしてもモジュール小型化の阻害要因となっていて、消費電力が増大する理由でも、価格が高止まりする主要因でもあった。
これをSilicon Photonicsで小型化・省電力化できれば、高性能かつ低消費電力のモジュールを低価格で提供可能となり、光ケーブルの普及がより一段と進むことが予想されていた。その上、光ケーブルはイーサネットとInfiniBandの両方で利用可能だったから、やらないはずがないわけだ。
ただし、結論から書いておけば、Mellanoxは2018年1月にこのSilicon Photonicsの開発を断念し、開発チームは解散している。
その最大の理由は、2013年から4年間に渡って投資を続けてきたものの、製品レベルに到達するにはまだ遠い(というか、コストを掛けても製品化に至るかどうかはっきりしない)ことが明らかになったためだ。
これは、Silicon Opticsに注力しつつも限られた製品しか出せていなかったIntelと同じだ。だが、一方でR&Dの費用が桁違いであるIntelとは、開発費用を同じ調子で注ぎ込むことに無理があったという判断である。
この判断を下した背景には、2017年に同社の株を10.3%ほど買い占め、その後現在の経営陣が企業価値を損ねているとして経営陣の刷新を主張したStarboard Value LPというファンドと経営陣の対決がある。
2017年度の決算では、8億6300万ドルほどの売り上げながら、1900万ドルほどの純損失を出している(前年は1850万ドルの純利益、ちなみに翌2018年度は10億8900万ドルの売り上げと、1億3400万ドルの純利益を確保していた)ことで、ファンドは「現経営陣は企業価値を損ねており、それにより株価も低迷している」として、経営陣の刷新を主張。株主総会に向け、ほかの株主の委任状を争奪するプロキシーファイトが始まりかねない状況に陥っていた。
最終的には、経営陣がStarboard Value LPから3人の取締役を受け入れるということに合意したのだが、こうした状況下で、先の見えないSilicon Opticsへ資金をこれ以上投入できなかったのは、無理もないところだろう。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?