期待のネット新技術
Intel、QLogicから買収したInfiniBandから一転、Omni-Path Fabricへ
【InfiniBandの現在】
2019年12月24日 06:00
「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。
そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?
InfiniBandをQLogicから買収したIntelの思惑とは?
QLogicのInfiniBand事業を丸ごと買収したIntelには、どういう思惑があったのか? 買収当時は「Intelの資金力があれば、InfiniBand FDR/EDRの開発は難しくないし、10GBASE-Tの展開も遅れている上に、あまりHPC向けの性格ではないので、これでHPC向けを置き換えていくのだろう」と考えられていた。
実際、2012年1月のプレスリリースを読むと、2018年にはHPCの性能がEFlopsクラスになり、Interconnectの帯域も現在の100倍以上必要になるため、これに向けてQLogicのInfiniBandの資産を買収した、とある。
このため、Intelではこのまま買収したInfiniBandを利用し、さらに帯域を高めていくことを想定していると誰もが考えた。2012年初頭の時点で言えば、QDR 4Xで40Gbpsであるが、既に「InfiniBand Architecture Release 1.3」のDraftがメンバー会員の間で流通しており、FDR 4Xで56Gbps、EDR 4Xで100Gbpsになるという道筋は当時から見えていた。
極端なことを言えば、EDRの8X構成にすれば200Gbpsだから現状の5倍までは実現可能だし、InfiniBand EDRの次の規格の議論も既にスタートしていたから、これを利用すれば10倍程度までは視野に入っている。それにリリースにおいて必要とされた100倍の帯域というのは、エンドノードとスイッチの間ではなく、スイッチ内部の帯域だから、こちらはさらなる高速化が可能だ。そんなわけで当時は、Intelは再びInfiniBandに注力するのだ、と理解されていたわけだ。
ところが、こうした思惑は見事に外れることになる。Intelは買収後、QLogicの製品をそのまま「Intel True Scale Fabric」として再販し始める。何せ製品ロゴすらそのまま、というあたり、潔いとするかやる気がないと見るべきか、微妙なところだ。
ただ、これに続く製品はついに出ないままだった。そもそも2012年のAnnual ReportにもForm 10-Kにも、“QLogic”も“InfiniBand”も、一言たりとも出てこないというあたり、買収そのものが小粒なので、わざわざ書く必要もない(!)という扱いのようである。
ちなみに、その2012年のAnnual ReportやForm 10-Kでは、2011年に買収したMcAfeeが何度も取り上げられている。もっとも、これは仕方ないところもある。前回も書いたが、2011年度におけるQLogicのInfiniBand関連製品の推定売上高は3882万ドルだった。2012年のIntel全体の売り上げは533億4100万ドルだったので、InfiniBand関連製品の2012年度の売上を、大甘に見て5000万ドルと推定しても、その比率は、なんと0.1%にも満たないのだ。
InfiniBandはおそらくDCG(Data Center Group)に属したと思われるが、2012年度のDCGの売上は107億4100万ドルなので、こちらでの売上比率を見ても、わずか0.47%弱と、無視されたとしても仕方のないビジネス規模ではある。
余談ではあるが、McAfeeの売上は4億6800万ドルを記録し、SSOS(Software and Services Operating Segment)全体の23億8100万ドルからみても20%近くに達しているから、扱いが違うのも無理がないところか。
2014年に一転、InfiniBandをOmni-Path Fabricに置き換えへ
その後しばらくは、IntelからはInfiniBandに関連する話題があまり出てこなかった。ただこの当時は「InfiniBand FDRやEDRの開発には相応に時間も掛かるだろうし」と、ユーザー側でも鷹揚に構えていた時期である。
雲行きが怪しくなったのは2013年だろうか。2013年8月にIntelは"Reimagine the Datacenter"なるイベントを開催したが、ここでIntelは、将来のデータセンターにはCopper(銅配線)ではなくSiPh(シリコンフォトニクス)を利用した光ケーブルを導入する、と言い始めた。
Intelは10年以上前からSiPhに注力しており、2009年あたりには、Thunderboltの前身となるインターフェースを「Light Peak」という名前で実用化。2011年には(当時の)SONY VAIO Zに搭載して発売されていたりする。
このときには10Gbpsでしかなかったが、その後50Gbpsの実装もアピールしており、2013年には100Gbpsが視野に入ってきたという受け止め方を、当時筆者などはしたものだ。
ただ、この時点では、まだInfiniBandとの親和性が保たれていた。InfiniBandは銅配線だけでなく光ケーブルもカバーしているからで、あとはSiPhの特性をInfiniBandに合わせる部分が問題として残っているだけ、と考えられていた。
これが一転するのは2014年11月のことだ。SC14の会期に合わせ、Intelは新しいOmni-Path Fabricを発表し、その詳細は2015年のIDFで明らかになった。
まず基本的にOmni-Path Fabricは、それこそLight PeakとThunderbolt同様に、2013年の光ケーブルベースの接続を銅配線に置き換えた実装となっている。そしてIntelは、QLogicの製品をベースとしたInfiniBand QDR製品の後継(つまりInifiniBand FDR/EDR)は提供せず、これを第1世代のOmni-Pathで置き換えることと、将来的にはイーサネットの一部もOmni-Pathで置き換える意向を示した。
イーサネットの置き換えは、以前にも掲載した下のスライドを思い出す。何というか、14年も経っているのに考えていることは変わらないんだな、という感じである。
Intelがかなり本気だったのは、これをディスクリートのインターフェースにするだけでなく、チップに統合する意向を示していたことだ。
まずはPCI Expressベースの「HFI(Host Fabric Interface)」を提供するが、その先では、まず1つのパッケージ内に複数のダイを搭載する方式である「MCM(Multi-Chip Module」を利用し、チップから直接Omni-Path Fabricが取り出して、さらに将来はダイの中にOmni-Pathを組み込む、というなかなか意欲的なロードマップである。
これに向けて、2015年の段階ではHFIアダプターとスイッチ、およびシリコンがまとめて提供されることを明らかにした。
このあたり、MellanoxのInfiniBandソリューションと非常によく似ている気がする。問題は、InfiniBandとOmni-Path Fabricの間には何の互換性もないことだ。既存のユーザーの移行(特にストレージ周り)に関しては、間にルーターを介するというソリューションが提示されている。
ちなみにLustreはクラスタシステムで利用される分散ファイルシステムで、IntelはOmni-Path Fabricに対応したLustreを提供することで、InifniBandベースのLustreを利用している顧客のスムーズな移行を促そう、と言うわけだ。
性能面では、MellanoxのInfiniBand EDRソリューションと比較して、高速かつ低レイテンシーのソリューションとしており、Intelからワンストップで提供できるといううたい文句と合わせて、急速にHPCマーケットに浸透を図った。
さすがに2015年中にこれを採用したサイトはTOP 500には存在しなかったが、2016年6月には、46位のイタリア「Cineca」を筆頭に8サイト、2016年11月には6位に入った日本の「Oakforest-PACS」を先頭に42サイト、2017年6月は52サイトというように、次第に勢力を伸ばしていく。
そういう意味では、QLogicが成し得なかったことを、Intelは着々と実現しようとしていた(ただしInfiniBand以外で)というわけだ。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?