期待のネット新技術
SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
【InfiniBandの現在】
2019年12月10日 06:00
「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。
そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?
2000年にInfiniBand市場に参入したQLogic、2002年には一時撤退へ
QLogicは1992年、Emulexのストレージコントローラー部門がスピンアウトするかたちで創業した。Emulexそのものは、1970年代からテープドライブやHDDなどを手掛けていた企業だが、そのうちにイーサーネットを含めたネットワークビジネスの方が規模が大きくなり、1992年にストレージコントローラー部門を切り出して、ネットワークに専念する方向にシフトした。ちなみにそのEmulexは、2015年にAvago Technologiesに買収されている。
さてそのQLogicは当初、SCSIコントローラーなどを作って販売していたりした。2000年における主な製品ラインアップは以下のようなものだった。
- PCI FiberChannel HBAとコントローラーチップ
- PCI SCSI Adapterとコントローラーチップ
- FASと呼ばれる汎用I/Oコントローラー
上の2つは分かるとして、FASというのは、例えばテープドライブやスキャナー、CD-ROM/DVD-ROM、RAIDドライブなどをSCSIでホストに接続できるようにするための、機器側向けコントローラーである。総じて、当初のストレージコントローラーの範疇から大きくは脱していない。
実は、InfiniBandへの取り組みもこの一環であった。元々QLogicは2000年5月、ファイバチャネルベースのSAN向けスイッチを提供していたAncor Communicationsという会社を買収しているが、このAncor Communicationsは、1999年から、InfiniBandの仕様を定義する標準組織「IBTA(InfiniBand Trade Association)」のメンバー企業だった。
Ancor Communicationsの思惑は、InfiniBandに繋がるSANスイッチを早期に投入して市場を獲得しよう、というものだった。要するに、Infiniband編第3回でも掲載した以下の図で言えば、InfiniBandとSANの間に繋がるスイッチを狙っていたわけだ。QLogicによる買収後もこの活動は続いており、2001年春のIDFではQLogic名義で、InfiniBand対応SANスイッチのデモを展示している。
2001年10月には、フロリダで開催された「Storage Networking World」という展示会で、「SANblade QIB2300シリーズ」のInfiniBandモジュールを発表する。このQIB2300、HBAではなくInfiniBandとファイバチャネルをブリッジするモジュールで、HBA自身はこの時点では同社からは出荷されていなかった(IDFのデモでは、Intel製のInfiniBand HBAが利用された)。
ところが翌2002年になると、IntelによるInfiniBandの梯子が外されてしまった結果、QLogicも一旦は撤退に近い状態になる。2002年8月までは、InfiniBandスイッチとInfiniBand I/Oモジュール(要するに、ファイバチャネルとのブリッジ)が製品としてラインアップされていたが、2002年10月の時点でInfiniBand I/Oモジュールのみとなり、2002年12月の時点では、遂にInfiniBand関連が製品ページから消えてしまう有様だった。
2006年にPathScale買収でInfiniBand市場に再参入、今度はHCA向け
さて、この時点でInfiniBandは終わった……と思われたわけだが、なぜか同社は2006年に突然InfiniBandに再参入する。2006年5月に、ファイバチャネル向けの新しいSANblade HBAと合わせ、InfiniPath HCAの存在が突如公開された。
実を言えば、これに先立つ2006年2月、同社はPathScaleというInfiniBand向けのソリューション(HBAとスイッチ)を開発していた企業を1億900万ドルで買収している。PathScaleは、元々Linuxベースのクラスタを開発しており、その後はHPC向けのコンパイラの開発なども手掛けていた。
そもそも創立メンバーの大半は、米国においてHPCの本拠地の1つだったLLNL(米ローレンス・リバモア国立研究所)出身であり、安価な64bitマシンを組み合わせて高性能なHPCクラスタを構築するために必要な要素技術を、自前で開発していた。InfiniBand向けのHCAやスイッチもその一環で、要するに2006年当時はまだ少なかった、InfiniBandベースのHPCシステムの構築を目指していたわけだ。
余談になるが、QLogicが興味を持ったのはPetaScaleのInfiniBand資産だけで、HPC向けコンパイラなどには興味がなかったようだ。それもあってか、ソフトウェア資産に関しては2007年8月にSiCortexという会社に売却されたのだが、同社は2009年8月に会社清算し、ソフトウェア資産はCrayに買収された。ただし、2012年3月、新生PetaScaleが創業され、ここがCrayから元々のソフトウェア資産を全部買収するという、非常に複雑な経緯となっている。
その新生PetaScale、2016年まではさまざまなターゲット(CPU/GPU)向けのコンパイラなどをリリースしていたが、このままではビジネスが続かないということで、「EKOpath 6」および「ENZO 2015」というコンパイラを最後にHPCマーケットから撤退。現在はモバイルゲーム向けに生き残るべく模索中という、なかなか波乱万丈な歴史になっている。
話を戻すと、そんなわけでQLogicは2006年に再びInfiniBandに参入したのだが、前回と違い、今回はFCとは無関係で、主なターゲットはHPC市場だった。2006年には、まずHCAとして「QLE7140」と「QHT7140」の2製品を出荷した。
ただし、スイッチはラインアップされなかった。あまり小容量のスイッチだと、HPCにおいて複数をカスケード接続することになり、結果としてレイテンシーが大きくなり過ぎて性能が低下するという問題があるためだ。素直にMellanoxなどから提供される大容量スイッチを使った方が賢明、と顧客の側が判断していたためと考えられる。
ただ、そのままにするつもりはなかったようで、翌2007年になるとInfiniBand DDRに対応した「QLogic SilverStorm 9000」ファミリーとされるマルチプロトコルスイッチ(同社の表現ではFabric Directors)を投入する。これは、InfiniBandスイッチを手掛けていたSilverStorm Technologiesを2006年11月に約6000万ドルで買収したことで可能になったものだ。
この9000シリーズは、InfiniBand SDR/DDRに対応し、ハイエンドのSilverStorm 9240では288ポートをサポートしていた。スイッチのレイテンシーは140~420ns程度とされており、大容量スイッチの割には十分高速なものだった。
HCAとして、後追いのかたちで「QLE7240/7280」というInfiniBand DDR対応製品を追加している。さすがに、HTXのサポートは捨てたようで、PCI Express Gen1のx8またはx16で、ホストと接続するかたちになる。
このSilverStormがバックエンドにあたるとすれば、フロント側(QLogicの用語ではEdge Fabric Switch)としては、最大24ポートの「QLogic 9024」も用意されていた。イメージとしては、すべての計算ノードが入ったラックに1台ずつ格納されたQLogic 9024同士を、バックエンドのスイッチでつなぐかたちだろうか。
もっとも、ポートトランキングのような機能を持っているかどうかは不明で、このままだとFat Tree構成にできるかどうかも分からない。InfiniBandであっても、あまりスイッチの段数を重ねると性能が損われるので、小規模ノードにのみ使う、というつもりだったのだろうか。
一応ブローシャには" They can be used to construct small InfiniBand fabrics, or as an edge or leaf switch in larger fabrics."という表現があるので、2段程度のスイッチ構成は念頭に置いていたのかもしれない。
「InfiniBandの現在」記事一覧
- 汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは?
- ラック間やサーバー間で2.5GT/sの転送速度を実現する「InfiniBand 1.0」
- Intelが開発中止、発熱対処に難、サーバー間接続一本化は実現せず
- 低コスト低レイテンシーでHPC向け分散型構成に活路
- InfiniBandで高性能を実現するMPIの仕様策定と、その実装「MPICH」
- HBAとMPIとの組み合わせで、低レイテンシーを安価に実現する「RDMA」
- RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」
- 売上から見るInfiniBand市場規模の推移、急速な世代交代もポイント
- SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加
- 低レイテンシ―かつ高速なMellanox初のDDR対応HCA「InfiniHost III Ex/Lx」
- 「QDR」に初対応のInfiniBand HCA「ConnectX IB」と10GbEカード「ConnectX EN」
- InfiniBand QDR/Ethernet両対応「ConnectX-2」、324ポートスイッチ「MTS3610」
- 14GT/secの「FDR」と25GT/secの「EDR」、64b66bでのエラー増に「FEC」で対応
- InfiniBand FDR対応の「ConnectX-3 VPI」カード、HPC向けが中心
- SANスイッチ向けにInfiniBand市場へ参入したQLogic、撤退の後、2006年にはHCA向けに再参入
- QLogic、市場シェアを拡大も2012年にInfiniBand部門をIntelへ売却
- Intel、QLogicから買収したInfiniBandからOmni-Path Fabricへ
- InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……
- Mellanox、100Gbpsの「EDR」製品を2014年リリース、2017年は売上の中心に
- 4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化
- データ量と演算性能増によるメモリ帯域不足解消へ、Gen-Z Consortiumへ参画
- Gen-Zに加え、競合InterconnectのCAPI、CCIX、CXLにも参画するMellanox
- PCIeの処理オーバーヘッドを36分の1に、IBM独自の「CAPI」から「OpenCAPI」へ
- DRAMサポートを追加、メモリI/F統合も考慮した「OpenCAPI 3.1」
- 3種類の接続形態をサポートする「Gen-Z Ver.1.1」
- HDRは好スタート、InfiniBandのこの先は?