汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは？

意外にも生き残ったInfiniBand、HPCに限らず汎用的なInterconnectへ進化

　規格策定が開始されたのが1999年という点からして、さまざまな見方があるが、その後、策定に熱心だったIntelがいきなり梯子を外し（後述するが、IntelはInfiniBandを2回も捨てている）、事実上使われない規格になるかと思われた。

　ところが意外にも、ここでInfiniBandは生き残る。このあたりの事情は、2004年に旧Enterprise Watchへ掲載された伊勢雅英氏による「伊勢雅英のInfiniBand探検隊」（前編・中編・後編）と、その後アップデートとして2012年に「InfiniBand探検隊リターンズ」（前編・後編）がクラウドWatchに掲載されている。この辺りの記事を読まれた方は、「InfiniBandってあったなあ」と記憶されているかもしれない。

　その現状はというと、特にHPCなどでは相変わらず一定のシェアを持ちつつ、しかもHPCに限らない汎用的なInterconnectへ進化しつつある。実のところ、次世代のサーバー向けInterconnectとして、もっとも汎用的に有望視されているのがInfiniBandであるというのが、正確なところだ。さらに言えば、Gen-Z Consortiumのコア仕様は、このInfiniBandを中核にして、オープン規格の次世代Interconnect標準となりつつある。

サーバー市場シェア90％超のIntelが2回捨て、最終的にはNVIDIAが買収

　先にIntelはInfiniBandを2回捨てたと書いたが、面白いのは、それをもう1回拾おうとしていたことだ。2019年3月、InfiniBand大手であるMellanoxがNVIDIAに70億ドルで買収されたが、この直前にIntelが同社に60億ドルで買収を持ち掛けていたのだ。

　「InfiniBand探検隊リターンズ【前編】」や、こちらのニュース記事にもあるが、2012年1月、IntelはQLogicが保有するInfiniBandの資産丸ごとを1億2500万ドルで買収し、InfiniBandの市場に再参入する。

　ところが、その後Intelは、InfiniBandを中核技術として採用する方向には行かず、代わりに2015年から、「OmniPath Fabric」と呼ばれる独自のInterconnectを全面的に採用する方針を打ち立てた。これがうまく行けばよかったのだが、第1世代のOmniPath Fabricこそ出荷されたものの、続く第2世代は2019年7月末に正式に打ち切りが決まってしまった。

　IntelによるMellanox買収計画は、うまく行かないことが明白になった第2世代OmniPath Fabricを代替しようとしたものと思われる。ただしこの買収は成立せず、NVIDIAが買収してしまった。そこでIntelは6月、Barefood NetworkというEthernet Switch向けASICを製造する企業を買収している。どうやら次世代Interconnectは、標準Ethernet＋Barefoodの「Tofino 2 Switch」というかたちで実装を行うつもりのようだ。

　ただ、もしNVIDIAが買収に名乗りを上げなければ、おそらくIntelは3回目のInfiniBandへのチャレンジを敢行していたものと思われる。

　実のところ、当時のサーバー市場のシェアを見れば、Intelが90％以上と圧倒的に高く、Intelの動向≒サーバー市場の動向としてもいいくらいだった。しかし昨今では、AMDやArmがこの市場へ積極的に挑んでおり、これらのベンダーはいずれも、InterconnectにGen-Zを利用することを明らかにしている。

　この場合、Gen-Zの採用≒InfiniBandの採用となり、InfiniBandはその誕生から20年を経て、ようやく本格的に花開こうとしている、この業界ではちょっと珍しいほど遅咲きの規格となったわけだ。そんな経緯もあって、今回取り上げさせていただいた。

　ただしモノがモノだけに、「期待のネット新技術」というより「期待のバス新技術」という感じもなくはないし、筆者の好みもあってバスの方向に話が逸れてしまうかもしれないが、その辺りはご容赦頂こう。

1992年結成の「NGIO Forum」により光ファイバーによるストレージ接続の代替手段として規格策定

　ということで、InfiniBand成立の過程を振り返ってみよう。1999年2月、NGIO Forumという業界団体が結成される。NGIOはNext Generation IOの略で、設立メンバー（Forum Sponsor）はIntelに加え、Dell、日立、NEC、Siemens、Sun Microsystemsの6社、加盟メンバー企業は1999年10月の時点で82社ほどだった。その結成の目的は“サーバー向けにチャネルベースのSwitched Fabricにおける標準的アーキテクチャーの開発”だった。

　もっとも、創立メンバーは6社と言いつつ、主導権を握ったのはIntelである。同社は1997年からNGIOの開発を始めており、仕様の目途が立ったところでForumを結成するという手回しのいいやり方でこのNGIOを立ち上げた。最近で言えば、PCI Express 1.0やCXL Consortiumでも同じ手法が採られていて、Intelの御家芸と言ってもいいだろう。

　このNGIOの目的は何か？と言えば、ストレージとの接続がメインであった。1990年代末なので、ストレージと言えばもちろんHDDしかなく、しかもエンタープライズ向けとなると、アクセスタイム（のうち主にシークタイム）を削減する目的で、1万rpm以上の回転数を持つ高速なHDDを多数並べてRAIDにすることで転送帯域を稼ぐという方式が一般的だった。

　当初、HDDの接続にはSCSIが利用され、SCSI→UltraSCSI→Ultra160→Ultra320と、どんどん高速化されたのだが、何しろパラレルケーブルを延々と引き回すのは大変な上、電気信号を利用する関係で到達距離が短い（UltraSCSI以降は最大12m）ために、ラック内の配線がギリギリになったりと、制約が多かった。

　そこで1990年代後半から、FiberChannelと呼ばれる、光ファイバーを利用した配線へと次第に切り替わっていった。1993年に登場した最初の規格は133Mbps程度の速度でしかなかったが、1997年には光ファイバー1本あたり1Gbpsの転送速度を持つ1GFCが登場。到達距離は最長で10kmにも達し（シングルモードの光ファイバーの場合。マルチモードだと500m）、配線もずっとシンプルになった。

　この後、2001年に2GFC（2Gbps）、2004年には4GFC（4Gbps）が登場して、速度はどんどん速くなったが、光ファイバーでの接続はやはり相対的に割高だったことから、電気信号を利用しつつFiberChannelの利便性（ケーブル1本で接続可能で、しかも高速）を享受できる規格へのニーズが高まった。NGIOが目指したのはまさにこれで、要するにFiberChannelの代替手段だったわけだ。

サーバー筐体の外とのInterconnectを想定したFuture I/O Allianceと一体化

　このNGIO Forumとは全く別に、Future I/O Allianceが、やはり1999年の2月に結成される。こちらの創立メンバーはAdaptec、Compaq、HP、IBMで、3Comも後追いで創業メンバーに加わった。このFuture I/O Allianceの目的は、それまでサーバー筐体内のInterconnectとして利用されてきたPCI/PCI-Xを、サーバー筐体外まで拡張することだった。

　その理由はNGIOと似たようなもので、とにかくサーバーの性能向上にはストレージ性能を上げる必要がある。ところがSSDが普及した昨今ならともかく、HDDが事実上唯一のソリューションだった当時としては、大量のHDDをサーバーにぶら下げるしか方法がなかった。

　ところが、大量のHDDはサーバーの筐体に入り切らないのが明白だ。そこでサーバー筐体の外にまでInterconnectを伸ばせる手段が必要になったわけだ。NGIOとの違いを強いて挙げるなら、筐体の外に伸ばす先が必ずしもストレージとは限らなかったことだ。Future I/Oには、以下の3種類の規格が想定されていて、I/Oそのものの拡張や、ネットワークとしての利用も、Future I/Oの要求の中に含まれていた。

• チップ同士やボード同士、ラック内のシャーシ同士の接続
  　　到達距離は最長10m、パラレルの銅ケーブル配線で接続
• データセンター内のサーバー間接続（＝ラック間接続）
  　　到達距離は10～300m、シリアルの光ファイバーないし銅ケーブルで接続
• 建物間接続
  　　到達距離は300m以上、技術的な技法は後で検討

　さて、このFuture I/O Allianceには60以上のベンダーが加盟していたが、そのうち少なからぬメンバーがNGIO Allianceにも加盟していた。そもそもFuture I/O Allianceの創立メンバーであるAdaptecが、NGIOのForum Memberになっていたりする辺りから、一本化への議論が出たのは当然のことだった。

　かくして8月31日、NGIO ForumとFuture I/O Allianceは一体化し、新たに“System I/O group”という名称で、統合されたInterconnect規格の策定を行うことを発表する。このSystem I/Oが、2000年1月31日に"InfiniBand"という名称へと変更となり、またこのInfiniBandを管理する団体として、InfiniBand Trade Associationが同日発足。こうして、InfiniBandが生まれたわけだ。