期待のネット新技術

InfiniBand QDR/Ethernet両対応の「ConnectX-2」と324ポートスイッチ「MTS3610」、2009年に登場

【InfiniBandの現在】

 「InfiniBandの現在」では、規格としての歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。

 そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。

「InfiniBandの現在」記事一覧

2009年には順調に市場へ投入された「InfiniBand QDR」

 2009年に入ると、「InfiniBand QDR」は急速に立ち上がり始める。Mellanoxの関連プレスリリースから2009年前半のものを拾えば、HP ProLiant G6に搭載(3月30日)Dell PowerEdge M610/M710に搭載(3月31日)Sun Blade X6270/X6275に搭載(4月14日)IBM System Cluster 1350とiDataPlex systemへ搭載(5月4日)富士通のPRIMERGY BX900 Blade Serverに搭載(5月26日)HP経由でMTS3610 Infiniband Switchを販売開始(6月2日)といった具合だ。

 主要なサーバーメーカー向けのデプロイメントがこの期間に一段落した。そして2009年後半は、ASUSMSI(ともに11月10日)のホワイトボックスサーバー向けへの対応が表明されるなど、順調に市場へ投入されていった様子がよく分かる。

 エンドユーザーへの展開も進んだ。2009年11月のTOP500で世界5位となった中国NUDT(国防科技大学)の天河一号におけるInterconnectとしては同社のHCAとスイッチが利用された。

 その2009年11月のTOP500を見ると、2008年比で63.4%増にあたる140万4164コアが、InfiniBandで接続されているという状況になったとする(2008年11月は85万9090コア)。システム数という意味では、TOP500に掲載された500システム中182で、全体の36.4%ほどを占めていた。と言うことは、要するにコア数が多いシステムでInfiniBandが採用されていた、という意味になるわけだ。

 事実TOP10のうち5システム、TOP20のうち9システムという数字も示されていた。この2009年のInfiniBand関連の売上(以下左)は1億1600万ドルで、2008年比では微増といった感じだが、以下右の速度別内訳を見ると2009年は、InfiniBand QDRがInfiniBand DDRを抜いてトップに立った年で、以降2011年まで、この座を守り続けることになる。

Mellanoxの製品ジャンル別売上推移
InfiniBandの速度規格別売上推移

カード1枚でInfiniBand QDRと10G Ethernetに対応の「ConnectX-2」

 この時期、Mellanoxが注力していたのは、InfiniBand HCAやInfiniBandスイッチの高機能化である。速度に関して言えば、2004年にInfiniBand Specification Release 1.2.1がリリースされた後、その後継に関する作業がInfiniBand Trade AssociastionのWorking Groupの中で続けられてはいたものの、まだこの時点では明確なロードマップが出ていなかった。

 Mellanoxではそれもあってか、速度そのものはInfiniBand QDRのままながら、機能を強化する方向に走る。まずはInfiniBandとEthernetの統合である。前回も紹介した通り第1世代のConnectXでは、InfiniBand向けとEthernet向けが別々の製品(コントローラそのものも別)だったが、これを統合して1つのカードでInfiniBandとEthernetの両対応となったのが、2009年9月に発表された「ConnectX-2」だ。

 InfiniBand SDR/DDR/QDR 4xと10G Ethernetに対応し、さらにRDMAとEthernetではRoCEも利用可能なマルチプロトコルカードである。このConnectX-2の世代から、新たに「CORE-Direct」と呼ばれるハードウェアオフローディングの機能も搭載されている。

 CORE-Directは、MPIなどで利用される共有メモリベースのアプリケーションを高速化するためのもので、COREとは"Collectives Offload Resource Engine"の略だそうだ。このエンジンを利用して、InfinityFabricやEthernet経由でのメモリ共有の処理を全てオフロードすることで、CPUの負荷を下げるとともに、スループット増加やレイテンシー削減を可能にするものだった。

 ちなみに、当然スイッチ側でもCORE-Directへの対応が必要で、ConnectX-2から少し遅れて登場した「InfiniScale IV」というスイッチICで、これが可能になる。

「InfiniScale IV」搭載の324ポートInfiniBandスイッチ「MTS3610」

 こうなると、単にInfiniBand HCAだけでなく、InfiniBandスイッチまでをまとめて提供した方が、ビジネスとして成立しやすい、となるのは当然だろう。先に少し触れたが、2009年6月には、「InfiniScale IV」を搭載した324ポートのInfiniBandスイッチ「MTS3610」の一般販売をHP経由で開始しており、こちらの売れ行きも悪くはなかったようだ。

右下が324ポートのInfiniBandスイッチ「MTS3610」。上の18ポートスイッチのMTS3600を18個重ねたような構成になっている。出典は2009年のMellanox講演資料

 そうしたこともあって2010年11月には、InfiniBandのスイッチの製造・販売パートナーであったVoltaireを、およそ2億1800万ドルの現金で買収。約700名の従業員と2億1700万ドルほどの同社の売上が、Mellanoxのものとなった。ちなみに買収完了が2011年2月になった関係で、売上計上は2012年になっている。そして、2010年と2011年の製品カテゴリー別売上比率を見てみると、以下のように大幅に変化していることが分かる。

20102011
IC36.9%18.0%
Board43.4%37.8%
Switch12.6%29.5%
Cables, etc7.1%14.7%

 それまではIC(つまりスイッチ用コントローラーと、オンボードでInfiniBandを搭載するマザーボード用HCAチップの外販)と、InfiniHost/ConnectXなどのHCAカードが売上の大半を占めていた。これに対して2011年は、スイッチの売上比率が倍以上になり、その分ICの売上が減っている。またスイッチを納入すると、必然的にケーブル類やアクセサリーの注文もあるので、バランスのいい売上構成になっていることが分かる。

次期規格「InfiniBand FDR」対応製品を2011年に投入へ

 以下の資料によれば、この翌年の2011年中には、100Gbpsのソリューションをリリースするとしていた。これが、次回に解説する「InfiniBand FDR」である。最終的には2011年6月に「ConnectX-3」シリーズとして投入されるが、この時点では、もう割と目途が立っていたことを伺わせる。

100Gbpsの規格はもちろんInfiniBandにはない。これは56Gbpsのポートを2つ搭載するので100Gbps以上になる、という意味だ。出典はMellanox Technologiesの津村英樹氏による2010年9月16日の講演資料

 こんな調子でInfiniBandのラインアップ強化に努めていた同社だが、Ethernetも引き続き頑張っていた。例えば2009年9月には、初の40G Ethernetとして「ConnectX-2 EN 50G」を発表している。こちらは「40GBASE-CX4」と「40GBASE-SR4」にそれぞれ対応したものだ。

 しかし、そもそも40GBASE-CX4/SR4の標準化を行ったIEEE 802.3ba自身、Draft 2.0が出たのが2009年5月、Draft 3.0が2009年12月、最終版のDraft 3.1が2010年3月であり、標準化の完了は2010年だったことを考えれば、ずいぶん製品化を急いだという気もしなくはない。

 これが当時どの程度のシェアをとれたのかは、外部には公開されていないのだが、先に挙げたMellanoxの製品ジャンル別売上推移グラフを見ると、2011年には6500万ドルほどの売上があったことを考えると、それなりに製品化を急いだ意味があったのかもしれない。

「InfiniBandの現在」記事一覧

大原 雄介

フリーのテクニカルライター。CPUやメモリ、チップセットから通信関係、OS、データベース、医療関係まで得意分野は多岐に渡る。ホームページはhttp://www.yusuke-ohara.com/