期待のネット新技術

発熱への対処が難しく2002年にIntelが開発中止、サーバー間接続の一本化は実現せず

【InfiniBandの現在】

 前々回から、「InfiniBand」の歴史と現状、今後の動向をまとめて紹介している。大半の読者にとっては「InfiniBandって何?」というところだろうが、僚誌クラウドWatchをご覧になっておられる読者の中には「何で今さら」という方も居られるかもしれない。

 そう、InfiniBandという規格は、1999年に作業が始まり、2000年に最初の規格策定が行われたという「えらく古い」規格なのである。

「InfiniBandの現在」記事一覧

サーバー間接続をイーサネット+ファイバチャネルからInfiniBandへ一本化

 まずは前回の補足など。これはIntel自身の説明ではないのだが、2001年当時、InfiniBandがどういう扱いだったのかを示すのに、いい資料なので紹介したい。当時のサーバー構成と言うのは、以下のようにサーバーとクライアント間は当然イーサネットで繋がるが、サーバー同士もイーサネットを経由して接続され、その先にファイバチャネル経由でSANストレージがぶら下がる、というものだった。

説明を行ったEstrada氏の所属するCAは、サーバーの管理ソフトウェアを提供するベンダーであった。これとは別に、同じセッションでLane15 Software CTOのBill Leddy氏による説明も行われた関係で、右下には「Lane 15」のロゴが入っている

 こうした状況が、InfiniBandの登場によって、まずサーバーへの接続が一本化される。そして長期的には、ファイバチャネルも全て置き換えられる予定になっていた。この構図は、当時のIntelが思い描いていたInfiniBandの将来にかなり近いものだった。

イーサネットもファイバチャネルも、全てInfiniBandに一本化することで、帯域の強化と管理のしやすさ(要求に応じて、割り当てる帯域を柔軟に変更できるなど)が可能になるという構図だった
当時のファイバチャネルは2GFC(2.125Gbps、スループットは400MB/sec)のものが出たばかりでInfiniBandでの置き換えがは難しくなかった。ここまでのスライドの出典はIDF 2001 FallにおけるCA(Computer Assosiates International)のMelvin Estrada氏による"Manageability of Infiniband"というセッション資料

 ただ、実はこの時点でIntel社内でのInfiniBand関連のスケジュールは遅れに遅れていた。元々1999年のころのロードマップでは、InfiniBand向けのコントローラーのFPGAプロトタイプが1999年中に完成し、2000年にはコントローラーの量産と、製品のサンプル出荷を開始し、2001年にはソリューションを出荷予定という話であった。

 このロードマップは、IntelというよりNGIO Forumのものだったのだが、NGIO ForumそのものはIntelが主導していたわけで、事実上はIntelのロードマップとしてもいいだろう。もちろんNGIO ForumがInfiniBand Trade Associationへと鞍替えした時点で、Future I/Oの要求を取り込んだ結果、だいぶ仕様が膨らんだのは事実だが、最初のサンプル出荷が2001年1月末までずれ込んだ時点で、順調とは言い難い状況だった。

 ちなみに、このときリリースされたサンプルは、その後PDK(Platform Development Kit)として配布されたHCA(Host Channel Adapter)とスイッチ、およびここには出てこないTCA(Target Channel Adapter)からなっていた。

HCAはPCI-X構成。後述するようにコントローラー上にはファンの搭載が前提だった模様。出典はIDF 2001 FallにおけるArlandz Kunz氏(Advanced Components Division)の"InfiniBand Enabling Programs Update"というセッション資料より

 IDF直後の2001年9月10日には、InfiniBand Trade Associationが都内でデモを行っている。PDKとして配布されたカードの形状から見ると、このデモで利用されたカードと同じものではないかと思う。ただ、この写真を見ると、当時CPUクーラーなどに多用されていたSANACEのファンが搭載されている一方、PDKの写真にはファンが搭載されていない。そもそも後者は、デモで利用されたカードのさらにプロトタイプにあたるもののような気がする。

 それはそれとして、以前に本連載の「10GBASE-T、ついに普及?」第4回でも書いたように、HCAにアクティブファンでの冷却が必要な状況では、通常なら普及は難しい。その理由も以前に書いた通りで、スイッチ側の発熱量が増大することが明白だからだ。

 その対処としては、プロセス微細化などで消費電力を下げるのが一般的だ。逆に言えば、2001年当時にあったInfiniBand HBAは、あくまでもサンプルというか開発用プラットフォーム(この言い方をするとMercedやKnights Ferryなど、いろいろ連想してしまうのだが、それは置いておくとして)と考えれば十分で、最終的なシステムでは、消費電力がもう1段階下がり、アクティブファンなしでの動作が期待されていた。これがほぼ2001年末の状況である。

Intelがコントローラーの開発を中止、PCI Expressの登場が引き金か

 さて明けて2002年。2月に開催されたIDF Spring 2002では特におかしな感じはなかった。以下のようなInfiniBand関連セッションが開催されて、関連ベンダーが一斉にInfiniBandへ向かっている感が強かった。

  • Enterprise Management and InfiniBand Fabrics(Lane 15)
  • IBM Websphere and DB2 Databases on InfiniBand Architecture(IBM)
  • InfiniBand Architecture: Delivering the Ecosystem(Intel)
  • InfiniBand Architecture Storage Solutions (LSI、Network Appliance、Adaptec)
  • InfiniBand Upper Level Protocols(Microsoft)
  • Intel InfiniBand Test Development Kit(Intel)
  • Internet Protocol and InfiniBand Architecture(Voltair、Intel)
  • Message Passing Interface Implementation for InfiniBand Architecture(Intel)
  • Oracle on InfiniBand Architecture(Oracle)
  • Physical Design and Testing Techniques(Agilent、Textronics)

 ところが同年6月、IntelはInfiniBandのコントローラーの開発を中止したことを非公式に明らかにした。非公式にというのは、Intelでは、製品開発の中止などについて、通常は公式には一切発表しないためだ。ただし、メディアから聞かれたら答える、というかたちの対応は行う。この時点で、IntelがInfiniBandのHCA/TCAとスイッチという、ハードウェアの開発を丸ごと放棄したのは、ほぼ間違いないだろう。

 理由は当然ながら明らかにされていないが、この当時だとIntelのCPU向けプロセスは180nm→130nmへの移行中で、チップセットは未だ250nm世代での製造だった。ネットワーク関連製品などはTSMCを利用していたが、130nm世代はまだ立ち上がったばかりで、現実問題として180nm世代だったと思われる。おそらくは130nmプロセスでの製造(自社FabではなくTSMCを利用する予定だったと思われる)を考えていたのだろうが、ここで登場したのが、3GIOことPCI Expressである。

 PCI Expressは、物理的には180nm世代でもPHYは作れるし、実際に250nmで製造した例もあるが、コアロジックがかなり大きくなるという問題がある。その昔、台湾VIA Technology傘下のS3は、AGPからPCI Express(DeltaChromeからGammaChrome)へ移行するにあたり、130nmではインターフェースのエリアサイズが大きくなりすぎてシェーダーの数を増やせないという問題を抱えていた。

 当然、InfiniBandのインターフェースについてもPCI-XからPCI Expressへの転換が念頭にあったと思われる。ただ、おそらくTSMCの180nmもしくは150nmで製造されたInfinibandのコントローラーは発熱過多で、より微細化したプロセスを要求する上、PCI Expressまで統合するとなると、相当にダイサイズが大きくなり、しかも発熱の問題が再燃しかねない。

 この対策には、より微細化した90nm世代のプロセスが必要だが、これは2001~2002年時点のタイムフレームでは、利用不可能であった。これだけが理由ではないかもしれないが、要因の1つではあるだろう。

 ではIntelはInfiniBandを放棄した後、どうしたのかというと、2002年秋のIDFの時点では、以下のようにInfiniBandのセッションがまだ設けられていた。

  • Cluster File System With RDMA(Veritas Software)
  • Data Center Management Over InfiniBand Architecture(bmc software)
  • Enabling High Performance Computing with Scalable InfiniBand Switching(RedSwitch)
  • InfiniBand Architecture and Sockets Direct Protocol(Voltair)
  • InfiniBand Compliance Testing(Intel)
  • InfiniBand Product Deployment on Linux(Mellanox)
  • New Message Passing Interface (MPI) Implementation for InfiniBand Architecture(Intel)
  • Storage Virtualization and InfiniBand Server Blade Farms(DataCare Software)

 相互接続性とMPI周りの作業は、一応継続されていた。ところが2003年春以降のIDFでは、InfiniBandの名前はセッションから完全に消えてしまった。

 ではIntelはその後、サーバーのネットワークをどうしたのかのだろうか? その答えは、2003年秋のIDFで発表されている。"Preparing for 2004-2005 Networking Transitions"というセッションで示された方向性は、以下の通り10GbEだった。

グラフはDell'OroとIDCがそれぞれ予想する価格で、2003年ごろには開きが大きいが、2007年にはほとんど同等まで下がるとしている。出典はIDF 2003 FallにおけるGary Gumanow氏とCarl Wilson氏(どちらもPlatform Applications Engineer)の"Preparing for 2004-2005 Networking Transitions"というセッション資料より

 2003年には光ファイバーベースの10Gbit Ethernetのポート単価は1~3万ドルと高価だが、2007年には2500ドル未満に下がるとして、こちらをサーバー間の接続に使うという方針に切り替え、InfiniBandはなかったことにされてしまった。

 これにあわせてMicrosoftも2002年8月、Windows Server 2003でInfiniBandのネイティブサポートを外すことを、これも非公式に表明した。2月のIDFではIPoIB(IP over InfiniBand)やSDP(Sockets Direct Protocol)、RNDIS(Remote NDIS)などの実装について説明を行っていたのだが、これらがNativeで実装されるのは、ずっと後のこととなる。

「InfiniBandの現在」記事一覧

大原 雄介

フリーのテクニカルライター。CPUやメモリ、チップセットから通信関係、OS、データベース、医療関係まで得意分野は多岐に渡る。ホームページはhttp://www.yusuke-ohara.com/