発熱への対処が難しく2002年にIntelが開発中止、サーバー間接続の一本化は実現せず

サーバー間接続をイーサネット＋ファイバチャネルからInfiniBandへ一本化

　まずは前回の補足など。これはIntel自身の説明ではないのだが、2001年当時、InfiniBandがどういう扱いだったのかを示すのに、いい資料なので紹介したい。当時のサーバー構成と言うのは、以下のようにサーバーとクライアント間は当然イーサネットで繋がるが、サーバー同士もイーサネットを経由して接続され、その先にファイバチャネル経由でSANストレージがぶら下がる、というものだった。

説明を行ったEstrada氏の所属するCAは、サーバーの管理ソフトウェアを提供するベンダーであった。これとは別に、同じセッションでLane15 Software CTOのBill Leddy氏による説明も行われた関係で、右下には「Lane 15」のロゴが入っている

　こうした状況が、InfiniBandの登場によって、まずサーバーへの接続が一本化される。そして長期的には、ファイバチャネルも全て置き換えられる予定になっていた。この構図は、当時のIntelが思い描いていたInfiniBandの将来にかなり近いものだった。

イーサネットもファイバチャネルも、全てInfiniBandに一本化することで、帯域の強化と管理のしやすさ（要求に応じて、割り当てる帯域を柔軟に変更できるなど）が可能になるという構図だった

当時のファイバチャネルは2GFC（2.125Gbps、スループットは400MB/sec）のものが出たばかりでInfiniBandでの置き換えがは難しくなかった。ここまでのスライドの出典はIDF 2001 FallにおけるCA（Computer Assosiates International）のMelvin Estrada氏による"Manageability of Infiniband"というセッション資料

　ただ、実はこの時点でIntel社内でのInfiniBand関連のスケジュールは遅れに遅れていた。元々1999年のころのロードマップでは、InfiniBand向けのコントローラーのFPGAプロトタイプが1999年中に完成し、2000年にはコントローラーの量産と、製品のサンプル出荷を開始し、2001年にはソリューションを出荷予定という話であった。

　このロードマップは、IntelというよりNGIO Forumのものだったのだが、NGIO ForumそのものはIntelが主導していたわけで、事実上はIntelのロードマップとしてもいいだろう。もちろんNGIO ForumがInfiniBand Trade Associationへと鞍替えした時点で、Future I/Oの要求を取り込んだ結果、だいぶ仕様が膨らんだのは事実だが、最初のサンプル出荷が2001年1月末までずれ込んだ時点で、順調とは言い難い状況だった。

　ちなみに、このときリリースされたサンプルは、その後PDK（Platform Development Kit）として配布されたHCA（Host Channel Adapter）とスイッチ、およびここには出てこないTCA（Target Channel Adapter）からなっていた。

HCAはPCI-X構成。後述するようにコントローラー上にはファンの搭載が前提だった模様。出典はIDF 2001 FallにおけるArlandz Kunz氏（Advanced Components Division）の"InfiniBand Enabling Programs Update"というセッション資料より

　IDF直後の2001年9月10日には、InfiniBand Trade Associationが都内でデモを行っている。PDKとして配布されたカードの形状から見ると、このデモで利用されたカードと同じものではないかと思う。ただ、この写真を見ると、当時CPUクーラーなどに多用されていたSANACEのファンが搭載されている一方、PDKの写真にはファンが搭載されていない。そもそも後者は、デモで利用されたカードのさらにプロトタイプにあたるもののような気がする。

　それはそれとして、以前に本連載の「10GBASE-T、ついに普及？」第4回でも書いたように、HCAにアクティブファンでの冷却が必要な状況では、通常なら普及は難しい。その理由も以前に書いた通りで、スイッチ側の発熱量が増大することが明白だからだ。

　その対処としては、プロセス微細化などで消費電力を下げるのが一般的だ。逆に言えば、2001年当時にあったInfiniBand HBAは、あくまでもサンプルというか開発用プラットフォーム（この言い方をするとMercedやKnights Ferryなど、いろいろ連想してしまうのだが、それは置いておくとして）と考えれば十分で、最終的なシステムでは、消費電力がもう1段階下がり、アクティブファンなしでの動作が期待されていた。これがほぼ2001年末の状況である。

Intelがコントローラーの開発を中止、PCI Expressの登場が引き金か

　さて明けて2002年。2月に開催されたIDF Spring 2002では特におかしな感じはなかった。以下のようなInfiniBand関連セッションが開催されて、関連ベンダーが一斉にInfiniBandへ向かっている感が強かった。

• Enterprise Management and InfiniBand Fabrics（Lane 15）
• IBM Websphere and DB2 Databases on InfiniBand Architecture（IBM）
• InfiniBand Architecture: Delivering the Ecosystem（Intel）
• InfiniBand Architecture Storage Solutions （LSI、Network Appliance、Adaptec）
• InfiniBand Upper Level Protocols（Microsoft）
• Intel InfiniBand Test Development Kit（Intel）
• Internet Protocol and InfiniBand Architecture（Voltair、Intel）
• Message Passing Interface Implementation for InfiniBand Architecture（Intel）
• Oracle on InfiniBand Architecture（Oracle）
• Physical Design and Testing Techniques（Agilent、Textronics）

　ところが同年6月、IntelはInfiniBandのコントローラーの開発を中止したことを非公式に明らかにした。非公式にというのは、Intelでは、製品開発の中止などについて、通常は公式には一切発表しないためだ。ただし、メディアから聞かれたら答える、というかたちの対応は行う。この時点で、IntelがInfiniBandのHCA/TCAとスイッチという、ハードウェアの開発を丸ごと放棄したのは、ほぼ間違いないだろう。

　理由は当然ながら明らかにされていないが、この当時だとIntelのCPU向けプロセスは180nm→130nmへの移行中で、チップセットは未だ250nm世代での製造だった。ネットワーク関連製品などはTSMCを利用していたが、130nm世代はまだ立ち上がったばかりで、現実問題として180nm世代だったと思われる。おそらくは130nmプロセスでの製造（自社FabではなくTSMCを利用する予定だったと思われる）を考えていたのだろうが、ここで登場したのが、3GIOことPCI Expressである。

　PCI Expressは、物理的には180nm世代でもPHYは作れるし、実際に250nmで製造した例もあるが、コアロジックがかなり大きくなるという問題がある。その昔、台湾VIA Technology傘下のS3は、AGPからPCI Express（DeltaChromeからGammaChrome）へ移行するにあたり、130nmではインターフェースのエリアサイズが大きくなりすぎてシェーダーの数を増やせないという問題を抱えていた。

　当然、InfiniBandのインターフェースについてもPCI-XからPCI Expressへの転換が念頭にあったと思われる。ただ、おそらくTSMCの180nmもしくは150nmで製造されたInfinibandのコントローラーは発熱過多で、より微細化したプロセスを要求する上、PCI Expressまで統合するとなると、相当にダイサイズが大きくなり、しかも発熱の問題が再燃しかねない。

　この対策には、より微細化した90nm世代のプロセスが必要だが、これは2001～2002年時点のタイムフレームでは、利用不可能であった。これだけが理由ではないかもしれないが、要因の1つではあるだろう。

　ではIntelはInfiniBandを放棄した後、どうしたのかというと、2002年秋のIDFの時点では、以下のようにInfiniBandのセッションがまだ設けられていた。

• Cluster File System With RDMA（Veritas Software）
• Data Center Management Over InfiniBand Architecture（bmc software）
• Enabling High Performance Computing with Scalable InfiniBand Switching（RedSwitch）
• InfiniBand Architecture and Sockets Direct Protocol（Voltair）
• InfiniBand Compliance Testing（Intel）
• InfiniBand Product Deployment on Linux（Mellanox）
• New Message Passing Interface （MPI） Implementation for InfiniBand Architecture（Intel）
• Storage Virtualization and InfiniBand Server Blade Farms（DataCare Software）

　相互接続性とMPI周りの作業は、一応継続されていた。ところが2003年春以降のIDFでは、InfiniBandの名前はセッションから完全に消えてしまった。

　ではIntelはその後、サーバーのネットワークをどうしたのかのだろうか？　その答えは、2003年秋のIDFで発表されている。"Preparing for 2004-2005 Networking Transitions"というセッションで示された方向性は、以下の通り10GbEだった。

グラフはDell'OroとIDCがそれぞれ予想する価格で、2003年ごろには開きが大きいが、2007年にはほとんど同等まで下がるとしている。出典はIDF 2003 FallにおけるGary Gumanow氏とCarl Wilson氏（どちらもPlatform Applications Engineer）の"Preparing for 2004-2005 Networking Transitions"というセッション資料より

　2003年には光ファイバーベースの10Gbit Ethernetのポート単価は1～3万ドルと高価だが、2007年には2500ドル未満に下がるとして、こちらをサーバー間の接続に使うという方針に切り替え、InfiniBandはなかったことにされてしまった。

　これにあわせてMicrosoftも2002年8月、Windows Server 2003でInfiniBandのネイティブサポートを外すことを、これも非公式に表明した。2月のIDFではIPoIB（IP over InfiniBand）やSDP（Sockets Direct Protocol）、RNDIS（Remote NDIS）などの実装について説明を行っていたのだが、これらがNativeで実装されるのは、ずっと後のこととなる。