期待のネット新技術

大きすぎた消費電力、進む微細化で徐々に実用に

【10GBASE-T、ついに普及?】(第4回)

 1000BASE-Tの10倍速、という高速な有線LAN規格「10GBASE-T」が、いよいよ身近になりつつある。

 LANカードは既に100ドル以下のモデル2万円台のモデルが登場、ハブについても8ポート8万円の製品が国内で発売済み。10GBASE-T標準搭載のiMac Proも12月に発売されるなど、価格・製品バリエーションの両方で徐々に環境が整ってきた。

 長らく望まれてきた10GBASE-Tの低価格化だが、技術的には1000BASE-Tから変更された点も多く、設定や活用上のノウハウも新たなものが必要になる。そこで、規格の詳細や現状、そしてその活用方法を、大原雄介氏に執筆していただいた。今回のテーマは「10GBASE-T普及の状況と問題点について」。今後、集中連載として、毎週火・木曜日に掲載していく。(編集部)

 仕様の策定も終わったことだし、では10GBASE-T対応製品がガンガン出て、市場が立ち上がったかというと、全然そんなことにはならなかった。筆者が知る限り、一番最初に10GBASE-T対応を謳ったPHYとしてアナウンスされたのは、Teraneticsの「TN1010」ではないかと思う。

10GBASE-T PHYの投入が2007~2008年に相次いでアナウンス

 2007~2008年にかけて同社は、このTN1010を使った様々な製品をパートナー企業と共同開発したりデモンストレーションを行ったりするものの、採用されたケースはごく僅か。同社は2010年にPLX Technologyに買収され、そのPLX Technologyも2014年にAvago Technologyに買収されている。

 Solarframeでも、10GBASE-Tの仕様策定前から同社の「10Xpress SFT9001」という10GBASE-T PHYのデモを行ったりしていた。Plato Networksは2007年には「早期に製品を出荷する」とアナウンスしていた(同社は2010年にNetLogic Microsystemsに買収され、そのNetLogic Microsystemsも2011年にBroadcom Corporationに買収された)。ほかにAquantiaが2008年4月に同社最初の10GBASE-T PHYである「AQ1001」のサンプル出荷をアナウンスしている。ほかにもいくつかのベンダーが、10GBASE-T PHYの投入を2007~2008年のタイムフレームで予定していた(というか、実際に投入された)が、市場がこれに応じて立ち上がる気配は皆無だった。

大きすぎた消費電力、市場への普及は進まず

 理由は何か?というと、消費電力が大き過ぎることだった。例えば、最初に名前を出したTeraneticsのTN1010は110nmプロセスで製造されていたが、消費電力が10Wにもおよぶ代物だった。このため、ヒートシンクだけでは到底動作が不可能で、アクティブファンが必要だった。これはほかのベンダーの製品も同じで、AquantiaのAQ1001も、同様に110nmプロセスで製造されており、100mのFull-reach動作時は10Wに限りなく近かったようだ。

 「10Wはそれほど多くないのでは?」と思われるかもしれないが、とんでもない。確かにデバイス側は10W+α(10WはあくまでもPHYだけで、ほかに必要なMACやHostとのインターフェースと、別のチップの分が必要)で済むが、問題はスイッチの側である。何しろポートあたり最低10Wだから、たった8ポートのスイッチでも最低80W。さらに実際はMACの処理やポート間のルーティングが必要になるわけだ。ただ、ポート間ルーティングが面倒な話で、何せポートあたり10Gbpsだから、バックボーンはかなり大きな帯域が必要になる。結果、8ポートのスイッチの消費電力が130~140Wという恐ろしいものになってしまった。

10GBASE-TのPHYの構造

 ちょっと順序が入れ替わるが、2003年11月にIEEEが開催した10GBASE-T Tutorialの資料を見ると、10GBASE-TのPHYの構造は以下のブロックダイアグラムのように想定されている。

10GBASE-TのPHY構造ブロックダイアグラム。Hybridは送受信の多重化ユニット。続く上段は送信、下段は受信側で、DSPが誤り訂正を担う形を想定していた

 その際の主要メーカーにおける製品の想定消費電力は、以下の表のような感じだった。Solarfrareは強気な数字を出しているが、90nm世代で10Wというのはほとんど確定で、これを減らすにはプロセスを微細化するしかない、というのがよく分かる。おまけに2006~2007年と言えば、まだ90nmプロセスがまだまだ最先端の頃。需要が高い割に製造ラインが少ないので、なかなか製品を作れず、しかも初期コストも高かった。このため、TeraneticsもAquantiaも110nmでの製造になっているわけだ。これで10Wで収まったのが、むしろ凄いと言うべきだ。

これはまだ仕様策定途中の数字で、あくまで個々のメーカーが、予定しているプロセスを使った場合の推定消費電力であり、実際の製品とは異なる

 ただ、各社とも、ここから懸命に努力した。例えばAquantiaは、2008年11月に発表した第2世代の「AQ1002」で90nmプロセスを使い、Full-reach(100m)で6.0W、Short-reach(30m以内)で4.5Wにまで抑えることに成功した。続いて2010年8月に発表されたAQ1103では40nmプロセスを利用し、Full-reachで3.5W、Short-reachで2.0Wにまで消費電力を抑えている。3.5Wは環境次第ではちょっと厳しいが、2.0Wならば、動作時の発熱をファンなしのヒートシンク程度で何とかカバーできる範囲だ。

 要するにプロセスを2世代ほど微細化することで、やっと実用的な範囲まで消費電力を抑えることに成功したわけだ。余談ながら、このAQ1103についてAquantiahは“Aquantia's 2nd generation of monolithic, low-power 10GBASE-T PHYs”という言い方をしている。ということは最初のAQ1001では、PHYの内部が2チップ構成になっていた模様だ。2013年に登場したAQ2104では、Full-reachが2.5W、Short-reachが1.5Wまで消費電力が落ちており、やっとこのあたりになって、1000BASE-Tと肩を並べられる消費電力に落ちてきた感がある。

 こうした状況は、ほかのベンダーも似たようなものだった。PC Watchで2008年のESC SVレポートを掲載したが、ここにIntelの10GBASE-T試作アダプタの写真を掲載している。これを見てお分かりのように、MACはヒートシンクだけで済んでいるのに、PHYには結構大きなアクティブファンが付いている。動作検証レベルならこれでいいとしても、実際の現場でこんなものは使ってはいられないわけだ。

Intelが2008年 ESC SVに参考展示した当時未発表の10GBASE-Tアダプタ
ACT/Linkの下に1Gig/10GigのLEDが並んでいる

 そして繰り返しになるが、問題はやはり個々のコントローラー側でなくスイッチの方であった。エンタープライズ、あるいはHPCといった用途では、8ポートやそこらでは全然足りないわけで、通常は16~48ポートクラスのスイッチを使うことが多い。仮にAquantiaのPHYを使って24ポートのスイッチを構成したとすると、PHYだけで以下のような消費電力になる。

チップFull-reachShort-reach
AQ1001(2006)240W240W
AQ1002(2008)144W108W
AQ1103(2010)84W48W
AQ2104(2013)60W36W

 これに24ポート分のMACと、簡単なところでレイヤー2スイッチを搭載するとして、2006年だと100W、2013年でも50Wかそこらは行くだろう。となると、2006年に24ポートの10GBASE-Tスイッチを構築すると消費電力は340Wに達する。これが100Wを切るのは2013年に入ってからだ。さすがにレイヤー2スイッチだけで300Wオーバーというのは、なかなか許容されにくい数値である。さらに高機能なものだと、例えば2016年に発売されたCisco「Catalyst 4900M」シリーズの場合、10GBASE-Tポート×16+X2ポート×8の構成で282Wとなっているが、これはレイヤー3スイッチなので、また議論が変わってくる。

100Wを切る24ポートスイッチの登場まで

 つまるところ、24ポートスイッチで、PHYだけの消費電力が100Wを切る2013年あたりまで、スイッチそのものがほとんど市場に出回らなかったのだ。つまり、せっかく仕様が策定されながらも、その後6~7年は10GBASE-Tでネットワークを構築するための手段が存在しなかった。テストだけなら2台のマシンを1本のケーブルで直結すればいいが、これでは普通に利用するのは論外だろう。

 消費電力以外にもう一つ問題があったのがレイテンシーである。10GBASE-Xの場合は、基本的には単に1passのエンコード/デコードだけだから、レイテンシーは非常に少ない。ところが10GBASE-Tでは、上で説明したようにLDPCの処理をぐるぐる回す形になるので、どうしてもレイテンシーが大きくなる。

 以下の2010年のIDFでIntelが説明した資料を見ると、10GBASE-CX4(図ではSPF+Direct Attach)と10GBASE-SRが100ns台のレイテンシーで済むのに対し、10GBASE-Tは1桁以上増えている。実はこれ、特にHPC向けでは致命的な問題となる。HPCの場合、多数のマシンで同期を取りながら処理を行う関係で、いかに高速に同期を取るかが、性能改善の大きなポイントとなるからだ。

2010年IDFの資料。ちなみに10GBASE-Tの消費電力は、割と低めに見積もられている気がする

 実際には、ハードウェア的にはEthernetを使いつつも、標準のTCP/IPスタックを使わずに独自のプロトコルスタックを載せることで、レイテンシーを削減した、なんて話もあるほどだ。ちょっと古い話になるが、2007年にドイツのユーリッヒ研究センターが、「Blue Gene/P」をベースにしたIBMのHPCシステムを導入し、「JUGENE」という名前で運用していたのだが、ここでは3次元トーラス構造でノード間を接続しており、この速度は5.1GB/sec、レイテンシーはわずか800nsだった。これとは別にシステム全体をカバーするツリー構造のネットワークもあり、こちらもやはり速度は5.1GB/secながらレイテンシーは2μsとされていた。

 ところが(帯域を無視して)、仮にこれを10GBASE-Tに切り替えた場合、まずトーラス構造の方は800nsから2.8μsecと3.5倍に悪化する(実際にはエンコードもそれなりに掛かるから、4倍近くになるかもしれない)し、ツリー構造の方はスイッチを挟む分さらに悪化するので、2μsecのものが10μsec近くになりかねない。CDN(Contents Deliver Network)とかFile Serviceなどではレイテンシーが問題になることはあまりないが、特にこうした分散システムでは、非常に使いにくいということになる。

 もっとも、以上の話はHPCなどでのもので、例えば自宅からネットワークゲームをやろう、というときには、あまり問題にはならない。仮に大きめに見積もって、レイテンシーを“10μsec”とした場合、このレイテンシーを要するのは自分のPCからスイッチまでの1カ所だけである。その先のスイッチ→ルーター→ONUは、いずれも1000BASE-Tでの接続となるから、レイテンシーは数百nsecのオーダーでしかない。ネットワークゲームではmsecオーダーのレイテンシーが問題になるのは普通とはいえ、それでもたかだかμsecであり、自宅からインターネット経由での場合、むしろサーバーに繋ぐまでのレイテンシーの変動の方がはるかに大きくなる。以上の理由で、HPCなどの分散システムで問題になる場合とは比較にならないわけだ。

 ただ、ここで挙げたレイテンシーの問題や消費電力といった問題に対して、「こうした事情があるから10GBASE-Tが使い物になるまで待とう」という議論はもちろんあり得ない。処理すべきトラフィックが年々増えている状態では、少しでも速いネットワークが必要になるからだ。

 今回は、仕様が策定された10GBASE-T普及の状況と問題点について解説しました。次回10月31日更新分では、先行して普及の始まった「SFP」について解説します。

大原 雄介

フリーのテクニカルライター。CPUやメモリ、チップセットから通信関係、OS、データベース、医療関係まで得意分野は多岐に渡る。ホームページはhttp://www.yusuke-ohara.com/