25Gbps×8の「200GBASE-R」で「CFP8」「QSFP-DD」「OSFP」「CDFP」のモジュール規格が乱立

25Gbps×8を実現すべく「CFP8」「QSFP-DD」「OSFP」「CDFP」の各モジュール規格が乱立

　「50GBASE-R」に関しては、前回説明した「SFP 56」（正確には「SFP-DD 56」）が使われることになった。ただ、これも50Gbpsまでしかカバーしていない規格であり、「IEEE 802.3cd-2018」の定める「100GBASE-R」や「200GBASE-R」はカバーできない。

　まず100GBASE-Rの方では、「QSFP」および「CFP4」が引き続き使われることになった。要するに25Gbps×4レーンであり、QSFPはこちら、CFP4はこちらで、それぞれ説明しているので詳細は繰り返さない。

　問題は200GBASE-Rである。こちらでは当然ながら25Gbps×8となる。ここでモジュール規格として「CFP8」「QSFP-DD」「OSFP」「CDFP」の4種類が乱立することになった。

　まずCFP8については、こちらで以前も掲載した以下左のように、幅はCFP4の倍となる。とはいえ、幅は40mm、高さが9.5mm、全長で102mmだから、かなりコンパクトと言ってもいい。実際にはモジュールのケージ側に放熱フィンを取り付けることが前提なので、高さはモジュールそのものが9.5mmでも、ケージ側は最大25mmと想定されている。

CFP MSAのウェブページに示されたCFP8モジュールの寸法図。この高さはヒートシンクを付けない場合だ

これはCFP8モジュールを2つ並べて装着できるケージを想定したもの。出典は"CFP MSA CFP8 Hardware Specification Rev 1.0"の表紙

シンプルなコネクタ構造で25Gbpsを16対で400Gbpsを実現する「CFP8」

Vcc（3.3V）に比べてGNDピンの数が多いが、これは信号同士の干渉を防ぐシールドの意味もあってのことだ。出典は"CFP MSA CFP8 Hardware Specification Rev 1.0"のTable 5-5

　そのCFP8であるが、コネクタ構造は右に示すようにシンプルなものだ。片側62ピン、トータルで124ピンのコネクタで、中央に電源とクロック、制御信号を集中させ、左右に信号をGNDを挟みながら配するという構図だ。

　これを見てぱっと気が付くのは、TX/RXともに0～15まで、トータル16対の信号が利用できるようになっていることだ。これは、CFP8が400Gbpsまでを視野に入れている（CFP4は100Gbpsまでだった）ことに起因する。400Gbpsの場合、レーンあたり25Gbpsなら16対の信号が必要になることから、一気にピン数を倍増させた格好だ。

　ちなみに、CFP8のSpecificationの策定が完了したのは2017年3月のことである。つまり、IEEE 802.3cd-2018の標準化が完了する以前だった。それもあってか、CFP8では25Gbps以外に50Gbpsでの接続も想定していた。これは「IEEE 802.3bs-2017」（当時はまだP802.3bs）で、「400GAUI-8」の接続が予定されていたためだ。

"Interface IC(s)"と複数が想定されているあたり、ここだけでも相当な消費電力となることは半ば見えている。出典は"CFP MSA CFP8 Hardware Specification Rev 1.0"のFigure 1-1

　400GAUI-8では、26.5625GT/secとなるPAM-4の接続を想定しており、これを利用した場合は53.125Gbps×8での接続となる。一方、400GAUI-16は同様に26.5625GT/secながらNRZなので、26.5625Gbps×16での接続となる。そんなわけで、CFP8をそのまま流用することで26.5625Gbps×8となり、200GBASE-Rの接続が可能となったわけだ。

　余談になるが、供給可能電流はClass 1/2で2.5A、3/4で5A、5/6で7.5Aとなる。電源電圧そのものは3.3Vなので、それぞれ8.25W/16.5W/24.75Wを供給できる計算だ。なお、定格ではピンあたり800mAまで、8ピンで6.4A、つまり21.12Wが最大である。7.5Aを利用する場合は、コネクタ供給メーカーから800mAを超えても大丈夫との承認が必要とされている。

　これまでのモジュールに比べ、供給電力枠がずいぶん増えている気もするが、こちらの記事で説明したように、IEEE 802.3bsにはさまざまなバリエーションがある。例えば「400GBASE-SR16」を400GAUI-8で接続する場合、まずホストからモジュールは25G PAM-4×8でデータが受け渡され、これを25G×16に変換するので、送信側は以下のような流れとなるし、受信はこの逆が必要になる。

• PAM-4を展開して50Gbps×8の信号へ変換
• 8:16のGearboxを挟んで、25Gbps×16へ変換
• 16対の光源で信号を送出

　光源の数もさることながら、GearboxやらPAM-4のModulator/Demodulatorを挟むとなると、相応に消費電力が積み上がるのは致し方ないところだ。消費電力の枠は高めに取らざるを得ないし、ヒートシンクがケージの上に高くそびえ立つのも仕方ないだろう。

　ただ、このようにIEEE 802.3bsへの対応を念頭に置いた規格だったため、200GBASE-Rへの対応は容易だったと思われる。

8対の50G PAM-4で400Gbpsを実現する「QSFP-DD」、QSFPのフォームファクターは維持

　次がQSFP-DD。これを策定するQSFP-DD MSAは2016年3月にBroadcom、Brocade、Cisco、Finisar、Foxconn Interconnect Technology、Intel、Juniper Networks、Lumentum、Luxtera、Mellanox Technologies、Molex、Oclaro、TE Connectivityの13社により結成された。

　QSFP-DDの目的は分かりやすく、QSFPのフォームファクターをそのまま維持しながら、利用できるレーン数を倍の8対とすることで、25G NRZなら200Gbps、50G PAM-4なら400GbpsのEthernetに対応できるモジュールを提供する、というものだ。

見分けが付くほど外形が変わっていたら、互換性は維持できないわけではある。出典は"QSFP-DD: Enabling 15 Watt Cooling Solutions White Paper"のFigure 1

　2016年9月には早くも暫定版のHardware Specificationがリリースされ、2017年3月には最初の正式版Specificationがリリースされた。その後も着々とSpecificationはUpdateされており、現時点ではHardware Specificationが5.1、Common Management Interfaceが4.0となっている。

　QSFP-DDとCFP8が異なるのは互換性の維持である。CFP8とCFP4は、そもそも外形寸法からして違うし、インターフェースの電気的特性も異なる。全く別のものなのでモジュールの流用もできないが、QSFP-DDはQSFPとの互換性を保つことを重要視した。このため、QSFP-DDモジュールの外観は、QSFPモジュールと一見区別が付かない。

SFP-DDのピン配置。2ピンほどReservedとはなっているが、ほぼ40ピン全てを使い切っていることが分かる。出典はSFP-DD Hardware Specification Rev 3.0のFigure 3

　そんなわけで、パッと見はQSFPと同じなのだが、ではどうやって互換性を保ちつつ信号線を倍にしたかというと、SFP-DD同様、コネクタ部の信号パッドを前後2段としている。

　これは、SFP-DDがSFPの信号パッドを倍にした右の図とも同じ仕組みであり、信号パッドもSFP-DDをさらに複雑にしたような構成になっている。

　ちなみにPower Classは、1.5W/3.5W/7.0W/8.0W/10W/12W/14W/>14Wが1～8までとして定義されている。このあたりは、QSFPの制約がそのまま効いている感じだ。

表裏で76ピン構成。QSFPに比べれば倍増だが、CFP8とかと比較すると少ない感じがする。出典は"QSFP-DD MSA QSFP-DD Hardware Specification for QSFP DOUBLE DENSITY 8X PLUGGABLE TRANSCEIVER Revision 5.1"のFigure 2

よくこれで最大28Gbps（PAM-4だと56Gbps）の信号を通せるな、という気がする。NRZの28Gbpsはともかく、PAM-4で本当にいけるのか、Eye Patternを見てみたい気もする。出典は"QSFP-DD MSA QSFP-DD Hardware Specification for QSFP DOUBLE DENSITY 8X PLUGGABLE TRANSCEIVER Revision 5.1"のFigure 36

Vccを6ピンへ倍増、15Wモジュール2つを重ねた実装も想定した「QSFP-DD」

　QSFPの場合は、こちらの記事にも書いたが、Vccが全部で3ピンしかなかった。QSFP-DDではこれが倍増しているが、それでもVccTx、VccTx1、Vcc1、Vcc2、VccRx、VccRx1の6ピンでしかない。

　電源電圧は3.3Vなので、14WとなるClass 7の時点でピンあたり0.7Aほどが流れる計算となり、やや厳しい感じである。ただ、Gearboxの話を抜きにしても、8対分の光源と受光器、PAM-4のModulator/Demodulatorをあわせれば、14Wまでは簡単に届いてしまいそうで、こちらもかなり厳しい条件ではある。

一応上下のモジュールの間に若干(仕様によれば8.8mm)のスペースはある。出典は"QSFP-DD: Enabling 15 Watt Cooling Solutions White Paper"のFigure 2

　加えて言えば、QSFP-DDでは2つのモジュールを積み重ねて装着可能な「Stacked 2x1 cage」が当初から想定されている。15Wのモジュール2つをこの狭いところに重ねるかたちで装着して問題ないのか、という懸念は当然だろう。

　それもあって、QSFP-DD MSAではわざわざ"QSFP-DD: Enabling 15 Watt Cooling Solutions White Paper"を出し、この中で15Wモジュールを2つ縦に重ねた状態での動作温度が、適切な流量の冷却風さえあれば規定範囲内に収まることをわざわざ確認している。

2つのStacked Cageに12.48Wのモジュールを装着し、風の流量を変更しながら温度変化を測定。出典は"QSFP-DD: Enabling 15 Watt Cooling Solutions White Paper"のFigure 12

1Uラックを模した環境に14/15Wのモジュールを装着し、風の流量を変更しながら温度変化を測定。出典は"QSFP-DD: Enabling 15 Watt Cooling Solutions White Paper"のFigure 14

　モジュールの容量そのものも小さい上、特にStacked 2x1 cageの場合は放熱も難しい。ホワイトペーパーにはヒートパイプを利用した冷却ソリューションなども示されていたが、安定運用のためには熱暴走などを避ける必要もあり、これに向けてQSFP-MSAのなかでさまざまな検討を行っていたことが伺える。