最大100Gbpsで到達距離100mの「100GBASE-SR4」と40Gbpsで40kmの「40GBASE-ER4」

「100GBASE-SR4」と「40GBASE-ER4」、オプションで「CAUI-4」を定義した「IEEE 802.3bm-2015」

　前回までのように、「P802.3bm」ではAUIの変更まで含む、IEEE 802.11baのブラッシュアップを目論まれていたが、そうした思惑はともかく、議論そのものは比較的順当に進み、2013年5月にはDraft 1.0がリリースされる。

　このDraft 1.0では「100GBASE-SR4」と「40GBASE-ER4」、それと「CAUI-4」が主なトピックで、これらを標準化するために必要なもろもろが追加された、というかたちだ。CAUI-2やCAUI-1に関しては、少なくともP802.3bmでは先送り（というか議論の対象外）となった。

　それでもまだ2013年7月のミーティングでは、100GBASE-PAM8に関する提案のアップデートが提出されたりはしたが、Draftには含まれていない。2004年1月の時点では、おおむね2015年3月に標準化完了との予定が立てられ、実際もこれに沿って2015年3月に「IEEE 802.3bm-2015」の標準化が完了した。

厳密には、IEEEのBoardは2015年2月に承認したので、珍しく前倒しで標準化が完了した。出典は"IEEE P802.3bm Next Generation 40 Gb/s and 100 Gb/s Optical Ethernet Timeline"

　そのIEEE 802.3bm-2015で定義されたのは、上に書いた通り100GBASE-SR4と40GBASE-ER4の2つとなる。加えてCAUI-4が、Annex 83DとAnnex 83EにOptionalとして定義が追加されている。

最大100Gbpsで到達距離100mの「100GBASE-SR4」、「FEC」を利用

　100GBASE-SR4は、850nm（840nm～860nm）の光源を使い、OM3で70m、OM4で100mの到達距離を実現。1本あたり25.78125Gbpsで、4本で103.125Gbpsという速度となる（64B66Bエンコードを使うので、実質的なデータ転送速度は100Gbps）。

　100GBASE-SR4が100GBASE-SR10と異なるのは、「FEC」が利用されていることだ。以下が100GBASE-SR4における物理層の構成となるが、「PCS」と「PMA」の間に「RS-FEC（Reed-Solomon Forward Error Correction）」が入っているのが分かるかと思う。

「100GBASE-SR4」のPHY。「RS-FEC」が標準で組み込まれている。出典は「IEEE 802.3-2018」のFigure 95-1

　100GBASE-SR4は、FECがない場合のBERは5×10^-5と、恐ろしく高い。これは要するに5Mbitごとに1bitのエラーが入るというレベルだ。100Gbpsでの通信なので、50μsecごとに1bitエラーが出る、という方が分かりやすいかもしれない。

　これをカバーするためにRS-FECを利用することで、「FLR（Frame Loss Ratio）」を6.2×10^-10未満に抑えるとしている。ここで言うFrameは64 Octet（＝512bit）なので、実質的にBERはFECを利用することでほぼ10^-12に相当することになる。

　これだとエラー頻度は10秒に1回程度となるので、十分許容範囲だろう。ちなみにこのRS-FECは100GBASE-SR4特有のものではなく、100GBASE-R向けに共通の仕様となっている。だが、100GBASE-LR4や100GBASE-ER4ではこれを必要としておらず、やはりマルチモードファイバーを使う関係から850nmの光源を使う点が、FECを必要とした理由と考えられる。

　ちなみにこのRS-FECについては、使った場合と使わない場合のシミュレーション結果が2012年7月のMeetingで示されている。FECなしだと、OM3/OM4ともに到達限界が50mとなり、OM4で100m以上の到達距離を実現するためには、RS-RECが必須だったかたちとなる。

OM4でFECあり。120mまでEyeの高さ方向が3.6dB確保される

OM4でFECなしだと、ジッターとPower Budgetが50mで限界に

OM3でもFECありだと、80mまでEyeが開く。出典は"FEC for 100GBASE-SR4"

OM3、FECなし。やはりジッターとPower Budgetが50mで限界に

到達距離40kmで40Gbpsの「40GBASE-ER4」、「40GBASE-LR4」を拡張

　一方、40GBASE-ER4の方は、基本的に40GBASE-LR4の拡張といったかたちとなっている。実際、利用する光源の波長も、利用する光ファイバーもOSxで同じだ。異なるのは細かなパラメーターで、送信側（以下左）はむしろ出力がやや下がっているが、受信側（以下右）の感度が大幅に引き上げられ、これで帳尻を合わせる格好だ。

100GBASE-LR4と100GBASE-ER4の送信側パラメータ－。利用する光源の波長は共通で、SMSRなどは同じ30dBだが、送信出力は最大でも8.9dBmへむしろ下がっている

100GBASE-LR4と100GBASE-ER4の受信側パラメータ－。出典はIEEE 802.3-2018のTable 88-7

　ちなみに、100GBASE-ER4の到達距離は2～40kmということになっているが、OSxでサポートされるのは30kmまでだ。これを超える距離で利用する場合、光ファイバーの減衰値の仕様が、IEC 60793-2-50で定められるSingle Mode Fiberのtype B1.1/B1.3/B6_aの各仕様の最悪値を下回ることが要求されている。

25Gbps×4の「CAUI-4」、等長配線あるいはRetimerの搭載が必須でコスト高に

　あとはCAUI-4の話である。先でAnnex 83Dと83Eに仕様が追加されたと書いたが、Annex 83DはChip-to-Chip（以下左）、Annex 83EはChip-to-Module（以下右）の場合をそれぞれ想定したものなので、電気的に言えば違いはあるのだが、大枠で言えばそれほどの違いはない。

Chip-to-Chipは100GBASE-Rが想定ターゲットで、まず20：4のGearboxで4×25Gbpsの信号に変換、受け取ったチップは4：20のGearboxで一度戻した後、RS-FECを掛けて出力を4対にするという、ちょっと面倒な構成。出典はIEEE 802.3-2018のFigure 83D-1

Chip-to-Moduleでは、PMAのインターフェースで切るかたちとなるので、モジュールの方にはPMAとPMDのみが実装される。出典はIEEE 802.3-2018のFigure 83E-1

　信号速度は1レーンあたり25.78125GbpsのDifferentialで、これが4対ということになる。従来のCAUI（CAUI-10）やXLAUIのように、1レーンあたり10Gbpsの信号速度であれば、PCI Express Gen3（8Gbps）より少し高速という程度なので相対的に難易度は低いが、CAUI-4は25Gbpsなので、PCI Express Gen4よりさらに高速となり、配線の取り回しなどにも注意する必要がある。

　Specificationでは、実際にどの程度の距離を取り回せるといった数字は、基板や配線の材質などでも大きく変わるため出ていない。あくまでも挿入損失を7.3dB以内に抑えるように、という指示が出ているだけだ。

12.89GHzの信号を通した際、全体で10dBの挿入損失になることが求められており、うちコネクタが1.2dB、モジュールが1.5dBで、残りの7.3dBがチップからコネクタまでの配線での損失分となる

　ちなみにCAUI-10の場合、全体で10.5dB以内であり、コネクタが0.5dB、モジュール内が2.1dBで、基板上の配線は7.9dBでしかない。なにより、CAUI-10では信号速度が5.15625GHzの場合の数字であり、それもあって難易度はかなり高くなっている。

　なぜか、という話が以下左のスライドだ。例えば16ポートや32ポートのスイッチでは、スイッチ用ASICからそれぞれのモジュールのコネクタ部まで配線を引っ張る必要がある。そのとき等長配線である必要があって配線を直線的にするわけにはいかず、結構なルーティングが必要になる。

　その等長配線の例が以下の右だ。赤枠部分が分かりやすいが、こうしたウネウネとした配線がほかにもあちこちで見られるかと思う。これは64bit分の信号がチップからソケットまで等しい距離になるよう、短く繋がりそうな配線で迂回を行って距離を稼ぐという仕組みだ。

思うに、100GBASE-SR4が早期に廃れた理由はこのCAUI-4にあるのでは？　という気がする。出典は"CAUI-4 Application Requirements"

これは手近のPCのマザーボードのメモリスロット付近のパターンを撮影したもの

　CAUIの場合はDifferentialで、しかも1モジュールあたり4対（全二重なので実質16本）で済むので、64本のDIMMモジュール向け配線より楽と言えば楽かもしれないが、上のCAUI-4 Applicationsのスライドの左の例で、レイテンシーが中央のモジュールは低く、両端のモジュールは長いといったことになれば、商品構成上の問題が出かねない。このため、すべてのモジュールとスイッチ用ASICの間の配線は等距離となるよう配慮されるのが普通だ。

　となると、配線長は案外長くなる。この例では250mmとされているが、おそらくはギリギリだろう。純粋に技術的な側面から言えば、1つのスイッチ用ASICから全モジュールへ配線するのが諸悪の根源であり、例えば1つのASICから引っ張り出すモジュールへの配線の数は4つまで、などとして、16ポートなら4つ、32ポートなら8つのASICを搭載し、相互に高速リンクで繋ぐというやり方がある。ただしこれは当然ながらコスト上昇に繋がるため、あまり好まれる方法ではない（というか、普通は嫌がられる）。

モジュール側にReTimerを入れることで、250mmの配線長を確保しようというわけだ。出典は"CAUI-4 Application Requirements"

　こうしたときの次善の策がRetimerの搭載だ。ReTimer、あるいはReDriverなどと呼ぶこともあるが、要するに信号波形を補正してくれるバッファーのことである。具体的には「CTLE（Continuous Time Linear Equalizer）」と呼ばれる、劣化した信号を改善する仕組みに加え、信号の高域成分が強めに出ているのを抑える仕組みであるDe-Emphasisなどを組み合わせて、長距離伝達で劣化した信号を、利用できるレベルへ補正するチップだ。

　ReTimerとReDriverの違いは（業界的な定義で言えば）、「CDR（Clock Data Recovery）」の機能を持つか否かだ。CAUIの信号には、64B66Bエンコードによってクロック信号や制御信号が埋め込まれている。CDRは元々のデータと、クロック／制御信号を分離し、それぞれ補正を行った後に再び合成して出力してくれる。

　逆にReDriverではこの分離を行わない。データと、クロック／制御信号が一体になった状態の信号を、そのまま補正するかたちとなる。どちらがいいか？　と言われると、CAUIの場合にはReTimerの方が効果的である。ただ、これは要するにCAUI-4を使う場合には、CAUI-10では不要だったReTimerが必要になるという意味で、コスト上昇には繋がるため、その意味で難点となった格好だ。