4x構成で200Gbps超の「InfiniBand HDR」、Mellanoxが2018年後半に製品化

「InfiniBand EDR」に続く「InfiniBand HDR」、4x構成で200Gbps超

　「InfiniBand EDR」に続く製品としては、実は次の「InfiniBand HDR（High Data Rate）」がすでに市場投入されている。以下の画像は、IBTA（InfiniBand Trade Association）が2018年に公開したロードマップだ。

HDR/NDRまでは現在の技術の延長だが、XDRはさすがにまだDefinitionというか、採用する方式からしてまだ検討中なのだろう

　EDRは1レーンあたり25Gbpsで、4x構成で100Gbpsというかたちだったが、HDRでは1レーンあたり50Gbpsまで転送速度を引き上げており、4xだと200Gbpsオーバーの性能となる。さらにロードマップでは、続く「InfiniBand NDR（Next Rata Rate）」と、その先の「InfiniBand XDR（eXtend Data Rate）」も定義されている。

　実は、このHDR以降の話は、以下左の2016年3月のロードマップだけでなく、以下右に示した2012年当時のロードマップというか将来予想図でも、その名前が出ていることが分かる。

　もちろん、2012年当時にあったのは単に名前だけであり、具体的な方式までが決まっていたわけではなかった。ただ、基本的には世代ごとに倍の速度、という考え方で、HDRが50Gbps、NDRが100Gbpsとなっていたわけだ。

Internet Archiveに格納されたIBTAの2016年3月のロードマップページから。NDRに関しては、この時点では速度などがはっきりしていなかったようだ

2012年の「SDC（Storage Developer Conference）」でMellanoxが示した「InfiniBand Technology Usage Update」（PDF）より

　ちなみに次のXDRに関しては、200Gbpsという線が順当ではあるのだが、中には4x構成で1Tbpsの接続が可能、なんて書いてある資料もあった。これが事実なら、250Gbpsへの引き上げを狙っていることになるが、真偽を含め、まだはっきりしない。

当初予定から5年遅れの2019年にHDRがようやく登場

　それより面白いのは、将来予想図では2014年に早くも来ると考えられていたInfiniBand HDRが、2015年の時点で2017年末に後退したことだ。さらに2018年のロードマップでは、何とか2018年中に出したい、という祈りを込めたような位置付けになっていた。

　実際は、2018年中には簡単なデモが行われたに過ぎず、Mellanoxは2019年開催の「ISC（International Supercomputer Conference）」に合わせ、「ConnectX-6 HBA」、「Mellanox Quantum Switch」、「Linkx Cable and Transveivers」をそれぞれ発表している。

　実は、これに先立って、2018年6月にはForschungszentrum Jülich（独ユーリッヒリサーチセンター）の「JUWELS」というシステムに、同8月には米テキサス大にあるTACC（Texas Advanced Computing Center）の「Frontera」というシステムに、それぞれInfiniBand HDRが採用されることを発表しており、この後もさまざまななシステムでの採用が続いた。

　おそらくこうした契約を締結した相手先には、2019年6月の発表を待たずに出荷自体を開始していた（検証なども必要になるので、扱いとしてはエンジニアリングサンプルのアーリーアクセスといったかたちになるのだろう）わけで、これが大っぴらに公開されたのが、2019年6月ということになる。

「InfiniBand HDR」における高速化手法「PAM4」とは

　そのInfiniBand HDRについて、InfiniBand EDRから高速化した手法としては、「PAM4」という変調技術を採用している。PAM4自体はイーサーネットなどにも全面的に利用されているほか、最近ではPCI Express Gen 6がついに採用に踏み切ったことでも、一部で注目されているものだ。

　PAMとはPulse-Amplitude Modulationの略で、日本語だとパルス振幅変調などと言われるものだ。要するに、従来までの信号は0か1の2段階しかなく、1回の信号で1bit分しか送信できなかったのに対し、PAM4では0～3まで4段階の信号レベルを設定し、これにより1回の信号で2bit分のデータが送信できる仕組みとなっており、転送速度は倍になる計算だ。

　ちなみに、PAMそのものは広く通信に利用されており、有線であっても例えば10GBASE-Tは、こちらでも解説した通り、16値の「PAM16」を利用しているように、必ずしも新技術というわけではない。

　ただ、25GHzという非常に高速な信号となる上に、ノイズを減らすために振幅は非常に小さく、例えばInfiniBand EDRでDifferentialの場合、振幅は±50mVがRequired、Optionが100/150mVとなっている。これは要するに+50mVと-50mVで取れる最大100mVの電位差を4分割するわけで、電位差は33mVほどに減ることになる。これを25GHzの速度で、しかも正確に検知するトランシーバーを作るのは、さぞ大変だっただろう。

　それもあってか、実は一連のInfiniBand HDR対応製品の中で最初に出荷されたのは、トランシーバーとケーブルが一体化した200Gbps対応の「LinkX」だった。LinkXは、InfiniBand HDRと200Gbpsイーサーネットの双方が用意されており、まずは後者が動き始めたと想像されるが、要素技術はどちらもほぼ同じなので、LinkXの出荷を開始できたことで、InfiniBand HDRに対応するスイッチやHBAの出荷の目途も立った、というかたちだったのだろう。

InfiniBandのシェア減少が、IntelのOmni-Path放棄で反転

　ちなみに前回の最後で、さまざまなInterconnectの出現によって、InfiniBandのシェアが徐々に減りつつある、という話を紹介した。2019年11月のリリースでは、「TOP500のプラットフォームのうち、59％（297システム）がMellanoxの製品を利用している」という。

　これは、InfiniBandだけではなく、Mellanoxのイーサーネット製品を利用してシステムを構築しているサイトも少なくないからだ。Mellanoxからみれば、InfiniBandにそこまでこだわる理由はない、ということなのかもしれない。

　ちなみに2020年の6月に、InfiniBandのシェアがどうなるのか？　という点はちょっと楽しみである。というのは、IntelがOmni-Path第2世代の提供を2019年8月に放棄したからだ。

　元々Intelは、2018年6月のISCで、第2世代Omni-Path Fabricである「OPA200」をアナウンスした。このときの発表によれば、2019年には200Gbpsの速度を持つOPA200を利用した製品が投入されるはずだった。

「ISC19」で発表された「Xeon Platinum 9200」。その発表から2カ月後、Omni-Path Fabricの第2世代「OPA200」の計画放棄も報じられた

　ところが翌年となるISC19での発表は、「Xeon Platinum 9200」のみであり、OPA200ベースのOmni-Path対応カードの話は全く出なかった。そこから2カ月弱後の2019年7月末に、IntelがOmni-Pathから撤退することが非公式に明らかにされた。

　これは、国内外のいくつかのメディアで報じられたが、最初に報じたのはCRNのDylan Martin氏の記事と思われる。その中でも、IntelがOmni-Pathを中止した理由は明らかにされていない（何しろIntelは公式に何も言わず、ただOPA200ベースの製品が顧客に出荷される予定は完全になくなったことを確認しただけだった）。

　ただ、この決断により、既存の第1世代Omni-Pathを導入したサイトは、今後のアップグレード計画が完全に宙に浮いてしまった格好になってしまった。おそらくはそれもあって、IntelはMellanoxの買収に走るが、これはNVIDIAに阻止されることになった。

　これに先立つ2019年6月、IntelはEthernetベースのFabricを構築しているBarefood Networkという会社を買収しており、Omni-Pathの代わりにBarefoodの「P4」という技術と、これを利用した「TOFINO」というスイッチを中核としたネットワークを提供していくのでは？　という観測が広がっている。

　だが、肝心のエンドデバイス向けのスイッチが100Gbpsのイーサーネットのままでは、Omni-Pathと何も変わらないわけで、今後はOmni-Pathで構築されたサイトが、次第にInfiniBand HDRへシフトしていくのではないかという見方が強い。