イベントレポート
IIJ Technical DAY 2019
IIJが考える「データセンターの課題解決」、「OCP準拠のサーバ」から「極細LANケーブル」まで
白井データセンターのひみつ？
2019年12月13日 06:40
株式会社インターネットイニシアティブ（IIJ）は11月21日、年次技術イベント「IIJ Technical DAY 2019」を開催した。インターネット関連の技術について、同社のスタッフが解説するイベントだ。
「IIJのサーバインフラはここまでやっています」と題したセッションでは、同社のサービスで使うHaaS/IaaS基盤「NHN」について、データセンターからサーバーマシンまで自ら工夫した経験を、IIJの高畑雅弘氏（基盤エンジニアリング本部システム技術部基盤運営1課長）が語った。
データセンターの課題を解決するために白井データセンターキャンパスを建設
高畑氏はまず、「IIJってインフラ屋なんです」として、データセンターからネットワーク、サーバーインフラなど、自前で全部やっていることを紹介した。
IIJが顧客に提供する各種サービスのための基盤インフラが「NHN」だ。2009年にスタートして現在6代目、物理サーバー台数は6000台を超えるという。
そのいちばん基礎となるデータセンターだが、高畑氏は既存データセンターの課題として「都市型データセンターはコストが高い」「ラックあたりの電力許容量が少ない」「ラックの収容台数を最大化できない」「供給電力と空調能力のバランスが難しい」の4つを挙げた。
目指す方向は、「コストが最小になり結果が最大になる」ものだ。
コストを下げるために、具体的には、ラック費用はラックの収容効率を上げることで下げ、通信機器やサーバー費用は高性能かつ安価な機種を選び、初期構築費用は一度に大量導入して下げ、場所代は安価な土地を選んで下げ、電気代は安価な供給先を選んで下げ機器保守費用は保守レベルを最適化（24時間365日の保守が必要でない部分はそれに合わせ）、運用体制費用はメンテナンス性の高いシステムにして下げる。
高畑氏はこれを、「土地・電気の問題を解決したデータセンターを作ろう」「事業者向けに最適化されたデータセンターを作ろう」「新しいサーバインフラを作ろう」の3つの施策にまとめた。
1つめの施策「土地・電気の問題を解決したデータセンターを作ろう」としては、ファシリティーコストで大きな割合となるのが、土地／建物、電気、空調となる。
これを解決するために、IIJでは新たにデータセンターを建設することを決断した。この白井データセンターキャンパスが2019年5月にサービスを開始した。
「データセンター開発部門」と「サーバインフラ開発部門」が共同で設計
2つめの施策は「事業者向けに最適化されたデータセンターを作ろう」だ。そのために、白井データセンターキャンパスでは、データセンター開発部門とサーバインフラ開発部門が共同で設計・開発した。
サーバインフラ開発部門からデータセンター開発部門には60以上の改善点が出されたという。高畑氏はその一部を紹介した。
1つめ：「ラックの高さを増やしたい」
1つめは「ラックの高さを増やしたい」。国内メーカー製のラックで最大47Uで、高いものにしようとすると、天井の高さ、エレベーター、サーバルームの扉、非常口の看板、防犯カメラの設置位置などで搬入の問題になる。ラックを横にして搬入する方法もあるが、歪む可能性があるので避けたいという。今回の要求仕様では、56Uラックを搬入できるようにした。
2つめ：「ラックにサーバをより多く搭載したい」
2つめは「ラックにサーバをより多く搭載したい」。これについて今回の要求仕様では、耐荷重はラックあたり1.5tを超えることとした。
3つめ：「一度にたくさんのサーバーを納品したい」
3つめは「一度にたくさんのサーバーを納品したい」。従来のデータセンターでは搬入口が小さい、開梱場所がないという問題だ。そこで、要求仕様で盛り込んだ。
4つめ：「奥行の長いサーバを搭載したい」
4つめは「奥行の長いサーバを搭載したい」。最近のサーバーは奥行800mmを超えるものがあり、光ケーブルの曲げ径限界などの配線を考えるとさらにスペースが必要になる。そこで今回の要求仕様では、標準で1,200mmのラックを採用した。
5つめ：「ラック前のスペースが狭い」
5つめは「ラック前のスペースが狭い」。そこで今回の要求仕様では、列数とラック数を削って、コールドアイル側（前面）を列間1,800mmとした。
6つめ：「フリーアクセスフロア」をどうするか？
6つめは「フリーアクセスフロア」。フリーアクセスフロアでは長年たつと残されたケーブルが層をなすようになること、海外のデータセンターではフリーアクセスフロアでなくコンクリートスラブも多いことから、今回の要求仕様では、1期棟は平屋のコンクリートスラブとした。
「OCP仕様」のサーバーを採用調達費用は35%減、消費電力も30%減……
3つめの施策は「新しいサーバインフラを作ろう」だ。具体的にはOCP（Open Compute Project）仕様のサーバーを導入しているという。
OCPとは、いまどきの大規模サービス事業者に最適化されたサーバーやネットワーク機器などの仕様を考える業界団体だ。ちなみに高畑氏によると、最近のデータセンターの顧客は、小規模な顧客より、大規模な事業者の割合が増えているという。
高畑氏の調べていたところでは、2017年までは調達価格が高すぎて割に合わなかったが、円高や半導体業界のだぶつきでメモリやSSDが下落傾向にあって試算してみると若干安くなる数字が出たため、検討したという。
高畑氏はOCPサーバーの利点として、本当に必要なパーツのみで構成できること、中間マージンが抑えられること、大規模調達顧客向けパーツ価格が適用されること、特別に機能を実装してもらえる余地があること、パーツの交換に工具が不要なことを挙げた。
反対に欠点として、為替の影響をもろに受けること、OCP専用のラックや集中電源が必要となること、BIOSやBMC（マネージメントコントローラー）はメーカーが利用環境に向けてテストしていないので利用者側でテストする必要があること、保守は自前になること、メーカーと英語でやり取りする必要があることを挙げた。
高畑氏は調達についても、調達台数規模や、調達単価、納期、輸送・通関手続、ラック、電源などの対応について説明した。特に、スケジュールについては、政治動向も含めてスケジュールを密に確認しながら進める必要があったという。
輸送・通関手続はソリューションプロバイダーに依頼。メーカーとのやり取りも、メーカーとソリューションプロバイダーとIIJが参加するチャットで直接行なったという。故障のときのパーツ返送もソリューションプロバイダーが代行した。
OCPサーバー導入の成果も紹介された。調達費用は最大35%、消費電力は最大30%（アイドル時）削減された。
そのほか、IIJのインフラ運用におけるTipsも紹介された。
ケーブリングはIIJグループのネットチャート株式会社に依頼。10GBASE-Tケーブルにはeco-patch6ケーブルを用いて、断面積は6割減、重量は6割減となった。ケーブル色を使い分けることでミスを防ぐという。
また、スイッチの前にはZERO-unitケーブルマネジメントトレイを装備。これにより、ケーブルマネジメントのための1Uを消費する必要がなくなる。
これらの機材は、IIJ Technical DAY 2019の展示スペースでも展示されていた。
（協力：株式会社インターネットイニシアティブ）