ニュース
ドワンゴ×NTT、H.265を120倍以上速くエンコードできる技術をニコ生に実験導入
（2014/11/20 20:18）
株式会社ドワンゴと日本電信電話株式会社（NTT）は20日、ドワンゴ×NTTのコラボレーション開発の第2弾を発表した。動画配信サービス「niconico」での体感品質向上を目指した取り組みとして、視聴品質最適化技術の実証実験と、NTTが開発した「H.265/HEVC」技術をニコニコ生放送に適用する共同実験を開始する。
モバイル、光回線など、それぞれの環境に最適な配信レートを設定
視聴品質最適化技術では、NTTが持つ光回線やNTTドコモなどのモバイルキャリアの通信統計情報、niconicoユーザーの統計データをもとに、最適な配信条件をレコメンドする。NTTが開発した「ネットワーク品質を精度よく予測する技術」および「映像を視聴した際の体感品質（QoE）を評価する技術」を活用しており、NTTの「品質API」を経由することで、ユーザー環境ごとに最適なビットレートで配信できる。
品質最適化の肝となるのは、映像を視聴した時にユーザーが感じる体感品質（Quality of Experience：QoE）。映像の配信レートが上がるほど人間の知覚特性は改善されるが、一定以上のレートでは差が分かりづらくなる。また、現在のネットワーク能力では、レートを高くし過ぎるとスループットを確保できず、映像の再生停止が発生。QoEは劇的に下がる。ユーザーの場所や時間など、ユーザーの感覚が最も良くなるよう、配信レートを低すぎず高すぎず、最適な値に設定することでユーザーの知覚特性を最大化する。
現状では、ユーザーがどういった回線環境で視聴しているか把握できず、同じビットレートで配信するため、朝のラッシュ時など帯域が逼迫している状況では、読み込みが追いつかず動画が一旦停止してしまうことがあるという。NTTの持つ通信統計情報により、帯域の逼迫が予想される時間帯や場所を予測することで、配信ビットレートを低くして再生のカクつきを抑える。一方、回線に余裕がある深夜の光回線視聴時には最高画質で配信する。キャリアとサービスが連携することで、通信量を減らしつつユーザーの快適さを向上させる技術としている。
ドワンゴとNTTでは、視聴品質最適化技術の評価実験を実施。動画再生中に停止してしまう頻度を示す最低停止発生率は、混雑時で33％だったのが1～2％まで低下したという。また、人間の感覚を数値に置き換えたQoEは、混雑時で35％向上した。データの総量については、視聴品質を最適化することで全トラフィックの十数％の削減を確認できたという。
また、11月20日に視聴品質最適化技術の実証実験を開始。ドワンゴが提供しているAndroid向け公式アプリのユーザーから無作為に抽出し、視聴品質最適化を適用した場合と適用しない場合の比較を行うとしている。
実時間に対して120倍以上かかっていたH.265エンコードをリアルタイムに
ドワンゴ×NTTのコラボレーション開発第2弾のもう1つの成果として、次世代映像符号化規格「H.265/HEVC」をニコニコ生放送に適用する共同実験を開始する。H.265は、現在主流のH.264と比較して同じビットレートで2倍の情報量を有することができ、同画質であれば半分のビットレートで済むが、非常に多くの計算量が必要であり、リアルタイムでのエンコードは困難だったという。
NTTでは、4Kなど大画面向けだったH.265のエンコーダーを低レート／少画面向けに最適化。画像の特徴や周囲との相関性から、前景と背景の境界を認知して画像のブロック分割を行うことで、高速処理が可能になった。また、マルチコアCPU向けにリソースを最適化。高解像度では画像分割数を多くすることでマルチコアCPUの待機時間を減らすことができるが、低解像度の場合、分割数が少なくなりCPUの待機時間が発生するという。パイプラインの各タスクを調整し、空き時間を最小限にすることで、リアルタイムでエンコードできるソフトウェア技術を開発した。
また、低レートでも高画質映像を実現するため、「局所QP変動処理」を実装。映像内の人目につく箇所とつかない箇所を判定し、人目につかない箇所の符号量を人目につく箇所に割り振ることで、低レート時でも感覚的な画質を向上することができるとしている。
リアルタイムエンコードに必要なスペックは、VGA解像度（30fps）であれば量販店で購入できるハイエンドPC（Intel製Core i7プロセッサなど）で問題ないとしており、フルHDの場合でもIntel製Xeonプロセッサであればリアルタイム圧縮が可能だという。なお、H.265標準化団体準拠のエンコーダーを同じ動画、同じ環境で動作させた場合、実時間の120倍以上かかるという。記者発表会では、ノートPCでリアルタイムエンコードをデモしていた。
まずは一部の公式生放送に適用し、スマートフォンユーザーを対象とした視聴者実験を予定。H.265デコードソフトウェアの提供を含め、ユーザー視聴環境については検討中としている。また、生放送での実験結果をもとに、将来的にはniconico内の既存動画やアップロードされる動画にH.265を適用するなど、活用を検討しているという。
11月17日開催の小林幸子・日本武道館公演でVRライブ配信
ドワンゴ×NTTのコラボレーション開発の第1弾として共同開発した「全天球映像向けインタラクティブ配信技術」は、「バーチャルリアリティ LIVE 配信サービス」として、11月17日に開催された歌手・小林幸子氏の日本武道館公演のニコニコ生放送にて活用した。
全天球映像向けインタラクティブ配信技術では、ネットワーク負荷を下げるためNTTの技術が組み込まれている。全天で広範囲に撮影された映像をいくつかの領域に分割し、高画質動画と低画質動画と分けてエンコード。ユーザーが視聴している方向のみ高画質配信を行い、ほかのエリアは低画質で配信することで全体の視聴品質を保ちつつ、ネットワークの負荷を下げている。低画質映像の方向を向くと、高画質配信に切り替わるという。なお、360度高画質映像を配信する場合と比較して、帯域を3分の1に減らすことができたという。
同技術は、数万～数十万アクセスに上る大規模配信にも対応。小林幸子ライブでは、実装上の問題でフレームレートが低くなってしまったが、数カ月以内に品質改善を行うとしている。なお、小林幸子ライブの公演視聴者数は非開示とした。
ドワンゴとNTTは、OTT（Over The Top）と通信キャリアという、昔で言えば対立する関係だったが、互いに協力することで、ユーザーの満足度を高めつつネットワークの効率化が可能だという。具体的には、NTTの技術をドワンゴのサービスで運用することでサービスの進化や効率化を図れるほか、ドワンゴで得られたフィードバックをNTTに還元することで、さらなる技術開発に結び付けている。両社では、ネットワーク分野、メディアUI/UX分野、ビッグデータ分析分野などで協業しているほか、人材交流やイベント連携も行っているとした。
