バーチャルヒューマンがリアルにガイドする！ KDDIが目指す5GとxRで実現する未来「HYPER LANDSCAPE 観賞体験会」とは -ライブドア
●KDDIと日本科学未来館がxR関連技術の実証実験を実施
KDDIおよび日本科学未来館は、xR技術を用いた実証実験「HYPER LANDSCAPE 観賞体験会」を実施しました。
現実の空間にCG映像や文字情報を合成する空間拡張技術には、
・AR（Augmented Reality＝拡張現実）
・MR（Mixed Reality＝複合現実）
・SR（Substitutional Reality＝代替現実）
こういったものがありますが、これらを総称して「xR」（x Reality）と呼びます。
今回行われた実証実験は、主に「現実世界に仮想世界の情報を重ねて密接に融合させる」MR技術を用いたもので、KDDIが長年研究してきた分野です。
xRが使われている身近な例としては、スマートフォンのカメラ映像にCGキャラクターやマップナビゲーション情報などを表示するARアプリ、ポケモンキャラクターをカメラ映像に合成するゲーム「Pokemon GO」などで実用化されています。
今回の実証実験では、メガネ型のxRデバイス「スマートグラス」を利用したサービスがテストされました。
日本科学未来館は2001年に開業しましたが、「ジオ・コスモス」と呼ばれる、地球を模した巨大な球体ディスプレイが配置された展示エリアが開業当時より存在します。
このジオ・コスモスをスマートグラスに内蔵されたカメラで撮影し、リアルタイムでCG映像を重ね、さまざまな情報を拡張（追加）していくというテストです。
拡張された情報には、
・地球を取り巻く通信衛星の様子
・新型肺炎（新型コロナウイルス感染症）による各国の入国規制の状況
こういったものがあります。
現実と仮想映像を重ね合わせることで、視覚的に分かりやすい情報案内を目指したものです。
「HYPER LANDSCAPE 観賞体験会」
また、体験会ではxR技術とともに、フルCGによって創られたバーチャルヒューマン「coh」（コウ）による館内アテンドもテストされました。
これは、クラウドコンピューティングによってバーチャルヒューマンをリアルタイムに動かすための、技術プラットフォームの実証実験を兼ねています。
今後、多くの用途が想定されるバーチャルヒューマンによる情報解説や施設案内も公開。
●VPS技術をスマホでも実用可能にする5G通信
KDDIがxR関連技術やバーチャルヒューマン・プラットフォームに注力する理由は、5G通信との密接な関係があります。
例えばMR技術では、
現実の映像にCG映像をリアルタイムに重ね合わせる必要があります。
そのためにはユーザーの位置情報（空間情報）を正確に特定しなければいけません。
正確な位置情報を利用するのに使われるのが、2D映像から3D空間の位置や距離を割り出してマッチングさせる「VPS」（Visual Positioning Service）と呼ばれる技術です。
実は、これまでVPS技術をスマートフォンやスマートグラスだけで処理して利用するには負荷が大きく、実用的ではありませんでした。
そこで、映像から位置情報を割り出す演算処理をクラウドサーバー上で実行し、演算結果を5G通信よって手元のスマートフォンやスマートグラスに送信して利用する仕組みを用いました。
このデータをスマートフォンやスマートグラスに送信する際、データ送受信が遅延すれば、現実の映像とCG映像のズレが大きくなってしまいます。
遅延の非常に小さな5G通信であれば、ズレの少ないリアルタイム映像によるリアルな体験が実現できるのです。
あらかじめ映像や画像からVPS地図を作成し、スマートグラスからの映像情報に重ね合わせることでユーザーの座標を正確に割り出す
今回のバーチャルヒューマン「coh」の描画においても、ただ空間上に表示されるのではなく、あたかも、
「その場所に立っている」
「一緒に歩いている」
このように表示、表現されています。
この自然な表現を実現するためにも、緻密な空間情報の取得と座標の特定は不可欠です。
空間の位置情報を把握する技術はいくつかありますが、
・空間座標のズレを数cm〜数十cm程度に抑えられる
・GPS情報が取得しづらい施設内でも利用できる
・一般的なカメラを用いた映像や画像データからVPS地図が作成できる
・導入コストが低い
このようなメリットから、今回の実証実験ではVPSが採用されました。
cohが隣に立って施設を案内しているように見せるためには、非常に正確な空間座標の取得が必要となる
●ジオ・コスモス周辺エリアは困難極まる実験場だった
KDDIがVPSの実証実験場として、日本科学未来館のジオ・コスモス周辺エリアを選んだことにも大きな理由があります。
ジオ・コスモスの展示エリアはガラス張りで、なだらかなスロープに囲まれた開放的なデザインとなっていますが、
・日当たりが良いために逆光や明暗差が激しい
・1日の間に日光の差し込み方が大きく変化する
・ガラス窓やスロープ素材の透過や反射が多い
・幾何学的で類似した構造のデザインが多い
・ジオ・コスモス自体が巨大なディスプレイで常に違う映像を表示している
このように、空間座標を映像や画像から特定するには非常に厳しい条件が重っています。
あえて厳しい条件でテストし、この条件下でもVPSが有効に活用できることを実証することで、今後の商用化を大きく前進させたい考えです。
KDDI（KDDI総合研究所）は、この厳しい空間情報環境の中でもVPSを成功させるために、既存の技術よりもさらに精度の高い位置情報取得技術を開発しています。
こういった高精度な座標特定も、強力なクラウドコンピューティングと、その情報を瞬時に伝送できる5G通信があったからこそ実現したのです。
高速なデータ伝送だけであれば従来のWi-Fi通信でも可能ですが、
5Gと比較すると難点も多くあります。
・商業施設のような多数の利用者がいる状況下でWi-Fiは不安定
・電波の接続性や継続性でも5Gよりも劣る
・5Gは、施設に専用設備が不要なため導入コストを抑えられる
このような点を比較して、5Gが採用されているのです。
敢えて厳しい環境下で研究と実証で、商業化を大きく進めたいKDDI
●かつてない感動体験を実現する5G通信とxR技術
今回の実証実験で得られた成果は、今後どのような活用が考えられるのでしょうか。
最も現実的なものとしては、
今回の実証実験のような展示施設やイベント施設での活用です。
例えば博物館や美術館のような場所では、展示内容を短期間に細かく変更することは困難です。
日本科学未来館のジオ・コスモスのように、数十年も更新がない展示品がある施設も多く、その多くの理由はコスト的な問題です。
しかしVPS技術やMR技術があれば、同じ展示物であっても見せ方や解説情報などを的確なタイミングで更新させることが可能です。
しかも、情報のアップデートは展示品を入れ替えるよりも低コストです。
今回の実証実験では、ジオ・コスモスを囲むように通信衛星をMR表示し、周辺を歩いて移動することで、通信衛星がどのように地球を囲んでいるのかを色々な角度から確認できました。
また瞬時に表示を切り替え、新型肺炎による入国規制情報を知ることもできました。
このように、現実空間でありながらテーマや用途に応じた映像へ差し替えることが容易にできるのが、MR技術の最大のメリットと言えます。
さらに、これらの情報はスマートグラスを通して個々のユーザーに届けられるため、ユーザー1人1人に最適化された、他者とは違った映像や情報を受け取ることもできます。
ある人が通信衛星の情報を見ているその隣で、新型肺炎の情報を見ることができるのです。
来場者の個人にパーソナライズされた情報を提供するというのは、従来の博物館やイベント施設ではとても難しかったサービスです。
5G通信とMR技術は、そういった新たなサービスやアイデアを低コストに実現する手法としても期待されています。
同じ展示物でも、ユーザーの好みや知りたい内容に合わせた情報提供が個別にできる
コロナ禍によって各地の商業施設は来場者が減り、その運営は一段と厳しいものになっています。
そのような中で、コストをかけずに展示内容を変化させながら来場者を飽きさせない、個人のニーズに対応した情報提供をしていくという点で、VPSやMRといった技術は大きく役に立つと期待されます。
また、ARやMRによる展示情報の半デジタル化は、オンラインでの視聴環境の構築も容易にしていきます。
KDDIはスマートフォン向けにARアプリ「au XR door」を提供しています。
今回の実証実験で用いられた展示内容も、このアプリで視聴・体験することができます。
今回の技術が実用化されれば、今後ARアプリを使って自宅にいながら展示施設内を歩いたり、展示内容の説明を受けたりすることも可能になるでしょう。
5G通信は、こういったインタラクティブな大容量コンテンツサービスにおいても使われていくのです。
場所に縛られないサービスやコンテンツが、新しい体験価値とビジネスチャンスを生み出す
5G通信は、まだ私たちの生活で恩恵やメリットを感じづらい技術です。
しかし商業面では、クラウドコンピューティング環境との相性が非常に高く、スマートフォン単体では実用不可能だった最新技術も利用できるようになります。
5G通信はスマートフォンだけでなく、私たちの生活も大きく変化させる可能性があります。
5G通信やxR技術は、テクノロジーがもたらす新たな体験やサービスを支える技術として、我々の生活を便利なものにしていくのです。
執筆 秋吉 健
提供（C）ライブドアニュース
