AIを使って仮想現実エクスペリエンス向上

February, 24, 2022, Stanford--ハードウエアとソフトウエアの交差点で研究することで､スタンフォードの研究者は､VR/AR技術の3Dディスプレイを改善する新技術を開発している｡

仮想現実(VR)と拡張現実(AR)ヘッドセットは､装着者を直接､他の環境､世界､経験に導入するように設計されている｡その技術は､すでにコンシューマの間では､その没入品質の人気が出ているが､将来的には､ホログラフィックディスプレイが､一段と実際の生活らしく見えるようになる｡よりよいディスプレイの追究では､スタンフォードコンピュータイメージングラボは､オプティクス､人工知能の専門技術を統合した｡この領域の最近の進歩は､Sciecnce Advancesに発表されている｡

その中核では､この研究は､現在のVR/ARディスプレイが､各観察者の目に3D､ホログラフィック､つまりわれわれが実世界で見る画像ではなく､2D画像を示すだけであるという事実に直面している｡

Gordon Wetzsteinは､｢それらは知覚的に現実的ではない｣と言う｡同氏は､電気工学准教授､Stanford Computational Imaging Labのリーダー｡同氏のチームは､見た目が魅力的で目に優しいディスプレイを開発しながら､シミュレーションと現実とのギャップをブリッジするソリューションを考案しようとしている｡

Science Advancesに発表された研究は､通常のホログラフィックディスプレイでよく見られるスペクル歪を低減する技術を詳細に説明している｡一方､SIGGRAPH Asiaの論文は､実世界に存在するなら､3Dシーンに適用する物理学をより現実的に表す技術を提案している｡

シミュレーションと現実の橋渡し
　過去数10年､既存ホログラフィックディスプレイの画像品質は限定的であった｡Wetzsteinの説明によると､研究者は､ホログラフィックディスプレイをLCDディスプレイの品質にするための課題に研究者は､直面していた｡

一つの問題は､ホログラムの解像度で光波の形を制御することが難しいこと｡高品質ホログラフィックディスプレイ構築を阻むもう1つの大きな課題は､シミュレーションで進行していることと､同じシーンが実際の環境であるように見えるものとのギャップを克服すること｡

以前に研究者は､これら両方の問題に対処するアルゴリズムを作ろうとした｡Wetzsteinとそのチームも､ニューラルネットワークを利用してアルゴリズムを開発した｡これは､ヒトの脳が情報を学習する方法を真似ようとする人工知能の1形態である｡これは､｢ニューラルホログラフィ｣と呼ばれている｡

Wetzsteinによると､AIは､エンジニアリングなどのあらゆる面を劇的に変革した｡｢しかし､ホログラフィックディスプレイ､コンピュータ生成ホログラフィのこの特殊分野では､人々はAI技術の探求を始めたばかりである｣｡

Yifan Pengは､スタンフォードコンピューテイショナルイメージングラボのポスドク研究フェローであり､学際的バックグラウンドをオプティクスとコンピュータサイエンスに使って､ホログラフィックディスプレイにつながる光エンジン設計に役立てている｡

｢つい最近､新しいマシンインテリジェンス革新により､われわれは､強力なツールと機能を利用できるようになり､コンピュータ技術の進歩を活用することができた｣(Peng)｡同氏は､Science Advancesの論文およびSIGGRAPH論文の共著者｡

研究チームが実現したニューラルホログラフィックディスプレイは､ディスプレイで起こっていることの実世界物理学を模擬するニューラルネットワークの学習に関与しており､リアルタイム画像を実現した｡次に､これと“camera-in-the-loop”キャリブレーション戦略を組合せ､ほぼ瞬時のフィードバックで､調整と改善情報を与える｡見える画像とリアルタイムで走るアルゴリズムとキャリブレーション技術を創ることで､研究チームは､色､コントラスト､鮮明さを改善した､より現実的に見える視界を作ることができた｡

SIGGRAPH Asiaの論文は､3Dシーンへのニューラルホログラフィのラボ初の適用を強調している｡このシステムは､シーンの一部が意図的に遠く､あるいは焦点ズレに表現されていても､視覚的奥行きを持つシーンの高品質､現実的な表現を生み出す｡

Science Advancesの研究は､AIからヒントを得たアルゴリズムと組み合わせて､同じカメラ･イン･ザ･ループ最適化戦略を採用し､部分的にコヒレントな光源､LEDsおよびSLEDsを使うホログラフィックディスプレイ向けに改善されたシステムを提供している｡これらの光源は､そのコスト､サイズ､エネルギー要求で魅力的であり､レーザのようなコヒレント光源を使うシステムで生成される画像の斑点を回避できる｡しかし､部分的にコヒレントな光源システムが有用な同じ特性は､コントラストが欠如したぼやけた画像となりがちである｡部分的にコヒレントな光源の物理学に特化したアルゴリズムを構築することで研究スチームは､LEDsやSLEDsを使って､初の高品質､スペクルのないホログラフィックス2D､3D画像を生成した｡

変革の可能性
Wetzsteinと Pengは､このような､新しい人工知能(AI)技術とVR/ARとの結合が､今後数年で多くの産業でますますユビキタスなると考えている｡

｢わたしは､ウエアラブルコンピューティングシステムとAR/VR一般の未来を強く確信している｡わたしの考えでは､それらは人々の生活に変革的影響をもつようになる｣(Wetzstein)｡同氏の考えでは､それは次の数年ではないかも知れないが､ARは“big future.”である｡

拡張･仮想現実は､当座､主にゲーミングに関連しているが､それとARは､医療を含む様々な領域に潜在的用途がある｡医学生は､トレーニング､CTスキャンやMRIsからの医療データを直接患者に重ねためにARを利用することができる｡

｢この種の技術は､毎年､数千の手術ですでに使われている｡より小さく､軽量､視覚的に快適な､頭に装着するディスプレイが､将来の手術計画の大きな部分になると､われわれは見ている｣(Wetzstein)｡

｢コンピュテーションが､同じハードウエアでディスプレイ品質をどのように改善できるかを見るのは､感動的である｡コンピュテーションが改善される､ディスプレイがよくなる｡これはディスプレイ産業にとってゲームチェンジャーだ｣とJonghyun Kimはコメントしている｡同氏は､Nvidiaからの客員研究者である｡
(詳細は､https://news.stanford.edu)