新しいイメージングシステムで3D画像を生成

August, 17, 2020, Glasgow--人工知能を利用して3D空間ビジョンを時間に変更する根本的に新しいイメージング法は、自動車、モバイルデバイス、健康モニタの360°認識の開発に役立てることができる。

写真やビデオは通常、デジタルセンサによるフォトンを捉えることで生成される。例えば、デジタルカメラは、空間のすべての点で光の強度と色を検出することにより画像形成する数100万ピクセルで構成されている。3D画像は、今度は被写体周囲の2つ以上のカメラでそれを複数の角度で撮る、あるいはシーンをスキャンしそれを3D再構成するためにフォトンストリームを使う、このいずれかで生成される。いずれの方法でも画像は、シーンの空間情報を収集するだけで構築される。

Opticaに発表された論文では、UK、イタリア、オランダの研究チームが、動的3D画像を生成する全く新しい方法を説明している。ここでは、空間座標の代わりに、フォトンの時間情報を捉えている。

そのプロセスは、フォトンに対して一種のストップウォッチとして機能するように調整された単純で安価なシングルポイントディテクタで始まる。カメラと違い、色や強度の空間分布を計測するので、ディテクタはレーザパルス光の分離された第2フラッシュフォトンによって生成される時間を記録するだけである。パルス光は、どんな所与のシーンでも各対象で跳ね返り、センサに届く。物体が遠ければ遠いほど、各反射光がセンサに届く時間がますます長くなる。

シーンで反射される各フォトンのタイミングについての情報、研究者が時間データと呼んでいるものは、非常にシンプルなグラフで収集される。

そのグラフは次に、高度なニューラルネットワークアルゴリズムの助けを借りて、3D画像に変換される。研究チームは、そのアルゴリズムに何千もの平凡な写真を見せ、同時にシングルポイントディテクタで撮った時間データと並行して、それを「訓練」した。写真は、研究者がラボで物体を持って歩き回ったものでる。

最終的に、ネットワークはその時間データが写真とどのように調和するかについて十分に学習し、その時間データだけで極めて正確な画像を作り出すことができた。概念実証実験では、チームは時間データから10 fps程度で動く画像を構成することができた｡ただし､使用されたハードウエアとアルゴリズムは1秒に数1000の画像を生成する能力をもっている｡

Dr. Alex Turpinは､｢われわれの携帯電話のカメラは､数100万ピクセルを使って画像を形成する｡シングルピクセルだけで画像を生成することは､空間情報だけでは不可能である｡シングルポイントディテクタが何も持っていないからである｡しかし､そのようなディテクタは､時間についてまだ貴重な情報を提供できる｡われわれがしようとしたことは､1次元データ､つまり時間の単純計測を動く画像､どんな所与のシーンでも3D空間となる動く画像に変換する新しい方法を見つけ出すことである｡
　従来の画像生成と異なる最も重要な方法は､われわれのアプローチが、光をシーンから完全に切り離せることである。シーンから時間データを収集するために、われわれがどのようにパルスレーザ光を使ったかを論文多くの部分で議論しているが、それは、同じ目的のためにわれわれがレーダー波をどのように利用できたかも証明している。

われわれは、シーンを短パルスでプローブし、リターン「エコー」を正確に計測することでができるシステムならどれにもその方法は適用できると考えている。これは、光の代わりに時間を使って世界を可視化する全く新しい方法の始まりに過ぎない」。

現在、そのニューラルネットの画像生成能力は、研究者が造ったシーンの時間データから取り出して訓練したものに限られている。しかし、さらにトレーニングを重ね、より先進的なアルゴリズムを使うことで、それは非常に多彩な範囲のシーンを可視化できるようになり、実世界の状況で潜在的なアプリケーションの範囲を広げることになる。

Dr. Turpinは、「時間データを収集するシングルポイントディテクタは非常に小さく軽量で安価である。つまり、自律走行車のカメラなど既存システムに簡単に追加して、経路を見つける正確さとスピードを高めることができる。

「また、すでにレーダー技術ベースの簡素なジェスチャ認識システムを持つGoogle Pixel 4のようなモバイルデバイスの既存センサを増強することができる」。
研究成果は、Opticaに発表された。

(詳細は、https://www.gla.ac.uk)