レンズレスカメラ､単一露光で3D画像生成

September, 9, 2022, Washington--UC Davisの研究者は､薄いマイクロレンズアレイと新しい画像処理アルゴリズムを使い､単一露光でシーンの物体についての3D情報を取得するカメラを開発した｡そのカメラは､様々なアプリケーション､工場の部品検査､ジェスチャー認識､3Dディスプレイシステム向けのデータ収集に有用である｡

｢われわれは､このカメラをレンズレスと考えている｡それは､従来のカメラで使用されている大きなレンズを柔軟なポリマ製の薄い､軽量マイクロレンズアレイで置き換えるからである｡個々のマイクロレンズは､様々な視野角から物体を見ることができるので､カメラに近い物体により部分的に不明確になった物体からの3D情報の取得など､複雑なイメージングタスクを達成できる｣と研究チームリーダー､Weijian Yangは説明している｡

Optics Expressに発表された論文で､Yangと筆頭著者Fengは､新しい3Dカメラについて説明している｡カメラは､既存データから､3Dシーンのデジタル再建方法を学習するので､リアルタイムで3D画像を生成することができる｡

｢この3Dカメラは､ロボットに3D視覚を持たせるために使えるので､ロボットは3D空間をナビゲートし､微細な物体の操作など､複雑なタスクができる｡また､豊富な3D情報の取得にも使える｡ゲーミング､エンタテーメント､あるいは多くの他のアプリケーションで使用される3Dディスプレイ向けにコンテンツを提供する情報である｣(Yang)｡

学習するカメラ
新しいカメラは､以前の研究成果､コンパクトな顕微鏡から生まれたものである｡それは､バイオケミカルアプリケーション向けに3D微細構造をイメージングできるマイクロスコープである｡｢われわれは､マイクロレンズアレイを使って､そのマイクロスコープを作製した｡同様の今コンセプトが､マクロ的な物体のイメージングにも適用できると考えた｣(Yang)｡

その新しいカメラの個々のレンズにより､カメラは様々な角度､視点から物体を見ることができ､深さ情報を提供する｡他の研究グループが単層マイクロレンズアレイに基づいたカメラを開発してるが､それの実用化は難しい｡校正プロセスが広範であり､再建スピードが遅いからである｡

｢多くの既存のニューラルネットワークは､指定のタスクを行えるが､基本的なメカニズムは､説明､理解が難しい｡われれのニューラルネットワークは､画像再建の物理的モデルをベースにしている｡これにより学習プロセスが著しく簡素になり､高品質の再建ができる｣(Yang)｡

一度その学習プロセスが完了すると､カメラから様々な距離にある物体を含む画像を高速に再建できる｡新しいカメラは､キャリブレーション不要であり､物体の3D位置や空間プロファイル､つまりアウトラインのマッピングに使える｡

物体を通して見る
カメラの性能を検証するための数値シミュレーションの後､研究チームは､2Dイメージングを行った､これは知覚的に満足のいく結果を示した｡次に､様々な奥行きで､物体の3Dイメージングを行うカメラの能力をテストした｡結果としての3D再建は､様々な奥行き､つまり距離に再び焦点を当てた｡カメラは､実際の物体の配置に合致する奥行きマップも構築できた｡

｢最後のデモンストレーションでわれわれは､このカメラが不透明物体の背後の物体をイメージングできることを示した｡われわれの知る限りでは､これは､不透明障害物の背後の物体のイメージングでは､レンズレスカメラを使った初のデモンストレーションである｣(Yang)｡

研究チームは現在､アーチファクト､つまりエラーの低減に取り組んでいる｡これは､3D再建の際に現れるものである｡また､さらに高品質､高速にするためのアルゴリズム改善にも取り組んでいる｡チームは､携帯電話に組みこめるように､デバイス全体の微小化も考えている｡そうなると､さらに可搬性が向上し､アプリケーションも増える｡

｢われわれのレズレス3Dカメラは､コンピュータイメージング､新しいアプローチを使用する｡これは､イメージングハードウエアと物体再建アルゴリズムをいっしょに最適化し､所望のイメージングタスクと品質を達成するアプローチである｡ローコスト､最先端のマイクロオプティクス製造技術の最近の発展､マシンラーニングおよびコンピュータリソースにおける進歩により､コンピュータイメージングは､先進的機能を備えた多くの新しいイメージングシステムを可能にする｣(Yang)｡