インクジェットプリンティング活用、ポータブルマルチスペクトル3Dカメラ実現

July, 1, 2024, Washington--インクジェットプリンティング活用手のひらサイズのライトフィールドカメラは、自動運転、リサイクル材料の分類、リモートセンシングを改善できる可能性がある。

KIT研究者はインクジェットプリンティングを使用して、ライトフィールドカメラのコンパクトなマルチスペクトルバージョンを作成した。手のひらに収まるこのカメラは、自動運転、リサイクル材料の分類、リモートセンシングなど、多くのアプリケーションに役立つ可能性がある。

3D スペクトル情報は、オブジェクトやマテリアルの分類に有用である。とは言え、シーンから 3D 空間情報とスペクトル情報を取得するには、通常、複数のデバイスまたは時間のかかるスキャン プロセスが必要になる。新しいライトフィールドカメラは、3D情報とスペクトルデータを1つのスナップショットで同時に取得することで、この課題を解決する。

「われわれの知る限り、これはマルチスペクトルライトフィールドカメラの最も先進的で統合されたバージョンである。われわれは、シーンの奥行きとスペクトル特性を再構築する新しいAI手法と組み合わせて、3D情報を取得するための高度なセンサシステムを作成した」と、ドイツのKIT研究チームリーダー、Uli Lemmerは話している。

Optica Publishing Groupの学術誌「Optics Express」で、研究チームは、新しいカメラと画像再構成方法を使用して、スペクトル特性に基づいてシーン内のオブジェクトを区別できると報告している。インクジェットプリンティングを使用してカメラの主要光学部品を製造することで、簡単にカスタマイズしたり、大量に製造したりできる。

「カメラ画像から再構成された3Dデータは、仮想現実や拡張現実(VR/AR)、自律走行車、ロボット工学、スマートホームデバイス、リモートセンシングなどの用途で広く使用されている。この新技術により、例えば、ロボットが人間とよりよく対話したり、リサイクルにおける材料の分類と分別の精度を向上させたりできるようになる。また、健康な組織と病気の組織の分類にも使用できる可能性がある」と、研究チームのメンバー、Michael Heizmannはコメントしている。

インクジェットプリンティングで色付
ライトフィールドカメラは、プレノプティック(plenoptic)カメラとも呼ばれ、光線の方向と強度をキャプチャする特殊なイメージングデバイス。画像取得後、取得したデータから3次元画像情報を再構成する計算処理を行う。これらのカメラは通常、高解像度カメラチップのピクセルと位置合わせされたマイクロレンズアレイを使用する。

マルチスペクトルライトフィールドカメラを作成するために、研究チームはインクジェットプリンティングを使用して、超薄型顕微鏡スライドの片面に1滴の材料を堆積させ、顕微鏡スライドの反対側に完全に整列したカラーフィルタアレイをプリントした。得られた光学部品は、CMOSカメラチップに直接集積された。インクジェットプリンティング方式により、光学部品間の正確な位置合わせが可能になり、製造の複雑さが大幅に軽減され、効率が向上した。

このセットアップでは、カメラ画像に織り込まれたスペクトル情報と深度情報が生成されるため、研究チームは各成分を分離する方法を開発した。その結果、深層学習に基づくアプローチが、取得した測定値から直接目的の情報を抽出するのに最適であることがわかった。

スペクトルベース物体検出
論文の筆頭著者Qiaoshuang Zhangは、「マルチスペクトルライトフィールドカメラの作成という課題に取り組むことは、製造、システム設計、AIベースの画像再構成の最近の進歩を組み合わせることによってのみ可能になった。この研究は、フォトニック部品を製造するための、高精度で産業的な拡張性を備えた汎用性の高い方法であるインクジェットプリンティングの限界を押し広げるものである」とコメントしている。

研究チームは、様々な距離にあるマルチカラー3Dオブジェクトを含むテストシーンを記録することで、カメラをテストした。画像再構成アルゴリズムは、多くの合成画像と実際のマルチスペクトル画像でトレーニングおよびテストされた。その結果、プロトタイプのカメラが3D空間情報とスペクトル情報を同時に取得できること、また1つのスナップショット内で異なるスペクトル組成と深度情報によって異なる物体を画像化し、区別できることを実証した。

この最初の概念実証が完了したので、チームは、マルチスペクトル情報を取得する機能を備えたライトフィールドカメラが役立つ可能性のある様々なアプリケーションを模索している。