通常デジタルカメラにメタレンズとAIを組合せ､ハイパースペクトル画像・動画取得技術確立

October, 25, 2022, 東京--日本電信電話株式会社（NTT）は、メタレンズとよばれる革新的光学技術とAI に基づく最先端画像処理技術を密に融合することで、通常のデジタルカメラのレンズをメタレンズに置き換えるだけで、詳細な色情報画像であるハイパースペクトル画像を取得できるイメージング技術を開発した。
　この技術により、これまでカメラの大型化や解像度・フレームレートの低下をもたらしていたハイパースペクトルカメラ特有の構造や仕組みが不要となり高解像度なハイパースペクトル画像の動画の撮像が可能となった。今回、実際にこの技術を通常のデジタルカメラに適用し、HD解像度・フレームレート30fpsの条件下で、可視光から近赤外光に渡る波長バンド数45のハイパースペクトル画像の撮影ができ、動画の撮影も可能であることを世界で初めて示した。この技術により、人などの動体の撮影、ドローンなどの移動体からの撮影を高解像度な条件下で行うことが可能となり、人間の目でも把握困難な被写体の性質を見分けられるハイパースペクトル画像による農林水産業やヘルスケア産業、製造業のスマート化への活用が期待される。

技術のポイント
1．光情報を圧縮するメタレンズ
この技術の大きな特徴の1つは、非常に微細な構造パターンで構成される最先端レンズ「メタレンズ」の活用。メタレンズの表面は、数百nmサイズの光を透過する構造体が多数並んだ光メタサーフェスとよばれる構造になっている。この構造体一つ一つを精密に設計・作製することで、光の波長毎にまったく異なる機能をもつようにデザインされたレンズとして機能させることができる。このようなメタレンズを通常のデジタルカメラに装着して物体を撮影すると、カラー画像でありながら物体の形状・波長情報が効果的に圧縮された「圧縮画像」を取得することが可能となる。またメタレンズは、光透過性が高く、小さいf値をもつ明るいレンズとして動作させることが可能であるため、短いシャッター時間でより多くの光を効率的にセンサに導くことができ、高いフレームレートでの撮影に適している。

2．ハイパースペクトル画像再構成技術
波長情報が重畳された圧縮画像から圧縮される前の状態として、もっともらしいスペクトル画像を推定する必要がある。従来この種の問題には、繰り返し計算に基づく凸最適化アルゴリズムが用いられてきたが、膨大な計算時間やスペクトル画像のもっともらしさを定義することが困難であることが問題だった。NTTは、凸最適化アルゴリズムの計算手順を元にニューラルネットワークの構造を設計し、既知のハイパースペクトル画像から「もっともらしい」性質を学習することで、高速・高精度での画像再構成を実現した。

　研究成果は、2022年11月16日～18日に開催される　NTT R&D フォーラム ― Road to IOWN 2022に展示予定｡

(詳細は､https://group.ntt/)