人工知能を使用してメタレンズカメラの画質を向上

May, 24, 2024, Washington--中国の東南大学の研究者は、深層学習(DL)技術を活用して、メタレンズカメラの画質を向上させた。この新しいアプローチは、人工知能(AI)を使用して低品質の画像を高品質の画像に変換するため、これらのカメラは、複雑な顕微鏡アプリケーションやモバイルデバイスなど、様々なイメージングタスクに対応できる可能性がある。

メタレンズは、ナノ構造を使用して光を操作する超薄型光学デバイス(多くの場合、厚さはわずか数㎜)。小型化により、従来の光学レンズがなくても超小型・軽量のカメラを実現できる可能性を秘めているが、これらの光学部品では必要な画質を実現することが困難だった。

「われわれの技術により、メタレンベースのデバイスは画質の限界を克服できる。この進歩は、携帯性の高い民生用イメージング電子機器の将来の開発において重要な役割を果たし、顕微鏡などの特殊なイメージングアプリケーションにも使用できる」と、中国の東南大学の研究チームリーダーJi Chenはコメントしている。

Optica Publishing Groupの学術誌Optics Lettersに掲載された論文では、メタレンズをCMOSイメージングチップに直接統合することで、マルチスケール畳み込みニューラルネットワーク(CNN)と呼ばれる機械学習の一種を使用して、小型カメラ(約3cm×3cm×0.5cm)からの画像の解像度、コントラスト、歪みを改善した方法が説明されている。

「メタレンズに統合されたカメラは、スマートフォンのイメージングモジュールに直接組み込むことができ、従来の屈折バルクレンズに取って代わることができる。また、小型で軽量なカメラにより、ドローンの機動性を損なうことなく画質を確保できるドローンなどのデバイスにも使用できる」(Chen)。

画質の向上
今回の研究で使用したカメラは、研究チームが以前に開発したもので、高さ1000nmの円筒形窒化ケイ素ナノポストを備えたメタレンズを使用している。メタレンズは、他の光学素子を必要とせずに、CMOSイメージングセンサに直接光を集束させる。この設計は非常に小さなカメラの実現となるが、コンパクトなアーキテクチャが画質を制限した。
研究チームは、機械学習を使って画像を改善できるかどうかを確認することにした。

ディープラーニング(DL)は、機械学習の一種で、複数のレイヤーを持つ人工ニューラルネットワークを使用して、データから特徴を自動的に学習し、複雑な意思決定や予測を行う。チームは、畳み込みイメージングモデルを使用して、高品質の画像と低品質の画像ペアを大量に生成することで、このアプローチを適用した。これらの画像ペアは、マルチスケールCNNをトレーニングするために使用され、各タイプの画像の特性を認識し、それを使用して低品質の画像を高品質の画像に変換できるようにした。

「この研究の重要な部分は、ニューラルネットワークの学習プロセスに必要な大量のトレーニングデータを生成する方法を開発することだった。トレーニングが完了すると、低品質の画像をデバイスからニューラルネットワークに送信して処理することができ、高品質のイメージング結果をすぐに得ることができる」(hen)。

ニューラルネットワークの適用
新しいDL技術を検証するために、研究チームは100枚のテスト画像で使用した。チームは、一般的に使用される2つの画像処理指標、ピークSNRと構造類似性指数を分析した。その結果、ニューラルネットワークによって処理された画像は、両方の指標で有意な改善を示すことがわかった。また、この手法により、実験によって直接撮影されたものによく似た高品質の画像データを迅速に生成できることも示された。

研究チームは現在、カラーイメージングや広角イメージングなどの複雑な機能を持つメタレンズを設計し、これらの高度なメタレンズのイメージング品質を向上させるためのニューラルネットワーク手法を開発している。この技術を実用化するには、メタレンズをスマートフォンのイメージングモジュールに組み込むための新しいアセンブリ技術や、携帯電話専用に設計された画質向上ソフトウェアが必要になる。

「超軽量・超薄型メタレンズは、将来のイメージングと検出のための革命的な技術である。深層学習技術を活用してメタレンズの性能を最適化することは、極めて重要な開発の軌跡を示している。機械学習は、フォトニクス研究を前進させる上で重要なトレンドになると予測している」とChenは話している。