AIライトフィールドカメラ､3D顔の表情を読み取る

January, 26, 2022, Daejeon--KAISTのバイオ･脳エンジニアリング学部の教授､Ki-Hun JeongとDoheon Leeをリーダーとする共同研究チームは､近赤外ライトフィールドカメラと人工知能(AI)技術を統合することで顔の表情を検出する技術を開発した｡

従来のカメラと違い､ライトフィールドカメラは画像センサの前にマイクロレンズアレイを備えている｡これによりカメラは､スマートフォンに組みこめるほどに小さくなり､シングルショットで光の空間情報､指向性情報を取得できる｡マルチビュー､リフォーカス､3D画像取得を含む幅広い方法で画像を再構成でき､多くの潜在的アプリケーションが生まれることから､その技術は注目を集めている｡

しかし､環境の外部光源によるシャドーとマイクロレンズとの光クロストークにより､既存のライトフィールドカメラは､正確な画像コントラスト､3D再構成ができない｡

研究チームは､以前には環境光次第だった3D画像再構成を安定化するためにNIR VCSELを利用した｡外部光源が､角度0°, 30°, 60°で照射される時､ライトフィールドカメラは､画像再構成誤差を54%低減する｡加えて､マイクロレンズアレイ間に可視波長とNIR波長の光吸収層を挿入することでチームは､画像コントラストを2.1倍に高めながら､光クロストークを最小化できた｡

この技術により､チームは既存ライトフィールドカメラの限界を克服し､NIRベースライトフィールドカメラ(NIR-LFC)を開発することができ､顔の表情の3D画像再構成に最適化した｡NIR-LFCを使いチームは､周囲環境の照明条件に関係なく､様々な感情を表す顔の表情の高品質3D再構成画像を取得した｡

取得した3D画像の顔の表情は､マシンラーニングによって平均85%の正確さで区別された｡これは､2D画像での利用と比較して統計的に有意な数字である｡さらに､3D画像における顔の表情で変わる距離情報の相互依存性を計算することでチームは､ライトフィールドカメラが人の表情を区別するために利用する情報を特定することができた｡

Ki-Hun教授は､｢ 研究チームが開発したサブミニチュアライトフィールドカメラは､人の顔の表情や感情を定量的に分析する新しいプラットフォームになる可能性がある｡それは､モバイルヘルスケア､フィールド診断､社会的認知､人と機械の相互作用を含む様々な分野に適用可能である｣とコメントしている｡
(詳細は､https://news.kaist.ac.kr)