UMD、人の眼からインスパイアされた新しい改良カメラを開発

July, 22, 2024--メリーランド大学(UMD)のコンピュータ科学者が率いるチームは、ロボットが周囲の世界を見て反応する方法を改善するカメラ機構を発明した。
人間の目の仕組みにインスパイアされた革新的なカメラシステムは、目が使用する小さな不随意運動を模倣して、クリアで安定した視界を長期間維持する。Artificial Microsaccade-Enhanced Event Camera(AMI-EV)と呼ばれるこのカメラのプロトタイピングとテストは、2024年5月に学術誌「Science Robotics」に掲載された論文で詳しく説明されている。

「イベントカメラは、従来のカメラよりも動く物体の追跡に優れている比較的新しい技術だが、今日のイベントカメラは、動きが多い場合、シャープでブレのない画像を撮影するのに苦労している。ロボットや自動運転車など、他の多くのテクノロジーは、変化する環境に正しく反応するために、正確でタイムリーな画像に依存しているため、これは大きな問題となっている。そこで、われわれは、人間や動物が動く物体に視界を集中させ続けるにはどうすればよいか、と自問した」と、論文の筆頭著者でUMDコンピュータサイエンスPh.Dの学生Botao Heは話している。

Heのチームにとって、その答は、人が視界の焦点を合わせようとしたときに無意識に起こる小さくて素早い眼球運動であるマイクロサッカードだった。人間の目は、これらの微細でありながら連続的な動きを通じて、物体とその視覚的な質感(色、奥行き、影など)に長時間にわたって正確に焦点を合わせ続けることができる。

「われわれは、目が焦点を合わせるために小さな動きを必要とするのと同じように、カメラも同様の原理を使用して、動きによるボヤケのない鮮明で正確な画像を撮影できると考えた」(He)。

研究チームは、AMI-EVの内部に回転するプリズムを挿入し、レンズで捉えた光線を方向転換させることで、マイクロサケードの再現に成功した。プリズムの連続的な回転運動は、人間の目の中で自然に発生する動きをシミュレートし、カメラが人間と同じように記録されたオブジェクトのテクスチャを安定させることができた。その後、AMI-EV内のプリズムの動きを補正するソフトウェアを開発し、変化するライトからの安定した画像を統合した。

研究の共著者で、UMDのコンピュータサイエンス教授Yiannis Aloimonosは、チームの発明をロボットビジョンの領域における大きな前進と見なしている。

「われわれの目は、われわれの周りの世界を写真に撮り、その写真が脳に送られ、そこで画像が分析される。知覚はそのプロセスを通じて発生し、それがわれわれが世界を理解する方法である」と、メリーランド大学高等コンピュータ研究所(UMIACS)のコンピュータビジョン研究所所長Aloimonosは説明している。「ロボットと協働するときは、目をカメラに、脳をコンピュータに置き換える。カメラが高性能であればあるほど、ロボットの知覚や反応も向上する」

また、研究チームは、このイノベーションがロボット工学や国防にとどまらず、重要な意味を持つ可能性があると考えている。正確な画像キャプチャと形状検出に依存する業界で働く科学者は、カメラを改善する方法を常に模索しており、AMI-EVは彼らが直面する多くの問題に対する重要な解決策になる可能性がある。

「イベントセンサとAMI-EVは、そのユニークな機能により、スマートウェアラブルの領域で中心的な役割を果たすと見られている」と、論文の主任著者である研究科学者のCornelia Fermüllerはコメントしている。「従来のカメラに比べて、極端な照明条件での優れた性能、低遅延、低消費電力など、明確な利点がある。これらの機能は、例えば、シームレスな体験と頭と体の動きの迅速な計算が必要なＶＲアプリケーションに最適である」。

初期のテストでは、AMI-EVは、人間の脈拍検出や急速に動く形状の識別など、様々な状況で動きを正確にキャプチャして表示することができた。また、AMI-EVは毎秒数万フレーム(fps)で動きを捉えることができ、平均して30〜1000 fpsをキャプチャする、一般的に入手可能なほとんどの商用カメラよりも優れた性能を発揮することもわかった。このより滑らかでリアルな動きの描写は、より没入感のあるAR体験やより優れたセキュリティ監視の作成から、天文学者が宇宙で画像をキャプチャする方法の改善まで、あらゆることにおいて極めて重要であることが証明される可能性がある。

「われわれの斬新なカメラシステムは、自動運転車が道路上の何が人間で何がそうでないかを判断するなど、多くの具体的な問題を解決できる。その結果、自動運転システムやスマートフォンのカメラなど、一般の人々の多くがすでに操作している多くのアプリケーションがある。われわれの斬新なカメラシステムは、より高度で高性能なシステムへの道を開くと信じている」(Aloimonos)。

研究成果は、2024年5月29日にScience Robotics誌に掲載された。