ニューロモルフィック視覚センサ、動く物体を認識、経路予測

April, 24, 2023, Fremont--新しいスマートセンサは、埋め込まれた情報を利用して、単一のビデオフレームで動きを検出する。

新しいバイオ・インスパイアドセンサは、ビデオの一コマに動く物体を認識し、それらがどこへ動いていくかを首尾良く予測する。Nature Comunicationsに掲載されたこのスマートセンサは、動的視覚センサ、自動検査、産業工程制御、ロボット誘導、自動運転技術を含む広範な分野で価値あるツールとなる。

現在のモーションディテクタシステムは、多くのコンポーネントとフレーム毎に分析する複雑なアルゴリズムを必要とする。これは、非効率でスネルギー集約的になる。人の視覚系からヒントを得てアールト大学の研究者は、シングルチップにセンシング、メモリ、処理を集積した新しいニューロモルフィック視覚技術を開発した。これは、動作を検出し、その軌跡を予測できる。

その技術の核には、フォトメムリスタアレイ、光に反応して電流を生成する電気デバイスが存在する。電流は、光のスイッチが切られても、直ぐには止まらない。代わりに、電流は徐々に減衰する、つまりフォトメムリスタは、最近、光に当てられたかどうかを効果的に「思い出す」ことができる。結果、フォトメムリスタアレイでできたセンサは、カメラのように、シーンについて瞬間的な情報だけを記録しているのではなく、先行する瞬間の動的記憶も含んでいる。

「われわれの技術の固有の特性は、一連の光学画像を1フレームに組み込む能力である」と研究リーダー、Hongwei Tanは、話している。「各画像の情報は､後続の画像に隠された情報として埋め込まれている。言い換えると、ビデオの最終フレームは、全ての先行フレームについての情報ももっている。したがってわれわれは、最終フレームを簡単な人工ニューラルネットワークで分析することでビデオの以前の動きを検出できる。結果は、コンパクトで効率的なセンシングユニットである」と同氏はコメントしている。

その技術を実証するためにチームは、単語の文字を一度に1つずつ示すビデオを利用した。全ての単語が‘E’で終わるので、全てのビデオの最終フレームは同じに見える。従来の視覚センサは、スクリーンの‘E’が、‘APPLE’ または ‘GRAPE’の他の文字の後に現れたかどうかを示すことはできなかった。しかし、フォトメムリスタアレイは、最終フレームに隠された情報を利用して、どの文字が、それに先行し、その単語が何であったかをほぼ100%の正確さで予測することができた。

別のテストでは、チームは、3つの異なるスピードで動くシミュレートされた人のセンサビデオを示した。そのシステムが、シングルフレームを分析することで動作を認識できただけでなく、それは、次のフレームを正確に予測した。

動きを正確に検出し、物体がどこにあるかを予測することは、自動運転技術やインテリジェントトランスポートにとって極めて重要である。自律走行車は、判断を導くために、自動車、自転車、歩行者、他の物体がどのように動くかを正確に予測する必要がある。フォトメムリスタアレイにマシンラーニングを加えることで研究チームは、その統合システムが、全情報フレームのセンサ内処理に基づいて今後の動きを予測できることを示した。

「われわれのコンパクトなイン-センサとコンピューティングソリューションによる動作認識と予測は、自律ロボットや人間と機械の相互作用に新たな機会を提供する。われわれのシステムで､フォトメムリスタを使うことでわれわれが達成したイン-フレーム情報は、冗長データフローを回避し、リアルタイムでエネルギー効率のよい決定を可能にする」とSebastiaan van Dijken教授は、コメントしている。
(詳細は、https://www.aalto.fi)