サーマルイメージング革新により、AIが真っ暗闇を透視

August, 23, 2023, West Lafayete--パデュー大学の研究者は、従来のマシンビジョンや知覚を改善する特許申請中の方法でロボットと自律性の世界を前進させようとしている。

Zubin Jacobは、HADAR (heat-assisted detection and ranging)を開発した。研究成果は、Natureに発表された。

電気&コンピュータ工学、Elmore准教授、Zubin Jacobによると、2030年までには10台のうちの1台が自動化され、人に役立つ2000万のロボットヘルパーが出現する。

「これらの各々が､先進的センサで周辺シーンの情報を収集し、人間の介入なしで決定を下す。しかし、多くのエイジェントによるシーンの同時知覚は、基本的に恐ろしく高額になる」(Jacob)。

LiDAR、レーダやソナーのような従来のアクティブセンサは、信号を発し、続いて、それら受信してシーンの3D情報を収集する。これらの方法は、欠点があり、それはそれらが拡大するにつれて大きくなる、信号の干渉、人の眼の安全性へのリスクである。比較すると、陽光あるいは他の光源で機能するビデオカメラは、有用であるが、夜間、霧、あるいは雨のような微光条件は、重大な障害となる。

従来の熱イメージングは、完全なるパッシブセンシング法であり、シーンのあらゆる物体から出る不可視の熱放射を収集する。それは闇を通して、悪天候、太陽のギラつきを通して見ることができる。しかしJacobは、今日、根本的な課題が、その利用を阻むと言う。

「物体やその環境は絶えず熱放射を出し、散乱させており、それが‘ghosting effect,’として有名なテクスチャレス(特徴のない)画像になっている。人の顔の熱画像は、輪郭と一定の温度コントラストのみを示している。特徴は全くないので、それはゴーストを見ているかのようである。この情報、テクスチャ、特徴の喪失は、熱放射を使うマシン知覚にとっては障害である」。

HADARは、熱物理学、赤外イメージング、機械学習を統合して、完全にパッシブで物理学を意識したマシン知覚への道を開く。

「われわれの研究は、熱知覚の情報理論的基礎を構築し、真っ暗闇が日中と同じ量の情報を持っていることを示す。進化が、人間を昼間に偏らせた。将来のマシン知覚は、この長年の昼と夜の二分法を克服する」(Jacob)。

Baoは、「HADARは、乱雑な熱信号からテクスチャを鮮明に回復し、シーンの全ての物体の温度、放射率、質感、つまりTeXを解きほぐす。それは、あたかも日中であるかのように暗闇を通してテクスチャや深さを見る。また、RGB以外の物理的特性を感知する、可視イメージング、従来の熱センシング。驚いたことに、真っ暗闇で、真っ昼間のように見ることができる」とコメントしている。

チームは、オフロード夜間シーンを利用してHADAR TeXビジョンをテストした。

「HADAR TeXビジョンは、テクスチャを回復し、ゴースト効果を克服した。それは､草の多い土地についての詳細に加えて、水の波紋、樹皮の皺や暗渠などの微細模様を回復した」。

HADARをさらに改善することで、ハードウエアのサイズ、データ取得スピードが向上する。

「現在のセンサは大きくて重い。HADARアルゴリズムが、不可視赤外放射の多数の色を必要としているからだ。それを自動運転車、あるいはロボットに適用するために､サイズとコストを下げる必要がある。同時にカメラも高速にする。現在のセンサは、1画像の生成に1秒程度かかるが、自動運転車には、われわれは30～60Hzのフレームレート、つまり数フレーム/secが必要である」。

HADAR TeXビジョンの最初のアプリケーションは、複雑な環境で人間と相互作用する自動運転車やロボット。その技術は、農業、防衛、地学、ヘルスケア、野生生物モニタリングアプリケーション向けにさらに開発が進む。