無線信号を使用してロボットに超人的な視覚を与える

December, 9, 2024, University Park--ロボット用の堅牢な認識システムを開発する競争において、悪天候や過酷な条件下での運用が根強い課題の1つ。たとえば、カメラやLiDAR(Light Detection And Ranging)などの従来の光ベースのビジョンセンサは、激しい煙や霧では故障する。

しかし、自然界は、視覚が光の制限によって制約される必要はないことを示している – 多くの生物は、光に頼らずに環境を知覚する方法を進化させてきた。コウモリは音波の反響を利用して移動し、サメは獲物の動きから電場を感知して狩りをする。

電波は、光波よりも波長が桁違いに長いため、煙や霧をより透過し、特定の物質を見通すことさえできる。しかし、ロボットは従来、限られたツールボックスに頼ってきた:カメラとLiDARを使用して詳細な画像を提供するが、困難な状況では機能しないか、壁やその他の閉塞物を透視できるが粗雑で低解像度の画像を生成する従来のレーダーを使用する。

新しい見方
現在、ペンシルベニア大学工学応用科学部(ペンエンジニアリング)の研究者は、単純な電波を環境の詳細な3Dビューに変換することにより、ロボットに超人的な視覚を与える新しいツールであるPanoRadarを開発した。

「われわれが最初に考えたのは、両方のセンシングモダリティの長所を組み合わせることができるかどうかだった」と、コンピュータ情報科学の助教授であるMingmin Zhaoは話している。「霧やその他の厳しい状況に強い無線信号の堅牢性と、視覚センサの高解像度である」

灯台のように回転する
PanoRadarは、光線を円を描くようにスイープし、地平線全体をスキャンする灯台のように動作するセンサである。このシステムは、周囲をスキャンするアンテナの回転する垂直アレイで構成されている。これらのアンテナは回転すると、灯台のビームが船や沿岸の特徴を明らかにするのと同じように、電波を送り、環境からの反射を捉える。

AIの力のおかげで、PanoRadarはこの単純なスキャン戦略を超えている。回転しながら様々な領域を照らすだけの灯台とは異なり、PanoRadarはすべての回転角度からの測定値を巧みに組み合わせて、イメージング解像度を向上させる。センサ自体は、一般的に高価なLiDARシステムのほんの一部に過ぎないが、この回転戦略により、仮想測定ポイントの密集した配列が作成されるため、PanoRadarはLiDARに匹敵する画像解像度を達成することができる。「重要なイノベーションは、これらの電波測定をどのように処理するかにある。われわれの信号処理と機械学習アルゴリズムは、環境から豊富な3D情報を抽出することができる」(Zhao)。

AIの教示
Zhaoのチームが直面した最大の課題の1つは、ロボットが移動している間も高解像度のイメージングを維持するためのアルゴリズムを開発することだった。「無線信号でLiDARに匹敵する解像度を達成するためには、多くの異なる位置からの測定値をサブミリメートルの精度で組み合わせる必要があった。これは、ロボットが動いているときには特に困難になる。小さな動作エラーでもイメージング品質に大きな影響を与える可能性がある」と、論文の筆頭著者であるLaiは説明している。

チームが取り組んだもう一つの課題は、システムが何を見ているのかを理解するようにシステムに教えることだった。「屋内環境には一貫したパターンと形状がある。これらのパターンを活用して、AIシステムがレーダー信号を解釈できるようにした。これは、人間が見たものの意味を理解するのと同じようになっている。トレーニングの過程で、機械学習モデルはLiDARデータに依存して、その理解を現実に照らして確認し、それ自体を改善し続けることができた」(Luo)。

「様々な建物でのフィールドテストでは、従来のセンサが苦手な場所で無線センシングが優れていることが示された。このシステムは、煙の中を正確に追跡し、ガラスの壁で空間をマッピングすることさえできる」(Liu)。
これは、電波が空気中の粒子によって簡単にブロックされず、ガラス表面など、LiDARでは捕捉できないものまでシステムが「キャプチャ」できるためである。また、PanoRadarの高解像度は、人を正確に検出できることを意味し、これは自動運転車や危険な環境での救助任務などのアプリケーションにとって重要な機能である。

将来的には、PanoRadarがカメラやLiDARなどの他のセンシング技術とどのように連携し、ロボット向けのより堅牢でマルチモーダルな認識システムを作成できるかを探る予定である。また、チームはテストを拡大し、様々なロボットプラットフォームや自律走行車を含めている。「リスクの高いタスクでは、環境を感知する複数の方法を持つことが重要だ。各センサには長所と短所があり、それらをインテリジェントに組み合わせることで、現実世界の課題をより適切に処理できるロボットを作成できる」とZhaoは話している。