MIT、隠された対象の形状を再構成する新イメージング技術

August, 22, 2025, Cambridge--Wi-Fiなどの無線信号からの反射を活用することで、ロボットが視界から遮られているアイテムを見つけて操作できるようになる。
MITの研究チームが開発した新しい画像技術により、倉庫内の品質管理ロボットが段ボール製の輸送箱を覗き込み、梱包用ピーナッツの下に埋められたマグカップのハンドルが壊れていることを確認できる可能性がある。

研究チームのアプローチは、Wi-Fiで使用されるのと同じタイプの信号であるミリ波(mmWave)信号を活用して、視界から遮られている物体の正確な3D再構成を作成する。

ミリ波はプラスチック容器や内壁などの一般的な障害物を通り抜け、隠された物体に反射する。mmNormと呼ばれるこのシステムは、これらの反射を収集し、物体の表面の形状を推定するアルゴリズムに供給する。

この新しいアプローチにより、銀食器や電動ドリルなど、複雑で曲線的な形状のさまざまな日常的な物体の再構成精度が96%に達した。最先端のベースライン法では、わずか78%の精度しか達成できなかった。

さらに、mmNormは、このような高精度を達成するために追加の帯域幅を必要としない。この効率性により、この方法は工場から介護施設に至るまで、幅広い環境で利用できるようになる可能性がある。

たとえば、mmNormを使用すると、工場や家庭で作業するロボットが引き出しに隠された工具を区別し、ハンドルを識別できるため、損傷を与えることなく物体をより効率的につかんで操作できるようになる。

「われわれは、かなり長い間この問題に関心を寄せていたが、行き詰っていた。従来の方法は数学的には洗練されていたものの、必要な場所に到達できなかったからである。新タイプのアプリケーションを解き放つために、半世紀以上にわたって使用されてきたものとはまったく異なる、これらの信号を使用する方法を考え出す必要があった」と、MITメディアラボの信号動力学グループのディレクターで、電気工学およびコンピュータサイエンス学科の准教授であり、mmNormに関する論文の上級著者でもあるFadel Adibは語っている。

この研究は最近、モバイルシステム、アプリケーション、サービスに関する年次国際会議で発表された。

反省を振り返る
従来のレーダー技術は、ミリ波信号を送信し、環境からの反射を受信して、隠れた物体や遠くの物体を検出する技術であり、この技術はバックプロジェクションと呼ばれる。

この方法は、雲に覆われた飛行機などの大きなオブジェクトには適しているが、ロボットが識別する必要があるキッチンガジェットなどの小さなアイテムには画像の解像度が粗すぎる。

この問題を研究する中で、MITの研究者は、既存のバックプロジェクション技術が鏡面反射として知られる重要な特性を無視していることに気づいた。レーダーシステムがミリ波を送信すると、波が当たるほぼすべての表面が鏡のように機能し、鏡面反射を生成する。

表面がアンテナに向けられている場合、信号は物体からアンテナに反射するが、表面が別の方向を向いている場合、反射はレーダーから遠ざかり、受信されない。

「スペキュラリティ(鏡面性)に依存することで、環境内の反射の位置だけでなく、その点での表面の方向も推定しようとするのがわれわれのアイデアだ」(研究助手Laura Dodds)。

研究チームは、mmNormを開発した。これは、空間内の特定の点における表面の方向である表面法線と呼ばれるものを推定し、これらの推定値を使用してその点での表面の曲率を再構築するためである。

mmNormは、空間内の各点での表面法線推定を組み合わせて、特別な数学的定式化を使用して3Dオブジェクトを再構築する。

研究チームは、ロボットアームにレーダーを取り付けてmmNormプロトタイプを作成し、ロボットアームは隠されたアイテムの周りを移動しながら継続的に測定を行う。システムは、さまざまな場所で受信した信号の強度を比較して、物体の表面の曲率を推定する。

たとえば、アンテナは、アンテナに直接向けられた表面から最も強い反射を受け取り、アンテナに直接面していない表面から弱い信号を受け取る。

レーダー上の複数のアンテナはある程度の反射を受信するため、各アンテナは受信した信号の強さに基づいて表面法線の方向に「投票」(votes)する。

「アンテナによっては、非常に強く投票する可能性もあれば、非常に弱い投票をする可能性もある。すべての投票を組み合わせて、すべてのアンテナの位置で合意された単一の表面法線を生成できる」(Dodds)。

さらに、mmNormは空間内のすべての点から表mwン法線を推定するため、多くの可能な面を生成する。正しいものに焦点を合わせるために、チームはコンピュータグラフィックスから技術を借用し、受信した信号を最もよく表す面を選択する3D関数を作成した。これを使用して、最終的な3D再構成画像を生成する。

さらに詳細に
チームは、マグカップのハンドルや曲線など、複雑な形状の60以上の物体を再構築するmmNormの能力をテストした。最先端の手法と比較して、誤差を約40%低減し、物体の位置をより正確に推定した。

チームの新しい技術は、同じ箱に隠されたフォーク、ナイフ、スプーンなど、複数の物体を区別することもできる。また、木材、金属、プラスチック、ゴム、ガラスなど、さまざまな素材で作られた物体や素材の組み合わせにも優れたパフォーマンスを発揮するが、金属や非常に厚い壁の背後に隠された物体には機能しない。

「われわれの定性的な結果は、それ自体を物語っている。また、改善の度合いが目に見えるため、これらの高解像度3D再構成を新しいタスクに使用するアプリケーションの開発が容易になる」とBoroushakiはコメントしている。

たとえば、ロボットは箱内の複数のツールを区別し、ハンマーのハンドルの正確な形状と位置を決定し、それを拾ってタスクに使用することを計画できる。拡張現実ヘッドセットでmmNormを使用すると、工場の労働者が完全に遮られた物体のリアルな画像を見ることもできる。

また、既存のセキュリティおよび防衛アプリケーションに組み込むこともでき、空港のセキュリティスキャナや軍事偵察において、隠された物体をより正確に再構成できる。

研究チームは、将来の研究でこれらの成果をはじめとするさまざまな潜在的アプリケーションを探求したいと考えている。また、技術の解像度を向上させ、反射率の低い物体に対する性能を向上させ、ミリ波を用いてより厚い遮蔽物を通して効果的に画像化できるようにしたいと考えている。

「この研究は、これらの信号とこの3D再構成プロセスについての考え方におけるパラダイムシフトを実際に表している。ここで得た知見が、どのように幅広い影響を与えるのか、非常に楽しみだ」(Dodds)。