リストバンドはエコー、AIを利用して、VRなどのための手の位置を追跡

May, 20, 2024, New York--コーネル大学の研究者は、AIを活用した聞こえない音波を使用して、手の位置と手が相互作用する物体を継続的に検出するリストバンドデバイスを開発した。

潜在的アプリケーションは、仮想現実(VR)システムの手の位置の追跡、ハンドジェスチャーによるスマートフォンやその他のデバイスの制御、ユーザのアクティビティの理解など。たとえば、料理アプリでは、ユーザが切り刻んだり、計量したり、かき混ぜたりするときにレシピをナレーションできる。この技術は、市販のスマートウォッチに収まるほど小さく、標準スマートウォッチのバッテリで一日中持続する。

EchoWristは、Smart Computer Interfaces for Future Interactions(SciFi)Labが提供する最新の低消費電力の身体姿勢トラッキング技術。Cornell Ann S. Bowers College of Computing and Information Scienceの情報科学助教授、Cheng Zhangが研究リーダー。

「手は根本的に重要である。何をするにしても、ほとんどの場合、手が関係する。このデバイスは、手のポーズを安価かつ非常に正確に継続的に追跡できるソリューションを提供する」(Ruidong Zhang)。

EchoWristを使用すると、ユーザはジェスチャでデバイスを制御したり、プレゼンテーションを行ったりすることもできる。「片手で操作できるようにすることで、スマートウォッチやその他のデバイスとの対話を豊かにすることができる。スマートフォンをリモートで制御することも可能である。片手のジェスチャーでスライドをコントロールできます」(Chi-Jung Lee)。

Ruidong Zhangによると、同研究所が技術を身体の外に広げたのは今回が初めてである。「EchoWristは、手そのものだけでなく、物体や周囲の環境も追跡する」

このデバイスは、リストバンドの上部と下部に取り付けられた2つの小さなスピーカーを使用して、手や手持ちの物体から聞こえない音を跳ね返す。近くにある2つのマイクロフォンがエコーを拾い、マイクロコントローラがエコーを解釈する。4分の1未満のバッテリーがデバイスに電力を供給します。

研究チームは、ニューラルネットワークと呼ばれる脳内のニューロンに着想を得た人工知能(AI)モデルを開発し、結果として得られるエコーに基づいてユーザの手の姿勢を解釈した。ニューラルネットワークを訓練するために、様々なジェスチャをしているユーザのエコープロファイルとビデオを比較し、音声信号に基づいて20個の手の関節の位置を再構築した。

研究チームは、12人のボランティアの助けを借りて、コップ、箸、水筒、鍋、フライパン、ケトルなどの物体や、飲む、かき混ぜる、皮をむく、ひねる、刻む、注ぐなどの動作をEchoWristがどれだけうまく検出するかをテストした。全体として、このデバイスの精度は97.6%だった。この機能により、ユーザは料理人の進捗状況を追跡し、次のステップを読み上げるインタラクティブなレシピに従うことができるため、料理人は画面を汚さずにすむ。

SciFi Labが以前開発したカメラを使ったハンドトラッキング技術FingerTrakとは異なり、EchoWristははるかに小型で、消費電力も大幅に少ない。

「アクースティックトラッキングの重要な利点は、カメラトラッキングと同レベルの性能を提供しながら、ユーザのプライバシーを実際に強化できることである」と、共著者Cornell Bowers CISとマルチカレッジデザインテクノロジー学部の情報科学教授François Guimbretièreはコメントしている。

この技術は、VRアプリケーション用の手の動きを再現するために使用可能である。既存のVRや拡張現実(AR)システムは、ヘッドセットに搭載されたカメラを使ってこのタスクを実行するが、このアプローチでは電力消費が大きく、ヘッドセットの限られた視野を離れると手を追跡できない。

「この技術によって実現される最もエキサイティングなアプリケーションの1つは、AIが日常の活動における手の姿勢を追跡して解釈することで、人間の活動を理解できるようにすることである」(Cheng Zhang)。

とは言え、研究チームは、EchoWristがフォークとスプーンなど、非常によく似た形状の物体を区別するのにまだ苦労していると指摘した。しかし、チームは、技術を洗練させるにつれて物体認識が向上すると確信している。さらに最適化すれば、EchoWristは既存の既製スマートウォッチに簡単に統合できると考えている。