日常的なモノ、人の身体から高忠実入力を可能にするセンサ

July, 7, 2023, Michigan--弾性表面波を記録、分析する新技術は、ほぼどんな物体でもタッチ入力装置として機能し、プライバシーに配慮した高感度センシングシステムへの機能提供を可能にする。

ミシガン大学(U-M)で開発された新しいセンシングシステムを使うと、長椅子、テーブル、袖などがコンピュータの高忠実度入力デバイスに変えられる。

そのシステムは、Voice Pickup Units (VPU)として知られる骨伝導マイクを作り替えている。これは、物体の表面に沿って伝わる表面波だけを検出する。騒がしい環境、玩具や腕などの均一でない形状、布や家具など柔らかい生地でも機能する。

SAWSenseと呼ばれるこのシステムは、弾性表面波に依存しており、タップ、スクラッチ、スワイプなど様々な入力を97%の精度で認識する。あるデモでは、チームは、ラップトップのトラックパッドの代わりに普通のテーブルを使用した。

「この技術により、インタラクティブ表面のように自分の身体の全表面を扱うことができる」とコンピュータサイエンス・工学の博士課程候補、Yaha Iravantchiは、コメントしている。「そのデバイスを手首につけると、自分の皮膚でジェスチャをすることができる。これが、完全に実用可能であることを証明する予備的結果がある」。

タップ、スワイプ、他のジェスチャが物質表面に沿って表面波を送る。するとシステムが、マシンラーニングによりこれらの波を分類し、全てのタッチをロバストな入力セットに変える。このシステムは、2023年コンピュータサイエンスのヒューマンファクタ会議で提示され、ベスト論文賞を受賞した。

スマートテクノロジーやコネクテッドテクノロジーに組み込まれる物体が増え続けるに従い、設計者は直感的な入力メカニズムを付与しようとすると多くの課題に直面する。この結果、タッチスクリーンをはじめ、機械式ボタンや静電容量式ボタンなどの入力法が、多く不格好に組み込まれることになる、とIravantchiは言う。タッチスクリーンは、カウンターや冷蔵庫など大きな表面ではジェスチャ入力が高コストになりすぎ、ボタンは、所定の場所で1種類の入力しかできない。

この制約を克服するための過去のアプローチは、オーディオやジェスチャベースの入力にマイクやカメラの利用が含まれたが、研究チームによると、こうした技術は、現実世界では実用性が限られている。

「背景のノイズが多い場合やユーザとカメラの間に何かが入る場合は、音声および視覚ジェスチャ入力は、うまく機能しない」(Iravantchi)。

こうした制約を克服するためにSAWSenseに機能を提供するセンサは、非常に大きな周辺ノイズでさえ完全にブロックする気密封止チャンバーに収容されている。唯一の入口は、質量・ばねシステムを通してである。これは、周囲環境の音と接触することなく、ハウジング内部で弾性表面波を伝える。チームの信号処理ソフトウエアと組み合わせると、物体の表面に沿ったイベントを記録、分類できる。ソフトウエアは、データをマシンラーニングモデルに供給する前に、データから特徴を生成する。

「圧電センサ、加速度計など、振動や弾性表面波を検出できる他の方法がある。しかし、それは幅広い範囲の周波数を捉えることができない。例えば、スワイプとスクラッチの間の違いを示す必要がある周波数だ」とAlanson Sampleは、指摘する。同氏は、電気工学、コンピュータサイエンス准教授。

VPUの高忠実度によりSAWSenseは、ユーザの接触イベントを超えて、幅広い範囲の表面活動を特定することができる。例えば､キッチンのカウンタートップのVPUは刻む、かき混ぜる、混ぜる、泡立てるなどを検出でき、ブレンダー、電子レンジなどとして利用する電子機器も特定できる。

「VPUは、明確に定義されたエリアで発生する活動やイベントを感知するのに優れている。これにより、例えば部屋全体を感知する標準的なマイクというプライバシーの懸念なしでスマートオブジェクトに付属する機能が可能になる」(Iravantchi)。

複数のVPUを組み合わせて使用すると、SAWSenseにより、より具体的で敏感な入力、特にキーボード上のキーや、リモコンのボタンなど空間と距離感覚を必要と入力が可能になる。

さらに研究チームは、医療センシングのためのVPUの利用を研究している。これには、関節や接続組織が動くときの音など、繊細なノイズを拾うことも含まれる。VPUが提供する高忠実度オーディオデータは、Sampleによると、ヒトの健康についてのリアルタイム分析を可能にする。