ウェアラブルステッカー、手の動きをコミュニケーションに変える

March, 7, 2024, Washington--中国の研究者たちは、新しいタイプのウェアラブルセンサを開発した。これは、未来的な偉業を成し遂げることができるものであり、リハビリテーションアプリケーションや障害者のコミュニケーションをより簡単にするための新しい可能性を開くことができる。
これは、言葉を喋り、タッチスクリーンをタップしたりすることなく、手や指の動きをコミュニケーションに変えることができる薄くて柔軟なステッカーを身に着けていることで可能になる。
この新しいセンサは、ポリジメチルシロキサン(PDMS)と呼ばれる柔らかく柔軟な材料と、ファイバブラッググレーティング(FBG)と呼ばれる光学部品を組み合わせている。研究チームは、動きを高精度に検出する能力も備え、長時間の着用に耐えられるよう設計している。

「脳卒中から回復した人の場合、これらのセンサは手首、指、さらには顔の動きを監視して、リハビリテーションの進行状況を監視できる。重度の運動障害や言語障害を持つ人のために、センサはジェスチャーや顔の表情を言葉やコマンドに変換し、他の人とコミュニケーションをとったり、技術的に簡単に対話したりできるようにする」と、中国の北京師範大学のKun Xiaoは説明している。

中国の北京師範大学、中山大学、桂林電子科技大学の光学、生物医学、ソフトウェア、電気工学の学際的な研究者からなる学際的なチームが、Optica Publishing Groupの学術誌「Biomedical Optics Express」で、この新しいセンサについて説明している。
これらのセンサは、ジェスチャー認識とコミュニケーション支援を含むテスト中に、高いレベルの感度と精度を示した。

「これらの適応型センサは、動きを検知するだけでなく、微妙な体の動きを検知することで、呼吸や心拍数などの他の健康指標をモニタリングするなどの用途に合わせてカスタマイズすることができる。また、アスリートやフィットネス愛好家が自分のフォームやテクニックをリアルタイムで監視して改善したり、ゲームシステムに統合してより没入感のあるインタラクティブな体験を実現したりするのにも役立つ可能性がある」と、北京師範大学のRui Minは話している。

パーソナライズされたアプローチ
この新しい研究は、革新的な支援技術の開発を目的としたより大きなプロジェクトの一部であり、障害のある人々や脳卒中などの症状から回復している人々が直面する課題に触発された。
「従来の方法は、煩雑すぎるか、精度に欠けるか、個々のニーズに応えるのに十分な汎用性がなかった。われわれの目標は、ジェスチャーを正確に検出し、日常的な使用に快適なウェアラブルソリューションを開発し、リハビリテーションと支援に対するよりパーソナライズされた適応性の高いアプローチを提供することだった」と、北京師範大学のZhuo Wangは話している。

そのために、研究チームは、非常に柔軟で肌に優しいシリコーンエラストマの一種であるPDMSから作られたパッチを作成した。これにより、刺激や不快感を感じることなく長期間着用することができる。パッチに動きを感知する機能を持たせるために、チームはPDMSにFBGを埋め込んだ。このセンサは、移動中に光ファイバを伝搬する方法のわずかな変化を検出することができ、システムは光の挙動の変化を分析することで特定の動きを検出できる。

「本当のマジックは、PDMSとFBGの組み合わせから生まれる。より厚いPDMSパッチを使用すると、より顕著な波長シフトが発生することがわかった。PDMSの感度向上効果を活用することで、これらの光学センサは指のわずかな曲がりや手首のねじれも検出することができる」と、桂林電子科技大学のChuanxin Tengは説明している。

このセンサは、身体の様々な部位に適用でき、幅広い用途に使用できる。また、研究チームは、センサを個々のユーザに合わせて調整できる正確な校正方法を開発し、多様なアプリケーションに適応できるようにした。

動きをコミュニケーションに変える
PDMSに埋め込まれたウェアラブルFBGセンサの機能を実証するために、チームはジェスチャー認識とコミュニケーション支援に焦点を当てた一連のテストを実施した。個々の参加者のセンサを調整した後、手首や指など体のさまざまな部分にセンサを取り付けて、多様な動きを検出した。また、センサが簡単なジェスチャーをコマンドやメッセージに変換できるシステムも開発した。たとえば、モールス信号に基づいて指の動きを使用して単語を綴った。

いずれのテストでも、センサは幅広いジェスチャーを認識する高いレベルの感度と精度を示した。従来のセンサでは拾うのが難しい微妙な動きを検出できる。コミュニケーション支援実験では、ジェスチャーを言葉に変換することに成功し、言語障害や運動障害を持つ人の支援技術としての可能性を示した。

現在、研究チームは、この技術をさらに改善・改良し、実用化や臨床試験によるさらなる研究につなげようとしている。これには、センサシステムのさらなる小型化と統合化、簡単に装着できるようにすること、スマートフォン、コンピュータ、医療機器とワイヤレスで通信するセンサの機能強化が含まれる。これにより、ユーザーは技術と対話し、介護者や医療専門家が進行状況やデータをリアルタイムで監視できるようになる。また、センサの堅牢性と耐久性も向上させ、湿気、熱、伸びへの暴露など、日常的な摩耗に耐えられるようにしている。