ML、VRツールを開き，制御する超人的能力をユーザに与える

January, 30, 2024, Cambridge--ケンブリッジ大学の研究者は、機械学習(ML)を使用して、多くのデスクトップアプリケーションで使用されるホットキーに類似した「HotGestures」を開発した。

HotGesturesを使用すると、ユーザはメニューを操作することなく仮想現実(VR)で図形や形状を作成できるため、思考の流れを壊すことなく作業に集中できる。

VRでツールを開いて制御できるというアイデアは、何十年も前から映画とロープだったが、研究チームによると、このような「超人的」な能力が可能になったのはこれが初めてである。研究成果は、IEEE Transactions on Visualization and Computer Graphics誌に掲載された。

バーチャルリアリティ(VR)と関連アプリケーションは、何年も前からゲームチェンジャーとして宣伝されてきたが、ゲーム以外では、その約束は完全には実現していない。「VRを使うことで、ユーザはある程度の資質を得ることができるが、長期間使いたい人はほとんどいない」と、研究リーダー、ケンブリッジ大学工学部Per Ola Kristensson教授はコメントしている。「視覚的な疲労や人間工学的な問題を除けば、VRは現実世界では得られないものを提供していない」

ほとんどのデスクトップソフトウェアのユーザは、ホットキー、コピーするにはctrl-c、貼り付けるにはctrl-vなどのコマンドショートカットの概念に精通している。これらのショートカットでは、適切なツールやコマンドを見つけるためにメニューを開く必要がなくなるが、ユーザが正しいコマンドを記憶していることに依存している。

「われわれは、ホットキーの概念を、VRにとってより意味のあるものに変えたかった。つまり、ユーザがすでに頭の中にショートカットを持っていることに依存しないものだ」と、Centre for Human-Inspired Artificial Intelligenceの共同ディレクター、Kristenssonは話している。

Kristenssonとチームは、ホットキーの代わりに、ユーザが手でジェスチャーを実行して、3Dバーチャルリアリティ(VR)環境で必要なツールを開いて制御する「HotGestures」を開発した。

たとえば、切削動作を実行すると、はさみツールが開き、スプレー動作を実行すると、スプレーツールが開く。ユーザは、必要なツールを見つけるためにメニューを開いたり、特定のショートカットを覚えたりする必要はない。ユーザは、作業中に様々なジェスチャーを実行することで、メニューを参照したり、コントローラーやキーボードのボタンを押したりするために作業を一時停止することなく、多様なツールをシームレスに切り替えることができる。

「われわれは皆、現実世界では手を使ってコミュニケーションを取っているので、この形式のコミュニケーションを仮想世界に拡張することは理にかなっている」(Kristensson)。

この研究のために、研究チームは、入ってくる手の関節データストリームで予測を実行することでジェスチャーを認識できるニューラルネットワークジェスチャー認識システムを構築した。このシステムは、3Dモデルの構築に関連する10種類のジェスチャー(ペン、立方体、円柱、球体、パレット、スプレー、カット、拡大縮小、複製、削除)を認識するように構築されている。

研究チームは、参加者がHotGestures、メニューコマンド、またはその組み合わせを使用する2つの小規模な研究を実施した。ジェスチャーベースの手法は、ツールの選択と使用のための迅速で効果的なショートカットを提供した。参加者は、HotGesturesが特徴的で、高速で、使いやすく、従来のメニューベースのインタラクションを補完するものであることに気づいた。研究チームは、誤作動が起こらないようにシステムを設計し、ジェスチャーベースのシステムは、何がコマンドで、何が通常の手の動きであるかを正しく認識できるようにした。全体として、ジェスチャーベースのシステムは、メニューベースのシステムよりも高速だった。

「現在、これを実現できるVRシステムはない。VRを使うことがキーボードとマウスを使うのと同じだとしたら、それを使う意味は何か?他では得られない超人的な力を与える必要がある」(Kristensson)。

研究チームは、VRアプリケーションの設計者が製品に組み込めるように、ソースコードとデータセットを公開した。

「これを VR と対話する標準的な方法にしたいと考えている。われわれは何十年もの間、書類棚という使い古された比喩を持っていた。われわれは技術と対話する新しい方法を必要としており、これはその方向への一歩であると考えている。正しく行えば、VR は魔法のようになり得る」と Kristensson はコメントしている。

(詳細は、https://www.cam.ac.uk)