三菱電機､Scene-Aware Interaction技術を開発

August, 3, 2020, 東京--三菱電機株式会社は、AI技術「Maisart（Mitsubishi Electric’s AI creates the State-of-the-ART in technology）」を用いて、世界で初めて、車載機器やロボットなどのさまざまな機器が複数のセンサを用いて収集した情報（マルチモーダルセンシング情報）から周囲の状況を理解し、人と自然な言葉で円滑な意思疎通ができる「Scene-Aware Interaction技術」を開発した。

今回、同技術の適用に向けたアプリケーションの一つとして、人と車載機器が自然な言葉で対話する経路案内システムを構築した｡

開発の特長
1.世界初、独自のEnd-to-End深層学習により、人と機器の円滑な意思疎通を実現
･入出力のサンプルだけで学習できるEnd-to-End深層学習を採用し、カメラで撮影した画像情報、マイクロフォンで集音した音響情報、LiDARやレーダで取得した位置情報などのマルチモーダルセンシング情報から、周囲で起きている状況を機器が理解

･マルチモーダルセンシング情報の中で重要度の高い情報に自動で重み付けを行う、独自のマルチモーダル・アテンション法を用いて、機器が理解した内容に対し自然な言葉を用いて詳細に表現するような学習モデルを構築

･機器が理解したこれまでの状況や人の発話の履歴から自然な言葉を生成することで、人と機器との円滑な意思疎通を実現

･従来の視覚情報のみの手法と比較し、CIDEr（Consensus-Based Image Description Evaluation）での評価が29％改善

(詳細は､https://www.mitsubishielectric.co.jp)