Science/Research 詳細

KTU、簡単なカメラ設定で3D人体形状再構成

February, 24, 2022, Lithuania--Kaunas University of Technology (KTU)、コンピュータサイエンティストによると、将来。医師は、拡張現実(AR)ツールを使って家庭の患者をモニタできるようになる。KTUの研究チームは、元の形状が部分的にしか見えなくても、ディープラーニングベースで3D人体形状を再構築する方法を提案した。
 その方法の主要な利点は、相対的にローコスト、画像の高圧縮、既存のVRツールとの容易な統合である。

コンピュータビジョンや3D物体表現の急速な進歩により、VRツールの開発、そのアプリケーション領域の拡大が可能になっている。今日のVRアプリケーションは、エンタテーメント、教育目的に限られているが、3D画像再構築要求は、医療を含む多くの分野で増加している。

KTUマルチメディア工学部、主席研究者、Dr Rytis Maskeliūnasは、「通信の今後のフォーマットの大半がVRを必要とすると確信している。医者に行こうが、見ているフィルムの設定を調べようが、そうなる。今日、われわれは、“ホログラフィックのような”ビデオ会議システムをすでに利用している。これにより会議の参加者は、あたかも実生活で相互作用しているかのように、相互に話し合える」とコメントしている。

しかし、現在、利用されている3D画像再構成ソリューションの主要な欠点は、画像処理に必要な多数のカメラやコンピュータパワーの複雑な設定である。したがって、完全な物体の再構築を非実用的にし、あまりに高価にする。

AIを利用して見えない領域を再現
こうした問題に対処するためにMaskeliūnasのコンピュータサイエンティストチームは、深度視界から完全な人体姿勢点群を再構成できるディープラーニング(DL)ベースの方法を提案した。3段階の敵対的DNNを適用して、深度センサノイズに対処し、深度センサデータと完全3D人体形状再構築を行った。

実験では、身体のリハビリ運動を行う複数の被験者の記録を含む実世界のデータセットが記録された。2台の深度カメラ(センサ)を利用して、前方と横から被験者を撮像した。

「カメラは、画像の一部を見るだけである。正面像を撮像するなら、背面の像は見えない。何かが視界を邪魔すると、カメラは背後のものが見えない。したがって、われわれは、画像の見えない部分を再構築する人工知能(AI)を使う」(Maskeliūnas)。

AIのトレーニングに5段階トレーニングアプローチを適用した。画像の完成結果は、専門知識を使用して検証した。ネットワークが結果を再構築したことを観察した。欠陥は少なく、そのほとんどは、四肢の先端付近で起こった。

提案したソリューションは、Maskeliūnasと同氏のチームが現在、医療分野向けに開発している複数のアプリケーションの継続である。

コンシューマが使いやすいアプローチ
Maskeliūnasによると、ヘルスケアでは、脊髄損傷に関係する様々な外傷を診断する必要があるとき、人体の3D画像が重要である。問題は、間違った姿勢で起こる。また、様々な他の目的でも同様である。

実験では、通常の商用入手可能な深度カメラによる3D点群画像を利用した。ソリューション開発で使用した二台のカメラが、AIアルゴリズムトレーニング向けに、より包括的な画像を提供し、閉塞領域を誤って再構築する「学習」の発生を最小化した。Maskeliūnasによると、簡単に統合できる、ツールの利用、提案したソリューションによる様々なアプリケーションは、開発された方法を3D画像再構成の好ましいアプローチにすることができる。
(詳細は、https://en.ktu.edu)