KTU､簡単なカメラ設定で3D人体形状再構成

February, 24, 2022, Lithuania--Kaunas University of Technology (KTU)､コンピュータサイエンティストによると､将来｡医師は､拡張現実(AR)ツールを使って家庭の患者をモニタできるようになる｡KTUの研究チームは､元の形状が部分的にしか見えなくても､ディープラーニングベースで3D人体形状を再構築する方法を提案した｡
　その方法の主要な利点は､相対的にローコスト､画像の高圧縮､既存のVRツールとの容易な統合である｡

コンピュータビジョンや3D物体表現の急速な進歩により､VRツールの開発､そのアプリケーション領域の拡大が可能になっている｡今日のVRアプリケーションは､エンタテーメント､教育目的に限られているが､3D画像再構築要求は､医療を含む多くの分野で増加している｡

KTUマルチメディア工学部､主席研究者､Dr Rytis Maskeliūnasは､｢通信の今後のフォーマットの大半がVRを必要とすると確信している｡医者に行こうが､見ているフィルムの設定を調べようが､そうなる｡今日､われわれは､“ホログラフィックのような”ビデオ会議システムをすでに利用している｡これにより会議の参加者は､あたかも実生活で相互作用しているかのように､相互に話し合える｣とコメントしている。

しかし､現在､利用されている3D画像再構成ソリューションの主要な欠点は､画像処理に必要な多数のカメラやコンピュータパワーの複雑な設定である｡したがって､完全な物体の再構築を非実用的にし､あまりに高価にする｡

AIを利用して見えない領域を再現
こうした問題に対処するためにMaskeliūnasのコンピュータサイエンティストチームは､深度視界から完全な人体姿勢点群を再構成できるディープラーニング(DL)ベースの方法を提案した｡3段階の敵対的DNNを適用して､深度センサノイズに対処し､深度センサデータと完全3D人体形状再構築を行った｡

実験では､身体のリハビリ運動を行う複数の被験者の記録を含む実世界のデータセットが記録された｡2台の深度カメラ(センサ)を利用して､前方と横から被験者を撮像した｡

｢カメラは､画像の一部を見るだけである｡正面像を撮像するなら､背面の像は見えない｡何かが視界を邪魔すると､カメラは背後のものが見えない｡したがって､われわれは､画像の見えない部分を再構築する人工知能(AI)を使う｣(Maskeliūnas)｡

AIのトレーニングに5段階トレーニングアプローチを適用した｡画像の完成結果は､専門知識を使用して検証した｡ネットワークが結果を再構築したことを観察した｡欠陥は少なく､そのほとんどは､四肢の先端付近で起こった｡

提案したソリューションは､Maskeliūnasと同氏のチームが現在､医療分野向けに開発している複数のアプリケーションの継続である｡

コンシューマが使いやすいアプローチ
Maskeliūnasによると､ヘルスケアでは､脊髄損傷に関係する様々な外傷を診断する必要があるとき､人体の3D画像が重要である｡問題は､間違った姿勢で起こる｡また､様々な他の目的でも同様である｡

実験では､通常の商用入手可能な深度カメラによる3D点群画像を利用した｡ソリューション開発で使用した二台のカメラが､AIアルゴリズムトレーニング向けに､より包括的な画像を提供し､閉塞領域を誤って再構築する｢学習｣の発生を最小化した｡Maskeliūnasによると､簡単に統合できる､ツールの利用､提案したソリューションによる様々なアプリケーションは､開発された方法を3D画像再構成の好ましいアプローチにすることができる｡
(詳細は､https://en.ktu.edu)