画像処理アルゴリズムで裸眼では見えない動きを拡大

August, 10, 2015, Cambridge--MITのコンピュータ科学&工学教授、William FreemanとFrédo Durandの研究グループは、ビデオで捉えても人の目には判別できない動きを増幅する技術を研究してきた。例えば、開発した画像処理アルゴリズムは、人の脈拍を見えるようにし、防音ガラスを通して撮影した物体の振動から理解できるスピーチを快復することさえできる。
　研究チームは、大きな動きをする物体内に包まれていても、小さな動きを増幅できるアルゴリズムの新バージョンを発表した。例えば、バットを振る野球選手の腕、あるいはコーナーキックをするサッカー選手の脚の筋肉が収縮の正確な順序を可視化することができる。
　Durand氏は、「前のバージョンではアルゴリズムはビデオ内で全てが小さいと仮定していた。今度は大きな動きの中に隠されている小さな動きを拡大することができるようにしたい。この基本的な考えは、大きな動きをキャンセルし、前の状況に戻ろうとすることである」と説明している。
　大きな動きをキャンセルすることは、ビデオの連続フレームのどのピクセルが動く物体に属し、どれが背景に属するかを判断することを意味する。そのような問題は、物体の境界で特に重大になる。
　デジタルカメラが、例えば、青い背景に赤い物体を捉えると、光検出器のあるものは赤い光を記録し、あるものは青を記録する。しかし、物体の境界に対応するセンサは実際には、前景と後景の両方からの光を受け取るかも知れない、したがってセンサは様々に変わる色合いの紫を記録することになる。
　通常、前景と後景を分離するアルゴリズムであれば、おそらく、そのような境界のピクセルを記録することで済ます。人の目であれば、赤い物体の周りの紫の小さな縁を見逃すだろう。しかしMITの研究者のモーション増幅アルゴリズムの目的は、裸眼に見えないような変化を正確に検出することにある。物体の境界における色の変化は、拡大を必要とする動きとして解釈される。
　研究チームは、それよりもむしろ、各境界ピクセルに重み付け(ウエイト)を行う。それが前景の物体に属するという可能性に対応することになる。青い背景をもつ赤い物体の例では、そのウエイトは、紫の変化が、より青であるか、より赤であるかに単純に依存する。次にピクセルのウエイトに基づいて、アルゴリズムはランダムにあるものを捨て、別のものを保存する。平均では、適切な判断となり、動きと見まがう色変化のどんなパタンでも崩壊させる。
　フレーム毎に同じ物体を特定する問題は、ビデオからカメラジッタを除去しようとする画像安定化の問題に関連している。しかし、単一の物体の動きの特定は、画像の動きを全体として判定するよりも難しい。
　MITとQCRI(Qatar Computing Research Institute)の研究チームは、問題をより扱いやすくするために、2、3仮定する。まず、隣接ピクセルの動く方向と速さの相関関係を仮定する。次に、「スムースネス」、つまり時間の経過と共に動きの方向と速度が調和していることを仮定する。最後に、フレーム全体でピクセルの軌跡が線形数学的な関係で捉えられと仮定する。これによってこのアルゴリズムでピクセルを個別に解析できるようになる。
　すると、1つのフレームと次のフレームとの相関関係を探すのではなく、そのアルゴリズムは一度に5フレームを捉えることができる。ここでは隣接フレーム間の曖昧さを解消するためにフレーム全体の一貫性を利用している。
　そのアルゴリズムが1個の動く物体に関連づけられたピクセルを特定すると、物体の動きを修正し、以前にはできなかった同じ動きの拡大処理を行う。最後に、拡大した動きを元のビデオストリームに戻す。