Laser Focus World JAPAN　レーザーフォーカスワールドジャパン

October 4, 2012, 東京--富士通研究所は、安価で小型のカメラとLEDを用い、PCに内蔵可能な小型視線検出技術を開発した。
従来、視線を検出するには高価でサイズが大きい専用のカメラとLEDが必要なため、PCなどの汎用製品に搭載するには、コストやサイズの点で課題があった。また、安価な装置を用いた場合、画像が不鮮明となり十分な検出精度が得られないという課題があった。今回、PC向け内蔵カメラとして普及している安価な小型カメラと、近赤外LEDを用いて、不鮮明な画像からでも瞳孔などを正確に検出できる画像処理技術を開発。これにより、PC筺体のデザイン性を損なうことなく視線検出機能を内蔵可能とし、見ている場所に応じた画面のスクロールやズームなど、新しい自然な非接触型のインターフェースの実現が可能になる。
ゴーグルなどを装着せず、非接触で高精度に視線方向の算出が可能な方法として、近赤外照明（LED）とカメラからなる光学系を用いる角膜反射法が知られている。この方法では、カメラで撮影した目の画像を解析することで、視線方向を算出する。視線方向によって位置が変わる瞳孔を検出するとともに、目に見えない近赤外光を照射し、それにより生じる眼球の表面（角膜）での反射を検出する。反射の位置は視線方向には影響を受けないので、瞳孔と角膜反射の二つの位置関係から視線方向を算出することができる。正確に角膜反射と瞳孔の中心を画像から検出する必要があり、従来は、高価でサイズが大きい高性能なカメラとLEDを用いる必要があった。
一方、コンシューマ向けPCなどにカメラとLEDを搭載し実用化するには、PC筐体のデザインを損なわないようにそれらを内蔵することが必須であり、かつ低価格で実現することが求められが、これらの小型カメラやLEDでは、カメラ感度やLED強度が低いことから、目の中の瞳孔が不鮮明になる。また、角膜反射も微弱になるという問題があった。そのため、撮影した画像から正確に瞳孔や角膜反射を検出して位置を算出することが困難。
今回、安価で小型のカメラとLEDを用い、PCに内蔵が可能な小型視線検出技術を開発した。PC用の内蔵カメラ（インカメラ）として広く流通している汎用的な小型カメラと、近赤外LEDを用いることで、視線検出部全体を厚さ7mmで実現している。また、カメラで撮影した画像から視線を検出する処理はソフトウェアで行うことで、ハードウェアのコストを最小限に抑制した。

開発した技術の特徴
1.瞳孔・反射の候補抽出
小型カメラで撮影した画像を元にソフトウェアで画像処理を行い、瞳孔は目の中で他部分に比べて暗いこと、角膜反射は逆に他部分に比べて明るいことなどを特徴として、まず目領域の中から本特徴をもつ候補を抽出。瞳孔は周囲の明るさによってサイズが変動するため、それも考慮してさまざまなサイズの候補を抽出し、検出漏れを防ぐ。
2.正しい候補の絞り込み
抽出した候補の中から、カメラ、LED、顔位置との関係や直前の瞳孔サイズなどの整合性のルールを適用し、最も整合性が高い候補を絞り込む。たとえば、瞳孔サイズは動画処理において前後の画像間で急激に大きくサイズが変わることは通常ないため、直前の画像と最新の画像で瞳孔サイズの差が大き過ぎないということが一つのルールとなる。これらの処理により、正確に瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出する。
これらの処理により、悪条件の画像からでも正確に瞳孔と角膜反射の検出が可能になり、視線方向を算出することができる。

今回開発した技術を用いることで、PC筺体のデザイン性を損なうことなく非接触で人の視線を検出するセンサを内蔵することが可能になる。これにより、見ている場所に応じた画面の自動スクロールやズームなどの新しいインターフェースが実現できる。また、画面のどこを見ているかを検知できるため、ユーザの興味・関心の把握といった応用も期待できる。
富士通研究所は、この技術の検証を進め、2012年度中の実用化を目指している。また、新しいインターフェースなどの視線検出を活かした応用技術についても、さらなる研究開発を進める。