真っ暗闇でも顔を識別できる最新技術

January, 17, 2019, 東京--｢可視化する｣という言い方がある｡ 見て分かるようにすることだが､一般に､口頭や文字で説明を聞くよりも､図解してもらった方が理解しやすい｡ これは､学生時代に家庭教師や塾／予備校などで教えた経験のある人ならただちに納得できるはずだ｡
　英語では､at-risk teensという言い方をすることがある｡ 10代で落ちこぼれの危機にある人たちを指している｡ 実は､ ｢落ちこぼれ｣と言われている人々のほとんどは､頭が悪いわけではない｡ 理解への糸口を与えられていないだけのことが多い｡ 数学だけでなく､他の教科でも､多少の工夫をして図解するとたちどころに理解への扉が開く｡ 目で見えるようにすることの威力が発揮される瞬間である｡
　ところで､｢目で見えるvisible｣とは､普通に考えると､380～750nmの波長の光が目に入ってきて､網膜で電気信号に変換され､脳に送られた信号を解析することを指す(網膜は、可視光を電気信号に変換するフォトダイオードアレイと理解すれば､わかりやすい｡ 脳は､高度なアルゴリズムを搭載した高性能コンピュータ｡ ディープラーニングやアーティフィシャルニューラルネットワークは人の脳を真似たものにすぎない)｡
　では､人は真っ暗闇でも見えるのだろうか｡ 裸眼では無理だが､そのようなカメラを開発している企業の1つが､FLIRという米国の会社である｡ サーマル(赤外線)カメラで得た情報を可視化することができれば､真っ暗闇でも隠されたものを見ることができる｡ しかし､そのサーマル画像を､例えば警察のデータベースにある通常の写真と照合することは簡単ではない｡
　それを研究している機関の1つが米国陸軍研究所(ARL)である｡
　このような技術が手に入ると､例えば｢科捜研の女｣の榊マリコが､｢科学はウソをつかない｣などと言って､暗闇に紛れて逃走する殺人犯を特定する､というようなドラマが予想される｡
　ここでは､FLIRの最近の発表から､同社のイメージングへの取り組みを見た後､ARLの最新の研究を垣間見ることにする｡

FLIR､ 業界初ディープラーニングマシンビジョンカメラ
　FLIR Systems, Incは､ FLIR Fireflyカメラファミリ､ 業界初のディープラーニング推定対応マシンビジョンカメラを発表した｡ FLIR Fireflyは､Intel Movidius Myriad 2 Vision Pro-cessing Unit (VPU) を組み込んでおり､ より正確な判断､ 迅速､ 容易なシステム開発のためにマシンラーニングを利用する画像解析プロフェッショナル向けに設計されている｡
　従来のルールベースのソフトウエアは､ バーコード読み取り､ 仕様と対照しての製造部品チェックなどの簡単なタスクには適している｡ FLIR Fireflyは､ 新しい､ 無理なく利用できる価格のマシンビジョンプラットフォームとディープラーニング力を統合して、顔認証､ ソーラパネルの分類など複雑で主観的な問題に対処する｡
　FLIR Fireflyは､コンパクトな低消費電力カメラで Intel Movidius Myriad 2 VPUの先進的機能を利用しており､ 内蔵システムおよびハンドヘルドシステムに最適である｡ 機械メーカーは､ トレーニングされたニューラルネットワークスをFirefly実装の VPU に直接ロードすることができる｡ さらに､ Intel Movidius Neural Compute Stickユーザは､ 既存ネットワークを簡単に Firefly に直接配置できる｡ この独自設計により、システムサイズが縮小し､ スピード､信頼性､ パワー効率､ セキュリティが改善されている｡
　｢マシンで取得された画像の自動解析は､ われわれの日々の生活の重要な一部であるが､ われわれのほとんどが考え及ばないことである｡ スマートフォン､ テーブルの食品などの品質､ 手頃な価格で､素早く市場に出されることが､ 検査と自動化生産の両方を行うカメラを使用するシステムによって可能になる｡ Intel Movidius Myriad 2 VPUを搭載した FLIR Firefly で､これらのシステムの設計者がディープラーニングをより素早く､低コストで活用できるようになる｣とFLIRの社長/CEO､James Cannonはコメントしている。

Intel の Computer Vision
　Productsディレクタ､Adam Burnsは､ ｢Intel Movidius Neural Compute Stickにより､ FLIRは迅速にプロトタイプができるようになり､ Fireflyにおけるマシンラーニングの早期開発が促進された｡ 現在､ FLIR Firefly は､ コンパクト､ 効率的なIntel Movidius Myriad 2 VPUを使ってカメラでリアルタイム推定を行っており､ FLIR がこのデバイスで達成した驚愕レベルの小型化で妥協は必要なかった｣ と語っている｡

FLIR､ 機械学習ADAS開発向けにサーマル画像データセット提供
　FLIR Systems, Incは､ ADASおよび自動運転車輌研究者､ 開発者､自動車メーカー向けに無料マシンラーニング(ML)サーマルデータセットが利用可能であると発表した｡特徴は､ 日中および夜間のシナリオで 10000 を超える注釈付熱画像を編集していること｡
　この種のもので初めて､ 自動車､他の車輌､人､ 自転車､ イヌの注釈を含んでおり､ スタータサーマルデータセットにより､ 開発者は､ FLIR Automotive Development Kit (ADK)により畳み込みニューラルネットワークス(CNNs)の試験と展開を始めることができる｡ そのデータセットにより自動車業界は､ 次世代アルゴリズムに基づいたサーマルセンサの迅速な評価ができるようになる｡可視光カメラ､ LiDAR､ レーダと組み合わせると､マシンラーニング(ML)とペアになったセンサデータは､路上の物体､ 特に歩行者や他の生物を特定し､ 分類するためのより包括的な冗長系形成に役立つ｡
　自動車産業で 10 年以上の経験を持つFLIRは､General Motors/Volkswagen/Audi/BMW/Mercedes-Benzなどの自動車メーカーからドライバー注意喚起システムに 50 万以上の自動車に適した FLIR サーマルセンサを導入している｡ FLIRサーマルカメラは､ 厳しい照明条件で､ 歩行者､ 自転車､ 車輌の分類で信頼性を実証している｡ こうした厳しい条件には､ 一般的なヘッドライトの距離の約 4 倍で､ 真っ暗闇､ 霧､ 煙､ 陰､ 荒れ模様の天気､太陽のギラつきが含まれる｡
　｢この無料 ML サーマルデータセットは､ FLIR が提供すべきもののサブセットであり､ 自動車業界がデータセットを拡張する重要な機会を提供する｡ 目的は､ 様々な条件で､ ADAS や自動運転車の能力向上である｣ とFLIRインダストリアルビジネスプレジデント､ Frank Pennisiはコメントしている。｢さらに､ 最近注意を引くような自動運転車関連の事故は､ 手頃な価格のインテリジェントサーマルセンサが明確に必要になっていることを示している｡ 数100 万の自動運転対応車輌により､ FLIRサーマルセンサのコストは大幅に下がる｡ このことは､大規模採用を促進し､ 究極的にはより安全な自律走行車を可能にする｣｡
　データセットは､ 2018 年7月から提供可能になっている｡

暗闇でも機能する顔認識技術
　米国陸軍研究チームは､ 微光あるいは夜間条件で撮った人の顔のサーマル画像からはっきりした顔画像を生成する人工知能とマシンラーニング技術を開発した｡ この開発は､ リアルタイム生体認証やポストミッション､秘密の夜間隠密作戦のポストミッション犯罪分析強化につながる｡
　FLIRのようなサーマルカメラ､センサは､ 航空機や陸上車輌､ 監視目的の見張り台や検問所に積極的に導入されている｡ ごく最近では､サーマルカメラは､ 装着式カメラとして利用できるようになっている｡ そのようなサーマルカメラを使い､ 夜間の自動顔認識能力は､ ある人物が関心の対象､ 監視リスト上にあるかもしれない人物かどうかなどを兵士に知らせる点で有益である。
　この技術開発の動機は､ 自動的､人間マッチング機能の強化である｡
　｢この技術により､ サーマル顔画像と既存の目に見える顔画像しか含まれていない生体顔データベース/ 監視リスト間のマッチングが可能になる｡この技術は､ サーマル画像と目に見える顔の合成を通じて目に見える顔画像とサーマル顔画像を比較する方法を提供するものである｣ とDr. Benjamin S. Riggan､ 研究サイエンティストは説明している｡
　同氏によると､夜間､微光条件では､ フラッシュやスポットライトなど､ 積極的な照明なしでは､ 従来のカメラで､ 光が不十分で､ 認識のために顔画像を撮ることができない｡しかし､ 照明を利用すると､ そのような監視カメラの位置を暴露することになる｡しかし､生きた皮膚組織から自然に出てくる熱シグネチャを捉えるサーマルカメラは､ そのような条件に理想的である｡
　｢顔画像を撮るためにサーマルカメラを使う際､ 主要な課題は､ 撮ったサーマル画像を監視リストと照合しなければならないことである｡ つまり､関心のある既知の人物の従来の目に見える画像しか含んでいないデータと照合することである｡ 問題は､ クロススペクトル､つまりヘテロジニアス(異種)顔認識と言われている｡ この場合､ 1つの撮像手段で撮られた顔プローブ画像は､ 異なるイメージング法を使って撮られたギャラリーデータベースと合致させなければならない｣｡
　このアプローチは､ディープニューラルネットワークス(DNNs)に基づいた先進的領域適応技術を活用する｡ 基本的なアプローチは､ 2つの主要部分からなる｡ 所与のサーマル画像を対応する目に見える潜在的画像にマッピングする非線形回帰モデル､ それに潜在的画像を像空間に投影して戻す最適化問題である｡
　この研究の詳細は､ IEEEウインター会議で発表された｡
　会議では､ 研究チームは､ 顔全体の特徴など､ 全体的情報と､ 局所的情報､ 例えば目､ 鼻､ 口などを統合することが合成画像の識別可能性を強化することを示した｡ サーマル顔の特徴における全体的領域と局所的領域の両方からサーマルと可視のマッピングされた画像が､ 精緻な顔画像合成と連動してどのように利用できるかを示した｡
　画像合成のための最適化問題は､顔全体の形状と局所的基準細部の外観をともに維持しようとする｡ 合成されたサーマル･可視画像と既存の目に見えるギャラリ画像を使い､ 研究チームは､ 顔認識に通常のオープンソースDNNアーキテクチャを使う顔検証実験を行った｡ 使用されたアーキテクチャは､ 可視ベース顔認識向けに明確に設計されている｡ 最も驚いた結果は､ 研究チームのアプローチが､ これまで写真のようにリアルな特徴を示した敵対的生成ネットワーク(GAN)ベースのアプローチよりも優れた検証性能を達成したことである｡
　Riggan は､ この成果を､ GANsのためのゲーム理論的目標が､ ただちに画像を生成することに帰する｡ この画像は､ ダイナミックレンジが同じで､トレーニング画像に写真のように見える､ それでいて時には識別特性の維持を忘れる｡ ARLが開発したアプローチは､ 区別性を強化する識別情報を維持している､ 例えば自動顔認識アルゴリズムと人物裁定の両方で認識精度が向上している｡
　論文の紹介の一環として､ ARL研究者は､ この技術のほぼリアルタイム実証を示した｡ 概念実証デモは､ FLIR boson 320 サーマルカメラとほぼリアルタイムでアルゴリズムを走らせるラップトップの利用を含む｡
　なお､ 先頃､ ARLは ｢真っ暗闇で兵士をガイドする技術｣ を開発したと発表している｡ こちらは､ 前回取り上げた ｢偏光｣ を利用する技術｡