SEAS､計算するシリコンイメージセンサ

November, 10, 2022, Cambridge--どんなドライバーでも知っているように､事故は瞬く間に起こりうる｡たから自律走行車のカメラシステムとなると､処理時間が極めて重要である｡システムが画像をスナップショットし､画像処理のためにデータをマイクロプロセッサに送るのにかかる時間が､障害物を回避するか大事故になるかの差を意味する｡

インセンサ(in-sensor)･画像処理､重要機能が別のマイクロプロセッサの代わりに画像センサ自身により生データから抽出されることで､視覚処理のスピードアップが可能になる｡今日まで､インセンサ処理のデモンストレーションは､新しい材料に限られていた､少なくとも今は､商用システムへの組込は困難である｡

Harvard SEASの研究チームは､初のインセンサプロセッサを開発した｡これは､商用シリコンイメージングセンサチップ､CMOS画像センサに集積可能である｡CMOSは､スマートフォンを含め､視覚情報を取得する必要があるほぼ全ての商用デバイスで使用されている｡
研究成果は､Natrue Electronicsに発表された｡

｢われわれの研究は､主流半導体エレクトロニクス産業を利用して､インセンサコンピューティングを広範な実世界アプリケーションに素早く持ち込む｣と論文のシニアオーサ､電気工学･応用物理学Gordon McKay教授Donhee Hamはコメントしている｡

研究チームは､シリコンフォトダイオードアレイを開発した｡商用利用可能なイメージセンシングチップも画像取得のためにシリコンフォトダイオードアレイを備えているが､チームのフォトダイオードは､静電ドープされている､つまり個々のフォトダイオード､ピクセルの入射光に対する感度は､電圧制御可能｡マルチ電圧調整フォトダイオードを接続するアレイは､多くの画像処理パイプラインにとって重要な乗算と加算操作のアナログバージョンとして機能し､画像を取得すると直ぐに関連する視覚情報を抽出する｡

｢これら動的フォトダイオードは､画像取得とともに同時に画像をフィルタリングして最初の段階の画素処理を行い､マイクロプロセッサからセンサ自体に移される｣と論文の筆頭著者､SEASポスドクフォロー､Houk Jangは説明している｡

シリコンフォトダイオードアレイは､不要な細部あるいは様々なアプリケーションにとってのノイズを除去するように様々な画像フィルタにプログラムできる｡例えば､自動運転車のイメージングシステムは､レーンマーキングの追跡のためにハイパスフィルタを必要とするかも知れない｡他のアプリケーションは､ノイズリダクションのためにぼかしフィルタを必要とするかも知れない｡

｢将来､われわれは､このシリコンベースインセンサプロセッサがマシンビジョンアプリケーションだけでなく､バイオインスパイヤアプリケーションでの利用を想定している｡そこでは､早期の情報処理により､センサと計算ユニットが､脳内のようなコロケーションが可能である｣とSEAS院生､論文の筆頭著者､Henry Hintonは､話している｡

次にチームは､フォトダイオード密度向上､それをシリコン集積回路に統合することを狙っている｡

｢商用シリコン画像センサの標準の非プログラマブルピクセルをここで開発したプログラマブル画像センサで置き換えると､次世代センサアプリケーションの要求を満たすエネルギーと帯域の両方でさらに効率的にできる｣とJangは話している｡

(詳細は､https://www.seas.harvard.edu)