フォトニックチップは、超高速マシンビジョンのためのセンシングとコンピューティングを統合

July, 9, 2024, Washington--中国の研究者は、ナノ秒以内にシーンの画像を処理、送信、再構築できる新しいインテリジェントなフォトニックセンシングコンピューティングチップを実証した。この進歩により、超高速画像処理への扉が開かれ、自動運転、産業検査、ロボットビジョンなどのマシンビジョンアプリケーションのエッジインテリジェンスに役立つ可能性がある。

エッジコンピューティングは、ローカルデバイス上で画像処理や分析などの集中的なコンピューティングタスクを実行するが、人工知能(AI)主導の分析と意思決定を追加することで、エッジインテリジェンスに進化している。

「自動運転などのエッジベースのタスクのための画像のキャプチャ、処理、分析は、光から電子への変換が必要なため、現在、ミリ秒レベルの速度に制限されている。われわれの新しいチップは、これらすべてのプロセスを光領域に保持することで、わずかナノ秒で実行できる。これは、センサ取得とそれに続くAIの後処理という従来のアーキテクチャを大幅に強化したり、置き換えたりするために使用できる」と、中国の清華大学の研究チームリーダーLu Fangは説明している。

Optica Publishing Groupのインパクトのある研究のためのジャーナルであるOpticaで、研究者たちは、光並列計算アレイ(OPCA)チップと呼ばれる新しいチップについて説明している。その結果、OPCAの処理帯域幅は最大1,000億画素で、応答時間はわずか6ナノ秒と、現在の方法よりも約6桁高速であることが分かった。また、このチップを使用して、画像の認識、計算、再構成を統合する光学ニューラルネットワークを作成した。

論文の共同筆頭著者Wei Wuは、「チップと光ニューラルネットワークは、産業検査における複雑なシーンの処理効率を高め、インテリジェントロボット技術をより高いレベルの認知知能に進化させるのに役立つ可能性がある。エッジインテリジェンスにも革命を起こす可能性があると考えている」と話している。

光から電気への変換をなくす
マシンビジョンは、カメラ、イメージセンサ、照明、コンピュータアルゴリズムを使用して、特定のタスクのために画像をキャプチャ、処理、分析するもので、従来はセンサを使用して光学情報をデジタル電気信号に変換する必要があった。これらの信号は、長距離データ伝送とダウンストリームタスクのために光ファイバを介して送信される。しかし、電子プロセッサの進歩が限られていることに伴い、光信号と電気信号の頻繁な変換が、マシンビジョンの速度と処理能力を向上させる上で大きな制約となっている。

「世界はAIの時代に突入しているが、AIは時間とエネルギーを大量に消費する」(Fang)。「一方、スマートフォン、インテリジェントカー、ラップトップなどのエッジデバイスの成長により、処理、送信、表示する画像データが爆発的に増加している。われわれは、光領域におけるセンシングとコンピューティングの統合により、マシンビジョンの進歩に取り組んでおり、これはエッジコンピューティングとより持続可能なAIアプリケーションを可能にするために特に重要である。」

光領域で画像取得と解析の両方を同じチップで実行する際の課題は、イメージングに使用される自由空間空間光をオンチップのガイド光波に変換する方法を見つけることである。研究チームは、自由空間の光学強度画像(シーンの光強度の2D表現)をコヒレントな光信号に変換し、チップ上で誘導できる専用のリング共振器のセンシングコンピューティングアレイで構成されるチップを設計することで、これを達成した。マイクロレンズアレイは、シーンをOPCAチップに焦点を合わせることでプロセスを強化する。

全光入出力接続の作成
このチップのアーキテクチャにより、研究チームはエンドツーエンドの多波長光ニューラルネットワークを作成し、オンチップの変調光を広帯域幅の光導波路に結合し、変調光をスペクトル的に加算することができた。マルチスペクトル光学出力は、分類タスクに使用したり、画像の全光学再構成を作成したりするために使用できる。

「このチップの各センシング・コンピューティング・エレメントは再構成可能であるため、それぞれがプログラム可能なニューロンとして動作し、入力と重みに基づいて光変調出力を生成することができる。ニューラルネットワークは、すべてのセンシングコンピューティングニューロンを単一の導波路で接続し、入力情報と出力の間の完全な光の完全接続を容易にする」(Fang)。

研究チームは、OPCAチップの能力を実証するために、手書きの画像を分類し、画像にフィルタを適用して特徴を抽出するプロセスである画像畳み込みを実行できることを示した。その結果、このチップアーキテクチャが情報圧縮とシーン再構成を効果的に完了できることが示され、幅広い応用の可能性が示された。

研究チームは現在、センシングコンピューティングOPCAチップの改良に取り組んでおり、計算性能をさらに向上させると同時に、現実世界のシナリオとより緊密に連携し、エッジコンピューティングアプリケーション向けに最適化している。チームによると、実用化のためには、ますます複雑で現実的な知的タスクを効果的に処理するために、光ニューラルネットワークの処理能力を高める必要がある。OPCAチップのフォームファクタと全体的なフォームファクタも最小限に抑える必要がある。

「マシンビジョンが徐々に改善され、光を使ってセンシングとコンピューティングの両方を行うことで、より速く、よりエネルギー効率の高いものになることを願っている」とFangは話している。「現在のアプローチが完全に取って代わられる可能性は低いが、センシングコンピューティング手法は、幅広い有望なアプリケーションを駆動できるエッジコンピューティングでニッチを見つけることを期待している。」