EPFL、効率的な光ニューラルネットワークにフォーカス

August, 30, 2024, Lausanne--EPFLの研究者は、光学ベースの人工知能システムの主要な計算ボトルネックを克服するプログラム可能なフレームワークを発表した。一連の画像分類実験では、低出力レーザからの散乱光を使用し、電子機器のエネルギーの一部を使用して正確でスケーラブルな計算を実行した。

デジタル人工知能システムのサイズと影響が大きくなるにつれて、そのトレーニングと展開に必要なエネルギーも増大する。最近の研究では、現在のAIサーバーの生産が現在のペースで続けば、2027年までに年間エネルギー消費量が小国のエネルギー消費量を上回る可能性があることが示唆されている。人間の脳のアーキテクチャに触発されたディープニューラルネットワークは、ニューロンのようなプロセッサの複数のレイヤー間に数百万または数十億の接続があるため、特に電力を大量に消費する。

この急増するエネルギー需要に対抗するために、研究者たちは、1980年代から実験的に存在していた光コンピューティングシステムの実装に力を入れている。これらのシステムは、データを処理するために光子に依存しており、理論的には光を使用して電子よりもはるかに高速かつ効率的に計算を実行できるが、主要な課題が光学システムの能力を電子の最先端技術を超えるのを妨げてきた。

「われわれの手法は、最先端のディープデジタルネットワークに比べて最大1,000倍の電力効率を発揮し、光ニューラルネットワークを実現するための有望なプラットフォームとなっている」(Demetri Psaltis、光学研究所)。

「ニューラルネットワークでデータを分類するには、各ノード、つまり“ニューロン”が、重み付けされた入力データに基づいて発火するかどうかを「決定」する必要がある。この決定は、データの非線形変換と呼ばれるもの、つまり出力が入力に正比例しないことを意味する」と、EPFLの工学部の応用フォトニクスデバイス研究室の責任者であるChristophe Moserは説明している。

Moserの説明によると、デジタルニューラルネットワークはトランジスタを使用して非線形変換を簡単に実行できるが、光学システムでは、この手順には非常に強力なレーザが必要になる。同氏は、学生のMustafa Yildirim、Niyazi Ulas Dinc、Ilker Oguz、および光学研究所の責任者であるDemetri Psaltisと協力して、これらの非線形計算を光学的に実行するためのエネルギー効率の高い方法を開発した。チームの新しいアプローチでは、画像のピクセルなどのデータを、低出力レーザビームの空間変調でエンコードする。ビームは数回反射してそれ自体に戻り、ピクセルの非線形増殖につながる。

「3つの異なるデータセットでの画像分類実験では、われわれの方法がスケーラブルであり、最先端のディープデジタルネットワークよりも最大1,000倍の電力効率が高いことが示された。これにより、光ニューラルネットワークを実現するための有望なプラットフォームとなっている」(Psaltis)。

この研究は、スイス国立科学財団のSinergia助成金の支援を受けており、最近Nature Photonicsに掲載された。

シンプルな構造ソリューション
自然界では、光子は荷電電子のように互いに直接相互作用しな。したがって、光学系で非線形変換を達成するために、科学者は、例えば、通過するガラスや他の材料の光学特性を変更するのに十分な強度の光を使用して、光子を間接的に相互作用させる必要があった。

科学者たちは、この高出力レーザの必要性を回避し、低出力レーザビームの表面に画像のピクセルを空間的にエンコードするという、エレガントでシンプルなソリューションを採用した。この符号化を2回実行することにより、エンコーダ内のビームの軌道を調整することにより、ピクセルはそれ自体で乗算、つまり二乗される。二乗は非線形変換であるため、この構造変更により、ニューラル ネットワークの計算に不可欠な非線形性が、エネルギー コストのほんの一部で実現される。このエンコーディングは、2回、3回、さらには10回も実行できるため、変換の非線形性と計算の精度が向上する。

「われわれのシステムを使用すると、乗算を光学的に計算するために必要なエネルギーは、電子システムに必要なエネルギーよりも8桁少ないと推定している」(Psaltis)。

MoserとPsaltisは、デジタルニューラルネットワークのエネルギー消費を軽減するためにハイブリッド電子光学システムを使用することが最終的な目標であるため、低エネルギーアプローチのスケーラビリティが大きな利点であることを強調している。しかし、このようなスケールアップを実現するためには、さらなる工学的研究が必要になる。たとえば、光学システムは電子システムとは異なるハードウェアを使用するため、研究チームがすでに取り組んでいる次のステップは、デジタルデータを光学システムが使用できるコードに変換するコンパイラの開発である。