光でできたニューラルネットワーク

July, 26, 2024, Heidelberg--マックス・プランク研究所の科学者たちは、将来的に機械学習をより持続可能なものにする可能性のある光学システムを備えたニューラルネットワークを実装する新しい方法を提案している。
マックス・プランク光科学研究所の研究チームは、この新しい手法をNature Physics誌に発表し、これまでの手法よりもはるかにシンプルな手法を実証した。

機械学習と人工知能は、ChatGPT が示すように、コンピュータ ビジョンからテキスト生成まで、様々な用途でますます普及している。しかし、これらの複雑なタスクには、ますます複雑なニューラルネットワークが必要になる。何十億ものパラメータを持つものもある。このニューラルネットワークサイズの急速な拡大により、エネルギー消費量とトレーニング時間が指数関数的に増加しているため、テクノロジーは持続不可能な道を歩んでいる。例えば、GPT-3のトレーニングには1,000MWh以上のエネルギーを消費したと推定されており、これは小さな町の1日の電力消費量に相当する。この傾向により、より高速でエネルギー効率とコスト効率の高い代替手段の必要性が生まれ、急速に発展しているニューロモルフィックコンピューティングの分野に火をつけている。この分野の目的は、デジタルコンピュータ上のニューラルネットワークを物理的なニューラルネットワークに置き換えることである。これらは、必要な数学演算を物理的に、より速く、よりエネルギー効率の高い方法で実行するように設計されている。

光学とフォトニクスは、エネルギー消費を最小限に抑えることができるため、ニューロモルフィックコンピューティングにとって特に有望なプラットフォームである。計算は、光速によってのみ制限されるほどの超高速で並列処理される。しかし、これまでは2つの大きな課題があった。まず、必要不可欠で複雑な数学的計算を実現するには、高いレーザ出力を要する。第二に、このような物理的なニューラルネットワークのための効率的な一般的なトレーニング方法が不足している。

この2つの課題は、マックス・プランク光科学研究所のClara WanjuraとFlorian MarquardtがNature Physicsに発表した新しい論文で提唱した新しい手法で克服できる。
「通常、入力されたデータはライトフィールドに刻印される。しかし、われわれの新しい方法では、光の透過率を変えることで入力を刷り込むことを提案している」と、研究所所長、Florian Marquardtは説明している。このようにして、入力信号を任意の方法で処理することができる。これは、光場自体が、波が互いに影響し合うことなく干渉するという、可能な限り単純な方法で振る舞うにもかかわらず、当てはまる。したがって、そのアプローチは、複雑な物理的相互作用を回避して、そうでなければ高出力の光場を必要とする必要な数学的機能を実現することを可能にする。この物理的なニューラルネットワークの評価とトレーニングは、非常に簡単になる。これにより、ネットワークの出力を評価できる。同時に、これにより、トレーニングに関連するすべての情報を測定できる」と、研究の筆頭著者Clara Wanjuraは説明している。
研究チームは、この手法を用いて、デジタルニューラルネットワークと同等の精度で画像分類タスクを実行できることをシミュレーションで実証した。

今後、チームは実験グループと共同で、この手法の実装を模索する予定である。チームの提案は実験要件を大幅に緩和するため、物理的に大きく異なる多くのシステムに適用できる。これにより、ニューロモルフィックデバイスの新たな可能性が開かれ、幅広いプラットフォームでのフィジカルトレーニングが可能になる。