トレーニングアルゴリズム、ディープ物理神経網への障壁を打破

December, 19, 2023, Lausanne--EPFLの研究者は、アナログニューラルネットワークをデジタルと同程度に正確にトレーニングするアルゴリズムを開発し、電力を大量に消費するディープラーニング(DL)ハードウェアに代わる、より効率的な代替手段の開発を可能にした。

従来のプログラミングではなく、アルゴリズムによる「学習」によって膨大な量のデータを処理する能力を持つChat-GPTのようなディープニューラルネットワークの可能性は無限であるように思われることがよくある。しかし、これらのシステムの範囲と影響が拡大するにつれて、そのサイズ、複雑さ、エネルギー消費量も増加しており、後者は世界の炭素排出への寄与について懸念を抱かせるのに十分なほど重要である。

技術の進歩といえば、アナログからデジタルへの移行と考えがちだが、研究チームは現在、この問題に対する答えを、デジタルディープニューラルネットワークに代わる物理的な方法に求めている。そのような研究者の一人が、EPFLの工学部波動工学研究室のRomain Fleury。Science誌に掲載された論文で、同氏とそのチームは、他の方法と比較して速度の向上、堅牢性の向上、および消費電力の削減を示す物理システムをトレーニングするためのアルゴリズムについて説明している。

「われわれは、電子ではなく、音波、光波、マイクロ波を使用して情報を運ぶ3つの波動ベースの物理システムで、トレーニングアルゴリズムをテストすることに成功した。しかし、われわれの汎用性の高いアプローチは、あらゆる物理システムのトレーニングに使用可能である」と、筆頭著者、LWEの研究者、Ali Momeniはコメントしている。

「より生物学的に妥当な」アプローチ
ニューラルネットワークのトレーニングとは、画像認識や音声認識などのタスクのパラメータの最適な値を生成するようにシステムが学習できるようにすることである。従来は、データがネットワークを介して送信され、出力に基づいて誤差関数が計算されるフォワードパスの2つのステップが含まれる。バックワードパス(バックプロパゲーション、BPとも呼ばれる)では、すべてのネットワークパラメータに対する誤差関数の勾配が計算される。

反復を繰り返すうちに、システムはこれら 2 つの計算に基づいて自動的に更新され、より正確な値が返される。問題は？ BPはエネルギーを大量に消費するだけでなく、物理システムには適していない。実際、物理システムのトレーニングには通常、BPステップにデジタルツインが必要だが、これは非効率的であり、現実とシミュレーションの不一致のリスクを伴う。

研究者のアイデアは、BPステップを物理システムを介した2番目のフォワードパスに置き換えて、各ネットワーク層をローカルに更新することだった。この方法は、電力使用量を減らし、デジタルツインの必要性を排除するだけでなく、人間の学習をよりよく反映する。

「ニューラルネットワークの構造は脳から着想を得ているが、脳がBPを介して学習する可能性は低い。ここでの考え方は、各物理層をローカルでトレーニングすれば、最初にデジタルモデルを構築する代わりに、実際の物理システムを使用できるということである。そこでわれわれは、より生物学的に妥当なアプローチを開発した」と(Momeni)。

EPFL の研究者は、CNRS IETR の Philipp del Hougne と Microsoft Research の Babak Rahmani と共同で、物理ローカル学習アルゴリズム (PhyLL) を使用して実験的な音響およびマイクロ波システムをトレーニングし、モデル化された光学システムを使用して母音や画像などのデータを分類した。この手法は、BPベースのトレーニングに匹敵する精度を示すだけでなく、予測不可能な外部摂動にさらされたシステムでも、最先端のものと比較して堅牢で適応性があった。

アナログの未来とは
LWEのアプローチは、深層物理ニューラルネットワークのBPフリートレーニングとしては初めてのものだが、パラメータのデジタル更新はまだ必要である。「これはハイブリッドなトレーニングアプローチだが、われわれの目標は、デジタル計算を可能な限り減らすことだ」(Momeni)。

研究チームは現在、ネットワークのスケーラビリティを向上させることを最終目標として、小規模な光学システムにアルゴリズムを実装したいと考えている。

「われわれの実験では、最大10層のニューラルネットワークを使用したが、数十億のパラメータを持つ100層でも機能するだろうか? これは次のステップであり、物理システムの技術的な限界を克服する必要がある。