迷路をナビゲート、AIが複雑なデータサンプリングに取り組む方法

July, 24, 2024, Lausanne--EPFLの研究者は、ニューラルネットワークベースの生成モデルが複雑なシステムにおける従来のデータサンプリング技術に対してどのように機能するかを理解する上で画期的な成果を上げ、データ生成におけるAIの将来の課題と機会の両方を明らかにした。

人工知能(AI)の世界では、最近、データセットからパターンを「学習」して新しい類似データセットを生成する機械学習アルゴリズムの一種であるジェネレイティブモデルが大幅に進歩している。ジェネレイティブモデルは、画像の描画や自然言語の生成などによく使われ、有名な例としては、chatGPTの開発に使われるモデルがある。

ジェネレイティブモデルは、画像や動画の生成から音楽の作曲、言語モデリングまで、様々な用途で目覚ましい成功を収めている。問題は、生成モデルの能力と限界に関して、理論が不足していること。当然のことながら、このギャップは、今後の開発方法と使用方法に深刻な影響を与える可能性がある。

主な課題の1つは、特に最新のAIアプリケーションで一般的に遭遇する高次元で複雑なデータを扱う際の従来の方法の限界を考えると、複雑なデータパタンからサンプルを効果的に選択する能力だった。

現在、EPFLのFlorent KrzakalaとLenka Zdeborováが率いる科学者チームは、最新のニューラルネットワークベースの生成モデルの効率を調査している。PNASに掲載されたこの研究は、スピングラスと統計的推論問題に関連する特定のクラスの確率分布に焦点を当てて、これらの最新の方法を従来のサンプリング手法と比較している。

研究チームは、ニューラルネットワークを独自の方法で使用してデータ分布を学習し、元のデータを模倣する新しいデータインスタンスを生成する生成モデルを分析した。

研究チームは、比較的単純なデータ分布から学習し、より複雑なデータへの「フロー」を学習するフローベースの生成モデルに着目した。データからノイズを除去する拡散ベースのモデル。生成的自己回帰ニューラルネットワークは、以前に生成されたものに基づいて新しい各部分を予測することにより、逐次データを生成する。

研究チームは、理論的枠組みを用いて、既知の確率分布からのサンプリングにおけるモデルのパフォーマンスを分析した。これには、これらのニューラルネットワーク手法のサンプリングプロセスをベイズ最適ノイズ除去問題にマッピングすることが含まれ、基本的には、各モデルがデータを生成する方法を、情報からノイズを除去する問題になぞらえて比較した。

科学者たちは、興味深い磁気的振る舞いを持つ物質であるスピングラスの複雑な世界からインスピレーションを得て、最新のデータ生成技術を分析した。これにより、ニューラルネットワークベースの生成モデルが複雑なデータランドスケープをどのようにナビゲートするかを探ることができた。

このアプローチにより、Monte Carlo Markov Chains (複雑な確率分布からサンプルを生成するために使用されるアルゴリズム)やLangevin Dynamics (熱変動下での粒子の運動をシミュレートして複雑な分布からサンプリングする手法)などの従来のアルゴリズムに対して、生成モデルの微妙な機能と限界を研究することができた。

この研究により、最新の拡散ベースの手法は、アルゴリズムのノイズ除去経路における一次相転移により、サンプリングに課題が生じる可能性があることが明らかになった。つまり、作業中のデータからノイズを除去する方法が突然変更されたために、問題が発生する可能性がある。この研究では、従来の手法が優れたパフォーマンスを発揮する領域を特定したにもかかわらず、ニューラルネットワークベースのモデルが優れた効率を示すシナリオも浮き彫りにした。

この微妙な理解は、従来のサンプリング方法と現代的なサンプリング方法の両方の長所と限界についてバランスの取れた視点を提供する。この研究は、AIにおけるより堅牢で効率的な生成モデルへのガイドである。より明確な理論的基盤を提供することで、複雑なデータ生成タスクを前例のない効率と精度で処理できる次世代ニューラルネットワークの開発に役立つ。

(詳細は、https://actu.epfl.ch/)