AIブレークスルー、無から有を生み出す

January, 24, 2024, Los Alamos--「Blackout Diffusion」と呼ばれる新しい革新的な人工知能(AI)フレームワークは、完全に何もない画像から画像を生成する。その機械学習アルゴリズムは、他の生成拡散モデルとは異なり、スタートするために「ランダムシード」を開始する必要はない。
先日開催されたInternational Conference on Machine Learningで発表されたBlackout Diffusionは、DALL-EやMidjourneyなどの現在の拡散モデルに匹敵するサンプルを生成するが、これらのモデルよりも必要な計算リソースが少なくて済む。

「生成モデリングは、ソフトウェア コード、法的文書、さらにはアートの生成など、多くのタスクを支援する機能を備えているため、次の産業革命をもたらす」と、ロスアラモス国立研究所の AI 研究者、『Blackout Diffusion』の共著者Javier Santosは話している。「生成モデリングは、科学的な発見に活用できる。われわれのチームの研究は、本質的に連続的ではない科学的問題に生成核酸モデリングを適用するための基礎と実用的なアルゴリズムを確立した」

拡散モデルは、トレーニングされたデータに類似したサンプルを作成する。画像を撮影し、画像が認識できなくなるまでノイズを繰り返し追加することで機能する。プロセス全体を通して、モデルは元の状態に戻す方法を学習しようとする。

現在のモデルでは入力ノイズが必要であり、画像の生成を開始するには何らかの形式のデータを必要としている。

「Blackout Diffusionによって生成されたサンプルの品質は、より小さな計算空間を使用する現在のモデルに匹敵することを示した」と、Blackout Diffusionの共同研究リーダー、ロスアラモスの物理学者、Yen Ting Linはコメントしている。

Blackout Diffusionのもう一つのユニークな側面は、それが機能する空間。既存の生成拡散モデルは連続した空間で機能し、その空間は高密度で無限である。しかし、連続した空間での作業は、科学的な応用の可能性を制限する。

「既存の生成拡散モデルを実行するためには、数学的に言えば、拡散は連続的な領域上に存在する必要がある。離散的であってはならない」(Yen Ting Lin)。

一方、チームが開発した理論的枠組みは、離散的な空間(空間内の各点が他の点から一定の距離で孤立していることを意味する)で機能し、テキストや科学的なアプリケーションなど、様々なアプリケーションの可能性を開く。

チームは、修正された米国国立標準技術研究所(NIST)のデータベースを含む、多くの標準化されたデータセットでBlackout Diffusionをテストした。CIFAR-10データセットには、10の異なるクラスのオブジェクトの画像がある。CelebFaces Attributes Dataset は、200,000 を超える人間の顔の画像で構成されている。さらに、研究チームは、Blackout Diffusionの離散的な性質を利用して、拡散が内部でどのようにモデル化されるかについて広く考えられているいくつかの誤解を明らかにし、生成拡散モデルの重要な理解を提供した。

また、将来の科学的応用のための設計原則も提供している。「これは、離散状態拡散モデリングに関する最初の基礎研究を示しており、離散データを用いた将来の科学的応用への道を示している」(Lin)。
研究チームは、生成拡散モデリングは、スーパーコンピュータ上で多くの科学シミュレーションを実行する時間を大幅に短縮し、科学の進歩を支え、計算科学のCO2排出量を削減する可能性があると説明している。地下貯留層の動態、創薬のための化学モデル、生物の生化学的メカニズムを理解するための単一分子および単一細胞の遺伝子発現など、様々な例を挙げている。

論文:「Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces」機械学習研究の議事録。DOI: 10.48550/arXiv.2305.11089.