EPFL、スモールモデルアプローチの方が効果的である可能性

April, 30, 2025, Lausanne--小規模な言語モデルが、大規模な言語モデル(LLM)よりも信頼性が高く、安全性が高いのは、主に制限されたデータセットから情報を引き出すためである。今後数か月以内に、これらのスリム化された代替手段で実行されるチャットボットが増えることが期待できる。

2022年後半にOpenAIの大規模言語モデル(LLM)が広く展開された後、他の多くの大手テクノロジー企業がこれに追随ししたが、これは彼らがそれほど遅れをとっておらず、実際には自然言語を使用した独自の生成人工知能(GenAI)プログラムの開発に何年も取り組んできたことを示すペースだった。

今日利用可能な様々なGenAIプログラムで印象的なのは、それらが実にかに似ているかということである。それらはすべて基本的に同じように機能する:何十億ものパラメータを含むモデルは、インターネット上で利用可能なコンテンツで構成された巨大なデータセットで深く訓練される。

トレーニングが完了すると、モデルは統計を使用して、プロンプトに対して最も可能性の高い応答である単語、ピクセル、または音の文字列を予測することにより、テキスト、画像、音声、ビデオの形式でコンテンツを生成する。「しかし、この方法にはリスクが伴う」と、EPFLのTheory of Machine Learning Laboratoryを運営するNicolas Flammarionは言う。「オンラインで入手できるコンテンツのかなりの部分は、有害で危険であるか、単に間違っている。そのため、開発者はモデルを監督して改良し、いくつかのフィルタを追加する必要がある。」

情報に溺れることを回避する方法
現在の状況では、LLMは、広大なデータセンタに収容されたマシンが数十億のデータバイトを処理し、その過程で大量のエネルギーを消費し、特定のプロンプトに関連するデータのごく一部を見つけるという最適ではない状況を作り出している。それはまるで、質問に対する答えを見つけるために、正しい答えを見つけるまで、米国議会図書館のすべての本をページごとにめくらなければならないかのようである。

研究者は現在、LLMの力を活用しながら、LLMをより効率的、安全、かつ経済的に運用する方法を模索している。「1 つの方法は、モデルに入力されるデータのソースを制限することだ」と、EPFL の講師で AI の研究者である Martin Rajman 氏は指摘している。「その結果、特定のアプリケーションに対して非常に効果的で、すべてに対する答えを得ようとしない言語モデルが生まれる。」

そこで登場するのが、小規模言語モデル (SLM) である。このようなモデルは様々な方法で小さくなることがあるが、このコンテキストでは、サイズは通常、描画元のデータセットを指す。これを専門用語で「Retrieval-augmented generation(RAG)」と言う。EPFLのMeditronは、これを実際に適用する方法の一例を示している:そのモデルは、信頼性が高く、検証された医療データセットのみに依存している。

このアプローチの利点は、誤った情報の拡散を防ぐことである。秘訣は、大規模なモデルで訓練されたチャットボットを使用して、限られたデータセットを実装すること。そうすれば、チャットボットは情報を読み取り、異なるビットをリンクして有用な応答を生成することができる。

いくつかのEPFL研究グループは、SLMの可能性を探求している。1つのプロジェクトはMeditronで、もう1つのプロジェクトは、EPFLのルールとポリシーのオンラインリポジトリであるPolylexに基づいて進行中のパイロットテストである。他の2つのプロジェクトでは、クラスの録音の文字起こし方法を改善して、より確実にインデックスを作成できるようにすることと、スクールの管理プロセスの一部を合理化することを検討している。

より安く使える
SLMは小さなデータセットに依存しているため、実行するために大量の処理能力を必要とせず、中にはスマートフォンで操作できるものもある。「SLMのもう1つの重要な利点は、クローズドシステムで機能すること。つまり、ユーザがプロンプトに入力する情報が保護されるということである。これはChatGPTとは異なる。例えば、会議の書き起こしや議事録の作成を依頼すると、モデルが非常にうまくやることができるが、情報がどのように使用されるかはわかない。未知のサーバに保存されるが、一部の情報は機密であったり、個人データが含まれていたりする可能性がある」とRajmanは説明している。

SLMsは、大規模モデルのチャットボット実行機能をすべて備えており、リスクも大幅に低減されている。そのため、企業は、社内のニーズや顧客での使用など、この技術にますます関心を寄せている。特定のアプリケーション向けに設計されたチャットボットは、非常に便利で非常に効果的であるため、世界中のテクノロジー企業がそのバージョンを市場に急ぐようになった。

2023年は、長所と短所のすべてを備えたLLMが見出しを飾った年だったかもしれないが、2025年は、より小さく、調整され、完全に信頼できるLLMがショーを盗む年になる可能性が非常に高い。