NICTとKDDIが大規模言語モデルに関する共同研究を開始

July, 10, 2024--情報通信研究機構（NICT）は、KDDI株式会社（KDDI）と大規模言語モデル（LLM）に関する共同研究を開始する。この共同研究では、NICTがこれまでに蓄積してきた600億件以上のWebページ等と、KDDIが開発してきたハルシネーション抑制技術、マルチモーダルAI技術を活用し、高性能なLLMを実現するための研究開発を実施する。
LLMの課題となっているハルシネーションの抑制や、多様なマルチモーダルデータの取扱いが可能な高性能なLLMを用いることで、特定の目的の対話を行うシステムや雑談を行うシステムの信頼性を向上させ、マルチモーダルデータを扱えるようにすることで、システムとのやり取りをより豊かにすることを目指す。

用語
大規模言語モデル（Large Language Model; LLM）

非常に巨大な学習データ（テキスト）と深層学習を用いて構築された巨大なニューラルネットワークによる言語モデル。言語モデルとは、基本的には単語の並びが与えられるとそれらの単語の並びが出現する確率を計算するものであるが、GPT等の大規模言語モデルは、与えられたテキストに対し後続する単語を確率的に予測し、確率が最大となる単語を出力することを繰り返し、それらの単語を繋いでいくことでテキストを生成することができる。

マルチモーダルAI
モーダル（modal）とは、「様式の」、「様態の」などを意味する表現であり、この分野では、マルチモーダルデータと言った場合には、複数種類のデータ（例えば、テキスト、音声、画像など）を指す。マルチモーダルAIとは、このようなマルチモーダルデータを一つのAIで扱うことができるAIである。例えば、テキストのみを扱えるAIを発展させて画像とテキストを同時に扱うことができるAIを開発することが最近活発に行われているが、このようなAIをマルチモーダルAIと呼ぶ。

(詳細は、https://www.nict.go.jp/press/2024/07/01-3.html)