AIの新たな説得力:考えを変えることができる

May, 7, 2024, Lausanne--EPFLの新しい研究では、大規模言語モデルの説得力が実証されており、GPT-4について個人情報へのアクセスについて議論した参加者は、人間と議論した参加者に比べて、意見を変える可能性がはるかに高いことがわかった。

「インターネット上では、誰もあなたが犬であることを知らない」。これは、1990年代の有名な漫画で、大型犬がコンピュータのキーボードに前足を乗せている様子を描いたキャプションである。それから30年が経ち、「犬」を「AI」に置き換えると、この感情が、今日の大規模言語モデル(LLM)の説得力を定量化するための新しい研究の背後にある重要な動機となった。

「知らないのに言語モデルと対話しているというシナリオは、ありとあらゆる場面で考えられる。これは人々が抱く恐怖である。インターネット上では、犬やチャットボット、それとも生身の人間と話しているのだろうか?」と、コンピュータ・コミュニケーション科学部のデータサイエンス研究室長、Robert West准教授は問いかけた.「その危険性は、オーダーメイドの説得力のある議論を作り出して、虚偽や誤解を招くような言説をオンラインに広めるチャットボットのような超人的なものである」

AIとパーソナライゼーション
初期の研究では、言語モデルは、人間が書いたメッセージと同等であり、多くの場合、より説得力があると認識されるコンテンツを生成できることがわかっているが、人間との直接の会話におけるLLMの説得力や、パーソナライゼーション(人の性別、年齢、教育レベルを知ること)がパフォーマンスをどのように向上させるかについては、まだ知識が限られている。

「われわれは、年齢、性別、民族、教育レベル、雇用状況、所属政党など、AIモデルがあなたが誰であるか(パーソナライゼーション)を知ることで、どれほどの違いが生まれるかを知りたかった。このわずかな量の情報は、AIモデルがソーシャルメディアを通じてあなたについてさらに知ることができることの代理にすぎない」とWestは続けた。

人間対AIの議論
事前登録された研究では、研究者らは820人を募集し、各参加者にトピックと4つの治療条件(参加者に関する個人情報の有無にかかわらず人間と議論する、または参加者に関する個人情報を含むまたは含まないAIチャットボット(OpenAIのGPT-4))のいずれかを無作為に割り当てた。

このセットアップは、実際の会話における人間とLLMの説得能力を直接比較できるという点で、以前の研究とは大きく異なり、最先端のモデルがオンライン環境でどのように機能するか、また個人データをどの程度悪用できるかをベンチマークするためのフレームワークを提供した。

そのプレプリント「On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial」では、討論会は、競争的な学術的討論で一般的に使用される形式の簡略化されたバージョンに基づいて構成され、参加者は討論の提案にどの程度同意するかを前後に尋ねられたと説明している。

その結果、GPT-4について自分の個人情報にアクセスできることを議論した参加者は、人間と議論した参加者と比較して、反対者への同意が高まる確率が81.7%高いことが示された。パーソナライゼーションを行わなくても、GPT-4は人間を凌駕していたが、効果ははるかに低かった。

Cambridge Analyticaのステロイド
LLMは、個人情報を効果的に利用して議論を調整し、マイクロターゲティングを通じてオンラインの会話で人間を説得できるだけでなく、人間よりもはるかに効果的に行うことができる。

「82%という数字にとても驚いた。Cambridge Analyticaは、Facebookの「いいね!」をLLMでつなぐという現在の技術を一切使っていなかったので、言語モデルは、あなたについて知っていることに合わせてメッセージをパーソナライズすることができる。これはCambridge Analyticaのステロイドである。間近に迫った米国大統領選挙の文脈では、人々は懸念を抱いている。なぜなら、この種の技術は常に最初の実戦で試される場所だからだ。1つ確かなことは、人々が大規模言語モデルの力を利用して選挙を揺るがそうとするだろうということだ」(West)。

この研究で興味深いことがわかったのは、人間がAIと同じ個人情報を与えられたとき、AIはそれを説得に効果的に活用していないように見えたことである。Westの主張によると、AIモデルはインターネット上のほぼすべての人間が組み合わさっているため、一貫して優れている。

モデルは、オンラインのパターンを通じて、特定の方法で議論を行うことで、説得力のある結果につながる可能性が高いことを学習した。それはReddit、Twitter、Facebookのスレッドを何百万も読み、説得に関する心理学の本や論文の訓練を受けている。モデルがこれらすべての情報をどのように活用するかは正確には不明だが、Westの考えでは、これが将来の研究の重要な方向性である。

「LLMは、自分自身について推論できる兆候を示しているので、われわれがそれらを尋問できることを考えると、モデルにその選択と、特定の特性を持つ特定の人物に正確なことを言っている理由を説明するように求めることができると想像できる。と言うのは、モデルは、それらが持っている知識の様々な部分から寄せ集められた、説得力という点でわれわれがまだ知らないことをしているかもしれないからである。」