AIは最もよく知っている—ただし、あなたが同意した場合のみ

リンク一覧

概要と序論

関連研究

メディア、フィルターバブル、エコーチェンバー

ネットワーク効果と情報カスケード

モデルの崩壊

LLMにおける既知の偏見

知識崩壊のモデル

結果

議論と参考文献

付録

尾の幅を比較する

知識の崩壊を定義する

抽象的な

人工知能は膨大な量のデータを処理し、新たな洞察を生み出し、生産性を向上させる可能性を秘めていますが、その広範な導入は予期せぬ結果を伴う可能性があります。私たちは、AI が特定の知識モードへのアクセスコストを削減することで、逆説的に一般の理解を損なう可能性がある条件を特定します。大規模な言語モデルは膨大な量の多様なデータでトレーニングされますが、自然に分布の「中心」に向かって出力を生成します。これは一般的に有用ですが、再帰的な AI システムへの広範な依存は、私たちが「知識の崩壊」と定義するプロセスにつながる可能性があり、これはイノベーションと人間の理解と文化の豊かさを損なう可能性があると主張しています。ただし、トレーニングに使用するデータを選択できない AI モデルとは異なり、人間は価値があると認識した場合、多様な形式の知識を戦略的に求める可能性があります。これを調査するために、学習者またはイノベーターのコミュニティが従来の方法を使用するか、割引された AI 支援プロセスに依存するかを選択する単純なモデルを提供し、知識の崩壊が発生する条件を特定します。私たちのデフォルト モデルでは、AI 生成コンテンツに 20% の割引を適用すると、割引がない場合に比べて真実から 2.3 倍離れた世論が生成されます。最後に、結果に基づいて、このような結果に対抗するためのさらなる研究の方向性を検討します。

導入

生成型 AI が登場する前は、すべてのテキストとアートワークは人間によって作成され、場合によってはツールやコンピュータ システムの支援を受けていました。しかし、人間の労力をほとんどかけずにテキストを生成できる大規模言語モデル (LLM) の能力や、画像、音声、ビデオを生成するモデルは、人間が目にするデータが AI 生成または AI 支援のプロセスによって支配されるようになる可能性があることを示唆しています。

研究者は、合成テキストに対する AI モデルの再帰的トレーニングは、「モデル崩壊」と呼ばれる退化につながる可能性があることを指摘しています (Shumailov 他、2023)。私たちの関心はこの懸念の逆であり、人間社会における知識の分配に対する均衡効果に焦点を当てています。私たちは、どのような条件下で AI 生成コンテンツの増加と AI を介した情報へのアクセスが、人間の思考、情報探索、知識の将来に悪影響を及ぼす可能性があるのかを問います。

AI が生成した情報の初期の影響はおそらく限定的であり、AI の害に関する既存の研究は、「ディープフェイク」によって拡散される偽情報 (Heidari ら、2023 年)、AI アルゴリズムの偏り (Nazer ら、2023 年)、および政治的誤情報 (Chen と Shu、2023 年) の即時の影響に正しく焦点を当てています。私たちの焦点はやや長い時間軸であり、限界的な採用ではなく、広範な採用の影響を調査します。

研究者やエンジニアは現在、AI が他の人間や情報源との体験を仲介するさまざまなシステムを構築しています。その範囲は、LLM からの学習 (Chen、Chen、Lin、2020)、LLM を使用した検索結果のランク付けや要約 (Sharma、Liao、Xiao、2024)、従来のオートコンプリートのように検索用語や入力する単語を提案 (Graham、2023; Chonka、Diepeveen、Haile、2023)、共同作業者をペアにするシステムの設計 (Ball および Lewis、2018)、Wikipedia から取得した知識ベースの LLM ベースの補完 (Chen、Razniewski、Weikum、2023)、政府データの解釈 (Fisher、2024)、ジャーナリストの支援 (Opdahl 他、2023) など多岐にわたりますが、これらは増え続けるリストからのほんの一部にすぎません。

時間が経つにつれて、これらのシステムへの依存と、それらの間の多面的な相互作用の存在により、「再帰の呪い」（Shumailov et al.、2023）が生み出される可能性があります。これは、人間の知識の本来の多様性へのアクセスが、部分的でますます狭いサブセットの見解によってますます媒介されるようになるというものです。LLMベースのシステムの統合が進むにつれて、トレーニングデータで一般的だった特定の一般的な情報源や信念が一般の考え方（およびトレーニングデータ内）で強化されるようになる一方で、他の「ロングテール」のアイデアは無視され、最終的には忘れ去られる可能性があります。

このようなプロセスは、「エコーチェンバー」または情報カスケード効果によって強化される可能性があります。これは、この限られた情報セットに繰り返しさらされると、無視され、観察されていない知識の末端にはほとんど価値がないと個人が信じるようになるというものです。AI が特定の種類の情報へのアクセスコストを大幅に割引できる場合、「街灯効果」によってさらに害が生じる可能性があります。街灯効果では、鍵が含まれている可能性が高いからではなく、そこを探すのが簡単なために、照明のある場所の下で不釣り合いな量の検索が行われます。結果として人間の知識の末端が削減されると、公平性、多様性の包含、イノベーションの損失、人類文化遺産の保護など、さまざまな懸念事項に大きな影響を与えるだろうと私たちは主張します。

しかし、私たちのシミュレーション モデルでは、人間が戦略的に積極的に情報源をキュレーションしている可能性も考慮しています。私たちが主張するように、AI 生成コンテンツによって無視されることになる知識の領域に大きな価値がある場合、潜在的な価値について十分な情報を持っていると仮定すると、一部の個人は利益を実現するために追加の努力をする可能性があります。

主な貢献の概要

我々は、AI が特定の種類の情報へのアクセスコストを削減するだけであるにもかかわらず、「知識の崩壊」につながり、知識のロングテールを無視し、世代を超えて退化的に狭い視点を生み出す可能性があるというダイナミクスを特定しました。我々は、個人がより安価な AI 技術に頼るか、真の知識の完全な分布からのサンプルに投資するかを決定する、肯定的な知識スピルオーバー モデルを提供します。シミュレーションを通じて、社会内での知識の崩壊を防ぐのに十分な情報を個人が持つ条件を調べます。最後に、AI 時代の知識の崩壊を防ぐための可能な解決策の概要を示します。