AI știe cel mai bine, dar numai dacă ești de acord cu asta

Tabelul de legături

Rezumat și introducere

Lucrări conexe

Media, bule de filtrare și camere de ecou

Efecte de rețea și cascade de informații

Prăbușirea modelului

Prejudecăți cunoscute în LLM

Un model de colaps al cunoașterii

Rezultate

Discuții și referințe

Apendice

Compararea lățimii cozilor

Definirea colapsului cunoștințelor

Abstract

În timp ce inteligența artificială are potențialul de a procesa cantități mari de date, de a genera noi perspective și de a debloca o productivitate mai mare, adoptarea sa pe scară largă poate avea consecințe neprevăzute. Identificăm condițiile în care AI, prin reducerea costului accesului la anumite moduri de cunoaștere, poate dăuna în mod paradoxal înțelegerii publice. În timp ce modelele de limbaj mari sunt antrenate pe cantități mari de date diverse, ele generează în mod natural rezultate către „centrul” distribuției. Acest lucru este în general util, dar încrederea pe scară largă pe sistemele AI recursive ar putea duce la un proces pe care îl definim drept „colapsul cunoștințelor” și susțin că acest lucru ar putea dăuna inovației și bogăției înțelegerii și culturii umane. Cu toate acestea, spre deosebire de modelele de inteligență artificială care nu pot alege pe ce date sunt antrenați, oamenii pot căuta în mod strategic diverse forme de cunoaștere dacă le percep ca merită. Pentru a investiga acest lucru, oferim un model simplu în care o comunitate de cursanți sau inovatori alege să folosească metode tradiționale sau să se bazeze pe un proces redus asistat de AI și să identifice condițiile în care are loc colapsul cunoștințelor. În modelul nostru implicit, o reducere de 20% la conținutul generat de AI generează credințe publice de 2,3 ori mai departe de adevăr decât atunci când nu există nicio reducere. În cele din urmă, pe baza rezultatelor, luăm în considerare direcții de cercetare suplimentare pentru a contracara astfel de rezultate.

Introducere

Înainte de apariția IA generativă, toate textele și lucrările de artă erau produse de oameni, în unele cazuri ajutați de instrumente sau sisteme informatice. Capacitatea modelelor de limbaj mari (LLM) de a genera text cu un efort uman aproape de zero, cu toate acestea, împreună cu modelele de a genera imagini, audio și video, sugerează că datele la care sunt expuși oamenii pot ajunge să fie dominate de procese generate de AI sau asistate de AI.

Cercetătorii au observat că antrenamentul recursiv al modelelor AI pe text sintetic poate duce la degenerare, cunoscută sub numele de „colapsul modelului” (Shumailov et al., 2023). Interesul nostru este inversul acestei preocupări, concentrându-ne în schimb pe efectele de echilibru asupra distribuției cunoștințelor în cadrul societății umane. Ne întrebăm în ce condiții creșterea conținutului generat de AI și a accesului mediat de AI la informații ar putea dăuna viitorului gândirii umane, căutării de informații și cunoașterii.

Efectul inițial al informațiilor generate de AI este probabil limitat, iar lucrările existente privind daunele AI se concentrează pe bună dreptate pe efectele imediate ale informațiilor false răspândite prin „deepfakes” (Heidari et al., 2023), părtinirea algoritmilor AI (Nazer et al., 2023) și dezinformarea politică (Chen și Shu, 2023). Accentul nostru are un orizont de timp ceva mai lung și analizează impactul adoptării pe scară largă, mai degrabă decât marginală.

Cercetătorii și inginerii construiesc în prezent o varietate de sisteme prin care AI ar media experiența noastră cu alți oameni și cu surse de informații. Acestea variază de la învățarea de la LLM-uri (Chen, Chen și Lin, 2020), clasarea sau rezumarea rezultatelor căutării cu LLM-uri (Sharma, Liao și Xiao, 2024), sugerarea termenilor de căutare sau cuvintelor de scris ca la completarea automată tradițională (Graham, 2023; Chonka, Diepeveen și Haile, 2023; Chonka, Diepeveen și Haile, 2023), colaboratori (Ball Systems și perechea de colaboratori). 2018), finalizarea bazată pe LLM a bazelor de cunoștințe provenite de la Wikipedia (Chen, Razniewski și Weikum, 2023), interpretarea datelor guvernamentale (Fisher, 2024) și ajutând jurnaliștii (Opdahl et al., 2023), pentru a cita doar câțiva dintr-o listă în continuă creștere.

De-a lungul timpului, dependența de aceste sisteme și existența interacțiunilor cu mai multe fațete între ele pot crea un „blestem al recursiunii” (Shumailov et al., 2023), în care accesul nostru la diversitatea originală a cunoștințelor umane este mediat din ce în ce mai mult de un subset parțial și din ce în ce mai restrâns de vederi. Odată cu integrarea din ce în ce mai mare a sistemelor bazate pe LLM, anumite surse sau convingeri populare care erau comune în datele de instruire pot ajunge să fie consolidate în mentalitatea publicului (și în cadrul datelor de formare), în timp ce alte idei „de lungă durată” sunt neglijate și în cele din urmă uitate.

Un astfel de proces ar putea fi întărit de o „cameră de ecou” sau de un efect de cascadă de informații, în care expunerea repetată la acest set restrâns de informații îi determină pe indivizi să creadă că cozile neglijate, neobservate ale cunoștințelor sunt de puțină valoare. În măsura în care AI poate reduce radical costul accesului la anumite tipuri de informații, poate genera și mai mult prejudiciu prin „efectul străzilor”, în care se efectuează o cantitate disproporționată de căutare sub zona iluminată nu pentru că este mai probabil să conțină cheile cuiva, ci pentru că este mai ușor să te uiți acolo. Susținem că reducerea rezultată a cozilor cunoștințelor umane ar avea efecte semnificative asupra unei game de preocupări, inclusiv echitatea, includerea diversității, câștigurile pierdute în inovare și conservarea moștenirii culturii umane.

În modelul nostru de simulare, totuși, luăm în considerare și posibilitatea ca oamenii să fie strategici în gestionarea activă a surselor de informații. Dacă, așa cum susținem, există o valoare semnificativă în domeniile de cunoaștere tai care ajung să fie neglijate de conținutul generat de AI, unii indivizi pot depune eforturi suplimentare pentru a realiza câștigurile, presupunând că sunt suficient de informați cu privire la valoarea potențială.

Rezumatul contribuțiilor principale

Identificăm o dinamică prin care AI, în ciuda reducerii doar a costului accesului la anumite tipuri de informații, poate duce la „colapsul cunoștințelor”, neglijând cozile lungi ale cunoștințelor și creând o perspectivă degenerat îngustă de-a lungul generațiilor. Oferim un model de răspândire pozitivă a cunoștințelor, în care indivizii decid dacă să se bazeze pe o tehnologie AI mai ieftină sau să investească în mostre din distribuția completă a cunoștințelor adevărate. Examinăm prin simulări condițiile în care indivizii sunt suficient de informați pentru a preveni colapsul cunoștințelor în cadrul societății. În cele din urmă, încheiem cu o prezentare generală a posibilelor soluții pentru a preveni colapsul cunoștințelor în era AI.