ChatGPT completează lacunele ca un confabulist, nu ca o minte halucinantă
Articolul analizează modul în care erorile sistemelor de inteligență artificială pot oferi o oglindă puternică pentru felul în care sistemele predictive, fie ele umane sau artificiale, construiesc semnificații atunci când informația este incompletă.
Un articol recent publicat în revista NPP–Digital Psychiatry and Neuroscience a comparat erorile sistemelor de inteligență artificială (IA) cu confabulările și halucinațiile observate în psihiatrie.
Modelele lingvistice mari (LLM) și instrumentele de recunoaștere a vorbirii au câștigat popularitate, transformând domeniile educației, afacerilor, sănătății și cercetării. Totuși, există îngrijorări semnificative cu privire la tendința acestor sisteme IA de a produce dezinformare. De exemplu, ChatGPT generează uneori texte care sunt factuale incorecte, dar par plauzibile.
Similar, instrumentele de recunoaștere automată a vorbirii, precum Whisper, pot produce erori severe de transcriere în anumite condiții, rezultând ieșiri care nu sunt fidele sau care sunt nonsensice față de inputul sursă. Aceste erori sunt adesea numite halucinații, deși este necesară o clarificare. Halucinațiile, la oameni, sunt experiențe senzoriale false care apar în absența stimulilor externi. În schimb, erorile LLM nu implică percepție și sunt mai bine descrise ca fiind confabulări.
Pe de altă parte, erorile ASR sunt structural diferite de cele ale LLM și pot fi mai asemănătoare cu halucinațiile dintr-un punct de vedere funcțional, mai degrabă decât experiențial. Deși erorile LLM pot părea la prima vedere erori de software, ele seamănă cu fenomenele psihiatrice în mai multe moduri. Ieșirile din sistemele artificiale și biologice pot părea coerente, sensibile la context și pline de încredere, dar detașate de realitate. În articol, autorii au explorat paralelele dintre simptomele psihiatrice umane și erorile de output ale modelului IA.
Confabulările în sistemele IA și în rândul oamenilor sunt amintiri false produse pentru a umple golurile de memorie, fără intenția de a înșela. Aceste fabricări par coerente în contextul vieții individului. Ele sunt cele mai frecvente în condițiile asociate cu deficiențe de memorie, cum ar fi sindromul Korsakoff și demența. Confabulările variază de la inexactități minore la fabricări foarte detaliate, evidențiind rolul creierului în construcția și reconstrucția memoriei.
LLM-uri, precum ChatGPT, prezintă defecte similare. În anumite condiții, ChatGPT tinde să genereze informații nonsensice și inexacte. Acesta produce răspunsuri incorecte care par plauzibile atunci când informația este lipsă, adică atunci când există „goluri de memorie” funcționale legate de datele de antrenament, codificarea parametrilor sau limitările de context, mai degrabă decât goluri de memorie episodice asemănătoare celor umane. Promptele vagi, ambigue sau generale încurajează modelele IA să completeze informațiile lipsă pe baza presupunerilor derivate din datele lor de antrenament.
Întrebările dificile și sarcinile de raționament în mai multe etape determină, de asemenea, modelul să genereze răspunsuri logic consistente, dar incorecte. Este demn de remarcat faptul că confabulările LLM și cele umane depind de context. La oameni, stările emoționale, credințele puternice sau întrebările sugestive cresc probabilitatea de a umple golurile de memorie cu detalii inexacte, dar plauzibile. În mod similar, modelele GPT pot genera în mod încrezător răspunsuri inexacte atunci când sunt provocate cu presupuneri.
Deosebirile fundamentale dintre confabulările LLM și cele umane se regăsesc în mecanismele care stau la baza lor. LLM-urile nu dispun de conștiință de auto-modelare, control executiv sau memorie episodică. În timp ce modelele LLM anterioare operau în parametrii fixați și nu aveau memorie persistentă între interacțiuni, modelele mai noi stochează informații limitate controlate de utilizator între sesiuni, dar nu le integrează într-un model continuu auto-actualizabil.
Halucinațiile la oameni și cele din sistemele ASR prezintă unele asemănări superficiale. În Whisper, mai mult de o treime din halucinații sunt explicit dăunătoare, cum ar fi stereotipurile demografice, violența fizică/moartea și aluziile sexuale. În mod similar, halucinațiile auditive verbale (AVH) umane sunt caracterizate prin conținut adesea amenințător și negativ. Vocile din grupuri non-clinice și clinice adesea transmit amenințări de violență și abuz verbal.
În plus, halucinațiile umane și cele ASR prezintă repetitivitate. Halucinațiile Whisper repetă la nesfârșit fraze sau cuvinte, similar cu AVH-urile umane care repetă teme și formulări. La un nivel comportamental, atât sistemele ASR, cât și oamenii par a fi deosebit de vulnerabili la erori sau experiențe asemănătoare halucinațiilor în prezența semnalelor perceptuale slabe sau degradate. Halucinațiile AVH umane implică mecanisme de descărcare corolară aberantă, bucle corticale-subcorticale și procesare predictivă a inputului senzorial.
Pe de altă parte, halucinațiile Whisper reflectă completarea modelurilor probabilistice aplicate caracteristicilor acustice. Aceste sisteme nu aud voci, ci calculează probabilități asupra mapărilor acustico-textuale. Conținutul repetitiv sau dăunător nu rezultă dintr-un discurs interior atribuit greșit, stări afective sau procesarea amenințărilor, ci din regularitățile statistice prezente în datele de antrenament.
În psihiatrie, terapia cognitiv-comportamentală este utilizată pentru a îmbunătăți capacitatea indivizilor de a evalua critic validitatea halucinațiilor lor. Mecanisme similare ar putea fi integrate în sistemele IA. Evaluarea plauzibilității poate fi operativizată prin metode de estimare a incertitudinii. În plus, verificările de consistență internă pot fi implementate pentru a necesita modelul să reevalueze output-ul său.
Alte strategii de atenuare includ alocarea crescută de resurse pentru LLM-uri, inclusiv verificarea în mai multe etape sau pași suplimentari de procesare, care pot reduce ratele de eroare prin permiterea unei evaluări interne mai temeinice și mai lente. Printre alte strategii se numără generarea augmentată prin recuperare, verificarea între modele, dezbaterea între agenți, metodele de entropie semantice, proiectarea prompturilor și reglarea temperaturii. Un principiu similar ar putea fi aplicabil și oamenilor: monitorizarea erorilor și performanța cognitivă depind de resurse neurobiologice suficiente, care sunt restaurate prin procese cum ar fi somnul. Astfel, întărirea capacității sistemice poate reduce susceptibilitatea la erori, mai degrabă decât să vizeze simptomele.
În concluzie, erorile asemănătoare confabulărilor și halucinațiilor sunt probleme recunoscute în LLM-uri și software-ul dependent de LLM-uri, subliniind necesitatea unei supravegheri umane continue. Aceste erori seamănă superficial cu simptomele patologice raportate în neurologie și psihiatrie. Erorile din mințile umane și mașini sunt caracteristici ale sistemelor construite pentru predic
