AI a reușit să treacă un test Turing clasic, demonstrând abilități de conversație umană
Într-un studiu important, cercetătorii au descoperit că modelele AI, atunci când sunt corect configurate, pot fi percepute ca fiind umane în conversații scurte, ridicând întrebări noi despre inteligență, înșelăciune și riscurile sociale asociate cu „oameni falsi”.
Recent, o cercetare publicată în revista PNAS a evaluat patru sisteme AI, inclusiv trei modele mari de limbaj (LLMs) și chatbotul bazat pe reguli ELIZA, în cadrul unui test Turing clasic cu trei participanți, pentru a determina dacă aceste sisteme pot fi percepute ca fiind umane.
Rezultatele studiului au arătat că modelele configurate cu un prompt specific, care le conferă o personalitate umană, au fost adesea considerate umane, având rate de succes egale sau superioare celor obținute de participanții umani. Autorii au observat că succesul a depins în mare măsură de trăsăturile stilistice și socio-emoționale, mai degrabă decât de inteligența brută, oferind dovezi că modelele de inteligență artificială pot substitui eficient oamenii în interacțiuni scurte.
Testul Turing cu trei participanți, propus inițial de Alan Turing în 1950 sub denumirea de jocul imitației, reprezintă o evaluare operațională a comportamentului mașinilor. Evaluările tradiționale ale AI se bazează pe benchmark-uri statice, care adesea surprind memorizarea de tip pattern, în loc de raționamentul deschis. În contrast, testul Turing oferă un standard dinamic și adversarial pentru evaluarea capacității unei mașini de a emula inteligența umană.
În timp ce încercările anterioare cu sisteme mai vechi au eșuat, mașinile au fost corect identificate ca atare în peste 90% dintre cazuri. Apariția modelelor generative mari de limbaj a stârnit un interes reînnoit pentru acest prag.
Studiul a avut drept scop determinarea dacă cele mai recente generații de LLM-uri generative pot fi judecate ca fiind umane de către interogatori. Evaluarea a inclus patru sisteme AI distincte: ELIZA, un model de bază bazat pe reguli; GPT-4o; LLaMa-3.1-405B; și GPT-4.5.
Evaluarea a constat în 1.023 de jocuri controlate, randomizate, desfășurate pe două populații experimentale independente: un grup universitar format din 126 de studenți (447 de jocuri; vârsta medie = 20.9, SD = 1.57) și un grup de 158 de lucrători de pe platforma Prolific (576 de jocuri; vârsta medie = 39.1, SD = 12.1). Evaluarea experimentală a fost realizată de interogatori umani, folosind o interfață cu ecran divizat.
Interogatorii au purtat conversații simultane de 5 minute cu un martor uman și un martor AI, atribuind un verdict binar la final. Principalul obiectiv al studiului a fost „rata de câștig” a modelului, definită ca proporția de încercări în care interogatorul a identificat greșit mașina ca fiind participant uman.
Este important de menționat că condițiile de provocare au fost împărțite în condiția de bază „FĂRĂ PERSONALITATE” și condiția „PERSONALITATE”. Aceasta din urmă implica instruirea modelului să adopte o personalitate tânără, introvertită, cunoscătoare a culturii internetului și fluentă în slang. Experimentul a fost ulterior replicat cu 205 participanți de pe Prolific, folosind LLaMa-3.1-405B și modelul actualizat GPT-5. Replica a extins limita de timp a interacțiunii la 15 minute și a urmărit 396 de jocuri.
Rezultatele empirice ale studiului au arătat că provocarea cu personalitate îmbunătățește semnificativ indistinguibilitatea mașinilor. În încercările de 5 minute, GPT-4.5-PERSONA a obținut o rată de câștig combinată de 73% (69.2% pentru studenți și 75.5% pentru Prolific), ceea ce a depășit semnificativ participanții umani (P < 0.001). LLAMA-PERSONA a atins o rată totală de câștig de 56%, 45.4% pentru studenți și 64.7% pentru Prolific, care nu au fost statistic diferite de cele ale participanților umani (P = 0.50).
Pe de altă parte, rezultatele au arătat că, fără prompturi de personalitate, performanța modelului a scăzut semnificativ: GPT-4.5-NO-PERSONA și LLAMA-NO-PERSONA au avut rate de câștig de 36% și, respectiv, 38%, situându-se sub șansă în rândul studenților (P > 0.14), sugerând că aceste modele ar putea induce în eroare diverse grupuri de participanți și că rezultatele nu au fost influențate de un set de date derivat de interogator.
Acest studiu reprezintă prima dovezi robuste, replicate statistic, că LLM-urile moderne pot trece un test Turing standard cu trei participanți atunci când sunt configurate cu un prompt specific de personalitate umană. Analiza categorică a raționamentului interogatorilor a relevat că procesele de validare umană se concentrează în mare măsură pe stilul lingvistic (27%) și pe dinamica interacțiunii (23%), mai degrabă decât pe capacitatea de raționament logic sau matematic.
Aceste descoperiri sugerează că inteligența socială este din ce în ce mai percepută ca un diferențiator cheie al identității umane. Mai mult, rezultatele ridică îngrijorări cu privire la riscurile sociale și economice potențiale asociate cu utilizarea „oamenilor falsi” capabili de interacțiuni automate înșelătoare. Cercetările viitoare ar trebui să evalueze dacă experții specializați în AI pot îmbunătăți acuratețea discriminativă a oamenilor pe termen lung.
