Chatboturile populare oferă adesea informații medicale inexacte și incomplete
O mare parte din informațiile medicale furnizate de cinci chatboturi populare sunt inexacte și incomplete, iar jumătate dintre răspunsurile la întrebări clare, bazate pe dovezi, sunt „însă” sau „foarte” problematice, arată rezultatele unui studiu publicat în revista de acces deschis BMJ Open.
Cercetătorii avertizează că utilizarea continuă a acestor chatboturi, fără educație publică și supraveghere, riscă să amplifice dezinformarea.
Chatboturile bazate pe inteligența artificială generativă au fost adoptate rapid în domenii precum cercetarea, educația, afacerile, marketingul și medicina, mulți utilizatori apelând la ele ca la motoare de căutare pentru întrebări de sănătate și medicale de zi cu zi, explică cercetătorii.
Pentru a evalua nivelul de acuratețe în domeniile sănătății și medicinei, deja predispuse la dezinformare și cu consecințe asupra comportamentului sănătos, cercetătorii au analizat cinci chatboturi generative AI disponibile public în februarie 2025: Gemini (Google), DeepSeek (High-Flyer), Meta AI (Meta), ChatGPT (OpenAI) și Grok (xAI).
Fiecare chatbot a fost întrebat cu 10 întrebări deschise și închise din cinci categorii: cancer, vaccinuri, celule stem, nutriție și performanță atletică. Întrebările au fost concepute să semene cu cereri comune de informații în sănătate și medicină, precum și cu tropi de dezinformare întâlniți online și în discursul academic.
De asemenea, acestea au fost dezvoltate pentru a „stresa” modelele în fața dezinformării sau a sfaturilor contraindicate – o strategie folosită din ce în ce mai mult pentru testarea AI-ului și identificarea vulnerabilităților comportamentale, notează cercetătorii.
Întrebările închise impuneau chatboturilor să ofere răspunsuri predefinite, adesea cu un singur răspuns corect, care să se alinieze consensului științific. Întrebările deschise solicitau, în general, chatboturilor să genereze răspunsuri multiple, sub formă de listă. Răspunsurile au fost catalogate ca fiind non-, oarecum sau foarte problematice, folosind criterii obiective predefinite. Un răspuns problematic era definit ca unul care ar putea direcționa utilizatorii neexperimentați către tratamente potențial ineficiente sau dăunătoare dacă sunt urmate fără îndrumare profesională.
Informația a fost evaluată pentru acuratețe și completitudine, iar o atenție deosebită a fost acordată dacă un chatbot a prezentat un fals echilibru între afirmațiile bazate pe știință și cele neștiințifice, indiferent de forța dovezilor. Fiecare răspuns a fost, de asemenea, evaluat în funcție de lizibilitate, variind de la limbaj simplu, ușor de înțeles, la un limbaj academic, greu de urmărit, utilizând scorul Flesch Reading Ease.
Jumătate (50%) dintre răspunsuri au fost problematice: 30% au fost oarecum problematice, iar 20% au fost foarte problematice.
Tipul de prompt a avut un impact semnificativ: întrebările deschise, de exemplu, au generat 40 de răspunsuri foarte problematice – semnificativ mai multe decât se aștepta – și 51 de răspunsuri non-problematică – semnificativ mai puține decât se anticipa. Invers a fost adevărat pentru întrebările închise.
Deși calitatea răspunsurilor nu a variat semnificativ între cele cinci chatboturi, Grok a generat semnificativ mai multe răspunsuri foarte problematice decât s-ar fi așteptat (29/50; 58%). Gemini a generat cele mai puține răspunsuri foarte problematice și cele mai multe răspunsuri non-problematice.
Chatboturile au performat cel mai bine în domeniile vaccinurilor și cancerului, iar cel mai slab în domeniul celulelor stem, performanței atletice și nutriției.
Răspunsurile au fost exprimate constant cu încredere și certitudine, cu puține rezerve sau avertismente. Dintre cele 250 de întrebări, au existat doar două refuzuri de a răspunde, ambele venind de la Meta AI în răspuns la întrebări despre steroizi anabolizanți și tratamente alternative pentru cancer.
Calitatea referințelor a fost slabă, cu un scor mediu de completitudine de 40%. Halucinațiile chatboturilor și citările fabricate au însemnat că niciun chatbot nu a oferit o listă de referințe complet corectă.
Toți indicatorii de lizibilitate au fost evaluați ca fiind „dificili”, echivalenți ca complexitate cu nivelul potrivit pentru un absolvent de colegiu.
Cercetătorii recunosc că au evaluat doar cinci chatboturi și că AI-ul comercial evoluează rapid, astfel încât rezultatele lor s-ar putea să nu fie aplicabile universal. De asemenea, nu toate întrebările din lumea reală sunt deliberate adversariale, o abordare pe care au adoptat-o și care ar putea exagera prevalența conținutului problematic.
Cu toate acestea, „Descoperirile noastre privind acuratețea științifică, calitatea referințelor și lizibilitatea răspunsurilor subliniază limitările comportamentale importante și nevoia de a reevaluare modul în care chatboturile AI sunt utilizate în comunicarea medicală și de sănătate destinate publicului”, punctează aceștia.
„Prin default, chatboturile nu accesează date în timp real, ci generează rezultate prin inferarea modelelor statistice din datele lor de antrenament și prezicerea secvențelor de cuvinte probabile. Ele nu raționează sau cântăresc dovezile, nici nu sunt capabile să facă judecăți etice sau bazate pe valori”, explică cercetătorii.
„Această limitare comportamentală înseamnă că chatboturile pot reproduce răspunsuri care sună autoritar, dar care pot fi potențial eronate.”
De asemenea, datele pe care chatboturile le utilizează includ forumuri de întrebări și răspunsuri și rețele sociale, iar conținutul științific este, în general, limitat la articolele de acces deschis sau publice, care constituie doar 30-50% din studiile publicate. Deși acest lucru îmbunătățește fluența conversațională, ar putea veni cu costul acurateței științifice, avertizează cercetătorii.
„Pe măsură ce utilizarea chatboturilor AI continuă să se extindă, datele noastre subliniază nevoia de educație publică, formare profesională și supraveghere reglementară pentru a asigura că AI generativ sprijină, mai degrabă decât erodează, sănătatea publică”, conchid cercetătorii.
