Un studiu evidențiază cum răspunsurile greșite ale AI cresc sarcinile medicilor
Inteligența artificială se răspândește rapid în domeniul sănătății, având ca scop eficientizarea sarcinilor administrative esențiale, precum notarea și documentarea, pentru ca medicii și asistenții să poată dedica mai mult timp pacienților.
Cu toate acestea, chiar și atunci când AI poate elibera medicii pentru a comunica cu pacienții, aceasta poate introduce erori și detalii suplimentare în mesajele lor, conform unui nou studiu realizat de Dartmouth, prezentat la întâlnirea anuală din 2026 a Asociației pentru Lingvistică Computațională și publicat în lucrările conferinței.
Conform cercetătorilor, rezultatul este că medicii pot petrece mai mult timp editând răspunsurile decât ar fi durat să le scrie de la zero.
„Constatăm că AI poate suna ca un medic, dar nu gândește ca unul”, afirmă Sarah Preum, profesor asistent de informatică și coautor al studiului, alături de Parker Seegmiller, cercetător absolvent în PersistLab de la Dartmouth.
Cercetătorii au realizat primul studiu de amploare asupra unui portal online pentru pacienți care utilizează AI pentru a redacta răspunsuri din partea medicilor către pacienți. Echipa a dezvoltat un instrument care compară răspunsurile generate de AI cu un set de date de răspunsuri reale obținute de la profesioniști din domeniul sănătății de la Dartmouth Health.
Ei au analizat 146.000 de conversații între 10.105 pacienți și medicii lor de familie dintr-un mare sistem de sănătate rural. Studiul a fost aprobat de Comitetul de Etică Instituțional al Dartmouth Health, iar echipa a utilizat metodele necesare pentru a proteja confidențialitatea pacienților, inclusiv prin anonimizarea datelor, după cum era nevoie.
Echipa a folosit, de asemenea, instrumentul său pentru a evalua răspunsurile medicilor redactate de Claude, Gemini și ChatGPT, precum și de cele trei platforme comerciale mai mici, Llama, Aloe și Qwen.
Rezultatele studiului arată că răspunsurile generate de AI se aliniază adesea greșit cu ceea ce ar scrie în realitate clinicienii. Acestea includ răspunsuri automate prea lungi, care nu pun întrebări suplimentare și care conțin detalii medicale irelevante sau inexacte.
„Există studii mai mici care afirmă că ‘AI este uimitor’, dar ne-am dat seama că există o lacună în literatura existentă privind o evaluare de amploare a acestei tehnologii,” spune Preum. „Nu am dorit doar să măsurăm acuratețea unei platforme, ci și dacă aceasta ajută cu adevărat la reducerea sarcinilor de lucru, ceea ce în acest caz este măsurat prin cât de mult editează medicul.”
De exemplu, AI-ul portalului a sugerat să îi spună unei femei de 32 de ani, care lua un medicament pentru reflux acid și era îngrijorată de o senzație constantă de greață, că medicamentul ar putea necesita ajustări în dietă. Un medic a înlocuit acest răspuns cu întrebarea dacă există vreo șansă să fie însărcinată.
Chiar și mici modificări pot avea un impact semnificativ asupra sutelor sau miilor de mesaje, explică Preum. „Nu vrei să integrezi modele de limbaj mari în fluxul de lucru și să schimbi doar blocajul, astfel încât medicii să își dedice energia cognitivă pentru a corecta greșelile AI-ului,” adaugă aceasta. „Dar dacă nu suntem atenți, acesta este un rezultat foarte probabil.”
Cu toate acestea, cercetătorii arată că adaptarea AI-ului la modul în care comunică medicii individuali poate îmbunătăți acuratețea cu 33% și reduce editarea cu 26%.
„Dacă generarea mesajelor este cu adevărat eficientă și de înaltă calitate, dacă pune întrebările corecte, atunci are un potențial real de a îmbunătăți eficiența,” spune coautorul Tim Burdick, profesor asociat de medicină comunitară și de familie la Școala de Medicină Geisel din Dartmouth și medic de familie la Dartmouth Health.
„Nu prevăd un moment în care portalul poate răspunde unui pacient fără ca un clinician să editeze mai întâi. Dar pe măsură ce îmbunătățim modelele, vom putea răspunde mai repede la mesajele din portal și cu mai puțin efort mental,” mai adaugă Burdick.
Studiul arată că există răspunsuri „bune” generate de AI și oferă un cadru pentru implementarea acestora în portalurile pentru pacienți și medici, spune Preum. Aceste platforme sunt din ce în ce mai comune în rândul sistemelor mari de sănătate și adesea sunt personalizate, subliniază aceasta.
„A durat mult timp să ne dăm seama, dar dacă încerci să măsori cât de eficientă este această tehnologie, trebuie să definești ce înseamnă un răspuns bun,” afirmă Preum. „Putem îmbunătăți doar ceea ce putem măsura și evalua obiectiv.”
Cercetătorii au creat o tehnică numită TADPOLE – Thematic Agentic Direct Preference Optimization for Learning Enhancement – care antrenează platformele AI folosind modelul hibrid pe care l-au construit pe baza răspunsurilor generate de medici și AI.
Au integrat TADPOLE în cele șase LLM-uri comerciale și au descoperit că răspunsurile redactate s-au aliniat mai bine cu standardele medicilor pentru precizie și calitate a informației. „Asta ar putea economisi unui clinician ocupat o oră sau două de muncă pe zi,” spune Burdick.
Medicii și asistenții sunt în prezent copleșiți de mesajele pacienților și îngrijitorilor care le pot scrie online în orice moment, subliniază acesta. Un proiect în desfășurare între Burdick și Preum Lab, numit PortalPal, își propune să eficientizeze portalurile pentru pacienți folosind AI, inclusiv prin automatizarea unor pași în urmărirea pacienților pentru a obține mai multe informații.
„Încă nu suntem aproape de punctul în care clinicienii să fie eliminați din fluxul de lucru,” afirmă Burdick, coautor și profesor asociat de medicină comunitară și de familie.
Medicii cu care colaborează Burdick afirmă că schițele generate de AI le economisesc aproximativ 25% din timp pentru mesajele mai scurte. „Este mai ușor să faci mici modificări la un mesaj generat de LLM decât să îl scrii de la zero,” spune acesta. Totuși, schițele mai lungi pot conține informații incorecte sau inexacte.
„Dacă trebuie să editezi 75% din mesaj, s-ar putea să cheltuiești mai mult timp și energie pentru a face modificări decât dacă ai scrie direct,” afirmă Burdick. „Aș ghici că trebuie să ajungem la un punct în care medicul editează mai puțin de 30% din conținut pentru a avea un beneficiu substanțial.”
Un avantaj al verbiajului AI este că acesta tinde să fie mai empatic și mai detaliat decât medicii presați de timp, constată cercetătorii. De exemplu, AI este mai probabil să spună unui pacient care suferă de o stare de rău că îi pare rău că se simte rău.
Aceasta înseamnă că AI ar putea fi folosit pentru a ajuta la „îndrumarea” medicilor să manifeste mai multă înțelegere și grijă față de situația pacientului sau să răspundă mai eficient întrebărilor pacienților, astfel încât aceștia să se simtă mai asc
