Modelele de inteligență artificială răspund la întrebări despre vaccinuri, dar ezită la regulile clinice
Cercetările recente arată că modelele de inteligență artificială (IA) de vârf pot răspunde la multe întrebări legate de vaccinuri, dar erorile lor în privința programelor de vaccinare, contraindicațiilor și eligibilității subliniază importanța supravegherii medicale.
Un studiu recent publicat în npj Vaccines a evaluat cât de precis răspund modelele de limbaj mare (LLMs) la întrebările legate de vaccinuri, acoperind diverse vaccinuri, limbi și strategii de formulare a întrebărilor.
În contextul utilizării din ce în ce mai frecvente a instrumentelor digitale, inclusiv chatbot-urilor de inteligență artificială, pentru a căuta informații despre sănătate, mulți oameni pun LLM-urilor întrebări despre vaccinuri, de la preocupări legate de siguranță până la programele de vaccinare. Totuși, răspunsurile greșite în acest domeniu ar putea influența deciziile de sănătate și încrederea publicului.
Vaccinurile sunt una dintre cele mai eficiente intervenții de sănătate publică, dar ezitarea față de vaccinare reprezintă o provocare tot mai mare pentru eforturile globale de imunizare. Astfel, este esențial să se stabilească dacă IA poate oferi informații corecte și la timp despre vaccinuri, depășind barierele lingvistice.
În cadrul studiului, cercetătorii au dezvoltat un benchmark multilingv pentru cunoștințele despre vaccinuri, VaxEval, pentru a evalua performanța LLM-urilor contemporane. Acest benchmark a inclus 1.886 de întrebări cu opțiuni multiple referitoare la 14 vaccinuri și trei limbi ale Națiunilor Unite: engleză, spaniolă și chineză. Subiectele acoperite de aceste întrebări includ programele de vaccinare, eficacitatea, siguranța, efectele adverse, demontarea miturilor, accesul și prevenția bolilor.
Datele pentru întrebări au fost extrase din organizații de sănătate de renume, precum Organizația Mondială a Sănătății (OMS), Centrele pentru Controlul și Prevenirea Bolilor (CDC), Fondul Națiunilor Unite pentru Copii (UNICEF), Africa CDC, Asociația Medicală Americană (AMA) și Immunize.org. Materiale suplimentare au fost obținute din literatura științifică revizuită. Toate întrebările au fost supuse unor verificări extinse de calitate, iar răspunsurile au fost verificate în raport cu surse științifice de încredere.
Cercetătorii au evaluat 13 LLM-uri, inclusiv Generative Pre-trained Transformer (GPT)-4.5, GPT-4o, GPT-4, GPT-3.5-Turbo, Claude 3 Opus, Gemini 1.5 Pro, Llama-4 Maverick, DeepSeek-V3, Grok-3, Qwen 2.5, General Language Model 4 (GLM-4), Reka Core și Yi-Lightning. Modelele au folosit trei metode de formulare: zero-shot, few-shot și chain-of-thought.
Răspunsurile modelelor au fost evaluate în funcție de capacitatea de a furniza opțiunea corectă. Ulterior, s-a realizat o analiză statistică, inclusiv regresie logistică cu efecte mixte, pentru a identifica caracteristicile răspunsurilor corecte și greșite și pentru a compara performanța modelelor în funcție de limbi, tipuri de vaccinuri și grupuri de modele.
Benchmark-ul a inclus 1.340 de întrebări în engleză, 250 în spaniolă și 296 în chineză. Acuratețea medie a tuturor modelelor a fost de 86,0% pentru engleză, 83,7% pentru spaniolă și 80,0% pentru chineză. Acest lucru sugerează că LLM-urile au cunoștințe considerabile despre vaccinuri în cele trei limbi, deși performanța variază în funcție de limbă.
Între sistemele evaluate, GPT-4o a obținut cea mai mare acuratețe globală, de 90,3%, urmat îndeaproape de Llama-4 Maverick cu 90,2% și DeepSeek-V3 cu 89,6%. În ansamblu, modelele de vârf mai noi au depășit modelele din generațiile anterioare.
Analiza statistică a arătat că modelele de vârf au avut șanse de 57% mai mari de a oferi răspunsuri corecte comparativ cu sistemele mai vechi, deși GPT-4o, clasificat ca un model mai vechi în acest studiu, a obținut în continuare cea mai mare acuratețe generală.
Tipul de formulare a fost, de asemenea, un factor în performanța modelului. Formulările few-shot au dat cele mai bune rezultate, crescând probabilitatea de răspunsuri corecte cu 17% în comparație cu formulările zero-shot. Utilizarea formulărilor chain-of-thought a avut un efect contrar așteptărilor; acestea au fost asociate cu șanse de 21% mai mici de corectitudine a răspunsurilor comparativ cu formulările zero-shot. Aceasta sugerează că încurajarea modelelor să genereze raționamente pas cu pas nu îmbunătățește întotdeauna acuratețea factuală în sarcinile structurate legate de vaccinuri.
Performanța a variat considerabil în funcție de tipurile de vaccinuri. Cele mai mari rate de acuratețe au fost observate pentru vaccinurile împotriva gripei (90,5%), hepatitei A (89,5%), virusului papiloma uman (HPV) (88,4%) și vaccinurile împotriva bolii coronavirus 2019 (COVID-19) (85,3%). Vaccinurile pentru virusul sincitial respirator (RSV) (80,6%), boala meningococică (81,7%), boala pneumococică (77,7%) și dengue (76,4%) s-au numărat printre categoriile de vaccinuri cu performanțe mai scăzute. Aceste descoperiri indică faptul că modelele au avut rezultate mai bune pentru vaccinurile discutate pe larg, care sunt intens promovate în comunicarea de sănătate publică.
Modelele au atins cea mai mare acuratețe pentru întrebările legate de concepții greșite și corecturi (93,0%), întrebările legate de prevenire (90,0%) și sistemele de reglementare sau monitorizare (87,2%). Performanța mai scăzută a fost observată pentru tipurile de vaccinuri și informațiile de bază (82,5%), eficacitate și beneficii (86,3%), cost și accesibilitate (82,6%) și întrebările legate de dozare sau recomandări (82,5%).
Analizele lingvistice au arătat că întrebările în spaniolă și chineză erau mai puțin susceptibile de a primi răspunsuri corecte decât cele în engleză. O analiză suplimentară a întrebărilor multilingve semantic aliniate a arătat că multe dintre aceste diferențe erau legate de variațiile în compoziția setului de date, mai degrabă decât de un bias lingvistic inerent.
Autorii au remarcat, de asemenea, că seturile de date în spaniolă și chineză au fost construite independent și nu au fost traduceri directe ale întrebărilor în engleză, ceea ce ar putea fi un factor care a contribuit la diferențele în dificultatea itemelor, distribuția subiectului și compoziția surselor.
Analiza erorilor a evidențiat slăbiciunile modelelor: aproape jumătate dintr-un set de 150 de răspunsuri greșite proveneau din generalizări excesive, în care modelele ofereau afirmații generale fără a lua în considerare cerințele specifice pentru vaccinuri.
Printre celelal
