Testul AI pentru cancer mamar: Niciun chatbot nu se dovedește superior pe toate criteriile
O comparație directă între cinci modele de limbaj de mari dimensiuni (LLMs) a evaluat modul în care acestea răspund la întrebări legate de cancerul mamar, trecând de la cunoștințele din manuale la cazuri clinice și preocupările cotidiene ale pacienților.
Un studiu recent, publicat ca „Articol în presă” în jurnalul Scientific Reports, a realizat o comparație transversală pentru a evalua performanța modelelor moderne de limbaj în furnizarea de informații despre sănătatea cancerului mamar. Studiul a testat ChatGPT-5.2, ChatGPT-4o, Gemini 3.0, DeepSeek și ERNIE Bot folosind 90 de întrebări cu răspunsuri multiple, 10 cazuri clinice de-identificate și răspunsuri la 20 de preocupări comune ale pacienților.
Investigațiile studiului au relevat că, deși toate cele cinci modele au demonstrat o acuratețe ridicată pe întrebările standardizate referitoare la cancerul mamar, cuprinse între 82,22% și 94,44%, acestea au variat în complexitatea lingvistică și în măsurile de calitate evaluate de experți.
Experții umani au acordat cele mai mari scoruri de completitudine pentru ChatGPT-5.2 și DeepSeek, în timp ce Gemini 3.0 a primit cel mai ridicat scor de lizibilitate. DeepSeek a generat, de asemenea, cel mai scăzut scor de dificultate de lectură în evaluarea automată a textului în limba chineză.
Studiul a concluzionat că niciun model nu poate fi considerat „cel mai bun” în răspunsul la întrebările legate de cancerul mamar și a recomandat evaluarea LLM-urilor pe baza mai multor măsuri, cu studii viitoare care să integreze evaluări bazate pe pacienți și setări clinice reale.
Estimările globale pentru 2020 indică faptul că aproximativ 685.000 de femei au murit din cauza cancerului mamar, reprezentând aproximativ 16% din decesele cauzate de cancer în rândul femeilor la nivel mondial, subliniind astfel povara globală de sănătate a acestei boli. Deși progresele în diagnosticarea și tratarea cancerului mamar au îmbunătățit supraviețuirea, schimbările fizice postoperatorii și efectele secundare ale chimioterapiei și radioterapiei pot contribui la suferința psihologică, care poate include oboseală, anxietate și depresie.
Pacienții cu cancer mamar caută din ce în ce mai mult informații suplimentare despre condiția lor, tratament, recuperare și preocupări psihologice, având nevoie de informații credibile și ușor de înțeles pentru a-și asuma un rol mai activ în îngrijirea zilnică și în deciziile clinice.
În timp ce modelele moderne de limbaj conversațional pot genera conținut personalizat de sănătate, acuratețea, completitudinea, utilitatea, siguranța, lizibilitatea și complexitatea lingvistică rămân domenii de studiu activ în contextul suportului informațional pentru cancerul mamar.
Studiul de față a avut ca obiectiv furnizarea unei referințe pentru evaluarea utilizării LLM-urilor în informațiile de sănătate legate de cancerul mamar prin compararea sistematică a celor cinci modele selectate. Aceste modele au fost evaluate prin intermediul interfețelor lor web oficiale, utilizând setările implicite între 15 decembrie 2025 și 15 ianuarie 2026. Toate întrebările au fost introduse în limba chineză simplificată.
Studiul a evaluat performanța LLM-urilor în trei sarcini principale. În primul rând, cunoștințele standardizate au fost evaluate folosind 90 de întrebări cu răspunsuri multiple din manuale și ghiduri clinice. În continuare, a fost realizată o analiză a cazurilor clinice, în care LLM-urile au primit 10 cazuri de pacienți de-identificate din cinci domenii clinice (diagnostic, tratament, îngrijire postoperatorie, suport psihosocial și evaluarea prognosticului și reabilitării). În cele din urmă, studiul a evaluat răspunsurile LLM-urilor la preocupările pacienților, analizând 20 de întrebări clinice comune repetate în trei sesiuni pentru a măsura consistența și stabilitatea rezultatelor.
Dificultatea de lectură a textului generat de LLM-uri în limba chineză a fost cuantificată obiectiv utilizând Platforma de Evaluare a Textului de la Universitatea Ludong (LDU-TGP).
Trei specialiști în cancerul mamar („experți umani”) au evaluat în mod independent și orbește răspunsurile LLM-urilor pentru completitudine, corectitudine, lizibilitate, utilitate și siguranță, folosind o scară Likert de 5 puncte. Analizele statistice au comparat acuratețea modelului și evaluările experților. Acordul între cei trei evaluatori a fost în general slab, astfel că evaluările individuale au fost păstrate separat în analiză, în loc să fie mediate.
Evaluările cunoștințelor standardizate ale studiului au arătat că toate modelele au performat cu un grad înalt de acuratețe medicală. DeepSeek a obținut cea mai mare acuratețe numerică (94,44%; 85 din 90 corecte), urmat de ChatGPT-5.2 și ERNIE Bot cu 88,89% (80 din 90 corecte), Gemini 3.0 cu 87,78% (79 din 90 corecte) și ChatGPT-4o cu 82,22% (74 din 90 corecte).
Deși modelele au variat în ceea ce privește performanța cunoștințelor standardizate, comparările ajustate nu au relevat o diferență statistic semnificativă între niciunul dintre modelele comparate. Astfel, rezultatele nu au stabilit că modelele sunt echivalente.
Evaluările LDU-TGP au demonstrat că LLM-urile au variat semnificativ în funcție de complexitatea lecturii răspunsurilor lor. ChatGPT-5.2 a fost găsit a produce cele mai complexe texte (media = 21,22; un număr mai mare este mai rău), în timp ce DeepSeek a generat cele mai puțin dificile din punct de vedere lingvistic și cele mai consistente texte în limba chineză pentru analiza cazurilor, conform acestei măsuri automate (media = 13,15).
Scorurile evaluate de experți au variat în funcție de model în toate cele cinci dimensiuni: completitudine, corectitudine, lizibilitate, utilitate și siguranță. ChatGPT-5.2 a obținut cel mai mare scor de completitudine (media = 4,350 din 5,0), în timp ce Gemini 3.0 (media = 4,108) și DeepSeek (media = 4,075) au condus în dimensiunile lizibilitate și siguranță, respectiv. ERNIE Bot a primit cele mai scăzute scoruri medii estimate în toate cele cinci dimensiuni evaluate de experți, inclusiv completitudine (media = 3,583 din 5,0).
Studiul sugerează că cele cinci LLM-uri testate au performat similar în general pe cunoștințele standardizate legate de cancerul mamar, dar au variat în complexitatea lingvistică și calitatea răspunsurilor evaluate de experți. De exemplu, în timp ce ChatGPT-5.2 și DeepSeek au obținut scoruri mai mari pentru completitudine, Gemini 3.0 a obținut cel mai înalt scor de lizibilitate evaluat de experți. Studiul nu a testat înțelegerea pacienților sau siguranța și eficacitatea acestor modele în luarea deciziilor clinice directe. Toate cele 10 cazuri clinice provin de la un singur spital, ceea ce poate limita
