Un model AI depășește medicii în teste de raționament clinic
Un nou studiu arată că inteligența artificială poate egala sau depăși medicii în sarcini de diagnosticare complexe.
Un studiu recent publicat în revista Science a evaluat performanța modelului OpenAI o1, un model de limbaj de mari dimensiuni, comparativ cu sute de medici, pentru a testa raționamentul clinic în sarcini complexe. Studiul a inclus achiziția de date din cinci benchmark-uri experimentale și un studiu realizat într-o unitate de urgență, incluzând „puzzle-uri medicale” de standard de aur și scenarii din camerele de urgență.
Rezultatele studiului au arătat că modelul de inteligență artificială a depășit în general mediile de referință ale medicilor umani în multiple sarcini, sugerând că modelele avansate ar putea fi acum capabile să depășească multe teste de referință stabilite în ceea ce privește raționamentul clinic. Acest studiu sugerează că, în viitorul apropiat, AI ar putea trece dincolo de recuperarea informațiilor pentru a oferi opinii clinice sofisticate și de încredere.
Înregistrările vechi arată că, încă din anii 1950, comunitatea medicală a căutat sisteme computaționale capabile de logica nuanțată necesară pentru a diagnostica boli complexe. De peste 65 de ani, pe măsură ce aceste sisteme erau dezvoltate, seria de conferințe clinicopatologice (CPC) din New England Journal of Medicine (NEJM), care include puzzle-uri medicale complexe din viața reală, a servit drept test suprem.
Avansul în era modernă a inteligenței artificiale a promis noi generații de sisteme computaționale capabile de raționament clinic. Recenziile pe această temă au arătat că încercările timpurii de AI s-au bazat pe reguli simbolice rigide care s-au confruntat cu realitatea „murdară” a îngrijirii pacienților.
În timp ce generațiile anterioare de LLM-uri, sisteme de AI antrenate pe cantități masive de text pentru a prezice și genera limbaj uman, au arătat promisiuni, adesea le lipsea o bază de comparație la nivel uman. Cu toate acestea, pe măsură ce modelele noi de LLM încep să demonstreze „saturarea benchmark-ului”, cercetătorii urmăresc acum să determine dacă acestea pot raționa cu adevărat prin incertitudinea clinică sau pur și simplu se limitează la regurgitarea de fapte memorate.
Studiul actual a avut ca scop investigarea dacă cea mai recentă generație de modele AI (în special modelul o1-preview de la OpenAI) ar putea egala sau depăși performanța experților umani în cadrul unor provocări distincte de diagnosticare și management clinic. Mediile de testare metodologic diverse au inclus puzzle-uri tradiționale care au folosit date medicale din 143 de cazuri (NEJM CPC), evaluând acuratețea diagnosticului.
În mod similar, au fost folosite 20 de întâlniri din curriculumul NEJM Healer – o platformă digitală pentru evaluarea logicii clinice – pentru a evalua procesul de raționare al modelului. Performanța în lumea reală a fost măsurată într-un studiu realizat în Boston, în care modelul o1 a fost testat împotriva a doi medici experți, folosind 76 de dosare de pacienți nestructurate colectate direct dintr-o unitate de urgență academică majoră.
Este demn de menționat că performanța modelului a fost comparată cu cea a unor seturi de date care includeau sute de practicieni, inclusiv rezidenți (medici în formare) și medici experți (medici seniori). Analiza statistică a inclus scala Bond pentru a măsura acuratețea diagnosticului și scorul R-IDEA (Revised-IDEA), o scală validată de 10 puncte pentru evaluarea cât de bine documentează un clinician raționamentul clinic.
Analizele statistice ale datelor din evaluarea NEJM au relevat constatări consistente: AI a depășit în mod repetat mediile umane. De exemplu, în provocările NEJM CPC, modelul o1-preview a inclus diagnosticul corect în lista sa de 78,3% din cazuri. Când a fost comparat specific pe aceleași 70 de cazuri incluse în setul de date de antrenament, o1-preview a realizat o acuratețe de 88,6%, semnificativ mai mare decât GPT-4, care a avut o acuratețe de 72,9% (P = 0,015).
Raționamentul managerial al AI – capacitatea de a decide asupra următorului pas pentru un pacient – s-a dovedit a fi deosebit de impresionant. Pe un set de cinci vigneturi complexe, o1-preview a obținut un scor median de 89%. În contrast, medicii care au folosit resurse convenționale, cum ar fi motoarele de căutare și bazele de date medicale, au obținut un scor median de doar 34% (P < 0,001).
În experimentul din unitatea de urgență, diferența dintre modelul AI o1 și competitorii săi umani a fost cea mai pronunțată în etapa de „triere inițială”. Această etapă este considerată clinic ca un moment cu mize mari, deoarece are loc atunci când un pacient sosește, informațiile sunt rare, iar deciziile rapide sunt vitale.
Aici, modelul o1 a identificat diagnosticul corect în 67,1% din cazuri, în timp ce cei doi medici experți au realizat 55,3% și, respectiv, 50,0%. În plus, în cazurile NEJM Healer, AI a obținut un scor R-IDEA perfect în 78 din 80 de cazuri, depășind atât rezidenții, cât și medicii experți (P < 0,0001).
Cu toate acestea, nu toate comparațiile au arătat îmbunătățiri statistice semnificative, iar în unele sarcini, performanța a fost comparabilă cu modelele anterioare sau cu cea a medicilor. Autorii au observat, de asemenea, că atât performanța umană, cât și cea a AI s-au îmbunătățit pe măsură ce mai multe informații clinice au devenit disponibile și că rezultatele modelului au continuat să prezinte incertitudine.
Studiul de față este probabil primul care concluzionează că LLM-urile au atins acum un nivel de avansare computațională și de raționament care le permite să ofere suport diagnostic de înalt nivel în sarcini de referință.
Cu toate acestea, autorii notează limitări importante: studiul s-a concentrat pe intrări doar textuale, în vreme ce medicina reală este „multimodală”, implicând indicii vizuale, examene fizice și vocea pacientului. În plus, testele s-au concentrat pe medicina internă și de urgență, care nu sunt generalizabile sau indicative pentru performanța modelului în domenii precum chirurgia. Autorii subliniază, de asemenea, că unele evaluări se bazează pe cazuri curate sau educaționale, ceea ce ar putea supraestima performanța comparativ cu fluxurile de lucru clinice din viața reală.
În ciuda acestor observații, cercetătorii argumentează că îmbunătățirea rapidă a acestor instrumente subliniază necesitatea urgentă de a desfășura studii clinice prospective pentru a testa aplicabilitatea lor clinică în setările de îngrijire a pacienților din viața reală și pentru a înțelege mai bine modul în care clinicianii și sistemele AI ar putea colabora.
