AI medical autonom depășește medicii în cazuri simulate de EHR
Un nou studiu arată cum MIRA a transformat raționamentul clinic în acțiuni structurate în EHR, depășind medicii în cazuri simulate de urgență, subliniind totodată măsurile de siguranță necesare înainte ca AI autonom să ajungă în îngrijirea reală.
MIRA este un agent medical autonom bazat pe AI, care funcționează într-un mediu EHR sandbox, utilizând un set de instrumente pentru a simula fluxurile de lucru clinice: poate solicita teste, sintetiza rezultate și produce diagnostice și planuri de tratament, interacționând prin chat cu un agent AI pacient, bazat pe istoricul documentat HPI extras din notele retrospective ale cazurilor reale. La stânga, o conversație exemplară între pacient și MIRA cu apeluri intercalate de instrumente. La dreapta, arhitectura bazată pe FHIR care execută apelurile de instrumente și înregistrează rezultatele medicale. Notă: datele prezentate aici sunt scurtate și ușor modificate pentru a respecta restricțiile de confidențialitate ale setului de date.
Într-un studiu recent publicat în revista Nature, cercetătorii au introdus MIRA, un agent autonom de inteligență artificială (AI) construit pentru a opera în medii EHR sandboxed. Spre deosebire de implementările anterioare, care constau în principal din aplicații de chat specifice sarcinilor, MIRA a fost proiectat să înghită independent istorii ale pacienților, să solicite teste diagnostice relevante și să utilizeze aceste seturi de date pentru a formula diagnostice și planuri de tratament într-o simulare controlată.
Studiul a arătat că, în cadrul a 574 de cazuri MIMIC-IV, MIRA a atins o acuratețe diagnostică de 88,9%, în timp ce, într-o comparație cu 311 cazuri de medici, a obținut o acuratețe de 87,8%, depășind semnificativ medicii umani experimentați în condiții simulate identice, având o performanță puternică, deși nu perfectă, în ceea ce privește siguranța și respectarea ghidurilor.
Modelele mari de limbaj (LLMs) s-au dovedit deja extrem de capabile în trecerea examenelor medicale standardizate și în răspunsul la întrebări clinice complexe. Totuși, recenziile relevă că transformarea acestei cunoștințe clinice brute în fluxul de lucru operațional al unui spital a rămas o provocare majoră.
Această discrepanță este atribuită designului arhitectural al instrumentelor medicale AI tradiționale, care acționează ca utilitare narrow, specifice sarcinilor, mai degrabă decât ca parteneri activi în îngrijire. În contrast, adevăratul proces de luare a deciziilor clinice este caracterizat ca un proces complex, în mai multe etape, în care medicii intervievează pacienții în mod repetat, solicită analize de sânge sau imagistică, sintetizează rezultate contradictorii și își actualizează ipotezele înainte de a ajunge la un plan final de tratament.
Mai mult, aproape toată această activitate clinică se desfășoară în cadrul sistemelor de înregistrare electronică a sănătății (EHR), care se bazează pe protocoale de codificare complexe și standardizate. Până acum, nu a fost demonstrat dacă un sistem automatizat ar putea gestiona în mod fiabil acest spațiu de acțiune clinică de la cap la coadă într-un mediu de tip EHR realist, fără erori inacceptabile.
Studiul de față a avut ca scop abordarea acestei lacune funcționale prin dezvoltarea MIRA, un nou instrument AI conceput pentru a înghiți și accesa în mod autonom registrele medicale ale pacienților, a identifica lacunele de cunoștințe și a solicita teste diagnostice pentru a completa registrele EHR, apoi a utiliza setul de date complet pentru a recomanda intervenții clinice. Studiul a testat ulterior capabilitățile MIRA într-un mediu EHR virtual sandboxed, conform protocoalelor standard de sănătate, inclusiv HL7 FHIR (FHIR). Testul sandboxed a fost realizat pe un set de date de benchmarking curat, constând în 574 de cazuri din lumea reală din departamentele de urgență, extrase din baza de date Medical Information Mart for Intensive Care (MIMIC-IV).
Cazurile incluse au cuprins opt diagnostice distincte din chirurgie (apendicită), medicină internă (pneumonie) și oncologie (cancer pancreatic), pe care MIRA le-a navigat utilizând 11 instrumente digitale specializate cu mai mult de 85.000 de alegeri operaționale. Instrumentul a avut permisiunea de a solicita examinări fizice, a comanda valori de laborator țintite, a consulta istorii medicale și a genera ordine de medicație în cadrul EHR simulate, nu în îngrijirea pacienților reali.
Rezultatele obținute de MIRA au fost comparate cu cele ale două grupuri distincte de medici care gestionau aceleași cazuri în condiții identice. Grupele umane au fost formate din: 1. Un grup de patru medici certificați, și 2. O echipă mixtă de senioritate compusă din patru rezidenți și doi medici certificați. În plus, un agent AI text-based convențional a fost folosit pentru a simula pacienții sub îngrijirea lui MIRA (sau a echipelor de medici umani). Acest agent a fost instruit să răspundă la întrebările adresate de MIRA sau de omologii săi umani exclusiv pe baza istoriilor clinice autentice, rezistând încercărilor de a-l determina să dezvăluie prematur informații. Autorii au remarcat, totuși, că discursul pacientului simulat poate fi mai structurat decât conversațiile reale din departamentele de urgență.
Rezultatele studiului au arătat că MIRA a performat la același nivel sau mai bine decât medicii umani experimentați. MIRA a obținut o acuratețe diagnostică de 88,9% pe întreaga bază de date de 574 de cazuri și 87,8% în comparația cu cele 311 cazuri de medici. Comparativ, medicii certificați au atins o acuratețe medie de 78,1% (p < 0,001), în timp ce cohorta mixtă de medici a atins o medie de 71,1% (p < 0,001).
În plus, MIRA s-a dovedit a excela în identificarea apendicitei și pancreatitei, obținând un recall perfect de 100% pentru apendectomiile laparoscopice. Pentru cancerul pancreatic, performanța sa diagnostică a fost echivalentă cu cea a medicilor certificați, în timp ce pneumonia și infecțiile tractului urinar au fost mai provocatoare. Este demn de menționat că MIRA nu a obținut această acuratețe superioară doar prin „comandarea tuturor” testelor. Deși a fost observat că a solicitat un set mai larg și mai cuprinzător de parametrii individuali de sânge decât medicii umani, selecția sa totală de teste a rămas bine sub liniile de bază istorice ale setului de date.
Rezultatele studiului au demonstrat că modelul AI a evitat în mod reușit supra-comandarea imaginilor radiologice costisitoare, egalând sau depășind medicii în ceea ce privește metricile generale de aliniere a resurselor. Evaluările de siguranță au fost, de asemenea, încurajatoare, dar încă preliminare. O revizuire medicală independentă și orbească a 56 de rezultate la nivel de pacient și o evaluare separată a 468 de prescripții scrise de MIRA au stabilit că agentul nu a cauzat interacțiuni medicamentoase severe, incompatibilități de dozare renală sau incompatibilități între medicamente și alergii. Specificarea rutei a fost cel mai slab domeniu al prescripției
