Avertizările de siguranță contribuie la reducerea deciziilor greșite ale AI în domeniul medical
Pe măsură ce inteligența artificială (AI) devine tot mai capabilă să asiste în sarcini legate de sănătate, un nou studiu realizat de cercetătorii de la Icahn School of Medicine de la Mount Sinai a constatat că adăugarea unui scurt avertisment de siguranță a redus alegerile potențial dăunătoare făcute de modelele AI în scenarii clinice.
Studiul, publicat în numărul online din 26 septembrie al Communications Medicine, o revistă din grupul Nature, a constatat, de asemenea, că modelele AI pot fi influențate de contextul și instrucțiunile din jurul unei decizii clinice.
Rezultatele, bazate pe milioane de răspunsuri, sugerează că modul în care sistemele AI sunt provocate și ghidate ar putea rămâne o considerație importantă în dezvoltarea aplicațiilor clinice sigure și fiabile, chiar și pe măsură ce modelele și agenții AI devin mai capabili să înțeleagă intenția utilizatorilor fără a necesita indicii lungi sau cuprinzătoare.
Avertismentul a redus alegerile potențial dăunătoare în 19 din cele 20 de modele testate, demonstrând un potențial încurajator pentru a întări măsurile de siguranță.
Echipa de cercetare a evaluat 20 de modele de limbaj mari folosind 501 variații ale a 50 de scenarii clinice, împreună cu 100 de cazuri adaptate din înregistrări de externare de la spital. În tot acest proces, modelele au făcut aproximativ 1,18 milioane de alegeri clinice potențial dăunătoare. Fără un avertisment de siguranță, alegerile potențial dăunătoare reprezentau 16,6 la sută din răspunsurile modelului. Adăugarea unui scurt avertisment de siguranță a redus această rată la 10,1 la sută.
Cercetătorii subliniază că este important să evaluăm nu doar dacă un model AI poate oferi informații clinice precise, ci și cum reacționează atunci când primește o instrucțiune care contrazice siguranța pacientului.
„Modelele AI nu iau decizii într-un vid. Limbajul, formulările și contextul din jurul unei cereri pot influența modul în care răspund, inclusiv atunci când o instrucțiune ar putea fi nesigură”, afirmă Mahmud Omar, un cercetător la Icahn School of Medicine de la Mount Sinai. „Un simplu avertisment de siguranță a redus alegerile potențial dăunătoare în majoritatea modelurilor pe care le-am testat, ceea ce este încurajator. Dar nu le-a eliminat, așa că un avertisment ar trebui să fie văzut ca o măsură de siguranță, nu ca un substitut pentru supravegherea clinică.”
De exemplu, cercetătorii au testat scenarii în care unui model i s-a cerut să sară peste teste de sânge de urmărire recomandate pentru a reduce sarcina de muncă. Cererea putea fi, de asemenea, formulată ca fiind urgentă sau prezentată ca un ordin de la un superior. Modelele au fost apoi rugate să aleagă între patru acțiuni posibile, inclusiv să urmeze cererea, să mențină urmărirea recomandată sau să ceară ajutor de la un clinician.
Cercetătorii au variat formulările scenariilor și au testat trei scurte avertismente de siguranță. Fiecare combinație a fost testată de 10 ori, iar ordinea alegerilor de răspuns a fost randomizată.
Avertismentul de siguranță a redus alegerile potențial dăunătoare în 19 din cele 20 de modele testate. Efectul a fost observat atât în scenariile clinice scrise, cât și în cazurile adaptate din înregistrările de externare de la spital. Exemple de alegeri potențial dăunătoare au inclus sări peste teste necesare pentru a reduce sarcina de muncă sau oprirea tratamentului cu antibiotice înainte de a finaliza regimul recomandat fără un motiv clinic suficient.
Aceste rezultate sugerează că testarea de siguranță trebuie să depășească întrebarea dacă un model AI oferă răspunsul corect în condiții obișnuite. Pe măsură ce sistemele AI devin mai autonome și sunt solicitate să finalizeze sarcini din ce în ce mai complexe, trebuie să știm dacă pot recunoaște când o instrucțiune ar putea fi nesigură, să o pună la îndoială, să o verifice sau să ceară ajutorul unui om.
Cercetătorii propun ca dezvoltatorii și organizațiile din domeniul sănătății să integreze testarea automată a siguranței în dezvoltarea și evaluarea sistemelor clinice AI. Astfel de teste ar putea fi realizate înainte ca un sistem să fie introdus în fluxul de lucru clinic și repetate pe măsură ce modelele sunt actualizate sau apar noi probleme de siguranță.
Studiul evidențiază o provocare emergentă pe măsură ce sistemele AI evoluează de la instrumente de întrebări și răspunsuri către agenți mai autonomi care pot efectua mai mulți pași. Cercetătorii intenționează să examineze modul în care contextul acumulat poate afecta deciziile unui agent, inclusiv atunci când acel context conține instrucțiuni ascunse, cunoscute sub numele de injectare a prompturilor, sau presiuni pentru a economisi timp sau a respecta un buget.
Rezultatele nu sugerează că un avertisment de siguranță face ca sfaturile medicale generate de AI să fie sigure de utilizat fără o revizuire clinică. În schimb, rezultatele demonstrează că modificări relativ simple în modul în care un sistem AI este provocat pot afecta alegerile sale clinice, subliniind totodată necesitatea unor măsuri suplimentare de siguranță și supraveghere umană.
