Necesitatea unor reguli mai clare pentru instrumentele AI în cercetarea medicală cu risc ridicat
Pe măsură ce instrumentele AI își fac loc în cercetarea clinică și în sănătatea populației, acest articol subliniază că rapiditatea nu este suficientă, evidențiind importanța supravegherii experților, a logicii cauzale și a fluxurilor de lucru transparente pentru o știință de încredere.
Într-un articol recent publicat în revista npj Digital Medicine, o colaborare internațională de cercetare a examinat fricțiunile operaționale care apar atunci când instrumentele habilitate cu inteligență artificială (AI) sunt integrate în fluxurile de lucru specifice cercetării în domeniul sănătății. Autorii susțin că multe dintre aceste instrumente de cercetare bazate pe AI își au originea în fluxuri de lucru din știința datelor și coduri software, ceea ce poate duce la includerea unor presupuneri, terminologii și priorități analitice care nu se aliniază întotdeauna cu principiile epidemiologice, cum ar fi designul de studiu predefinit, raționamentul cauzal și controlul biasului.
Articolul compară fluxurile de cercetare reprezentative („cicluri de viață”) și prezintă ulterior un ghid practic care cuprinde șase recomandări esențiale și o ierarhie de automatizare în cinci niveluri pentru a proteja validitatea internă și a menține responsabilitatea umană în cercetarea clinică și în sănătatea populației cu risc ridicat.
Cercetarea medicală modernă se confruntă cu un influx fără precedent de instrumente AI concepute pentru a automatiza și accelera sarcini, de la generarea de ipoteze la sinteza datelor. Totuși, oamenii de știință au identificat o profundă diviziune metodologică între științele sănătății cantitative și știința datelor computaționale. Disciplinele medicale tradiționale, precum epidemiologia cantitativă, funcționează în cadrul unor fluxuri de lucru riguroase, bazate pe protocoale, în care designurile de studiu sunt predefinite pentru a minimiza biasurile de selecție și informație.
În contrast, instrumentele AI sunt adesea influențate de codurile din știința datelor, un domeniu interdisciplinar axat pe generarea de informații din datele existente. Această distincție este evidentă în modul în care termenii fundamentali sunt aplicați și interpretați. De exemplu, în epidemiologie, semnificația statistică este determinată prin teste riguroase ale ipotezelor cu un prag de încredere prestabilit, de obicei p < 0.05. Pe de altă parte, fluxurile de lucru din știința datelor definesc adesea semnificația prin greutatea unui atribut sau influența sa predictivă într-un model complex, punând accent pe performanța predictivă mai degrabă decât pe mecanismele cauzale.
Cercetătorii consideră că adoptarea necritică a interfețelor AI centrate pe știința datelor poate altera fluxurile de cercetare în moduri opace pentru cercetători, rezultând în produse de calitate slabă care nu îndeplinesc standardele stabilite de disciplina medicală sau epidemiologică. Articolul de față își propune să abordeze sistematic aceste vulnerabilități printr-o analiză comparativă ce contrastează în mod special componentele structurale ale fluxurilor de lucru epidemiologice și ale celor din știința datelor.
Autorii s-au concentrat în principal asupra epidemiologiei cantitative, studiul distribuției sănătății în populații, ca model principal pentru analiza datelor tabulare. Aceștia au comparat fluxurile de lucru tradiționale din domeniul sănătății cu ciclurile standard din știința datelor și au dezvoltat șase strategii acționabile pentru cercetători. Această cercetare a oferit o ilustrare practică prin prezentarea unui exemplu care a testat un instrument analitic AI multi-modal, alimentat de multiple modele lingvistice mari (LLMs), capabil să preia seturi de date brute, să genereze cod Python și să producă analize statistice.
Instrumentul a fost testat cu două strategii de prompt pentru a răspunde la o întrebare cauzală complexă: „Care este efectul cauzal al fumatului actual asupra riscului de infarct miocardic?” Primul test, „Prompt 1”, a folosit un prompt de bază, imitând un cercetător fără experiență, în timp ce al doilea, „Prompt 2”, a oferit indicații specifice, cerând AI-ului să genereze un Grafic Acyclic Dirijat (DAG), un model vizual standard în epidemiologie.
Studiul a clasificat, de asemenea, interacțiunile om-AI folosind un cadru adaptat pentru vehicule autonome, ce cuprinde 5 niveluri distincte de automatizare, variind de la Nivelul 1, Automatizare de Bază sub strictă supraveghere umană, până la Nivelul 5, Automatizare Completă, în care AI-ul este instruit să funcționeze complet independent.
Exercițiul ilustrativ al studiului a arătat că analizele generate de AI, aparent eficiente și bine structurate, pot conține totuși erori metodologice grave. În condițiile promptului necontrolat Prompt 1, instrumentul AI a executat un model de regresie logistică și a furnizat scripturi Python funcționale. Totuși, examinarea în cadrul procesului de peer-review a produsului modelului a scos la lumină 3 mari eșecuri științifice:
AI-ul a ocolit complet modelarea cauzală teoretică, omițând orice set formal de ajustare a variabilelor sau generarea DAG. Sistemul a interpretat greșit raportul de șanse generat ca o creștere directă a probabilității, mai degrabă decât o creștere a șanselor, o eroare fundamentală epidemiologică care a compromis relevanța clinică și aplicabilitatea rezultatului. Rezultatele analitice au fost lipsite de reproducibilitate; retrimiterea aceluiași prompt a generat rezultate statistice variabile, subminând consistența și robustețea produsului instrumentului.
Surprinzător, rezultatele obținute cu Prompt 2, ghidat de un expert, au prezentat, de asemenea, probleme. Deși AI-ul a reușit să genereze un DAG vizual, acesta a fost considerat conceptualmente lipsit de sens și nealiniat cu literatura medicală stabilită. În plus, modelul nu a reușit să integreze propriul DAG în pașii analizați ulterior. În final, execuția s-a încheiat brusc, deoarece sistemul nu a reușit să convertească o variabilă de tip string într-o valoare numerică. Această eroare de curățare a datelor nu a avut loc în timpul primului test. Aceste constatări sugerează că rezultatele generate de AI, care par plauzibile, pot fi totuși incorecte, mai ales atunci când raționamentul cauzal specific domeniului este necesar.
Articolul de față avertizează asupra integrării necritice a AI în cercetarea în domeniul sănătății, subliniind că această integrare, cel puțin în prezent, necesită o implementare persistentă a expertului „om în circuit”, în care investigatorii evaluează rezultatele algoritmice printr-o metodologie riguroasă de „peer-review”, de respingere, revizuire și acceptare a textului și codului. Folosind nivelurile de automatizare prescrise ca ghid, cercetătorii trebuie să alinieze deliberat rolul unui instrument AI cu limitele specifice ale fluxului de lucru, echilibrând toleranța strictă la erori și responsabilitatea epistemică. În concluzie, studiul subliniază că, în prezent, menținerea responsabilității umane în centrul interacțiunii om-AI este esențială pentru păstrarea integrității științifice și clinice a cercetării în domeniul sănătății clinice și al populației.
