Modelele de inteligență artificială pot amplifica prejudecățile în predicțiile agresivității psihice
Un studiu inovator realizat de cercetători de la Centrul pentru Dependență și Sănătate Mintală (CAMH) a descoperit că modelele de inteligență artificială (IA) folosite pentru a prezice incidentele agresive în îngrijirea psihiatrică acută pot întări și amplifica inegalitățile sociale și structurale existente, supraestimând probabilitatea de agresiune în rândul grupurilor deja marginalizate.
Rezultatele, publicate recent în revista npj Mental Health Research, subliniază importanța evaluării atente pentru a se asigura că instrumentele IA nu perpetuează prejudicii în mediile clinice, ci promovează o îngrijire mai echitabilă.
„Deși corectitudinea instrumentelor clinice de IA a fost evaluată în alte domenii, acest studiu evidențiază o lacună critică în sănătatea mintală, având în vedere că evaluările folosite pentru a antrena modelele IA se bazează adesea pe observații subiective influențate de prejudecăți sociale și structurale subiacente”, a declarat Dr. Marta Maslej, cercetător asociat la Centrul Krembil pentru Neuroinformatică (KCNI) și coautor senior al studiului. „Dacă corectitudinea nu este integrată, utilizarea clinică a modelelor IA poate provoca suferințe semnificative, pierderi de încredere și chiar poate precipita incidente agresive care, în alte condiții, nu ar fi avut loc. Există o nevoie evidentă de a dezvolta aplicații IA care să se concentreze pe și să promoveze echitatea.”
Studiul subliniază importanța analizei corectitudinii.
Mai multe sisteme de sănătate din Olanda, Elveția, China, Statele Unite și Canada au evaluat sau iau în considerare utilizarea modelelor IA pentru a prezice comportamente agresive sau violente, în scopul intervenției timpurii și de-escaladării țintite. Cu toate acestea, puține cercetări au examinat dacă aceste instrumente funcționează în mod echitabil în rândul populațiilor de pacienți, în special în psihiatrie, unde factorii sociali și structurali influențează puternic experiențele de îngrijire.
Pentru a aborda această lacună, echipa de cercetare a antrenat un model de învățare automată (o formă de IA) pe baza dosarelor electronice de sănătate ale mai mult de 17.000 de pacienți internați la CAMH și a examinat modul în care erorile de predicție variază în funcție de factorii sociali și demografici intersecționali, inclusiv rasa, genul și contextul social. Modelul a prezentat o clară prejudecată, raportând rate mai mari de fals pozitive pentru indivizi de etnie africană și din Orientul Mijlociu, bărbați, pacienți aduși în urgență de poliție și cei cu forme de locuire instabile sau de sprijin. Aceste descoperiri sugerează că modelul poate eticheta disproporționat grupuri deja supravegheate sau dezavantajate structural ca fiind cu risc ridicat, influențând astfel deciziile clinice în moduri care agravează inegalitățile.
Avansând IA echitabilă în sănătatea mintală.
Rezultatele subliniază că corectitudinea nu este o considerație secundară, ci o cerință esențială pentru implementarea sigură a IA în mediile psihiatrice. Studiul face parte din angajamentul mai larg al CAMH de a conduce implementarea responsabilă și centrată pe pacient a IA în sănătatea mintală, bazată pe etică, transparență și încredere.
Ca parte a acestui demers, laboratorul KCNI Predictive Care, co-condus de Dr. Laura Sikstrom și Dr. Marta Maslej, avansează cercetarea pentru a înțelege mai bine și a aborda impactul real al IA în sănătatea mintală. Folosind o abordare computațional-ethnografică premiată, laboratorul își propune să identifice și să abordeze potențialele prejudicii, în timp ce proiectează sisteme IA care promovează echitatea și îmbunătățesc rezultatele pentru indivizi și comunități. Bazându-se direct pe descoperirile acestui studiu, echipa a obținut recent finanțare de la Institutele Canadiene de Cercetare în Sănătate (CIHR) pentru a co-proiecta un instrument IA de nouă generație numit FARE+, destinat identificării factorilor care determină predicțiile părtinitoare și informării strategiilor de atenuare a acestora, avansând evaluarea riscurilor mai echitabile și semnificative clinic.
„Există potențialul de a utiliza IA pentru a corecta inegalitățile istorice și actuale din sistemul nostru de sănătate, mutându-ne de la predicția riscurilor binare către instrumente mai centrate pe pacient”, a afirmat Dr. Laura Sikstrom. „Prin trecerea de la predicția riscurilor individuale la detectarea părtinirii sistemice, această cercetare avansează o nouă paradigmă pentru IA în sănătatea mintală, una care prioritizează corectitudinea, echitatea în sănătate și bunăstarea atât a pacienților, cât și a personalului.”
Studiul a fost condus de Yifan Wang, fost stagiar de cercetare la KCNI și actual student la Universitatea din Ottawa, în colaborare cu cercetători seniori de la KCNI, și a fost susținut printr-un Grant de Dezvoltare a Insight-ului SSHRC și un Premiu Google pentru Cercetare privind Incluziunea.
