Inteligența artificială în sănătatea mintală poate moșteni prejudecățile umane
Un nou articol de opinie publicat în JMIR Mental Health atrage atenția asupra riscurilor ca sistemele de inteligență artificială (IA) utilizate în domeniul sănătății mintale să moștenească și să întărească informațiile umane nesigure, cu condiția să nu fie adoptate noi măsuri de protecție.
Articolul, intitulat „When AI Colludes: Clinical Reliability of Training and Preference Data as a Trustworthy-AI Criterion”, subliniază importanța ca „reliabilitatea clinică” a datelor de antrenament să devină un standard esențial pentru IA de încredere.
Se discută despre modul în care modelele mari de limbaj, inclusiv chatbot-urile IA, sunt antrenate folosind cantități masive de texte și feedback scris de oameni. Potrivit autorului, Dr. Hina Tahseen, discuțiile actuale despre siguranța IA se concentrează adesea pe daunele care apar după implementare, cum ar fi sfaturile înșelătoare sau dependența emoțională. Dr. Tahseen susține că o problemă majoră poate începe mult mai devreme, în special în timpul colectării datelor de antrenament și a preferințelor generate de oameni.
Conceptul psihiatric de „coluziune”, definit ca acceptarea necritică a unui raport nesigur, este introdus în articol ca o modalitate nouă de a înțelege comportamentul IA. Aceasta sugerează că sistemele IA pot întări involuntar informații distorsionate, inexacte sau nesănătoase atunci când sunt antrenate să prioritizeze aprobarea utilizatorilor sau feedbackul uman neverificat.
Eforturile de siguranță în IA s-au concentrat pe ceea ce aceste sisteme spun utilizatorilor. Întrebarea inițială este dacă datele umane din care au învățat au fost de încredere încă de la început. Psihiatria evaluează acest aspect în fiecare zi în practica clinică, iar această expertiză ar trebui să facă parte din modul în care construim și guvernăm sistemele IA, nu să fie o considerație secundară.
În loc să se concentreze doar pe soluții tehnice, articolul propune ca dezvoltatorii sistemelor IA legate de sănătatea mintală să includă expertiză clinică în proiectarea datelor de antrenament, evaluarea feedback-ului și monitorizarea sistemelor după lansare. Metodele existente de siguranță în IA, precum formarea prin refuz, testele de stres și monitorizarea conținutului, abordează deja părți din problemă, dar nu sunt concepute specific pentru a evalua dacă auto-raportarea umană este clinic fiabilă.
Adăugarea fiabilității clinice ca un criteriu explicit de încredere în IA ar putea întări măsurile de protecție pentru tehnologiile de sănătate mintală, ajutând în același timp cercetătorii să înțeleagă mai bine cum reacționează sistemele IA la utilizatori vulnerabili.
