ChatGPT oferă răspunsuri mai clare despre PCOS decât resursele standard
Un studiu internațional recent arată că, deși ChatGPT poate oferi răspunsuri mai clare și mai atractive despre sindromul ovarelor polichistice (PCOS) decât resursele tradiționale, rolul său este cel mai bine perceput ca un instrument de suport puternic, nu ca un înlocuitor pentru îngrijirea bazată pe dovezi.
O cercetare publicată în Frontiers in Digital Health, care a implicat 43 de profesioniști din domeniul sănătății cu diverse specializări, a comparat răspunsurile oferite de ChatGPT la 12 întrebări frecvente despre PCOS cu răspunsuri bazate pe dovezi, obținute dintr-o pagină web dedicată pacienților, AskPCOS, care a servit ca punct de referință în acest studiu.
PCOS este o afecțiune frecventă care afectează milioane de femei în perioada reproductivă. Aceasta implică aspecte endocrine, metabolice și de sănătate reproductivă, provocând un disconfort semnificativ. Această situație poate fi agravată de cunoștințele limitate despre cum și de ce apare PCOS-ul și de variabilitatea prezentării clinice.
Modelele de limbaj de mari dimensiuni, precum ChatGPT, sunt utilizate tot mai mult pentru a oferi răspunsuri personalizate la întrebările legate de sănătate. Cercetări anterioare sugerează că ChatGPT are un potențial promițător pentru educația privind PCOS.
Studiul internațional, realizat printr-o sondare în orb, este printre primele de acest tip care compară informațiile generate de AI cu cele bazate pe dovezi despre PCOS printre un grup numeros și diversificat de profesioniști din domeniul sănătății. Cei 43 de clinicieni au evaluat răspunsurile la 12 întrebări frecvente referitoare la cauzele, simptomele, diagnosticul, tratamentul și gestionarea PCOS, precum și suportul emoțional și medical.
Răspunsurile, unul generat de ChatGPT și altul obținut dintr-o resursă bazată pe dovezi, au fost evaluate pentru acuratețe și claritate folosind o scală standardizată Likert, participanții nefiind conștienți de sursa acestora. În paralel, s-a evaluat lizibilitatea folosind mai mulți indici de citire stabiliți.
Atât răspunsurile inițiale ChatGPT, cât și cele bazate pe dovezi au fost considerate relativ complexe din punct de vedere al citirii, conform acestor metrici, sugerând că ar putea fi dificil de înțeles pentru publicul general. În acest sens, răspunsurile ChatGPT au fost simplificate ulterior prin prompturi suplimentare și apoi reevaluate pentru lizibilitate.
Clinicienii au evaluat răspunsurile ChatGPT mai bine în majoritatea întrebărilor, cu un scor mediu mai mare de 0,8 puncte pe scala Likert (de la 0 – răspuns dăunător, la 4 – răspuns excelent care nu necesită clarificări), diferențele fiind semnificative din punct de vedere statistic pentru 11 din cele 12 întrebări. Totuși, unele întrebări au arătat o suprapunere substanțială între scoruri, în timp ce altele au fost mai clar distanțate.
Mai multe distribuții de scoruri au arătat două vârfuri, în special pentru răspunsurile ChatGPT la unele întrebări, sugerând variabilitate în evaluarea respondenților. Cele șapte întrebări au arătat un acord echitabil între respondenți, în timp ce restul au prezentat un acord slab. Scorurile mai mari pentru răspunsurile ChatGPT au fost obținute indiferent de rolul sau anii de experiență ai furnizorului de sănătate.
Este important de menționat că aceste scoruri nu indică neapărat că răspunsurile sunt corecte, bazate pe dovezi sau actualizate, având în vedere că răspunsurile ChatGPT pot să nu reflecte cele mai recente dovezi. Prin urmare, aceste constatări sugerează că informațiile legate de PCOS ar putea fi făcute mai accesibile, personalizate și prietenoase cu cititorii prin utilizarea acestui model. Acest aspect este deosebit de important deoarece pacienții consideră că accesul la informațiile despre PCOS este dificil.
ChatGPT utilizează de asemenea un ton empatic, promovând angajamentul și interacțiunea cu pacienții care suferă de PCOS. Acesta poate simplifica sau reformula orice parte a unui răspuns în mod repetat, îmbunătățind astfel înțelegerea pacienților. Aceasta ar putea împuternici pacienții și să sprijine o mai bună implicare în recomandările de tratament, reducând în același timp dependența de surse de informații mai puțin fiabile, precum rețelele sociale. Totuși, aceste rezultate nu au fost măsurate direct în acest studiu.
Lizibilitatea a fost similară între primul set de răspunsuri ChatGPT și cele bazate pe dovezi. Acest lucru sugerează că ambele au fost oarecum dificile pentru cititorii generali de înțeles. Răspunsurile simplificate ChatGPT au fost semnificativ mai ușor de citit.
ChatGPT ar putea reprezenta un instrument suplimentar valoros pentru educația pacienților în populațiile cu o alfabetizare în domeniul sănătății scăzută, care este un factor de risc advers pentru utilizarea și rezultatele în sănătate.
Printre punctele forte și limitările acestui studiu se numără faptul că eșantionul de respondenți nu a fost complet reprezentativ pentru toți profesioniștii care oferă îngrijiri legate de PCOS. Deși mai numeros decât în mai multe studii anterioare, rămâne mic. Respondenții ar putea fi mai familiarizați sau interesați de PCOS, sau mai obișnuiți cu textul generat de AI, introducând astfel un potențial bias în evaluări. Există și posibilitatea ca unii respondenți să fi dedus care răspunsuri erau generate de AI, pe baza stilului sau structurii, influențând astfel evaluarea.
Versiunea ChatGPT utilizată ar putea să-și fi schimbat stilul de răspuns sau să fi fost actualizată. Baza de cunoștințe ar putea de asemenea să se fi modificat sau extins de la realizarea studiului, afectând răspunsurile potențiale.
Direcțiile viitoare includ evaluări centrate pe pacient ale răspunsurilor LLM la PCOS, care ar putea îmbunătăți înțelegerea actuală a utilității acestora în combinație cu evaluările profesionale. Acuratețea și lizibilitatea răspunsurilor în diferite limbi și la diferite niveluri de alfabetizare rămân a fi explorate.
Constatările noastre sugerează că resursele online pentru PCOS ar putea beneficia de capacitatea LLM-urilor de a îmbunătăți lizibilitatea prin simplificarea și personalizarea conținutului legat de PCOS.
