Un cadru inovator îmbunătățește recunoașterea emoțiilor pe baza EEG
Recunoașterea emoțiilor joacă un rol esențial în înțelegerea cogniției și comportamentului uman, având aplicații potențiale în interfețele creier-computer și monitorizarea sănătății mintale.
Electroencefalografia (EEG), care înregistrează activitatea electrică a creierului într-un mod noninvaziv și oferă o rezoluție temporală ridicată, reprezintă o metodă promițătoare pentru recunoașterea stărilor emoționale prin semnalele neuronale.
Cu toate acestea, interpretarea precisă a semnalelor EEG rămâne o provocare. Înregistrările EEG conțin relații complexe între diferitele canale de electrozi, precum și modele dinamice care evoluează în timp. Multe abordări existente, bazate pe învățarea profundă, divizează semnalele EEG în secvențe separate pentru canale individuale. Deși acest lucru poate simplifica extragerea caracteristicilor, poate perturba relațiile spațiale dintre canale și poate trece cu vederea structura globală a semnalelor EEG. Între timp, metodele de modelare temporală pot întâmpina dificultăți în captarea atât a dependențelor pe termen lung, cât și a tranzițiilor continue ale activității neuronale.
Pentru a aborda aceste provocări, cercetătorii au dezvoltat DSE-TAM, un cadru destinat să învețe relațiile spațiale și dinamica temporală în mod comun, mai degrabă decât să trateze canalele EEG ca semnale independente sau să se bazeze pe reprezentări statice.
Cadrele DSE-TAM sunt compuse din trei componente principale: Dynamic Spatial Embedding (DSE), un Extractor de Caracteristici Temporale și un modul de clasificare.
În primul rând, modulul DSE utilizează rețele neuronale convoluționale pe grafuri pentru a modela relațiile dintre canalele de electrozi EEG. Prin introducerea unei matrice de adiacență învățabile, modelul poate estima adaptiv dependențele intercanal și poate încorpora informații spațiale în etapele timpurii de extragere a caracteristicilor. Segmentele EEG astfel obținute sunt apoi convertite într-o secvență ordonată de tokenuri compacte.
În continuare, Extractorul de Caracteristici Temporale combină două abordări complementare: autoatenția și un model de spațiu de stare bazat pe Mamba. Autoatenția ajută la identificarea relațiilor între diferite momente în timp, captând contextul temporal global, în timp ce modulul bazat pe Mamba modelează dependențele temporale și schimbările mai line în semnalele neuronale. Împreună, aceste componente sunt concepute pentru a capta atât informații pe termen lung, cât și dinamica temporală locală.
În final, un modul de clasificare folosește un token [CLS] pentru a agrega caracteristicile învățate și a prezice categoria emoțională corespunzătoare.
Cercetătorii au evaluat DSE-TAM pe trei seturi de date EEG: DEAP, DREAMER și CEED. Experimentele au inclus atât validarea prin cruce pe probe, cât și validarea „leave-one-subject-out” (LOSO), permițând evaluarea modelului în diferite condiții, inclusiv capacitatea sa de a generaliza la participanți neveniți.
În cazul validării prin cruce pe probe, DSE-TAM a obținut performanțe puternice pe cele trei seturi de date. Pe DEAP, a atins o acuratețe de 79,75% pentru recunoașterea excitării și 78,27% pentru recunoașterea valenței. Pe DREAMER, a obținut 80,55% pentru excitare și 83,91% pentru valență, depășind metodele de referință în aceste sarcini. Pe setul de date CEED, a înregistrat o acuratețe de 73,75% în recunoașterea emoțiilor în trei clase, demonstrând o performanță competitivă.
Cercetătorii au evaluat de asemenea modelul folosind validarea „leave-one-subject-out”, un mediu mai provocator în care modelul este testat pe participanți care nu au fost incluși în antrenament. Deși performanța a scăzut comparativ cu validarea prin cruce pe probe, DSE-TAM a menținut rezultate competitive, atingând acurateți de 61,29% și 58,80% pentru excitare și valență pe DEAP, respectiv; 61,96% și 65,11% pe DREAMER; și 59,59% pentru recunoașterea emoțiilor în trei clase pe CEED. Aceste rezultate subliniază provocarea de a generaliza recunoașterea emoțiilor pe baza EEG între indivizi.
Analizele suplimentare au oferit informații despre contribuțiile componentelor modelului. Eliminarea modulului de autoatenție a dus la cea mai mare scădere a performanței, cu scăderi ale acurateței de până la 18,67 puncte procentuale pe DEAP, 20,28 puncte procentuale pe DREAMER și 29,32 puncte procentuale pe CEED. Eliminarea altor componente, inclusiv a embedding-ului spațial și a modulelor bazate pe Mamba, a redus de asemenea performanța. Aceste constatări sugerează că învățarea caracteristicilor spațiale și modelarea temporală complementară contribuie ambele la eficiența modelului.
Analiza matricei de confuzie a arătat că DSE-TAM a îmbunătățit echilibrul clasificării emoțiilor, în special pentru unele categorii mai dificile, cum ar fi stările de excitare scăzută în DEAP și discriminarea între trist și neutru în CEED.
Acest studiu prezintă DSE-TAM ca o abordare pentru recunoașterea emoțiilor pe baza EEG care ia în considerare în mod comun relațiile spațiale dintre canalele de electrozi și dinamica temporală a semnalelor neuronale. Prin combinarea rețelelor neuronale convoluționale pe grafuri, autoatenției și modelării în spațiul de stare bazate pe Mamba, cadrul abordează limitările asociate cu tratamentul canalelor EEG în mod independent și cu încrederea într-o singură strategie de modelare temporală.
În pofida rezultatelor promițătoare, cadrul actual are mai multe limitări. Nu organizează în mod explicit canalele EEG în funcție de regiunile lor spațiale, iar modulul său Mamba folosește tranziții de stare unidirecționale, ceea ce poate limita modelarea dependențelor temporale bidirecționale. În plus, clasificarea emoțiilor pozitive rămâne o provocare pe setul de date CEED. Modelul presupune de asemenea că toate probele dintr-un trial împărtășesc aceeași etichetă emoțională, ceea ce poate trece cu vederea schimbările emoționale care apar pe parcursul unui trial.
Lucrările viitoare ar putea explora modelarea spațială mai structurată, arhitecturi temporale bidirecționale și metode care să țină cont de variațiile emoționale în cadrul trialurilor individuale. Aceste direcții ar putea îmbunătăți și mai mult robustețea și generalizarea recunoașterii emoțiilor pe baza EEG.
