Un implant cerebral ar putea facilita comunicarea mai expresivă pentru persoanele cu paralizie
O echipă de cercetători a testat un implant cortical, investigând dacă încercările de vorbire și gesturile pot fi decodează împreună și traduse într-un avatar personalizat pentru o comunicare expresivă.
Un studiu recent publicat în revista Nature Neuroscience a explorat posibilitatea ca un singur implant de electrocorticografie (ECoG) de densitate mare să decodeze simultan încercările de vorbire și gesturi, sprijinind astfel comunicarea în timp real printr-un avatar virtual personalizat, în cazul persoanelor cu paralizie severă.
Cercetătorii se întreabă cum poate activitatea cerebrală să dezvăluie încercările de a vorbi sau de a face gesturi în condițiile în care paralizia severă limitează mișcarea. Accidentul vascular cerebral și bolile neurodegenerative pot afecta vorbirea și mișcările corpului, restricționând participarea socială și calitatea vieții.
Interfețele creier-computer (BCI) își propun să restabilească funcțiile pierdute prin traducerea activității neuronale în comenzi pentru dispozitive externe. Studiile anterioare BCI au decodat vorbirea și alte mișcări separat. Comunicarea naturală combină adesea limbajul vorbit cu gesturi, iar cortexul senzo-motor (SMC) conține reprezentări ale mai multor regiuni ale corpului, ECoG putând înregistra activitatea neuronală în această zonă.
În cadrul studiului, trei participanți cu deficiențe severe de vorbire și mișcare au fost incluși în trialul clinic BCI Restoration of Arm and Voice (BRAVO). Doi dintre aceștia au suferit un accident vascular cerebral la nivelul trunchiului cerebral, iar unul avea scleroză amiotrofică laterală (ALS). Fiecare participant a primit un array ECoG cu 253 de electrozi implantat subdural pe hemibratul stâng, țintind zonele pentru vorbire și mișcare.
Activitatea neuronală a fost înregistrată în timpul mai multor mișcări ale corpului și utilizată pentru cartografierea inițială multi-efector și decodare pentru toți cei trei participanți; după ce Bravo-3 a renunțat, experimentele principale de vorbire și gesturi simultane au implicat Bravo-1r și Bravo-6. Strategiile de încercare au reflectat abilitățile reziduale: Bravo-1r și Bravo-3 au încercat tăcut să vorbească, în timp ce Bravo-6 a încercat vorbirea cu vocalizare; mișcările corpului au fost încercate, minim încercate sau imaginare, în funcție de capacitatea participantului.
În cadrul sarcinii de copiere, țintele au fost prezentate sub formă de text, animații de mișcare sau ambele, urmate de un semnal de pornire și un interval de 2 secunde între încercări. Un paradigm de conversație a fost de asemenea utilizat cu Bravo-1r și Bravo-6.
Semnalele au fost procesate pentru a extrage activitatea de înaltă gamă (HGA; 70–150 Hz) și semnalele de frecvență joasă (LFS; 1–100 Hz). Decoderii specifici fiecărui participant au fost antrenați pe încercări izolate, încercări simultane sau pe ambele. O clasă de odihnă a folosit încercări de odihnă adevărată și de mod opus. Performanța a fost evaluată offline prin validare încrucișată și comparații statistice între condițiile de decodare. Decoderii paralele în timp real au controlat un avatar virtual personalizat. Participanții au furnizat consimțământ informat, iar aprobarea instituțională a fost obținută.
Un singur array ECoG a surprins reprezentări neuronale ale mai multor efectori. HGA asociată cu mișcările de mână, braț, cap, ochi și mișcările orofaciale legate de vorbire a arătat o organizare somatotopică largă în întreaga SMC, gradul de separare variind între participanți. Activitatea legată de vorbire și gesturi a fost cea mai puternică în girusul precentral, activitatea de vorbire fiind mai ventrală și activitatea de gesturi mai dorsală.
Performanța decoderilor a depins de contextul comportamental. Modelele antrenate doar pe încercări izolate de vorbire sau gesturi nu s-au generalizat complet la încercările simultane de vorbire și gesturi. La cea mai mare dimensiune de antrenament comun, modelele antrenate pe încercări simultane au performat mai bine în teste simultane, în timp ce modelele antrenate în izolare au avut rezultate mai bune în teste izolate.
Modelele hibride antrenate pe date atât izolate, cât și concurrente au menținut o acuratețe ridicată în toate contextele și au depășit modelele antrenate pe un singur context. Modelele au arătat un model de contribuție a electrozilor care s-a schimbat în funcție de contextul de antrenament, depinzând în general de electrozi care prezentau o suprapunere mai mică între vorbire și gesturi.
În analiza Bravo-6 de tip leave-one-out, acuratețea medie pentru gesturi a fost de 65,8% pentru perechile vizibile și 66,7% pentru cele nevăzute; acuratețea pentru vorbire a fost de 79,3% și 80,0%, respectiv. În cadrul acestei analize, nici acuratețea vorbirii, nici a gesturilor nu au diferit semnificativ între perechile considerate naturale sau nenaturale în conversație. În timpul testării pe termen lung, acuratețea a rămas peste șansă de-a lungul zilelor și lunilor, stabilitatea variind între participanți și modalități; datele de antrenament mai recente au îmbunătățit de obicei performanța ulterioară.
Înainte de antrenamentul cross-modal, ratele medii de fals pozitiv (FPR) pentru Bravo-6 erau de 30,6% și 76,0% pentru Bravo-1r. Antrenamentul cross-modal a redus ambele la 0,0%, menținând în același timp un FPR scăzut în timpul adevăratei odihne. Modelele antrenate pe comportamente atât izolate, cât și concurente au menținut, de asemenea, rate scăzute de fals negativ (FNR) în ambele contexte, reducând tendința de a clasifica greșit vorbirea sau gesturile încercate ca fiind odihnă.
Folosind toate seturile de date disponibile cu antrenament cross-modal, acuratețea medie de decodare concurrentă offline pentru Bravo-6 a fost de 68,8% pentru gesturi și 77,5% pentru vorbire. Pentru Bravo-1r, acuratețile corespunzătoare au fost de 88,3% și 84,0%. În sarcina de copiere doar pentru gesturi, acuratețea a fost de 81,8% pentru Bravo-6 și 61,7% pentru Bravo-1r.
În timpul decodării simultane în timp real pentru Bravo-6, acuratețea a fost de 66,0% pentru gesturi și 70,0% pentru vorbire. În paradigma de conversație, Bravo-6 a realizat acuratețe medie de 85,0% pentru gesturi și 75,0% pentru vorbire, în timp ce Bravo-1r a obținut acuratețe mediană de 100,0% pentru ambele.
Acest test de conversație, care servește drept dovadă a conceptului, a fost limitat la cinci blocuri de patru încercări pentru Bravo-6 și trei blocuri de trei încercări pentru Bravo-1r. Vorbirea decodată a apărut sub formă de text, în timp ce gesturile decodate au animat avatarul, permițând interacțiuni virtuale prin vorb
