O nouă interfață creier-computer restabilește vorbirea și gesturile fizice simultan
O echipă științifică finanțată de National Institutes of Health (NIH) a demonstrat că o nouă interfață creier-computer (BCI) poate permite persoanelor cu paralizie a tractului vocal și a corpului să comunice atât verbal, cât și prin gesturi ale corpului în același timp.
Deși BCIs au facilitat anterior una sau alta dintre aceste forme de comunicare, acest nou sistem reprezintă prima tehnologie care permite ambele moduri de exprimare simultan, imitând mai bine expresia naturală.
Cercetătorii de la Universitatea din California, San Francisco, au utilizat învățarea automată pentru a descifra activitatea cerebrală unică care stă la baza vorbirii și gesturilor fizice simultane în cazul a trei pacienți. BCI-ul lor a tradus cu succes gândurile a doi participanți în comenzi care dictau expresiile unui avatar virtual cu corp complet.
„Conversația este despre mult mai mult decât cuvintele rostite. Este un proces dinamic, stratificat, care implică întregul cortex motor. Acest studiu de dovadă de concept ne arată că este posibil ca o BCI să restaureze o parte din această libertate și flexibilitate”, a declarat Edward Chang.
Persoanele cu scleroză amiotrofă laterală (ALS) sau cele care au suferit accidente vasculare cerebrale la nivelul trunchiului cerebral devin adesea grav paralizate, ceea ce poate afecta sau elimina capacitățile lor verbale și nonverbale. Tehnologiile de urmărire a ochilor, standardul actual de îngrijire, permit conversia textului în vorbire pentru pacienți, dar sunt lente, oferă forme limitate de exprimare și pot fi obositoare din punct de vedere fizic.
Chang și colegii săi au lucrat pentru a oferi o soluție mai naturală. Aceștia au implantat anterior o bandă subțire de senzori, numită matrice de electrocorticografie (ECoG), pe cortexul motor al mai multor pacienți. Modelele computaționale, numite decodoare, au tradus apoi semnalele cerebrale în comenzi pentru a controla un cap și o față digitale.
În cadrul noului studiu, autorii au utilizat matrice ECoG la pacienți cu diferite niveluri de paralizie a tractului vocal și a corpului, dar de această dată au vizat permiterea expresiilor membrelor superioare prin conectarea participanților la un avatar cu un corp complet. Cercetătorii au obținut date în timp ce participanții încercau să verbalizeze fraze specifice sau să efectueze gesturi comune, cum ar fi un salut cu mâna sau semnul „thumbs-up”, atât separat, cât și simultan.
Comunicația verbală și nonverbală au fost facilitate de BCIs în trecut, dar încercarea de a le realiza simultan părea să diminueze capacitățile de vorbire. Oamenii de știință au suspectat că semnalele cerebrale asociate cu vorbirea și gesturile simultane ar fi doar o sumă a celor două tipuri de semnale, însă Chang și coautorii săi au descoperit că comunicarea multimodală este mai mult decât suma părților sale.
Deși există o oarecare suprapunere, imaginea prezentată de datele obținute din expresii simultane era foarte diferită de cele generate prin vorbire sau gesturi separat. Aceștia au constatat că decodoarele aveau mai mult succes în decodificarea semnalelor din expresii mixte dacă au fost anterior antrenate pe date obținute în timp ce participanții au realizat vorbire și gesturi simultan, mai degrabă decât în mod izolat.
Cu această strategie, cercetătorii și participanții au demonstrat că un dispozitiv BCI poate permite expresii complexe, asemănătoare cu cele naturale.
„Aceste rezultate promițătoare îmi oferă speranța că, în viitor, pacienții cu paralizii severe vor putea recăpăta natura holistică a comunicării umane”, a afirmat Debara Tucci.
Deși BCI-ul utilizat în acest studiu a implicat un sistem conectat prin cablu care lega senzorii implantați de unități externe de procesare, Chang a explicat că echipa sa va testa în curând o versiune complet implantabilă și wireless, cu perspective mai bune pentru aplicarea pe termen lung.
