BioCoach AI oferă feedback biomecanic în timp real pentru exerciții
Orice atlet știe: practica perfectă duce la excelență. Totuși, persoanele care nu au acces constant la antrenori pot întâmpina dificultăți în menținerea unei forme corecte.
Asta a devenit evident în timpul pandemiei Covid-19, când multe persoane s-au apucat de exerciții acasă. Comisia pentru Siguranța Produselor de Consum din SUA a raportat o creștere de 48% a accidentărilor asociate cu exercițiile la domiciliu. Cu intenția de a preveni aceste accidente și de a extinde îndrumarea experților, cercetătorii de la Universitatea Drexel și Universitatea de Stat din Michigan au dezvoltat un prototip de program care utilizează inteligența artificială și viziunea computerizată pentru a analiza video și a oferi feedback privind forma în timp real.
Programul, care integrează modelarea biomecanică cu viziunea computerizată și un model de limbaj vizual, este conceput pentru a oferi feedback personalizat și explicații despre îndrumările sale pe parcursul exercițiului. Aceasta este o realizare care s-a dovedit a fi provocatoare pentru majoritatea aplicațiilor de coaching fitness. Cercetătorii și-au publicat lucrarea înainte de a prezenta prototipul, numit BioCoach, la Conferința pe tema Viziunii Computerizate și Recunoașterii Modelului, organizată de Institutul Inginerilor Electrici și Electronici și Fundația Viziunii Computerizate în luna iunie.
„Multe persoane care se antrenează acasă cu video-uri și aplicații nu primesc o evaluare de calitate a mișcărilor lor”, a declarat Feng Liu, doctor, profesor asistent la Colegiul de Inginerie și Informatică al Universității Drexel, care a condus cercetarea. „Feedback-ul este adesea prea generic sau pur și simplu încurajator, dar fără coaching efectiv al formei. Scopul nostru cu BioCoach este de a oferi indicii specifice și la timp, bazate pe mișcarea corpului, mai aproape de tipul de îndrumare pe care ar oferi-o un antrenor bine pregătit.”
Laboratorul de Inteligență Vizuală al lui Feng de la Drexel aplică tehnici avansate de viziune computerizată, învățare automată și modelare 3D a corpului uman pentru a studia problemele legate de coachingul exercițiilor, evaluarea mersului clinic și educația în clasă.
Pentru a pregăti BioCoach, echipa a început cu un benchmark de coaching video pentru exerciții – setul de date public disponibil Qualcomm Exercise Video Dataset (QEVD), care include sute de ore de filmări cu exerciții, împreună cu feedback de coaching marcat în timp.
Feedback-ul consta doar în comentarii scurte de coaching, precum „coboară-ți corpul mai mult”. Așadar, cercetătorii au creat o nouă versiune, reannotând-o cu ținte biomecanice mai detaliate, de exemplu, „crește flexia cotului la 90 de grade în partea de jos”. De asemenea, au adăugat o scurtă justificare pentru îndrumare, cum ar fi „crește flexia șoldului/genunchiului pentru a distribui sarcina”.
Echipa a adăugat peste 2.400 de note la mai mult de 200 de videoclipuri utilizate pentru a antrena și testa BioCoach. Aceste note au ajutat la pregătirea modelului lingvistic mare care oferă coaching și îndrumare utilizatorului. Deoarece marcajele de timp au fost păstrate în setul de date reannotat, această nouă referință va permite cercetătorilor să evalueze nu doar îndrumarea oferită de sistem, ci și dacă aceasta a fost oferită la momentul potrivit.
Cu setul de date de feedback video îmbunătățit, echipa a proiectat BioCoach pentru a analiza fiecare video prin două fluxuri complementare de informații, pentru a accesa și livra îndrumarea corectă utilizatorului.
Un flux captează aspectele vizuale și modelele de mișcare utilizând o rețea neuronală convoluțională 3D – un program de învățare profundă capabil să identifice obiecte individuale în imagini și video. Celălalt flux permite BioCoach să estimeze mișcările scheletice 3D și forma corpului, oferindu-i acces la informații despre unghiurile articulațiilor, intervalele de mișcare și etapele exercițiului.
Cu aceste fluxuri de informații, BioCoach poate accesa date biomecanice structurate unice pentru fiecare articulație. Asta înseamnă că, înainte de a oferi feedback, programul identifică articulațiile cele mai relevante pentru fiecare exercițiu – de exemplu, șoldurile, genunchii și gleznele pentru genuflexiuni sau umerii, coatele și încheieturile pentru flotări – pentru a putea oferi îndrumări mai detaliate.
Prin acest proces, programul utilizează informațiile despre forma corpului și analiza calității mișcării pentru a oferi informații structurate pe care modelul său lingvistic le traduce în feedback specific, bazat pe biomecanică.
„Scopul nostru a fost să construim un sistem care să nu se limiteze la a analiza pixeli și a genera un comentariu generic. BioCoach expune modelul la mișcarea 3D, unghiurile articulațiilor și constrângerile specifice exercițiilor, astfel încât feedback-ul să poată indica o problemă concretă de mișcare și să explice de ce este important.”
După pregătirea programului, echipa a testat BioCoach împotriva celor mai bune competiții – programe AI video-limbaj dezvoltate de echipe de cercetare și dezvoltare de la NVIDIA, ByteDance, Alibaba, Salesforce, OpenAI, Universitatea Shanghai Jiao Tong, Universitatea Chineză din Hong Kong, Universitatea Peking și Laboratorul Peng Cheng din China, precum și de la Massachusetts Institute of Technology.
Programele au fost testate prin prezentarea unui număr de videoclipuri cu exerciții – unele din setul original QEVD și altele pe care echipa le-a reannotat. Răspunsurile fiecărui program au fost comparate cu cele oferite în setul de date original QEVD, precum și cu cele adăugate de cercetători, scorurile fiind bazate pe cât de la timp, corecte și detaliate au fost acestea.
În răspunsurile la videoclipurile din setul original, BioCoach a depășit cea mai apropiată competiție, Stream-VLM – un program creat de cercetătorii de la MIT și NVIDIA – în ceea ce privește calitatea textului și corectitudinea judecății, în timp ce scorul său de timp a fost apropiat, dar ușor mai mic.
Cu toate acestea, a depășit Stream-VLM pe toate metricile atunci când feedback-ul său a fost evaluat față de cel din setul de date cu note mai specifice, arătând îmbunătățiri notabile în corectitudinea biomecanică și feedback-ul detaliat, specific anatomiei.
Cercetătorii sugerează că aceste rezultate demonstrează că adăugarea unui context explicit de cinematica 3D și biomecanică poate îmbunătăți calitatea și interpretabilitatea feedback-ului în timp real pentru exerciții, fără a reduce semnificativ capacitatea de reacție.
„A fost încurajator să vedem că BioCoach a putut performa atât de bine în comparație cu programele realizate de unii dintre cei mai buni cercetători și companii din domeniul AI”, a afirmat Feng. „Acesta este încă un prototip, dar arată cum combinarea viziunii computerizate cu raționamentul biomecanic structurat poate face sistemele de coaching AI mai utile și mai ușor de inspectat.”
Echipa intenționează să continue lucrările prin îmbunătățirea programului astfel încât să poată estima forțele de reacție ale artic
