Inginerii de la Harvard dezvoltă o aplicație pentru navigația persoanelor cu deficiențe de vedere
Pentru persoanele cu deficiențe de vedere, deplasarea independentă reprezintă o provocare zilnică. Cercetătorii de la Harvard au creat un nou instrument care ar putea ajuta aceste persoane să navigheze mai rapid și mai sigur, folosind un dispozitiv pe care îl au probabil deja – un smartphone.
Inginerii de la John A. Paulson School of Engineering and Applied Sciences (SEAS) au inventat o nouă aplicație pentru smartphone numită Mobilio, care combină învățarea automată, algoritmi ce optimizează inputul de la multiple senzori și indicații audio personalizate pentru a oferi persoanelor cu deficiențe de vedere indicații pas cu pas, ghidare pe traseu și evitarea obstacolelor. Proiectul a fost coordonat de studentul la doctorat Raymond Liu, în colaborare cu Patrick Slade, profesor asistent de bioinginerie. Cercetarea a fost publicată în revista Nature Biomedical Engineering.
Inițial, cercetătorii au realizat un studiu cu peste 100 de persoane cu deficiențe de vedere pentru a înțelege nevoile acestora. Participanții au evidențiat trei capacități esențiale pentru tehnologiile de navigație: indicații pas cu pas fiabile, ghidare continuă pe trotuare și căi și detectarea și evitarea obstacolelor.
Instrumentele existente, precum bastoanele, câinii ghid și ajutoarele electronice de călătorie, abordează părți din aceste probleme, dar rar le rezolvă pe toate trei simultan, iar multe dintre aceste sisteme sunt costisitoare și inaccesibile. Deși software-urile de hărți GPS oferă navigație pas cu pas, precizia acestora nu este suficientă pentru a fi utilizată în siguranță de către persoanele cu deficiențe de vedere.
În contrast, majoritatea oamenilor dețin deja smartphone-uri. Echipa de la Harvard a identificat o oportunitate de a oferi un ajutor de navigație printr-o aplicație autonomă ce ar putea fi descărcată dintr-un magazin de aplicații și care funcționează exclusiv pe telefon.
Mobilio utilizează senzorii încorporați ai telefonului, inclusiv camera, GPS-ul, unitatea de măsurare inertială sensibilă la mișcare și orientare și, dacă este disponibil, senzorul LiDAR. O inovație tehnologică centrală este un model personalizat de viziune computerizată care analizează fluxul video live de la cameră din perspectiva unui pieton pentru a identifica căile practicabile din mediul utilizatorului.
„Sistemul nostru folosește senzorii dintr-un smartphone, informațiile GPS și mișcarea efectivă a persoanei pentru a crea un plan de navigație esențial pentru un vehicul autonom mic, care să le indice utilizatorilor cum să ajungă de la punctul A la punctul B”, a declarat Patrick Slade, profesor asistent de bioinginerie, John A. Paulson School of Engineering and Applied Sciences, Harvard University.
Deoarece majoritatea seturilor de date disponibile public pentru scene stradale sunt captate din mașini, multe modele standard clasifică greșit infrastructura relevantă pentru pietoni, a explicat Liu. Pentru a rezolva această problemă, Liu a antrenat un model de segmentare semantică specific pe imagini din perspectiva pietonilor, astfel încât acesta să poată recunoaște cu fiabilitate trotuarele, trecerile de pietoni, drumurile și alte suprafețe cheie în timpul mersului.
„Există o nevoie de mai multe date provenite din perspectiva oamenilor care merg pe trotuare sau în aer liber”, a adăugat Liu.
Liu a menționat că o provocare majoră în design a fost asigurarea că toți algoritmii și modelele pot rula în timp real pe un smartphone standard, care are mult mai puțină putere de calcul decât un laptop sau hardware specializat.
În loc de doar indicații vorbite, Mobilio oferă indicii audio continue sub formă de bipuri pe măsură ce utilizatorul merge. Bipurile provin dintr-o direcție, cum ar fi stânga sau dreapta utilizatorului, pentru a indica direcția de deplasare, iar ghidarea este personalizată în timp real prin optimizarea „omului în buclă”. Pe măsură ce o persoană merge, sistemul măsoară cât de bine urmează indicațiile audio și ajustează automat semnalele și tiparele de ton pentru a funcționa cel mai bine pentru acel individ.
Pentru a evalua aplicația, echipa a desfășurat experimente cu 14 participanți voluntari recrutați de la Carroll Center for the Blind din Newton, Massachusetts. Fiecare participant a completat sarcini de navigație folosind o condiție de bază cu navigația pas cu pas Google Maps plus un baston mobil și din nou cu aplicația Mobilio plus bastonul. Aceștia au mers pe un traseu exterior pre-planificat, precum și pe un curs interior cu obstacole care imită provocările comune din mediu.
Comparativ cu utilizarea Google Maps și a unui baston, participanții care au folosit Mobilio și un baston au finalizat ruta exterioară cu aproximativ 13% mai repede și au redus contactul cu obstacolele pe ruta interioară cu aproximativ 41%. În ceea ce privește fiabilitatea, sau cât de constant a ghidat sistemul utilizatorii către destinație fără erori majore, Mobilio a performat comparabil cu un ghid uman.
Dincolo de contribuția tehnică, proiectul este influențat de experiențe personale. Liu are un frate mai mare care este nevăzător, iar sprijinul pentru navigarea independentă a acestuia a modelat puternic obiectivele lucrării.
Echipa a subliniat că atât feedbackul cantitativ, cât și cel calitativ din partea utilizatorilor reali este esențial. „Testarea dispozitivului de către oameni reali este absolut crucială, deoarece este imposibil să prezici cum va reacționa cineva la dispozitivul tău”, a spus Liu. „Mai ales în cazul persoanelor cu deficiențe de vedere, care reprezintă un set divers de deficiențe.”
Următorul pas pentru cercetători este să testeze Mobilio într-o gamă mai largă de medii realiste din zona Boston pentru a evalua în continuare cât de bine se generalizează sistemul și cum se integrează în obiceiurile cotidiene ale oamenilor. Aceștia sunt susținuți de Harvard Grid Accelerator pentru a ajuta la transformarea tehnologiei și la asigurarea accesibilității acesteia ca produs viitor.
Proiectul a fost finanțat de National Science Foundation Graduate Research Fellowship DGE-2140743, Harvard Grid Accelerator, Amazon Greater Boston Tech Initiative, Harvard Dean’s Competitive Fund for Promising Scholarship și Kempner Institute.
Biroul de Dezvoltare a Tehnologiei de la Harvard a protejat inovațiile asociate acestei cercetări și urmărește activ oportunități de comercializare.
