Cercetătorii de la Universitatea din New York reconstruiesc vorbirea din activitatea creierului, aruncând lumină asupra proceselor neuronale complexe

Newswise – Producerea vorbirii este un fenomen neurologic complex, care i-a lăsat pe cercetători fără să-l explice. Separarea rețelei complexe de regiuni neuronale care controlează mișcarea mușchilor fini în gură, maxilar și limbă cu regiunile care procesează feedback-ul auditiv al auzirii vocii este o problemă complexă și una care trebuie depășită pentru următoarea generație de vorbire. Producția de proteze.

Acum, o echipă de cercetători de la Universitatea din New York a făcut descoperiri cheie care ajută la descurcarea rețelei și le folosesc pentru a construi o tehnologie de reconstrucție a vocii care recreează vocile pacienților care și-au pierdut capacitatea de a vorbi.

Echipa este co-condusă Flinker a fost condamnat — Profesor asociat de Inginerie Biomedicală la NYU Tandon și Neuroscience la NYU Grossman School of Medicine — W Yao Wang — Profesor de inginerie biomedicală și inginerie electrică și informatică la NYU Tandon, precum și membru al NYU WIRELESS — a creat și folosit rețele neuronale complexe pentru a reconstrui vorbirea din înregistrările creierului și apoi a folosit această recreere pentru a analiza procesele care conduc vorbirea umană . Au detaliat noile lor descoperiri în Noua lucrare este publicată în Proceedings of the National Academy of Sciences (Bnas).

Producerea vorbirii umane este un comportament complex care implică controlul comenzilor motorii, precum și procesarea feedback-ului vorbirii autoproduse. Aceste procese necesită implicarea mai multor rețele cerebrale în tandem. Cu toate acestea, a fost dificil de dezlegat gradul și momentul recrutării corticale pentru controlul motor versus procesarea senzorială rezultată din producția de vorbire.

În noile cercetări, cercetătorii au reușit să dezlege procesele complexe de feedback și feedback în timpul producerii vorbirii. Folosind o arhitectură inovatoare de învățare profundă a înregistrărilor neurochirurgicale umane, echipa a folosit un sintetizator de vorbire diferențiabil bazat pe reguli pentru a decoda parametrii vorbirii din semnalele corticale. Prin implementarea arhitecturilor de rețele neuronale care fac distincția între cauzal (folosind semnale neuronale actuale și trecute pentru a decoda vorbirea curentă), anti-cauzale (folosind semnale neuronale actuale și viitoare) sau o combinație a ambelor convoluții temporale (non-cauzale), cercetătorii au fost capabil să efectueze analize cu granulație fină. Contribuții ale feedback-ului și feedback-ului la producția de vorbire.

„Această abordare ne-a permis să separăm procesarea semnalelor neuronale de tip feedforward și feedback care apar simultan, pe măsură ce producem feedback de vorbire și simț către vocile noastre”, spune Flinker.

Această abordare sofisticată nu numai că a descifrat parametrii de vorbire interpretabili, dar a oferit și o perspectivă asupra câmpurilor temporale receptive ale zonelor corticale specifice. În mod surprinzător, rezultatele provoacă noțiunile predominante care separă reflexele de rețelele corticale de feedforward. Analizele au relevat o structură fină de feedback mixt și procesare feedforward, care se întinde pe cortexul frontal și temporal. Această nouă perspectivă, combinată cu performanța excepțională a decodării vorbirii, reprezintă un salt înainte major în înțelegerea noastră a mecanismelor neuronale complexe care stau la baza producției de vorbire.

Cercetătorii au folosit această nouă perspectivă pentru a ghida dezvoltarea lor de proteze care pot citi și decoda activitatea creierului direct în vorbire. În timp ce mulți cercetători lucrează pentru a dezvolta astfel de dispozitive, prototipul NYU are o diferență cheie: este capabil să recreeze vocea unui pacient, folosind doar un set mic de date de înregistrări, într-un grad remarcabil. Rezultatul poate fi ca pacienții să nu-și recapete vocea după ce o pierd, ci mai degrabă o câștigă ei Votați din nou. Acest lucru se datorează unei rețele neuronale profunde care ia în considerare spațiul auditiv subiacent și poate fi antrenat pe doar câteva mostre de sunet individual, cum ar fi un videoclip YouTube sau o înregistrare Zoom.

Pentru a colecta date, cercetătorii au apelat la un grup de pacienți cu epilepsie refractară, care în prezent nu pot fi tratați cu medicamente. Acești pacienți au avut o rețea de electrozi de electroencefalografie subdurală (EEG) implantată pe creier timp de o săptămână pentru a-și monitoriza starea și au consimțit la 64 de electrozi suplimentari mai mici amplasați între electrozii clinici obișnuiți. Ei au oferit cercetătorilor informații cheie asupra activității creierului în timpul procesului de producție a vorbirii.

Pe lângă Flinker și Wang, cercetătorii includ Ran Wang, Xueping Chen și Amirhossein Khalilian-Gortani de la Departamentul de Inginerie Electrică și Calculatoare a NYU, Liao Yu de la Departamentul de Inginerie Biomedicală și Patricia Dugan, Daniel Friedman și Orrin Devinsky de la Departamentul de Neurologie NYU Grossman. Departamentul și Werner Doyle de la Departamentul de Neurochirurgie.

Această lucrare a fost rezultatul unui grant de 850.000 USD de la NSF care vizează dezvoltarea decodoarelor neuronale pentru procesarea limbajului și dezvoltarea modelelor de comunicare ghidată, precum și subvențiile National Institutes of Health R01NS109367, R01NS115929 și R01DC018805. Acum, cercetătorii au primit o sumă suplimentară de 950.000 de dolari pentru a continua această activitate, cu finanțare comună din partea programului NSF Collaborative Research in Computational Neuroscience (CRCNS) și a programului DARE (Disability and Rehabilitation Engineering). Fondurile vor sprijini dezvoltarea în continuare a metodelor computaționale care vor permite o înțelegere mai profundă a neurobiologiei limbajului și traducerea acesteia în noi aplicații clinice pentru vorbire și limbaj.

Despre NYU Tandon School of Engineering

Istoria Școlii de Inginerie Tandon din NYU datează din 1854, înființarea atât a Școlii de Inginerie Civilă și Arhitectură a NYU, cât și a Institutului Politehnic Collegiat din Brooklyn. Fuziunea din ianuarie 2014 a creat o școală cuprinzătoare de predare și cercetare în inginerie și științe aplicate, ca parte a unei universități globale, cu legături strânse cu programele de inginerie de la NYU Abu Dhabi și NYU Shanghai. NYU Tandon are rădăcinile într-o tradiție vibrantă de antreprenoriat, curiozitate intelectuală și soluții inovatoare pentru cele mai presante provocări globale cu care se confruntă omenirea. Cercetările de la Tandon se concentrează pe intersecțiile vitale dintre comunicații/IT, securitate cibernetică, sistemele și instrumentele de știință a datelor/robotică și domeniile importante ale societății pe care le afectează, inclusiv mass-media emergente, sănătate, durabilitate și viață urbană. Credem că diversitatea este parte integrantă a excelenței și lucrăm pentru a crea un mediu vibrant, incluziv și echitabil pentru toți studenții, profesorii și personalul nostru. Pentru mai multe informații, vizitați engineering.nyu.edu.