Antrenarea rețelelor neuronale a devenit mai ușoară cu dispozitivele inteligente

Antrenament în două straturi

Pentru cercetători, principala provocare a fost să integreze principalele componente necesare antrenamentului pe cip pe un singur cip neuronal. „Sarcina principală care trebuia rezolvată a fost să includă, de exemplu, componente ale RAM electrochimică (EC-RAM). Acestea sunt componente care simulează stocarea și eliberarea sarcinilor electrice atribuite neuronilor din creier”, spune van de Burgh. .

Cercetătorii au fabricat o rețea neuronală cu două straturi bazată pe componente RAM electronice realizate din materiale organice și au testat dispozitivele folosind o evoluție a algoritmului de antrenament de retropropagare cu regresie în gradient, utilizat pe scară largă. „Algoritmul tradițional este adesea folosit pentru a îmbunătăți acuratețea rețelelor neuronale, dar acesta nu este compatibil cu hardware-ul nostru, așa că am venit cu propria noastră versiune”, spune Stevens.

În plus, cu AI în multe domenii devenind rapid o scurgere nesustenabilă a resurselor de energie, oportunitatea de a antrena rețele neuronale pe componente hardware pentru o fracțiune din costul energiei reprezintă o perspectivă atrăgătoare pentru multe aplicații – de la ChatGPT la prognoza meteo.

nevoie viitoare

În timp ce cercetătorii au dovedit că noua abordare de formare funcționează, următorul pas logic este să mergi mai mare, mai îndrăzneț și mai bun.

„Am demonstrat că aceasta funcționează cu o rețea mică cu două straturi”, spune van de Burgh „În următoarea fază, am dori să implicăm industria și alte laboratoare de cercetare majore, astfel încât să putem construi rețele mult mai mari de dispozitive și să testăm. ei cu probleme de date din viața reală.”

Următorul pas va permite cercetătorilor să demonstreze că aceste sisteme sunt extrem de eficiente în antrenament, precum și rulează rețele neuronale utile și sisteme de inteligență artificială. „Am dori să aplicăm această tehnologie în multe cazuri practice”, spune Van de Burgh, „Visul meu este ca astfel de tehnologii să devină norma în aplicațiile de inteligență artificială în viitor”.

Detalii complete pe hârtie

„Implementarea fizică a propagării inverse folosind regresia gradientului pentru antrenarea locală a rețelelor neuronale multistrat„, Evelyn R. W. van Dorimele, Tim Stevens, Stijn Ringling, Simon Splauer, Marco Fattori și Juri van de Burgh, Scientific Progress, (2024).

Evelyn R.W. van Dorimele și Tim Stevens au contribuit în mod egal la cercetare și sunt ambii primii autori ai lucrării.

Tim Stevens lucrează în prezent ca inginer mecanic la Microlineo companie co-fondată de Marco Fattori.