Istraživači sa Sveučilišta u Tokiju i iz NTT-a pojednostavnili su način treniranja neuronskih mreža i provjerili ga u laboratorijskom sustavu s 200 metara optičkog vlakna. Dio obrade informacija odvijao se pomoću svjetlosti, a postupak učenja prilagodili su takvoj opremi.
Ključna je promjena u načinu treniranja. Kod uobičajenog postupka treba bilježiti stanja kroz koja sustav prolazi kako bi se izračunale potrebne prilagodbe. Novi postupak većinu tih mjerenja preskače, čime smanjuje količinu podataka koje treba pohraniti i obraditi.
U radu objavljenom 5. studenoga u časopisu Nature Computational Science Yongbo Zhang i kolege opisuju kombinaciju novog postupka treniranja i jednostavnije arhitekture. Uključivanje tog pristupa u ispitane suvremene arhitekture poboljšalo je rezultate uz približno 40 posto manje računalnih resursa. To nije mjerenje 40-postotne uštede električne energije.
Svjetlost obrađuje podatke, elektronika ostaje dio sustava
U laboratorijskom postavu informacija se pretvara u optički signal, prolazi kroz petlju vlakna i ponovno pretvara u električni signal za analizu. Riječ je o optoelektroničkom računalu: ono spaja optičke i elektroničke komponente, umjesto da cijeli postupak obavlja isključivo svjetlošću.
Takvi fizički sustavi koriste vlastito ponašanje za obradu informacija. Umjesto da digitalno računalo svaki korak samo numerički oponaša, dio promjena događa se u stvarnoj opremi. Problem nastaje kada se na tu opremu pokuša prenijeti postupak učenja osmišljen za drukčiju vrstu računala.
Tokijski tim u službenom opisu pokusa naglašava da uobičajeni pristupi mogu zahtijevati mnogo mjerenja, upravljanja i pohrane. Nije dovoljno zamijeniti električni signal optičkim i očekivati da će cijeli sustav automatski raditi bolje. Potrebno je prilagoditi i ono što se tijekom učenja računa.
Kako učiti bez praćenja svakog međukoraka
Povratnim širenjem pogreške određuje se kako promijeniti parametre mreže da bi njezini odgovori bili točniji. Taj se izračun oslanja na podatke o stanjima kroz koja mreža prolazi pri obradi ulaznog primjera. U fizičkom sustavu ta stanja treba izmjeriti, što može biti tehnički zahtjevno i povećati troškove.
Novi postupak nosi naziv state-skipping direct feedback alignment, skraćeno SS-DFA. Pri učenju se oslanja na pogrešku konačnog odgovora i poznata svojstva sustava, pa većinu međukoraka ne treba zasebno mjeriti i pohranjivati. Na temelju tih podataka određuje kako prilagoditi parametre.
Drugi dio rješenja nazivaju single-map arhitekturom. Umjesto složene mreže unutarnjih veza koriste jednostavniju dinamiku u kojoj jedinice slijede zajedničko pravilo. Jednostavnija struktura olakšava izradu takvog uređaja i smanjuje broj parametara koje treba prilagođavati tijekom učenja.
Tim je kombinaciju provjeravao računalnim simulacijama i optičkim pokusom. Istraživanje uključuje zadatke klasifikacije slika, uz standardne skupove podataka poput MNIST-a i CIFAR-10. Rezultati u tim zadacima služe za usporedbu pristupa, ali ne pokazuju kako bi se sustav ponašao pri treniranju današnjih najvećih jezičnih modela.
Jednostavniji sustav zasad ne nadmašuje grafičke procesore
Motivacija za ovakav rad jasna je: veći sustavi umjetne inteligencije traže sve više računalnih resursa, a podatkovnim centrima treba energija i za računanje i za hlađenje. Koliko bi takva oprema stvarno uštedjela, ovisit će i o njezinoj izvedbi.
U dopunskim materijalima rada autori navode da je njihova sadašnja izvedba u osnovi serijska. Njezina propusnost i energetska učinkovitost još su slabije od onih kod vrlo paralelnih suvremenih digitalnih procesora, uključujući grafičke procesore.
Autori razmatraju buduću integriranu fotoničku izvedbu s više paralelnih elemenata. Predviđene performanse takvog sustava projekcija su mogućeg razvoja, ne rezultat koji je već izmjeren na izrađenom uređaju. Da bi se pokazala stvarna ukupna ušteda, trebalo bi usporediti cijele sustave pri istom zadatku, uključujući pretvorbu signala i upravljačku elektroniku.
Put od laboratorijske petlje do čipa
Potraga za fizičkim sustavima koji uče traje već godinama. Kozmos je ranije pisao o drukčijem konceptu optičkog neuromorfnog računala koje bi se samo prilagođavalo, razvijanom na Institutu Max Planck. Sadašnji rad tokijskog tima ispituje vlastitu kombinaciju arhitekture i treniranja na laboratorijskoj platformi.
Kohei Nakajima navodi da pristup još nije testiran na najvećim jezičnim i multimodalnim sustavima. Za praktičan čip još treba riješiti probleme minijaturizacije, stabilnosti i proizvodnje te pristup provjeriti na većim modelima i složenijim zadacima.
