Promjena jednog jedinog bita bila je dovoljna da treniranje neuronske mreže završi u drukčijoj unutarnjoj konfiguraciji. U jednom pokusu to se dogodilo u približno 48 posto slučajeva, iako su istraživači početne postavke mijenjali za najmanji iznos koji je računalo moglo zabilježiti.
Andrew Ly i Pulin Gong sa Sveučilišta u Sydneyju objašnjenje traže u fraktalnoj geometriji procesa učenja. Njihov rad objavljen 5. studenoga u časopisu Nature Machine Intelligence pokazuje kako gotovo jednake početne postavke mogu voditi prema različitim rješenjima čak i kada su uklonjeni vanjski izvori nasumičnosti.
Za razvoj pouzdane umjetne inteligencije to je neugodan problem. Isti podaci i isti postupak treniranja ne jamče da će dvije mreže s neznatno različitim početnim parametrima naučiti jednako rješavati zadatak. Autori su ukupno trenirali približno pola milijuna mreža kako bi ispitali koliko je taj obrazac raširen među različitim načinima učenja.
Zašto gotovo jednake početne postavke daju različite ishode
Neuronska mreža uči prilagođavajući brojne parametre koji određuju kako obrađuje ulazne podatke. Pritom se pogreška na primjerima za učenje postupno smanjuje, ali mreža ne mora svaki put doći do istog rješenja. Ovisno o početnim vrijednostima, mreža nakon treniranja može imati različite parametre.
Dio razlika među ponovljenim treniranjima obično se povezuje s redoslijedom primjera, nasumičnim koracima postupka ili načinom na koji računalna oprema izvodi izračune. Ly i Gong istražili su što ostaje kada se takvi utjecaji stave pod nadzor. Pokuse su izvodili i na središnjem procesoru, gdje su mogli osigurati ponovljivost izračuna, i na grafičkom procesoru, kakav se često koristi za treniranje mreža.
Kada se početno stanje potpuno ponovi u determinističkom okruženju, ponavlja se i rezultat. Istraživače je zanimalo može li se ishod pouzdano predvidjeti kada se početni parametri razlikuju makar za sićušan iznos.
Fraktalni uzorak u procesu učenja
Svaku početnu postavku moguće je zamisliti kao točku na karti, obojenu prema rješenju do kojeg mreža na kraju dođe. Skup početnih točaka koje vode istom odredištu matematičari nazivaju bazenom privlačenja. Na jednostavnoj karti susjedne točke mogu pripadati velikom, neprekinutom području iste boje.
U sustavu koji autori opisuju različite su boje gusto isprepletene. U blizini početne postavke koja vodi jednom rješenju nalaze se postavke koje vode drugome, a takvo se miješanje nastavlja i pri vrlo velikom povećanju. Ta fraktalna struktura objašnjava zašto znatno preciznije određivanje početka ne mora donijeti usporedivo bolju predvidljivost završetka.
Matematičke uvjete za nastanak takve geometrije autori su pokazali na minimalnoj mreži s dva sloja. U većim mrežama nisu mogli provesti jednako potpunu analitičku provjeru. Ondje su tražili mjerljive obrasce koji odgovaraju predloženom mehanizmu i pronašli ih u ispitanim konfiguracijama.
Pola milijuna treniranja, od slika do filmskih recenzija
Testovi su obuhvatili arhitekture VGGNet, ResNet i BERT, različite postupke optimizacije te zadatke prepoznavanja slika i određivanja sentimenta filmskih recenzija. Time su provjeravali pojavljuje li se osjetljivost samo u jednom posebno odabranom modelu ili se zadržava kada se promijene arhitektura i zadatak.
U detaljno analiziranom primjeru mreže VGG-12 preciznost početnih postavki povećavali su kroz deset redova veličine. Vjerojatnost završetka u različitim područjima prostora parametara gotovo se nije smanjila. Zasebna provjera promjene najmanje značajnog bita dala je udio različitih unutarnjih ishoda od 47,7 posto.
To ne znači da je mreža u 47,7 posto slučajeva davala drukčije odgovore korisniku. Različiti parametri ponekad mogu predstavljati istu funkciju. Autori su stoga uspoređivali i stvarne odluke istreniranih mreža. U reprezentativnom pokusu neslaganje u predviđanjima zadržalo se na približno 2,9 posto ulaznih primjera, bez bitnog poboljšanja pri preciznijem početnom stanju.
Stabilnije učenje može imati cijenu
U većini ispitanih konfiguracija postavke koje su omogućavale najbolje učenje ujedno su otežavale ponavljanje istog ishoda. Smanjenje stope učenja, veličine koraka kojim se parametri prilagođavaju, povećavalo je ponovljivost, ali je često narušavalo uspješnost treniranja. Taj odnos nije bio jednak u svakom pokusu.
Predložena geometrija tako je mogući zajednički mehanizam dijela problema s ponovljivošću, a ne dokaz da su svi sustavi umjetne inteligencije neizbježno nepredvidljivi. Praktičan doprinos rada jest način mjerenja osjetljivosti: uspoređivati i naučene funkcije, umjesto da se provjera zaustavi na tome jesu li mreže dobile jednake parametre.
