Il team di Google DeepMind ha pubblicato su Nature un articolo in cui annuncia di essere riuscito a dotare le reti neurali di una memoria dinamica esterna.
Le reti neurali come il nome suggerisce sono dei computer molto sofisticati che vorrebbero imitare il funzionamento del cervello umano nel risolvere certi problemi.
Uno dei limiti delle reti neurali è non avere memoria a breve termine e visto il modo in cui funzionano questa è (secondo qualcuno) una particolare limitazione perché quando dai un compito a una rete neurale questa deve, prima di svolgerlo in maniera efficiente, passare per una fase di training, detto in linguaggio informatico il sistema deve effettuare moltissime iterazioni, se poi si vuol far applicare la rete neurale a un secondo problema non avendo capacità di memorizzazione tutto quello che avrà “imparato” in quelle iterazioni andrà perso e se si tornerà a far applicare la macchina sullo stesso problema dovrà ricominciare tutto da capo.
Che cosa hanno fatto i ricercatori di DeepMind
Innanzitutto chiariamo una cosa, se state pensando: “va bene ma dove sta la novità? Si sa i computer da sempre hanno la RAM volatile e l’hard disk o altri supporti dove memorizzare informazioni in maniera più permanente” siete fuori strada, si sta parlando di altro, quando date il comando salva file siete voi a dire al sistema salva queste informazioni, anche nel caso dei salvataggi automatici c’è semplicemente un timer che comunque dice al computer salva queste informazioni nel modo in cui io (cioè il programmatore) ho deciso.
Quello che fa DeepMind con la sua memoria esterna è che appoggia lì (e poi può recuperarlo) quello che ha imparato durante le sue iterazioni, si dice da solo quali dati salvare anche perché sono dati che il programmatore non può prevedere.
I ricercatori hanno chiamato il nuovo sistema DNC (differentiable neural computer) e l’hanno provato con alcuni compiti piuttosto complessi, hanno dato in pasto l’intera rete della Metro di Londra (DeepMind è un’azienda britannica in seguito acquisita da Google) al sistema e poi gli hanno chiesto di calcolare il tragitto migliore tra due punti, stessa cosa hanno fatto con degli alberi genealogici ponendo poi domande del tipo “chi è il bisnonno paterno di Mario?”.
I risultati nel caso della metro, sempre secondo i ricercatori di Google, sono stati che una rete neurale non aiutata da memoria esterna dopo due milioni di iterazioni era capace di calcolare il giusto percorso solo il 37% delle volte, mentre il DNC dopo “solo” un milione di iterazioni portava a termine il compito con successo il 98,8% delle volte.
Commenti dei colleghi/rivali
Alcuni ricercatori hanno avanzato dubbi sull’effettiva importanza di quanto fatto dai ricercatori di DeepMind, in pratica le critiche si possono semplificare in: la LORO rete neurale forse funziona meglio con questa memoria esterna, ma non è che DeepMind sia lo stato dell’arte delle reti neurali ed esistono sistemi che da tempo possono risolvere efficacemente questi problemi.
Inoltre alcuni pongono obiezioni più di base (o filosofiche se volete) a certi proclami da marketing pubblicitario che fanno parallelismi tra quello che fa una macchina e quello che fa il cervello umano, bisogna sempre ricordare che noi non abbiamo ancora idea di come funziona il cervello umano, di come fa certe connessioni, mentre una macchina, anche una rete neurale non fa che macinare numeri.
Roberto Todini
