Reti neurali

I sistemi connessionistici sono spesso chiamati reti neurali: le unità che compongono tali sistemi sono simili, da un punto di vista funzionale, a cellule nervose e le connessioni lo sono ai collegamenti sinaptici tra assone di un neurone e dendriti di un altro. Anche le sinapsi del corpo umano possono essere attivatorie o inibitorie e i singoli neuroni calcolano la loro attivazione o inibizione sulla base del totale dei segnali in arrivo. L'ipotesi neurochimica, inoltre, indica l'apprendimento come risultato del cambiamento da parte delle sinapsi della capacità di far passare attivazione o inibizione (si ri-tarano). Nelle reti neurali, la quantità di attivazione o inibizione dipende quindi da due fattori: il peso sulla connessione e lo stato di attivazione delle unità (che può essere più o meno alto). I due fattori vengono moltiplicati l'uno con l'altro. Ogni unità mette assieme tutti i segnali in un unico valore (input netto) per quella unità. Una volta determinato l'input netto, attraverso la somma algebrica delle attivazioni e delle inibizioni arrivate, questo viene trasformato nell'input di attivazione dell'unità, seguendo una funzione sigmoide. Lo stato di attivazione determina come e quanto l'unità influenzi le altre con cui è collegata e lo stato di attivazione della unità di output lo si può definire come la risposta della rete alla attivazione esterna iniziale. Se la rete neurale scopre regolarità negli stimoli, "impara" ex. le reti di Kohonen che sviluppano mappe di tratti. Un altro metodo di apprendimento è quello della backpropagation in cui, durante l'apprendimento si presenta alla rete il pattern di attivazione in input e anche quello che ci si aspetta dalla rete in output (detto input di insegnamento). La rete calcola un pattern di output che è diverso da quello desiderato e poi calcola, per ogni unità di output, l'errore (la differenza tra lo stato di attivazione prodotto dalla rete per quell'unità e quello stabilito nell'input di insegnamento). L'errore serve a modificare i pesi delle connessioni. Generalmente questa operazione di riconfigurazione avviene sulla base della legge di Hebb, di rafforzare cioè le interconnessioni in proporzione al loro uso. Una variazione é, per esempio, la regola Delta di Bernard Widrow e Marcian Hoff, a sua volta una generalizzazione della regola di apprendimento del Percettrone, secondo cui il peso di una sinapsi va rafforzato di una quantità proporzionale alla differenza tra l'output fornito e l'output atteso (e così via ricorsivamente nei diversi strati).

Nelle reti neurali a strati nascosti non vi è la possibilità di calcolare l'errore in base ad un input di insegnamento, ostacolo superato con la backpropagation (grazie a Geoffrey Hinton) che offre un metodo per stimare quale sia il contributo di ogni unità nascosta agli errori delle unità di output connesse. L'apprendimento in una rete con unità nascoste e con la back propagation avviene così: si stabiliscono pattern di attivazione in ingresso e per ciascuno di questi si stabilisce un "target" di insegnamento. La rete processa questa serie di pattern un certo numero di volte (anche migliaia), dopo ogni processamento si quantifica un errore complessivo (la media dei quadrati dell'errore di ogni unità di output) che deve essere ridotto. La back propagation, con opportuni correttivi, evita che la rete cada in un "minimo locale" cioè in un assetto dei pesi da cui non riesce a spostarsi e che non corrisponda all'errore minimo globale cercato. E' anche possibile variare il tasso di apprendimento della rete, cioè si può determinare quanto debba essere grande il cambiamento di peso, dato un certo errore. In genere si preferisce fare cambiamenti lievi. Altro fattore modificabile è il momento in cui introdurre il cambiamento necessario. La rete, in un certo senso, va oltre lo stimolo dato e fa inferenze. 

L'architettura di una rete può essere ulteriormente complicata, il solo limite è che sia sempre possibile l'applicazione della back propagation o di qualsiasi altro metodo di apprendimento utilizzato. Esistono anche metodi di apprendimento supervisionato (detti: apprendimenti per rinforzo, in cui ci si limita a dire alla macchina se il suo comportamento va bene oppure no, senza dirle esattamente come comportarsi) oppure apprendimento non supervisionato (in cui la macchina apprende perché scopre da sola regolarità nell'input, senza ricevere correzioni dall'esterno). Nell'apprendimento per evoluzione genetica, invece, vi è un solo fattore che spinge l'evoluzione del sistema verso prestazioni più efficaci: la riproduzione selettiva e l'aggiunta sistematica di variabilità nel sistema. Marc Mèzard e Jean-Pierre Nadal hanno scoperto un metodo che consente un'architettura di rete minima capace di crescere fino a raggiungere le dimensioni adatte per svolgere un dato compito (tiling algorithm). Il connessionismo rende evidente perché la memoria dei calcolatori informatici sia una cosa molto diversa dalla memoria biologica. Un sistema connessionista recupera una informazione conservata in rete anche presentandone un'altra somigliante e la recupera ovunque essa sia. Infatti non è chiaro in che senso si possa parlare di un file di informazione in un sistema di questo tipo. E' anche possibile recuperare informazioni che non si sapeva fossero nella rete e a cui non occorre dare un nome o un qualsiasi altro tipo di classificazione (che poi sarebbe necessario ricordare). Le reti neurali si possono considerare come reti di memoria nella quale ogni singola esperienza lascia una traccia che influenza il modo in cui la rete reagirà successivamente ad esperienze più o meno simili, o collegate in qualche modo alle precedenti. Il passato incide però in blocco sul presente e non c'è differenza tra passato più o meno remoto a meno che nella rete non sia presente un secondo tipo di memoria sensibile al tempo inteso anche come dimensione e che abbia capacità limitata per cui più passa il tempo minore è l'influenza di un'esperienza, che può arrivare fino a scomparire per qualche motivo (nella mente umana comunque non si è sicuri che scompaia il ricordo, forse se ne perde solo la chiave d'accesso).

Massimo Zanetti