L'Ipotesi della Rappresentazione Platonica

Intelligenza artificiale e reti neurali. Verso un modello statistico condiviso della realtà: dove sta andando l'apprendimento profondo?

Tale spazio sarebbe l'immagine statistica di una realtà sottostante comune, in analogia con il mondo delle idee descritto nell'allegoria platonica della caverna. Questo contributo ricostruisce l'ipotesi su tre livelli. Sul piano empirico, esamina le misure di allineamento rappresentazionale — in particolare la metrica del "mutuo vicinato" (mutual k-nearest-neighbor) — e i dati che mostrano come modelli di visione e di linguaggio si allineino tanto più quanto cresce la loro competenza. Sul piano teorico, formalizza le tre pressioni selettive proposte dagli autori (generalità del compito, capacità del modello, bias di semplicità) e ricostruisce l'argomento secondo cui una famiglia di apprenditori contrastivi converge a un kernel di informazione mutua puntuale. Sul piano filosofico, colloca la PRH entro il dibattito sul realismo convergente e ne discute i limiti epistemologici, distinguendo la convergenza di una statistica co-occorrenziale dalla pretesa, più forte, di un accesso alla cosa stessa. Si argomenta che la PRH è una congettura feconda e falsificabile, ma che la sua forza retorica — il richiamo a Platone — rischia di occultare la differenza tra modellare la realtà e comprenderla.

1. Introduzione: le ombre sulla parete

Nel libro VII della Repubblica, Platone immagina dei prigionieri incatenati in una caverna, volti verso una parete su cui si proiettano le ombre di oggetti che essi non possono vedere direttamente. Per quei prigionieri le ombre sono la realtà. Solo chi riesce a liberarsi e a uscire scopre che esse erano copie imperfette di un mondo più vero, illuminato dal sole.

L'immagine è tra le più frequentate della storia del pensiero, e proprio per questo è sorprendente ritrovarla al centro di un articolo tecnico di apprendimento automatico. Eppure, è esattamente ciò che hanno fatto quattro ricercatori del MIT nel 2024. La loro tesi, formulata in modo provocatorio ma rigoroso, si può riassumere così: i dati con cui addestriamo le intelligenze artificiali — fotografie, testi, suoni — sono le ombre sulla parete; i modelli, imparando, non si limitano a memorizzare quelle ombre, ma ricostruiscono progressivamente la struttura del mondo che le proietta. E la cosa davvero notevole è che modelli diversissimi tra loro sembrano ricostruire la stessa struttura.

Detto in termini quotidiani: un modello che ha imparato a riconoscere immagini e un modello che ha imparato a leggere testi, se diventano abbastanza grandi e competenti, finiscono per "misurare" la distanza tra i concetti in modo quasi identico. La distanza interna tra gatto e cane tende a coincidere, che la si sia appresa guardando milioni di fotografie o leggendo miliardi di parole. Non perché qualcuno l'abbia imposto, ma — è la congettura — perché gatto e cane stanno, nel mondo, in una certa relazione, e sistemi abbastanza potenti finiscono per coglierla.

Da qui il nome: gli autori chiamano rappresentazione platonica questo ipotetico punto d'arrivo comune, e ipotizzano che la crescita di scala dei modelli, la diversità dei dati e la molteplicità dei compiti spingano inesorabilmente verso di esso.

Le pagine che seguono prendono sul serio sia la parte tecnica sia quella filosofica di questa proposta. Perché la PRH è interessante non quando la si accetta o la si respinge in blocco, ma quando si distingue con precisione ciò che essa effettivamente dimostra, ciò che congettura e ciò che — sotto la suggestione del nome platonico — fa solo credere di affermare.

2. Il quadro formale: rappresentazioni, kernel e allineamento

Per discutere seriamente di "convergenza" occorre prima definire cosa converge e come lo si misura. Il paper di Huh et al. (2024) restringe il campo alle rappresentazioni come vettori di embedding e ne caratterizza la struttura attraverso il kernel di similarità che esse inducono.

Rappresentazione. Una rappresentazione è, in sostanza, una funzione che prende un dato in ingresso (un'immagine, una frase) e restituisce un vettore di numeri — chiamati feature — in uno spazio a molte dimensioni. È il modo in cui il modello "traduce" ogni oggetto del mondo in una collana di coordinate interne.

Kernel. Il kernel è la regola con cui, a partire da quei vettori, il modello misura quanto due dati si somiglino. Concretamente, si prende il vettore del primo dato e quello del secondo e se ne calcola il prodotto interno — un'operazione che, in parole povere, è alta quando i due vettori "puntano nella stessa direzione" e bassa quando divergono. L'idea, di lunga tradizione (da Aronszajn, 1950, a Smola e Schölkopf, 2002), è che ciò che conta di una rappresentazione non sono le coordinate assolute dei vettori — arbitrarie, dipendenti da rotazioni e riscalature — bensì la struttura relazionale che essa impone sui dati. Due rappresentazioni possono apparire diversissime nei numeri e tuttavia ordinare le vicinanze allo stesso modo.

Metrica di allineamento. Per confrontare due rappresentazioni si confrontano allora i loro kernel, cioè le rispettive "mappe di vicinanze". Una metrica di allineamento misura quanto la struttura di distanza indotta da una rappresentazione somigli a quella indotta da un'altra. La letteratura offre diverse opzioni — la Centered Kernel Alignment (CKA) di Kornblith et al. (2019), la SVCCA di Raghu et al. (2017), varie metriche basate sui vicini più prossimi (Klabunde et al., 2023).

Gli autori adottano una metrica di mutuo vicinato (mutual k-nearest-neighbor). Il funzionamento è intuitivo. Per ciascun punto si considerano i suoi k vicini più prossimi secondo il primo kernel e i suoi k vicini più prossimi secondo il secondo kernel; si conta quanti vicini i due insiemi hanno in comune; si media il risultato su tutti i punti e lo si normalizza dividendo per k. In pratica: se i due modelli sono d'accordo su "chi sta vicino a chi", la misura vale 1; se i loro vicinati non si sovrappongono mai, vale 0. La scelta del mutuo vicinato non è neutra: rispetto alla CKA, sensibile alla struttura globale, una metrica locale è più robusta rispetto a trasformazioni che preservano l'ordine delle vicinanze, ed è motivata dalla letteratura sul template matching (Oron et al., 2018; Park et al., 2024). È un punto da tenere a mente, perché — come vedremo — la misura dell'allineamento è essa stessa terreno di dibattito.

3. L'evidenza empirica: le rappresentazioni stanno convergendo

La prima metà del paper è una rassegna sistematica di indizi di convergenza, organizzati su quattro fronti.

3.1 Modelli diversi, rappresentazioni allineate

L'evidenza più antica viene dal model stitching ("cucitura" di modelli), introdotto da Lenc e Vedaldi (2015). L'idea: si prendono due modelli addestrati separatamente, si taglia il primo a metà e lo si "innesta" sul secondo tramite un piccolo strato di adattamento appreso. Se il modello ibrido così ottenuto continua a funzionare bene, vuol dire che le rappresentazioni interne dei due modelli, nel punto di giunzione, erano compatibili — sovrapponibili a meno di una semplice trasformazione. Lenc e Vedaldi mostrarono che un modello addestrato su ImageNet poteva essere cucito a uno addestrato su Places-365 mantenendo buone prestazioni, e che gli strati iniziali (filtri orientati di tipo Gabor) erano più intercambiabili di quelli profondi — un risultato che fa eco alla codifica sparsa osservata nella corteccia visiva (Olshausen & Field, 1996). Bansal et al. (2021) estesero il quadro mostrando che modelli auto-supervisionati si allineano strettamente alle loro controparti supervisionate; Moschella et al. (2022) dimostrarono la fattibilità di una cucitura zero-shot, senza alcuno strato appreso; Dravid et al. (2023) individuarono persino singoli "neuroni di Rosetta" attivati dallo stesso pattern in modelli di visione differenti.

È a questo punto che gli autori richiamano lo scenario Anna Karenina di Bansal et al. (2021), a sua volta debitore dell'incipit di Tolstoj: tutti i modelli forti si somigliano, ogni modello debole è debole a modo suo. La PRH aggiunge a questo scenario una tesi sul contenuto della "rappresentazione felice" verso cui i modelli forti convergono: essa rifletterebbe un modello statistico della realtà sottostante.

3.2 L'allineamento cresce con la scala e la competenza

Il contributo empirico originale del paper è la valutazione di 78 modelli di visione, addestrati con architetture, obiettivi e dataset diversi. Misurando l'allineamento medio (mutuo vicinato sul dataset Places-365) all'interno di gruppi di prestazione omogenea sul Visual Task Adaptation Benchmark (VTAB), gli autori trovano che i modelli più competenti formano un cluster rappresentazionale stretto, mentre i modelli deboli restano dispersi. In altre parole: più i modelli sono bravi e generali, più finiscono per assomigliarsi tra loro. Sul versante teorico, Balestriero e Baraniuk (2018) avevano già mostrato che modelli con uscite simili tendono ad avere attivazioni interne simili.

3.3 La convergenza attraversa le modalità

Il risultato più sorprendente riguarda l'allineamento cross-modale tra visione e linguaggio. Usando il dataset WIT di coppie immagine-didascalia da Wikipedia (Srinivasan et al., 2021), si costruiscono due "mappe di vicinanze": una a partire da come un modello di visione dispone le immagini, l'altra a partire da come un modello di linguaggio dispone le rispettive didascalie. Poi si misura quanto le due mappe combacino. Il risultato è una relazione sostanzialmente lineare: più un modello linguistico è competente (misurato dalla sua capacità di comprimere il testo) più si allinea ai modelli di visione, e viceversa. I modelli CLIP, addestrati con supervisione linguistica esplicita, mostrano allineamento più alto — che però diminuisce dopo la rifinitura (fine-tuning) sulla classificazione ImageNet, indizio che la specializzazione su un compito ristretto erode la rappresentazione generale.

L'allineamento, inoltre, predice le prestazioni: i modelli linguistici più allineati al modello visivo DINOv2 (Oquab et al., 2023) ottengono risultati migliori nei test di senso comune (Hellaswag), con andamento lineare, e nei test di matematica (GSM8K), dove la curva assume il profilo "emergente" tipico delle abilità che compaiono bruscamente oltre una certa scala.

3.4 L'allineamento con il cervello

Un quarto fronte, di particolare rilievo per le scienze umane, è l'allineamento crescente tra rappresentazioni artificiali e biologiche. A partire da Yamins et al. (2014), si è accumulata evidenza che le reti più performanti su compiti visivi predicono meglio l'attività neurale nella corteccia visiva dei primati. Anche se il mezzo differisce — transistor di silicio contro neuroni biologici — il problema affrontato è il medesimo: estrarre con efficienza la struttura sottostante di immagini, suoni e testi (Barlow, 1961). Studi psicofisici mostrano accordo tra la similarità percepita dagli esseri umani e quella indotta da modelli addestrati su obiettivi apparentemente estranei alla percezione umana (Zhang et al., 2018).

3.5 Una cautela quantitativa

Qui occorre la prima onestà intellettuale, che gli stessi autori non eludono. Nell'esperimento cross-modale, l'allineamento cresce con la competenza ma raggiunge appena un valore di 0,16 sulla metrica di mutuo vicinato, il cui massimo teorico è 1 (cioè il combaciare perfetto delle due mappe di vicinanze). Gli autori lo dichiarano apertamente come questione aperta: 0,16 è un allineamento forte, con il resto attribuibile a "rumore", oppure un allineamento debole, con differenze sostanziali ancora da spiegare? La convergenza, allo stato, è una tendenza misurabile, non un fatto compiuto.

4. Perché convergono: tre pressioni selettive

Stabilito che le rappresentazioni si allineano, resta da capire perché. Gli autori partono dalla forma generale dell'addestramento di una rete: imparare significa cercare, dentro un certo repertorio di funzioni possibili, quella che riduce al minimo l'errore sui dati, con l'aggiunta eventuale di un termine che penalizza le soluzioni troppo complicate. In quella ricetta entrano tre ingredienti: il repertorio di funzioni disponibili (cioè l'architettura del modello), l'obiettivo che misura l'errore sui dati, e la regolarizzazione che scoraggia le soluzioni inutilmente complesse. Ciascuno dei tre ingredienti suggerisce una pressione verso la convergenza.

4.1 Ipotesi della scala multi-compito (il dato e l'obiettivo)

Multitask Scaling Hypothesis — Esistono meno rappresentazioni in grado di risolvere bene N compiti che M compiti, quando N è maggiore di M. Addestrando modelli su un numero crescente di compiti, lo spazio delle soluzioni ammissibili si restringe.

È il principio di contravarianza di Cao e Yamins (2024): l'insieme delle soluzioni a un obiettivo facile è ampio, quello a un obiettivo difficile è ristretto. Ogni dato e ogni compito impongono un vincolo aggiuntivo; man mano che dati e compiti crescono, il volume delle rappresentazioni che li soddisfano tutti contemporaneamente si contrae. Le leggi di scala empiriche (Hestness et al., 2017; Kaplan et al., 2020) suggeriscono che, al limite — addestrando su una porzione sufficientemente vasta e varia delle misurazioni del mondo — si converga a un insieme di soluzioni piccolissimo, con un errore residuo pari soltanto all'incertezza intrinseca della realtà. Molti obiettivi moderni (l'apprendimento contrastivo, l'autoencoder mascherato, la modellazione linguistica autoregressiva) sono di fatto obiettivi multi-compito e impongono perciò vincoli più stringenti rispetto a un singolo compito di classificazione.

4.2 Ipotesi della capacità (l'architettura)

Capacity Hypothesis — I modelli più grandi hanno maggiore probabilità di convergere a una rappresentazione condivisa rispetto ai modelli più piccoli.

Se esiste una rappresentazione ottima là fuori, nello spazio di tutte le funzioni possibili, un modello con un repertorio più ampio ha più probabilità di contenerla. Due modelli piccoli possono "mancare" l'ottimo e assestarsi su soluzioni differenti; due modelli grandi lo coprono entrambi e vi convergono. La capacità non garantisce la convergenza, ma ne crea la condizione di possibilità.

4.3 Ipotesi del bias di semplicità (la regolarizzazione)

Simplicity Bias Hypothesis — Le reti profonde tendono a soluzioni semplici, e tanto più grande è il modello, tanto più forte è questa tendenza.

Resta un'obiezione: cosa impedisce a un modello da un miliardo di parametri di apprendere una rappresentazione inutilmente barocca? La risposta è il bias di semplicità, in parte esplicito (tecniche come il decadimento dei pesi o il dropout) e in parte implicito: le reti profonde, lasciate a sé stesse, obbediscono a una sorta di rasoio di Occam incorporato, preferendo le soluzioni semplici tra tutte quelle che si adattano ai dati (Solomonoff, 1964; Valle-Perez et al., 2019; Goldblum et al., 2023; Huh et al., 2023). I modelli più grandi conoscono più modi di adattarsi agli stessi dati, ma il bias di semplicità li spinge a scegliere, tra questi, i più semplici — e i più semplici tendono a coincidere.

L'eleganza dell'architettura argomentativa sta nel fatto che le tre ipotesi colpiscono i tre ingredienti distinti dell'addestramento: il dato e l'obiettivo restringono lo spazio delle soluzioni, la capacità lo rende accessibile, la semplicità ne seleziona un punto privilegiato.

5. Verso cosa convergono: il mondo idealizzato e il kernel PMI

Il cuore teorico del paper è il tentativo di dare forma matematica al punto d'arrivo della convergenza. Gli autori avvertono — con uno scrupolo che va sottolineato — che si tratta di un candidato concreto, non dell'unica formalizzazione possibile.

5.1 Il mondo idealizzato

Si immagina un mondo costituito da una sequenza di eventi discreti che si susseguono nel tempo, estratti da una distribuzione di probabilità ignota. Chiamiamo questa distribuzione, per comodità, la "legge del mondo": conoscerla equivarrebbe a possedere un modello del mondo completo (Ha & Schmidhuber, 2018; Richens & Everitt, 2024). Ogni evento può essere osservato in più modi — come immagine, come suono, come parola — attraverso quelle che gli autori chiamano funzioni di osservazione. L'ipotesi semplificatrice cruciale è che, in questo mondo idealizzato, tali funzioni siano biiettive e deterministiche: ogni evento corrisponde a una e una sola osservazione, e viceversa, senza perdita di informazione. La tesi è che una particolare rappresentazione della "legge del mondo" venga recuperata da una classe di apprenditori contrastivi.

5.2 La convergenza al kernel di informazione mutua puntuale

Il punto di partenza è la nozione di co-occorrenza: la probabilità che due osservazioni compaiano vicine nel tempo, entro una certa finestra temporale. Due cose che capitano spesso insieme — il lampo e il tuono, la parola "caffè" e la parola "tazza" — hanno alta co-occorrenza.

Un apprenditore contrastivo lavora proprio su questo. Tratta come coppie positive due osservazioni vicine nel tempo, cioè che tendono a co-occorrere, e come coppie negative due osservazioni indipendenti, prese a caso. Il suo obiettivo è costruire una rappresentazione in cui le coppie positive risultino "vicine" e le negative "lontane". Si può dimostrare che, all'ottimo, la similarità che il modello assegna a due osservazioni (il prodotto interno dei loro vettori) finisce per coincidere — a meno di una costante — con una grandezza ben precisa: l'informazione mutua puntuale tra le due osservazioni. In parole semplici, l'informazione mutua puntuale misura quanto la presenza dell'una rende più probabile l'altra rispetto a quanto sarebbe per puro caso: è alta per coppie che "vanno insieme" più del previsto, vicina a zero per coppie indipendenti. È il quadro tipico degli obiettivi cosiddetti NCE (Gutmann & Hyvärinen, 2010; Oord et al., 2018), che governano sistemi come SimCLR (Chen et al., 2020) e SimCSE (Gao et al., 2021).

Riassumendo a parole il passaggio chiave: la rappresentazione appresa da un apprenditore contrastivo è, in sostanza, una tabella delle informazioni mutue puntuali tra le osservazioni, tradotta in geometria.

Ora arriva il passaggio decisivo. Poiché — nel mondo idealizzato — le funzioni di osservazione sono biiettive, esse non alterano le probabilità: la co-occorrenza tra due immagini è identica alla co-occorrenza tra i due eventi del mondo che esse rappresentano, e lo stesso vale per le due parole corrispondenti. Di conseguenza, l'informazione mutua puntuale calcolata sulle immagini e quella calcolata sui testi coincidono entrambe con l'informazione mutua puntuale calcolata sugli eventi del mondo. Detto altrimenti: un modello di visione e un modello di linguaggio, addestrati separatamente e all'oscuro l'uno dell'altro, convergono allo stesso kernel — la stessa mappa di similarità — perché entrambi stanno misurando, ciascuno attraverso le proprie ombre, la medesima struttura di co-occorrenze del mondo.

La regola implicita di una vasta classe di algoritmi di apprendimento rappresentazionale si condensa così in un principio sorprendentemente semplice: trova un modo di disporre i dati in cui la vicinanza tra due punti equivalga alla loro informazione mutua puntuale. È questo, secondo gli autori, il candidato concreto al ruolo di "rappresentazione platonica".

5.3 Uno studio sul colore

La verifica empirica più elegante riguarda il colore. Abdou et al. (2021) avevano osservato che le distanze tra colori apprese da un modello linguistico — addestrato unicamente a predire co-occorrenze testuali — rispecchiano la percezione umana del colore, con somiglianza crescente al crescere della scala. Gli autori della PRH replicano il risultato e mostrano che apprendere le co-occorrenze del colore nelle immagini (sul dataset CIFAR-10) recupera all'incirca la stessa organizzazione percettiva che si ricava dallo spazio dei colori standard usato in colorimetria (CIELAB). Tre vie indipendenti — la percezione umana, la co-occorrenza visiva, la co-occorrenza linguistica — convergono sulla medesima geometria del colore. È, in piccolo, l'intera ipotesi resa visibile.

6. Implicazioni

Se la PRH cogliesse nel vero, alcune conseguenze sarebbero rilevanti e in parte già osservabili.

La scala è sufficiente, ma non necessariamente efficiente. La tesi è affine allo slogan "scale is all you need" ("basta aumentare la scala"), ma con una qualifica: metodi diversi scalano con efficienze diverse (Kaplan et al., 2020), e un metodo valido deve comunque soddisfare requisiti generali — essere uno stimatore consistente, modellare correttamente le statistiche di co-occorrenza del mondo.

I dati sono condivisibili tra modalità. Se esiste una rappresentazione platonica indipendente dalla modalità, allora per costruire il miglior modello di visione conviene addestrare anche su testo, e viceversa. Dovrebbe esistere una sorta di "tasso di cambio" teorico tra modalità: un certo numero di immagini vale, per addestrare un modello linguistico, un certo numero di parole, e simmetricamente. La pratica — modelli visivi rifiniti a partire da modelli linguistici pre-addestrati, e il miglioramento testuale di GPT-4 ottenuto addestrando anche su immagini — va proprio in questa direzione.

Traduzione e adattamento diventano facili. Quando due rappresentazioni sono allineate, passare dall'una all'altra è una funzione semplice. Ciò potrebbe spiegare perché la generazione condizionata è più facile di quella incondizionata, e perché la traduzione non appaiata (in visione come in linguaggio) funziona. Gli autori richiamano, con finezza, il problema di Molyneux (1688): un cieco dalla nascita che riacquistasse la vista non riconoscerebbe immediatamente con gli occhi le forme che prima distingueva al tatto, ma — dopo un po' di esperienza visiva — imparerebbe rapidamente a far combaciare il visto con il già toccato. I dati clinici sui bambini operati di cataratta congenita lo confermano (Held et al., 2011).

La scala potrebbe ridurre allucinazioni e bias. Se i modelli convergono verso un modello accurato della realtà, le allucinazioni dovrebbero diminuire con la scala — a condizione che i dati di addestramento costituiscano un insieme di misurazioni sufficientemente ricco e fedele. Quanto al bias, l'ipotesi non promette che scompaia, ma che i modelli più grandi tendano a riflettere i pregiudizi presenti nei dati anziché ad amplificarli.

7. Controesempi e limiti

La sezione più istruttiva del paper è quella in cui gli autori si attaccano da soli. Ne riprendo i nodi, perché definiscono il perimetro entro cui l'ipotesi è difendibile.

Modalità diverse contengono informazioni diverse. L'argomento della sezione 5 vale solo nell'ipotesi idealizzata di osservazioni biiettive. Ma nel mondo reale il tatto può trasmettere la forma di un oggetto, non il suo colore; il linguaggio può esprimere "credo nella libertà di parola", concetto che nessuna immagine cattura. Quando le osservazioni perdono informazione o sono rumorose, la biiezione cade. La versione raffinata dell'ipotesi recita allora: i modelli convergono alla stessa rappresentazione quando i segnali di ingresso sono sufficientemente ricchi di informazione e i modelli sufficientemente capaci; altrimenti l'allineamento ha un tetto, fissato da quanta informazione le due modalità effettivamente condividono. Un esperimento sulla densità delle didascalie (dataset DCI) conferma la direzione: didascalie più dettagliate — quindi più vicine alla descrizione completa dell'immagine — producono allineamento visione-linguaggio più alto.

Non tutto sta convergendo. L'evidenza riguarda soprattutto visione e linguaggio. In robotica non esiste ancora uno standard rappresentazionale condiviso, e i limiti dell'hardware strozzano quantità e diversità dei dati disponibili.

Bias sociologico della ricerca. La comunità di ricerca persegue, esplicitamente o no, sistemi che imitano il ragionamento umano; ciò può indurre una convergenza verso rappresentazioni umano-simili anche là dove altre forme di intelligenza sarebbero in linea di principio possibili. La "lotteria dell'hardware" (Hooker, 2021) aggiunge che il successo di un modello dipende anche dalla sua compatibilità con le architetture di calcolo disponibili. La convergenza osservata potrebbe dunque riflettere, in parte, i nostri vincoli e le nostre preferenze, non solo la struttura del mondo.

Le intelligenze a scopo speciale potrebbero non convergere. L'argomento vale per sistemi ottimizzati su molti compiti. Per un compito ristretto possono esistere "scorciatoie" — rappresentazioni efficaci ma scollegate dalla realtà profonda — più efficienti della rappresentazione platonica.

Come si misura l'allineamento? Esiste un dibattito attivo sui meriti e sui limiti di ciascuna metrica (Sucholutsky et al., 2023). La scelta del mutuo vicinato è ragionata, ma la conclusione dipende in parte da essa.

8. Lettura filosofica: convergenza non è ancora verità

Qui l'analista tecnico deve cedere il passo all'umanista, perché il punto più delicato della PRH non è matematico ma epistemologico, ed è nascosto proprio nel nome.

Gli autori sono onesti nel collocare la loro tesi entro il realismo convergente della filosofia della scienza: l'idea, sostenuta tra gli altri da Newton-Smith (1981) e Putnam (1982) e contestata dalla meta-induzione pessimistica di Laudan, che la scienza converga progressivamente verso il vero. La PRH è la trasposizione di questa idea dal sapere scientifico ai sistemi artificiali: come la scienza convergerebbe sulla natura, così le reti convergerebbero sulla legge del mondo.

Ma occorre tenere fermi tre ordini di distinzioni, pena lo scivolamento dalla congettura tecnica alla metafisica implicita.

Prima distinzione: statistica contro idea platonica. Ciò che il paper dimostra — sotto ipotesi forti — è la convergenza a una statistica di co-occorrenza, cioè a una tabella di informazioni mutue puntuali tradotta in geometria. La "legge del mondo" del modello è una distribuzione di probabilità su indici di osservazione. Le idee di Platone non sono statistiche di co-occorrenza: sono forme eterne, intelligibili, normative, che fondano l'essere e il valore delle cose. La caverna platonica è retta da una gerarchia ontologica che culmina nell'idea del Bene; il "mondo" della PRH è un grafo di correlazioni. La metafora è suggestiva e — va riconosciuto — gli autori in nota ammettono che l'interpretazione più fedele a Platone sarebbe forse quella per cui la distribuzione congiunta degli indici di osservazione è essa stessa la realtà platonica (Nettleship, 1897): una lettura paradossalmente anti-realista, in cui non c'è alcuno stato del mondo "vero" dietro le ombre. Il nome, insomma, fa lavorare due metafisiche opposte sotto la stessa etichetta.

Seconda distinzione: rappresentare contro comprendere. Che un sistema collochi gatto e cane alla giusta distanza statistica non equivale a che lo capisca. È la differenza, cara alla fenomenologia, tra la padronanza di una struttura relazionale e l'accesso al senso. Heidegger direbbe che la co-occorrenza coglie l'ente nella sua disponibilità calcolabile, non l'apertura di mondo entro cui qualcosa può comparire come gatto; e che ridurre la comprensione a una geometria di vicinanze è esattamente il gesto della tecnica che scambia il calcolabile con il reale. Non è un'obiezione che confuta la PRH — la quale parla di rappresentazioni, non di coscienza — ma che ne perimetra la portata: la PRH è una tesi sulla struttura delle rappresentazioni, non sulla loro interpretazione.

Terza distinzione: convergenza contro verità. Che molti sistemi convergano verso lo stesso punto non implica che quel punto sia vero. La sezione 7 lo concede di fatto due volte: la convergenza potrebbe riflettere il bias sociologico della comunità e la lotteria dell'hardware (convergenza per cause umane, non per fedeltà al mondo); e l'allineamento cross-modale misurato si ferma a 0,16. Una convergenza può essere l'effetto di vincoli condivisi — gli stessi dataset, le stesse architetture, le stesse schede di calcolo — più che la prova di un accesso comune alla realtà. È la versione contemporanea di un'antica obiezione al realismo: l'accordo degli osservatori non è di per sé garanzia di oggettività, se gli osservatori condividono le medesime lenti.

Ne emerge un giudizio bilanciato. La PRH è una congettura feconda: genera previsioni falsificabili (l'allineamento dovrebbe crescere con scala e competenza, i dati cross-modali dovrebbero aiutare, le allucinazioni dovrebbero calare) e fornisce un linguaggio unificante per fenomeni dispersi. È, al tempo stesso, una congettura sovra-determinata dal nome: l'aggettivo "platonico" promette un'ontologia che la matematica non consegna. La lezione, per chi insegna e divulga, è duplice. Da un lato, prendere sul serio l'evidenza: qualcosa di reale converge, ed è importante. Dall'altro, resistere alla tentazione di leggere in quella convergenza la prova che le macchine "vedono il mondo come è". Tra il modellare le ombre con accuratezza crescente e l'uscire dalla caverna, la distanza filosofica resta intera — e custodirla è compito di chi non confonde la potenza statistica con la sapienza.

9. Conclusioni

L'Ipotesi della Rappresentazione Platonica è uno dei tentativi più ambiziosi e meglio argomentati di rispondere alla domanda: dove sta andando l'apprendimento profondo? La sua risposta — verso una rappresentazione condivisa e indipendente dalla modalità, immagine statistica di una realtà sottostante — poggia su tre pilastri: un corpo crescente di evidenza empirica sull'allineamento (78 modelli di visione, allineamento cross-modale che predice le prestazioni a valle, convergenza con il cervello); tre pressioni selettive plausibili (scala multi-compito, capacità, bias di semplicità); e una derivazione formale secondo cui gli apprenditori contrastivi convergono verso la stessa mappa di informazioni mutue puntuali. I limiti, dichiarati dagli stessi autori, sono altrettanto seri: l'argomento formale richiede osservazioni biiettive, l'allineamento misurato è ancora modesto, e la convergenza potrebbe avere cause antropiche oltre che ontologiche.

Per il dibattito sull'intelligenza artificiale, la PRH offre più di una tesi tecnica: offre uno specchio. Ci costringe a chiederci se ciò che le macchine ricostruiscono sia la struttura del mondo o la struttura dei nostri modi di guardarlo — e se, in fondo, sappiamo distinguere le due cose. È una domanda vecchia quanto la caverna, riproposta da nuovi prigionieri di silicio. Che la si ritrovi nelle pagine di un articolo di machine learning è il segno che le questioni più antiche non sono mai davvero superate: cambiano soltanto le ombre sulla parete.

Riferimenti bibliografici

• Abdou, M., Kulmizev, A., Hershcovich, D., Frank, S., Pavlick, E., & Søgaard, A. (2021). Can language models encode perceptual structure without grounding? A case study in color. arXiv:2109.06129.

• Aronszajn, N. (1950). Theory of reproducing kernels. Transactions of the American Mathematical Society, 68(3), 337–404.

• Balestriero, R., & Baraniuk, R. G. (2018). A spline theory of deep learning. ICML.

• Bansal, Y., Nakkiran, P., & Barak, B. (2021). Revisiting model stitching to compare neural representations. NeurIPS, 34, 225–236.

• Barlow, H. B. (1961). Possible principles underlying the transformation of sensory messages. Sensory Communication.

• Cao, R., & Yamins, D. (2024). Explanatory models in neuroscience, Part 2: constraint-based intelligibility. Cognitive Systems Research, 85.

• Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A simple framework for contrastive learning of visual representations (SimCLR). ICML.

• Dravid, A., Gandelsman, Y., Efros, A. A., & Shocher, A. (2023). Rosetta neurons: Mining the common units in a model zoo. ICCV.

• Gao, T., Yao, X., & Chen, D. (2021). SimCSE: Simple contrastive learning of sentence embeddings. EMNLP.

• Goldblum, M., Finzi, M., Rowan, K., & Wilson, A. G. (2023). The no free lunch theorem, Kolmogorov complexity, and the role of inductive biases in machine learning. arXiv:2304.05366.

• Gutmann, M., & Hyvärinen, A. (2010). Noise-contrastive estimation. AISTATS.

• Ha, D., & Schmidhuber, J. (2018). World models. arXiv:1803.10122.

• Held, R., et al. (2011). The newly sighted fail to match seen with felt. Nature Neuroscience, 14(5), 551–553.

• Hestness, J., et al. (2017). Deep learning scaling is predictable, empirically. arXiv:1712.00409.

• Hooker, S. (2021). The hardware lottery. Communications of the ACM, 64(12), 58–65.

• Huh, M., Cheung, B., Wang, T., & Isola, P. (2024). The Platonic Representation Hypothesis. Proceedings of the 41st International Conference on Machine Learning (ICML), PMLR 235, 20617–20642. arXiv:2405.07987.

• Huh, M., Mobahi, H., Zhang, R., Cheung, B., Agrawal, P., & Isola, P. (2023). The low-rank simplicity bias in deep networks. TMLR.

• Kaplan, J., et al. (2020). Scaling laws for neural language models. arXiv:2001.08361.

• Klabunde, M., Schumacher, T., Strohmaier, M., & Lemmerich, F. (2023). Similarity of neural network models: A Survey of Functional and Representational Measures. arXiv:2305.06329.

• Kornblith, S., Norouzi, M., Lee, H., & Hinton, G. (2019). Similarity of neural network representations revisited (CKA). ICML.

• Lenc, K., & Vedaldi, A. (2015). Understanding image representations by measuring their equivariance and equivalence. CVPR.

• Moschella, L., et al. (2022). Relative representations enable zero-shot latent space communication. arXiv:2209.15430.

• Nettleship, R. L. (1897). Lectures on the 'Republic' of Plato. Macmillan.

• Newton-Smith, W. (1981). The Rationality of Science. Routledge & Kegan Paul.

• Olshausen, B. A., & Field, D. J. (1996). Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature, 381, 607–609.

• Oord, A. v. d., Li, Y., & Vinyals, O. (2018). Representation learning with contrastive predictive coding. arXiv:1807.03748.

• Oquab, M., et al. (2023). DINOv2: Learning robust visual features without supervision. arXiv.

• Oron, S., Dekel, T., Xue, T., Freeman, W. T., & Avidan, S. (2017). Best-buddies similarity. IEEE TPAMI, 40(8), 1799–1813.

• Park, Y.-J., Wang, H., Ardeshir, S., & Azizan, N. (2024). Quantifying representation reliability in self-supervised learning models. UAI.

• Platone. Repubblica, libro VII (c. 375 a.C.).

• Putnam, H. (1982). Three kinds of scientific realism. The Philosophical Quarterly, 32(128), 195–200.

• Raghu, M., Gilmer, J., Yosinski, J., & Sohl-Dickstein, J. (2017). SVCCA. NeurIPS, 30.

• Richens, J., & Everitt, T. (2024). Robust agents learn causal world models. ICLR.

• Smola, A. J., & Schölkopf, B. (2002). Learning with kernels.

• Solomonoff, R. J. (1964). A formal theory of inductive inference, Part I. Information and Control, 7(1), 1–22.

• Srinivasan, K., Raman, K., Chen, J., Bendersky, M., & Najork, M. (2021). WIT: Wikipedia-based image text dataset. SIGIR.

• Sucholutsky, I., et al. (2023). Getting aligned on representational alignment. arXiv.

• Valle-Perez, G., Camargo, C. Q., & Louis, A. A. (2019). Deep learning generalizes because the parameter-function map is biased towards simple functions. ICLR.

• Yamins, D. L. K., et al. (2014). Performance-optimized hierarchical models predict neural responses in higher visual cortex. PNAS.

• Zhang, R., Isola, P., Efros, A. A., Shechtman, E., & Wang, O. (2018). The unreasonable effectiveness of deep features as a perceptual metric. CVPR.

Nota metodologica: i dati quantitativi (78 modelli di visione, allineamento cross-modale pari a 0,16, profili lineare ed emergente sui test Hellaswag e GSM8K) e le derivazioni sono tratti dalla versione v5 del paper di Huh, Cheung, Wang e Isola (arXiv:2405.07987, licenza CC-BY 4.0). Le letture filosofiche (realismo convergente, distinzione fenomenologica tra rappresentare e comprendere) sono elaborazione dell'autore e non vanno attribuite agli autori del paper.

*docente di Filosofia e Scienze Umane