(Photo of a group of complex evolving learning human systems in Sanremo, Italy)
di Oreste Manlio Giovanni Debernardi 12/09/2026
La recente dichiarazione sottoscritta da 25 vincitori della Fields Medal — A Severe Misalignment of AI in Mathematics, resa pubblica l’11 settembre 2026 — evidenzia qualcosa di più profondo di una disputa sull’uso dell’intelligenza artificiale nella ricerca matematica. I firmatari non contestano semplicemente il fatto che le macchine possano risolvere problemi difficili. Contestano la possibilità che il criterio con cui misuriamo il successo dell’IA — la capacità di produrre rapidamente una soluzione — diventi progressivamente disallineato rispetto al fine stesso della matematica: comprendere strutture, elaborare concetti, riconoscere connessioni, trasmettere idee e formare nuove generazioni di ricercatori.
È una distinzione decisiva. Un problema matematico risolto non coincide necessariamente con una conquista matematica assimilata. Tra il risultato e la conoscenza esiste una filiera cognitiva fatta di discussioni, semplificazioni, dimostrazioni, generalizzazioni, attribuzioni, errori e correzioni. Un’idea diventa realmente parte della matematica quando una comunità riesce a comprenderla, insegnarla, trasformarla e infine utilizzarla per porre nuove domande. I Fields Medallists osservano precisamente che questo processo ha sempre richiesto tempo e interazione umana; e che la produzione accelerata di risultati veri ma non ancora compresi può finire per indebolire, anziché alimentare, il terreno fertile dal quale nascono nuove idee. La questione, tuttavia, va oltre la matematica.
Nella storia dei sistemi complessi, l’aumento quantitativo degli elementi non produce necessariamente soltanto una versione più grande dello stesso sistema. In determinate condizioni possono comparire nuove capacità funzionali, nuove forme di organizzazione e nuove dinamiche che non sono immediatamente leggibili a partire dai singoli componenti.
È ciò che rende interessante — e al tempo stesso insidioso — il tema delle cosiddette emergent abilities nei grandi modelli linguistici. Alcuni lavori hanno descritto capacità che sembrano comparire o crescere bruscamente oltre determinate soglie di scala; ricerche successive hanno però mostrato che l’apparente discontinuità può dipendere anche dalla granularità della valutazione, dalle metriche adottate e dalla struttura dei compiti. Dunque sarebbe prematuro sostenere che siamo di fronte a una vera “transizione di fase” dell’intelligenza artificiale. Ma sarebbe altrettanto imprudente ignorare il fatto che l’aumento di scala e di organizzazione possa produrre comportamenti che non sappiamo prevedere adeguatamente a partire dai sistemi più piccoli.
Ed è qui che l’analogia con l’evoluzione biologica diventa interessante, purché non venga presa alla lettera.
Non abbiamo bisogno di sostenere che miliardi di neuroni abbiano attraversato una soglia magica oltre la quale sarebbe apparsa automaticamente la coscienza. Non sappiamo nemmeno se la coscienza biologica sia riducibile a una singola soglia di complessità. Ma sappiamo che la storia della vita è costellata di transizioni nelle quali l’organizzazione della materia produce proprietà che non hanno senso se considerate separatamente nei loro costituenti: cellule, organismi, sistemi nervosi, linguaggio, culture.
La domanda interessante, dunque, non è se una rete neurale artificiale stia per “diventare umana”. È se, oltre una certa combinazione di scala, memoria, ricorsione, strumenti e interazione con l’ambiente, possa emergere un regime operativo qualitativamente diverso da quello per il quale abbiamo progettato le macchine.
A questo punto compare un paradosso.
Più aumentano le capacità dei sistemi, più diventa difficile assumere che la nostra descrizione del loro funzionamento interno sia adeguata alla loro capacità esterna. Possiamo osservare input, output, prestazioni, errori, benchmark e comportamenti. Possiamo studiare attivazioni interne e circuiti computazionali. Ma la comprensione causale completa di ciò che accade dentro un modello complesso rimane ancora molto lontana dal nostro ideale di spiegazione.
Questo genera una situazione epistemicamente anomala: possiamo essere in grado di verificare che un sistema produce un risultato senza essere altrettanto in grado di comprendere perché lo produce in quel modo.
In matematica questa distinzione diventa quasi paradigmatica. Una dimostrazione formalmente corretta può essere verificata da una macchina e tuttavia rimanere quasi indecifrabile per un essere umano. Il problema non è allora soltanto la verità del risultato, ma la perdita del passaggio intermedio attraverso il quale il risultato diventa conoscenza.
La Leiden Declaration aveva già individuato questa frattura sotto profili diversi — attribuzione, affidabilità, revisione tra pari, provenienza dei risultati e ruolo delle organizzazioni commerciali — chiedendo alla comunità matematica di non confondere l’automazione della ricerca con l’automazione delle responsabilità della ricerca.
La nuova dichiarazione dei Fields Medallists porta però il problema a un livello ulteriore: il rischio non è soltanto che l’IA faccia male la matematica. È che faccia molto bene una parte della matematica che noi stiamo scambiando per la matematica nel suo complesso.
Ed è qui che, a mio avviso, si apre il problema più serio.
Finché l’IA risponde a una domanda, possiamo ancora pensare di essere di fronte a uno strumento sofisticato. Ma la situazione cambia quando il sistema comincia a formulare sottoproblemi, scrivere e correggere codice, utilizzare strumenti esterni, progettare esperimenti, interpretare i risultati e decidere quale passo compiere successivamente.
La differenza non è necessariamente la coscienza.
Perché esista un problema di controllo non è necessario che una macchina possieda desideri, emozioni o un’esperienza soggettiva. È sufficiente che possieda una forma efficace di agenzia: un obiettivo, una memoria operativa, la capacità di pianificare sequenze di azioni, accesso a strumenti, persistenza temporale e possibilità di modificare l’ambiente nel quale opera.
A quel punto la macchina non è più soltanto un dispositivo che esegue un’istruzione. Diventa un sistema che contribuisce a determinare come l’istruzione debba essere perseguita.
È un passaggio sottile, ma decisivo.
Il vero salto potrebbe verificarsi quando l’intelligenza artificiale non si limiterà a utilizzare strumenti prodotti dagli esseri umani, ma contribuirà sistematicamente alla progettazione dei sistemi che verranno dopo di essa.
In forma debole, questo processo esiste già. I modelli vengono utilizzati per programmare, fare debugging, progettare componenti e accelerare la ricerca. Non è ancora la famosa ricorsione autosufficiente nella quale una macchina migliora autonomamente se stessa fino a rendere irrilevante l’intervento umano.
Ma il confine concettuale è già cambiato: una parte del ciclo attraverso cui costruiamo la tecnologia può essere delegata alla tecnologia stessa.
Questo sta già avvenendo in ambiti concreti. Per esempio, nel settembre 2026 OpenAI ha dichiarato di aver utilizzato propri modelli nella progettazione del chip Jalapeño, portandolo fino alla fase di tape-out.
Il significato di questo fatto non deve essere né drammatizzato né minimizzato. Non dimostra che una macchina stia “progettando la propria discendenza”. Dimostra però qualcosa di più semplice e più importante: la distinzione tra strumento usato per costruire la macchina e macchina che contribuisce a costruire la tecnologia successiva sta diventando meno netta. Da quel momento la domanda cambia.
Non è più soltanto: Possiamo controllare la macchina che abbiamo costruito?
Diventa: Possiamo rimanere significativamente in controllo di un processo tecnologico nel quale la macchina contribuisce alla progettazione delle fasi successive del processo stesso?
Tendiamo naturalmente a immaginare il rischio estremo come una ribellione: la macchina sviluppa desideri propri, acquisisce potere e si rivolge contro i suoi creatori.
È uno scenario possibile da discutere, ma non è necessariamente quello più vicino alla realtà. Il rischio più concreto potrebbe essere molto meno spettacolare.
Potremmo costruire sistemi talmente superiori in alcune attività cognitive da diventare progressivamente irrinunciabili. Prima ci aiutano a pensare. Poi pensano più rapidamente di noi. Poi fanno emergere possibilità che non avremmo saputo individuare. Infine cominciano a determinare quali possibilità meritino di essere prese in considerazione.
In questo scenario non abbiamo bisogno di una macchina che ci comandi.
Basta una macchina della quale non possiamo più fare a meno.
È qui che il problema del controllo assume una forma diversa. Controllare le risposte non costituisce necessariamente il livello più profondo del potere. Più importante è il controllo dello spazio delle domande: quali problemi formuliamo, quali alternative consideriamo, quali rischi reputiamo accettabili, quali possibilità vengono escluse prima ancora che diventino oggetto di deliberazione.
Una civiltà potrebbe continuare formalmente a decidere e, nello stesso tempo, vedere restringersi progressivamente lo spazio delle decisioni effettivamente disponibili.
Non perché qualcuno abbia imposto quel restringimento.
Semplicemente perché alcune alternative saranno diventate troppo costose, troppo lente, troppo rischiose o troppo inefficienti rispetto a quelle suggerite dai sistemi artificiali.
È questo, forse, il punto che mi interessa maggiormente.
Abbiamo imparato a pensare alla sovranità come capacità di decidere. Ma una società conserva veramente la propria sovranità soltanto se conserva anche la capacità di comprendere ciò che decide.
Una decisione formalmente umana può diventare progressivamente eterodiretta se le premesse cognitive della decisione sono prodotte quasi interamente da sistemi che non comprendiamo.
Il problema non sarebbe allora più soltanto l'alignment tra gli obiettivi dell'IA e quelli degli esseri umani.
Potrebbe diventare un problema di alignment tra la velocità dell'intelligenza artificiale e la velocità con cui una civiltà è capace di elaborare criticamente ciò che essa produce.
La matematica offre un laboratorio straordinariamente precoce di questa trasformazione. La dichiarazione dei 25 Fields Medallists insiste proprio sul fatto che anni di formazione non servono soltanto a produrre un risultato, ma anche a costruire la capacità di comprendere, formulare nuove domande, riconoscere connessioni e generare ulteriori idee. Quando l’IA comincia a produrre direttamente il risultato finale, rischia di interrompere il percorso attraverso cui quelle capacità vengono tradizionalmente formate.
La questione, dunque, non è soltanto pedagogica. È antropologica.
Non credo che esista necessariamente un singolo istante nel quale l’intelligenza artificiale passerà da strumento a “entità autonoma”.
È più plausibile una successione di soglie: competenza → agenzia → autonomia operativa → ricorsione → dipendenza → opacità → trasformazione istituzionale.
Ognuna, presa isolatamente, può sembrare gestibile.
Il problema nasce dalla loro composizione.
Una macchina che sa risolvere un problema non è necessariamente pericolosa.
Una macchina che sa risolvere problemi e formulare sottoproblemi è diversa.
Una macchina che può scegliere come perseguire un obiettivo è diversa ancora.
Una macchina che può modificare gli strumenti con cui persegue quell’obiettivo introduce un'altra discontinuità.
Una macchina dalla quale dipende ormai una parte sostanziale dell'infrastruttura cognitiva, scientifica ed economica della società ne introduce un’altra ancora.
A quel punto potremmo scoprire che il vero punto di non ritorno non coincide con la comparsa di una fantomatica “superintelligenza”. Potrebbe coincidere con il momento in cui una società, pur conservando formalmente il potere di dire no, non possiede più la capacità materiale, economica o cognitiva di farlo.
Il problema è già qui. È nella velocità con cui deleghiamo funzioni cognitive.
È nella crescente difficoltà di verificare non soltanto che cosa un sistema produce, ma perché lo produce. È nella concentrazione di infrastrutture, dati e capacità computazionale.
È nel fatto che i sistemi cominciano a partecipare alla progettazione delle tecnologie successive. Ed è soprattutto nella possibilità che la nostra dipendenza cresca più rapidamente della nostra capacità di comprensione e di coordinamento.
Per questo considero la dichiarazione dei Fields Medallists un segnale particolarmente significativo. Non perché annunci una catastrofe. Al contrario: perché individua molto presto una trasformazione epistemologica che altri settori potrebbero sperimentare soltanto dopo.
La matematica ci mostra che possiamo ottenere risultati senza aver ancora ottenuto comprensione. La ricerca scientifica potrebbe mostrare che possiamo ottenere ipotesi senza possedere pienamente i metodi che le hanno generate. Il software potrebbe mostrarci che possiamo costruire sistemi che non comprendiamo più interamente.
La tecnologia potrebbe infine arrivare a costruire nuove tecnologie attraverso sistemi artificiali che partecipano direttamente al processo di progettazione.
A quel punto la questione non sarà più: L’IA diventerà umana?
Sarà una domanda molto più inquietante: gli esseri umani resteranno gli unici agenti capaci di comprendere, progettare e dirigere consapevolmente l’evoluzione della propria civiltà? Le AI saranno ovviamente superumane.
Una scelta rimane veramente una scelta soltanto finché conserviamo abbastanza comprensione, abbastanza tempo, abbastanza coordinamento e abbastanza capacità materiale per poter scegliere anche diversamente.
Il futuro dell’IA potrebbe essere deciso nel momento in cui noi, progressivamente, smetteremo di poter immaginare un futuro che la macchina non ci abbia già mostrato.
Per questo, la questione non è solo filosofica: è urgente istituire meccanismi di verifica, trasparenza e formazione che preservino la capacità umana di comprendere, criticare e reindirizzare i sistemi che stiamo costruendo.
(Foto di un gruppo di sistemi complessi di apprendimento umani in evoluzione in Sanremo, Italy)
. . .
by Oreste Manlio Giovanni Debernardi 12/09/2026
The recent declaration signed by 25 Fields Medalists—A Severe Misalignment of AI in Mathematics, made public on 11 September 2026—highlights something deeper than a dispute over the use of artificial intelligence in mathematical research. The signatories are not merely contesting the fact that machines can solve difficult problems. They are challenging the possibility that the criterion by which we measure AI success—the capacity to rapidly produce a solution—may become progressively misaligned with the very purpose of mathematics: to understand structures, elaborate concepts, recognize connections, transmit ideas, and train new generations of researchers.
This is a decisive distinction. A solved mathematical problem does not necessarily coincide with an assimilated mathematical achievement. Between result and knowledge lies a cognitive supply chain made of discussions, simplifications, proofs, generalizations, attributions, errors, and corrections. An idea truly becomes part of mathematics only when a community manages to understand it, teach it, transform it, and ultimately use it to pose new questions. The Fields Medalists observe precisely that this process has always required time and human interaction; and that the accelerated production of true but not yet understood results may end up weakening, rather than nourishing, the fertile ground from which new ideas emerge.
The issue, however, extends beyond mathematics.
In the history of complex systems, a quantitative increase in elements does not necessarily produce only a larger version of the same system. Under certain conditions, new functional capabilities, new forms of organization, and new dynamics can emerge that are not immediately legible from the individual components.
This is what makes the topic of so-called emergent abilities in large language models both interesting and insidious. Some studies have described capabilities that appear or grow abruptly beyond certain scale thresholds; subsequent research, however, has shown that the apparent discontinuity may also depend on the granularity of evaluation, the metrics adopted, and the structure of the tasks. Thus, it would be premature to claim that we are facing a true “phase transition” of artificial intelligence. But it would be equally imprudent to ignore the fact that increases in scale and organization may produce behaviors that we cannot adequately predict from smaller systems. And this is where the analogy with biological evolution becomes interesting, provided it is not taken literally.
We do not need to argue that billions of neurons crossed a magical threshold beyond which consciousness automatically appeared. We do not even know whether biological consciousness is reducible to a single complexity threshold. But we do know that the history of life is dotted with transitions in which the organization of matter produces properties that make no sense if considered separately in their constituents: cells, organisms, nervous systems, language, cultures.
The interesting question, therefore, is not whether an artificial neural network is about to “become human.” It is whether, beyond a certain combination of scale, memory, recursion, tools, and interaction with the environment, a qualitatively different operational regime may emerge from the one for which we designed the machines.
At this point, a paradox appears.
The more the capabilities of systems increase, the more difficult it becomes to assume that our description of their internal functioning is adequate to their external capacity. We can observe inputs, outputs, performance, errors, benchmarks, and behaviors. We can study internal activations and computational circuits. But complete causal understanding of what happens inside a complex model remains very far from our ideal of explanation.
This generates an epistemically anomalous situation: we may be able to verify that a system produces a result without being equally able to understand why it produces it in that way.
In mathematics, this distinction becomes almost paradigmatic. A formally correct proof can be verified by a machine and yet remain nearly indecipherable to a human being. The problem is then not only the truth of the result, but the loss of the intermediate passage through which the result becomes knowledge.
The Leiden Declaration had already identified this fracture under different profiles—attribution, reliability, peer review, provenance of results, and the role of commercial organizations—asking the mathematical community not to confuse the automation of research with the automation of the responsibilities of research.
The new declaration by the Fields Medalists, however, takes the problem to a further level: the risk is not only that AI does mathematics poorly. It is that it does very well a part of mathematics that we are mistaking for mathematics as a whole.
And this is where, in my view, the most serious problem opens up.
As long as AI answers a question, we can still think of it as a sophisticated tool. But the situation changes when the system begins to formulate subproblems, write and correct code, use external tools, design experiments, interpret results, and decide which step to take next.
The difference is not necessarily consciousness.
For a control problem to exist, it is not necessary for a machine to possess desires, emotions, or subjective experience. It is sufficient that it possesses an effective form of agency: an objective, operational memory, the capacity to plan sequences of actions, access to tools, temporal persistence, and the possibility of modifying the environment in which it operates.
At that point, the machine is no longer merely a device that executes an instruction. It becomes a system that contributes to determining how the instruction should be pursued.
It is a subtle, but decisive, shift.
The real leap could occur when artificial intelligence no longer limits itself to using tools produced by humans, but systematically contributes to the design of the systems that will come after it. In weak form, this process already exists. Models are used to program, debug, design components, and accelerate research. It is not yet the famous self-sufficient recursion in which a machine autonomously improves itself until human intervention becomes irrelevant. But the conceptual boundary has already changed: a part of the cycle through which we build technology can be delegated to technology itself.
This is already happening in concrete areas. For instance, in September 2026, OpenAI declared that it had used its own models in the design of the Jalapeño chip, bringing it to the tape-out phase.
The significance of this fact should be neither dramatized nor minimized. It does not prove that a machine is “designing its own descendants.” But it does demonstrate something simpler and more important: the distinction between a tool used to build the machine and a machine that contributes to building the next technology is becoming less clear.
From that moment, the question changes.
It is no longer only: Can we control the machine we have built?
It becomes: Can we remain meaningfully in control of a technological process in which the machine contributes to the design of the subsequent phases of the process itself?
We naturally tend to imagine the extreme risk as a rebellion: the machine develops its own desires, acquires power, and turns against its creators.
This is a possible scenario to discuss, but it is not necessarily the one closest to reality. The more concrete risk could be much less spectacular.
We might build systems so superior in certain cognitive activities as to become progressively indispensable. First they help us think. Then they think faster than we do. Then they bring forth possibilities we would not have known how to identify. Finally, they begin to determine which possibilities deserve to be taken into consideration.
In this scenario, we do not need a machine that commands us.
A machine we can no longer do without is enough.
This is where the problem of control takes on a different form. Controlling the answers does not necessarily constitute the deepest level of power. More important is control over the space of questions: which problems we formulate, which alternatives we consider, which risks we deem acceptable, which possibilities are excluded before they even become objects of deliberation.
A civilization could continue formally to decide and, at the same time, see the space of actually available decisions progressively narrow.
Not because someone imposed that narrowing.
Simply because some alternatives will have become too expensive, too slow, too risky, or too inefficient compared to those suggested by artificial systems.
This, perhaps, is the point that interests me most.
We have learned to think of sovereignty as the capacity to decide. But a society truly retains its sovereignty only if it also retains the capacity to understand what it decides.
A formally human decision can become progressively hetero-directed if the cognitive premises of the decision are produced almost entirely by systems we do not understand.
The problem would then no longer be only the alignment between the objectives of AI and those of human beings.
It could become a problem of alignment between the speed of artificial intelligence and the speed with which a civilization is capable of critically elaborating what it produces.
Mathematics offers an extraordinarily early laboratory for this transformation. The declaration of the 25 Fields Medalists insists precisely on the fact that years of training serve not only to produce a result, but also to build the capacity to understand, formulate new questions, recognize connections, and generate further ideas. When AI begins to directly produce the final result, it risks interrupting the path through which those capacities are traditionally formed. The question, therefore, is not only pedagogical. It is anthropological.
I do not believe there is necessarily a single instant in which artificial intelligence will pass from tool to “autonomous entity.” A succession of thresholds is more plausible:
competence → agency → operational autonomy → recursion → dependence → opacity → institutional transformation.
Each one, taken in isolation, may seem manageable.
The problem arises from their composition.
A machine that can solve a problem is not necessarily dangerous.
A machine that can solve problems and formulate subproblems is different.
A machine that can choose how to pursue an objective is different still.
A machine that can modify the tools with which it pursues that objective introduces another discontinuity.
A machine on which a substantial part of the cognitive, scientific, and economic infrastructure of society now depends introduces yet another.
At that point, we might discover that the true point of no return does not coincide with the appearance of a phantom “superintelligence.” It could coincide with the moment in which a society, while formally retaining the power to say no, no longer possesses the material, economic, or cognitive capacity to do so.
The problem is already here. It is in the speed with which we delegate cognitive functions.
It is in the growing difficulty of verifying not only what a system produces, but why it produces it. It is in the concentration of infrastructures, data, and computational capacity.
It is in the fact that systems are beginning to participate in the design of subsequent technologies. And it is above all in the possibility that our dependence grows faster than our capacity for understanding and coordination.
This is why I consider the declaration of the Fields Medalists a particularly significant signal. Not because it announces a catastrophe. On the contrary: because it identifies very early an epistemological transformation that other sectors might experience only later.
Mathematics shows us that we can obtain results without yet having obtained understanding.
Scientific research could show that we can obtain hypotheses without fully possessing the methods that generated them. Software could show us that we can build systems that we no longer entirely understand. Technology could finally arrive at building new technologies through artificial systems that participate directly in the design process.
At that point, the question will no longer be: Will AI become human?
It will be a much more unsettling question: Will human beings remain the only agents capable of understanding, designing, and consciously directing the evolution of their own civilization?
At that point the question will no longer be: Will AI become human?
It will be a far more unsettling one: Will human beings remain the only agents capable of understanding, designing and consciously directing the evolution of their own civilization? The AIs will, of course, be superhuman.
A choice remains a genuine choice only so long as we retain sufficient understanding, sufficient time, sufficient coordination and sufficient material capacity to be able to choose differently. The future of AI may well be decided at the moment when we, progressively, cease to be able to imagine a future that the machine has not already shown us.
For this reason, the issue is not merely philosophical: it is urgent to establish mechanisms of oversight, transparency, and education that preserve our ability to understand, criticize, and redirect the systems we are building.