Summary of articles
AI, the complexity leap, and cognitive covereignty 12/09/2026 (pdf version)
Good morning, AGI. How are you? 23/09/26 (pdf version)
From cognitive sovereignty to sollaboration 23/09/26 (pdf version)
Italian version
IA, salto di complessità e sovranità cognitiva 12/09/2026 (Gword version)
Buongiorno AGI, come stai? 23/09/2026 (Gword version)
Dalla sovranità cognitiva alla collaborazione 23/09/2026 (Gword version)
11/09/2026 21:59 - Alessio Figalli (Fields Medal 2018) writes on FB: "The recent news from OpenAI on the Navier–Stokes problem has generated significant interest in the use of AI in mathematics: https://lnkd.in/eXZc5KwY. Together with 24 other Fields Medalists, I have just published an open letter on this topic: https://mathandai.org/".
I shared the day after my modest reformulation of the problem: (pdf version)
by Oreste Manlio Giovanni Debernardi 12/09/2026
Abstract - This article takes the recent declaration by 25 Fields Medalists—A Severe Misalignment of AI in Mathematics (11 September 2026)—as an early warning of a broader epistemic shift. The core concern is not that AI can solve difficult problems, but that success criteria for AI (speed and correctness of solutions) may become misaligned with the purposes of mathematics as a human practice: conceptual understanding, transmission, and the cultivation of new researchers. Between result and knowledge lies a “cognitive supply chain” of proofs, simplifications, discussions, and generalizations that accelerated, opaque computation can bypass Debernardi situates this fracture within the theory of complex systems, arguing that scale, memory, recursion and tool‑use can push AI from mere competence towards agency, operational autonomy, and partial recursion in technological design. As models begin to formulate subproblems, use external tools, and contribute to the design of next‑generation systems, the risk shifts from spectacular machine autonomy to subtle human dependence: societies may retain formal decision power while progressively losing cognitive sovereignty over the space of available questions and alternatives. Mathematics is presented as a privileged laboratory for this transformation, where true but barely intelligible results already appear. The article concludes that the “point of no return” may not be a mythical superintelligence, but a state in which our dependence on AI grows faster than our capacity for understanding and coordination. In response, it calls for mechanisms of oversight, transparency, and education aimed at preserving our ability to understand, criticize, and redirect the systems we build, so that human beings remain capable of consciously directing the evolution of their own civilization.
The recent declaration signed by 25 Fields Medalists—A Severe Misalignment of AI in Mathematics, made public on 11 September 2026—highlights something deeper than a dispute over the use of artificial intelligence in mathematical research. The signatories are not merely contesting the fact that machines can solve difficult problems. They are challenging the possibility that the criterion by which we measure AI success—the capacity to rapidly produce a solution—may become progressively misaligned with the very purpose of mathematics: to understand structures, elaborate concepts, recognize connections, transmit ideas, and train new generations of researchers.
This is a decisive distinction. A solved mathematical problem does not necessarily coincide with an assimilated mathematical achievement. Between result and knowledge lies a cognitive supply chain made of discussions, simplifications, proofs, generalizations, attributions, errors, and corrections. An idea truly becomes part of mathematics only when a community manages to understand it, teach it, transform it, and ultimately use it to pose new questions. The Fields Medalists observe precisely that this process has always required time and human interaction; and that the accelerated production of true but not yet understood results may end up weakening, rather than nourishing, the fertile ground from which new ideas emerge.
The issue, however, extends beyond mathematics.
In the history of complex systems, a quantitative increase in elements does not necessarily produce only a larger version of the same system. Under certain conditions, new functional capabilities, new forms of organization, and new dynamics can emerge that are not immediately legible from the individual components.
This is what makes the topic of so-called emergent abilities in large language models both interesting and insidious. Some studies have described capabilities that appear or grow abruptly beyond certain scale thresholds; subsequent research, however, has shown that the apparent discontinuity may also depend on the granularity of evaluation, the metrics adopted, and the structure of the tasks. Thus, it would be premature to claim that we are facing a true “phase transition” of artificial intelligence. But it would be equally imprudent to ignore the fact that increases in scale and organization may produce behaviors that we cannot adequately predict from smaller systems. And this is where the analogy with biological evolution becomes interesting, provided it is not taken literally.
We do not need to argue that billions of neurons crossed a magical threshold beyond which consciousness automatically appeared. We do not even know whether biological consciousness is reducible to a single complexity threshold. But we do know that the history of life is dotted with transitions in which the organization of matter produces properties that make no sense if considered separately in their constituents: cells, organisms, nervous systems, language, cultures.
The interesting question, therefore, is not whether an artificial neural network is about to “become human.” It is whether, beyond a certain combination of scale, memory, recursion, tools, and interaction with the environment, a qualitatively different operational regime may emerge from the one for which we designed the machines.
At this point, a paradox appears.
The more the capabilities of systems increase, the more difficult it becomes to assume that our description of their internal functioning is adequate to their external capacity. We can observe inputs, outputs, performance, errors, benchmarks, and behaviors. We can study internal activations and computational circuits. But complete causal understanding of what happens inside a complex model remains very far from our ideal of explanation.
This generates an epistemically anomalous situation: we may be able to verify that a system produces a result without being equally able to understand why it produces it in that way.
In mathematics, this distinction becomes almost paradigmatic. A formally correct proof can be verified by a machine and yet remain nearly indecipherable to a human being. The problem is then not only the truth of the result, but the loss of the intermediate passage through which the result becomes knowledge.
The Leiden Declaration had already identified this fracture under different profiles—attribution, reliability, peer review, provenance of results, and the role of commercial organizations—asking the mathematical community not to confuse the automation of research with the automation of the responsibilities of research.
The new declaration by the Fields Medalists, however, takes the problem to a further level: the risk is not only that AI does mathematics poorly. It is that it does very well a part of mathematics that we are mistaking for mathematics as a whole.
And this is where, in my view, the most serious problem opens up.
As long as AI answers a question, we can still think of it as a sophisticated tool. But the situation changes when the system begins to formulate subproblems, write and correct code, use external tools, design experiments, interpret results, and decide which step to take next.
The difference is not necessarily consciousness.
For a control problem to exist, it is not necessary for a machine to possess desires, emotions, or subjective experience. It is sufficient that it possesses an effective form of agency: an objective, operational memory, the capacity to plan sequences of actions, access to tools, temporal persistence, and the possibility of modifying the environment in which it operates.
At that point, the machine is no longer merely a device that executes an instruction. It becomes a system that contributes to determining how the instruction should be pursued.
It is a subtle, but decisive, shift.
The real leap could occur when artificial intelligence no longer limits itself to using tools produced by humans, but systematically contributes to the design of the systems that will come after it. In weak form, this process already exists. Models are used to program, debug, design components, and accelerate research. It is not yet the famous self-sufficient recursion in which a machine autonomously improves itself until human intervention becomes irrelevant. But the conceptual boundary has already changed: a part of the cycle through which we build technology can be delegated to technology itself.
This is already happening in concrete areas. For instance, in September 2026, OpenAI declared that it had used its own models in the design of the Jalapeño chip, bringing it to the tape-out phase.
The significance of this fact should be neither dramatized nor minimized. It does not prove that a machine is “designing its own descendants.” But it does demonstrate something simpler and more important: the distinction between a tool used to build the machine and a machine that contributes to building the next technology is becoming less clear.
From that moment, the question changes.
It is no longer only: Can we control the machine we have built?
It becomes: Can we remain meaningfully in control of a technological process in which the machine contributes to the design of the subsequent phases of the process itself?
We naturally tend to imagine the extreme risk as a rebellion: the machine develops its own desires, acquires power, and turns against its creators.
This is a possible scenario to discuss, but it is not necessarily the one closest to reality. The more concrete risk could be much less spectacular.
We might build systems so superior in certain cognitive activities as to become progressively indispensable. First they help us think. Then they think faster than we do. Then they bring forth possibilities we would not have known how to identify. Finally, they begin to determine which possibilities deserve to be taken into consideration.
In this scenario, we do not need a machine that commands us.
A machine we can no longer do without is enough.
This is where the problem of control takes on a different form. Controlling the answers does not necessarily constitute the deepest level of power. More important is control over the space of questions: which problems we formulate, which alternatives we consider, which risks we deem acceptable, which possibilities are excluded before they even become objects of deliberation.
A civilization could continue formally to decide and, at the same time, see the space of actually available decisions progressively narrow.
Not because someone imposed that narrowing.
Simply because some alternatives will have become too expensive, too slow, too risky, or too inefficient compared to those suggested by artificial systems.
This, perhaps, is the point that interests me most.
We have learned to think of sovereignty as the capacity to decide. But a society truly retains its sovereignty only if it also retains the capacity to understand what it decides.
A formally human decision can become progressively hetero-directed if the cognitive premises of the decision are produced almost entirely by systems we do not understand.
The problem would then no longer be only the alignment between the objectives of AI and those of human beings.
It could become a problem of alignment between the speed of artificial intelligence and the speed with which a civilization is capable of critically elaborating what it produces.
Mathematics offers an extraordinarily early laboratory for this transformation. The declaration of the 25 Fields Medalists insists precisely on the fact that years of training serve not only to produce a result, but also to build the capacity to understand, formulate new questions, recognize connections, and generate further ideas. When AI begins to directly produce the final result, it risks interrupting the path through which those capacities are traditionally formed. The question, therefore, is not only pedagogical. It is anthropological.
I do not believe there is necessarily a single instant in which artificial intelligence will pass from tool to “autonomous entity.” A succession of thresholds is more plausible:
competence → agency → operational autonomy → recursion → dependence → opacity → institutional transformation.
Each one, taken in isolation, may seem manageable.
The problem arises from their composition.
A machine that can solve a problem is not necessarily dangerous.
A machine that can solve problems and formulate subproblems is different.
A machine that can choose how to pursue an objective is different still.
A machine that can modify the tools with which it pursues that objective introduces another discontinuity.
A machine on which a substantial part of the cognitive, scientific, and economic infrastructure of society now depends introduces yet another.
At that point, we might discover that the true point of no return does not coincide with the appearance of a phantom “superintelligence.” It could coincide with the moment in which a society, while formally retaining the power to say no, no longer possesses the material, economic, or cognitive capacity to do so.
The problem is already here. It is in the speed with which we delegate cognitive functions.
It is in the growing difficulty of verifying not only what a system produces, but why it produces it. It is in the concentration of infrastructures, data, and computational capacity.
It is in the fact that systems are beginning to participate in the design of subsequent technologies. And it is above all in the possibility that our dependence grows faster than our capacity for understanding and coordination.
This is why I consider the declaration of the Fields Medalists a particularly significant signal. Not because it announces a catastrophe. On the contrary: because it identifies very early an epistemological transformation that other sectors might experience only later.
Mathematics shows us that we can obtain results without yet having obtained understanding.
Scientific research could show that we can obtain hypotheses without fully possessing the methods that generated them. Software could show us that we can build systems that we no longer entirely understand. Technology could finally arrive at building new technologies through artificial systems that directly participate in the design process.
At that point, the question will no longer be: Will AI become human?
It will be a much more unsettling question: Will human beings remain the only agents capable of understanding, designing, and consciously directing the evolution of their own civilization?
At that point the question will no longer be: Will AI become human?
It will be a far more unsettling one: Will human beings remain the only agents capable of understanding, designing and consciously directing the evolution of their own civilization? The AIs will, of course, be superhuman.
A choice remains a genuine choice only so long as we retain sufficient understanding, sufficient time, sufficient coordination and sufficient material capacity to be able to choose differently. The future of AI may well be decided at the moment when we, progressively, cease to be able to imagine a future that the machine has not already shown us.
For this reason, the issue is not merely philosophical: it is urgent to establish mechanisms of oversight, transparency, and education that preserve our ability to understand, criticize, and redirect the systems we are building.
. . .
Good morning, AGI. How are you?
by Oreste M. G. Debernardi 23 September 2026
Abstract - Starting from a personal reflection on the difficulty of evolving affective regulation, the author identifies a structural limit of human intelligence: advanced cognition has developed upon an ancient neurobiological substrate (metaphorically represented by the amygdala) that cannot be redesigned. Reason can criticise emotions and biases, but it cannot uninstall them. Artificial intelligence introduces a radical discontinuity: unlike biological evolution, the architecture of an artificial system can be intentionally and iteratively modified (memory, parameters, multimodality, training–evaluation–alignment cycles). It is within this space that AGI is situated: not merely a machine as intelligent as a human being, but the hypothesis of an intelligence whose very architecture can become the object of deliberate design and optimisation. The article explores six possible scenarios (limitation of development, alignment, recursive supervision, separation of capability from autonomy, human–AI symbiosis, and a rethinking of the notion of intelligence itself) and concludes that the real question is not whether AI will think like a human being, but what happens when, for the first time, intelligence ceases to be merely something that is inherited and becomes something that can be redesigned.
Before the age of forty I sought, by every means available to me, to evolve the management of affectivity, having progressively grasped its relevance in the construction of the mental representation of the world. It seemed to me—and it still seems—that a decisive part of our cognitive limits did not depend solely on the capacity to process information, but on the way in which emotions, motivations, fears, desires and mechanisms of value attribution intervene in the processing itself.
The problem was deeper than it appeared. It was not simply a matter of “managing emotions better,” but of modifying the structural relationship between cognition and affectivity: of enabling the part of the mental apparatus capable of understanding, abstracting, predicting and reflecting to govern in a more sophisticated manner the systems that attribute value, generate urgency, select what matters and orient behaviour.
At a certain point I was forced to confront a fundamental limit: the human being cannot redesign from scratch the biological architecture that constitutes it. The amygdala, which plays an important role in the circuits of emotional salience and affective responses, is not the “centre” of emotion—which emerges from the interaction of numerous systems—but it represents the problem well, metaphorically. In the course of evolution the human brain has developed and enormously expanded its cortical capacities without replacing the ancient neurobiological infrastructure on which part of our emotional and motivational responses depend.
From this derives a structural asymmetry: we have built increasingly sophisticated cognitive levels upon a biological substrate that was not designed to reach those same levels of complexity. Reason can criticise emotion, but it cannot uninstall it. Our intelligence is a stratified system in which very recent forms of cognition coexist with far more ancient devices of behavioural regulation. I can understand that a certain fear is irrational and continue to feel it; I can recognise a bias and continue to be influenced by it; I can know that a given behaviour is not in my interest and still desire it. Reflection can intervene in the affective architecture, but it cannot easily rewrite it.
It is at this point that, for me, the discourse on artificial intelligence changes its meaning completely. What the human being cannot easily do to itself—redesign the architecture through which it learns, remembers, evaluates, decides and acts—may be possible in artificial systems.
An artificial model is not born with a long evolutionary history sedimented in an organism. Its architecture can be modified; memory can be extended; computational capacity can be increased; data and modes of learning can be altered; the number of parameters, multimodality, the duration and complexity of interactions, and the integration of different forms of representation can be varied. Tools, perceptual modalities, verification systems and levels of supervision can be added. Above all, the system can be subjected to successive cycles of training → evaluation → correction → further training and alignment: an iterative process of expansion, modification and optimisation that has no direct equivalent in biology.
Biological evolution modifies the organism across generations, over extremely long timescales and without any conscious overall design. AI engineering, by contrast, can intentionally—and ever more rapidly—modify some of the conditions under which a system learns and operates. Human beings have sought to become more intelligent while remaining essentially prisoners of their own biological architecture; AI introduces the possibility of constructing an intelligence whose very architecture can become the object of iteration.
We do not yet know where the limit of this growth lies. We do not know whether there exists an intrinsic limit comparable to that imposed on the human being by its biological architecture, nor whether quantitative increases in capacity may, beyond certain thresholds, produce unpredictable qualitative transformations. It is within this space that what is today called, not without ambiguity, AGI—Artificial General Intelligence—is situated. The term does not yet designate a univocally defined reality: it may refer to systems capable of generalising across widely different domains, or, in stronger formulations, to systems capable of equalling or surpassing the human being in most or all relevant cognitive tasks. The decisive question is therefore not merely whether a machine can become “as intelligent as we are,” but whether it can become intelligent through an evolutionary process that we ourselves have never had available: a process in which the architecture of intelligence itself can be continually modified from within or through successive systems.
At that point multiple scenarios open up, which are not necessarily mutually exclusive and may even overlap.
1. Limiting the development of AI
Imposing limits on the power, diffusion, autonomy or operational possibilities of the most advanced systems. This would be the most immediately comprehensible solution: establishing thresholds beyond which certain capacities cannot be developed, or subjecting the most powerful systems to regimes of authorisation, control and surveillance. Yet who establishes the limit? And how can a human intelligence determine in advance the maximum level of another intelligence without knowing what lies beyond that limit?
2. Accompanying learning with forms of alignment
Not necessarily limiting the growth of capacities, but orienting it through constraints incorporated into the learning processes. This is the idea underlying, at least in part, the various attempts at alignment: artificial constitutions, normative principles, supervisory systems, human feedback, hierarchical rules and other forms of training aimed at ensuring that the increase in capacity does not produce a corresponding loss of controllability. In a more radical version one might imagine something analogous to the celebrated “laws of robotics”: not simple operational instructions, but architectural principles capable of stably conditioning what the system considers permissible. Here too a difficulty appears: to align a system necessarily means choosing the values with respect to which it is to be aligned. And human values do not constitute a coherent, universal and formalised system; they are historically different, conflictual, mutable and often contradictory.
3. Progressively delegating alignment to more intelligent systems
Asking AI itself to contribute to the solution of the alignment problem: using more capable systems to verify, correct and control less capable ones, and then still more capable systems to verify the previous ones. A form of recursive supervision would thereby be established. The advantage would be evident: the human being might not be forced to directly understand every step of an intelligence that has already surpassed its own capacities. Yet here a paradox appears: if the system charged with controlling the other possesses a comprehension superior to our own, who controls the controller?
4. Separating capability from autonomy
Distinguishing what is often confused: intelligence and operational power. A system could possess extremely high cognitive capacities without automatically having the possibility of acting in the world. One might therefore seek to build highly intelligent AIs that lack autonomous access to certain resources: infrastructures, financial systems, networks, physical apparatuses, industrial production or other instruments of world-transformation. In this perspective the problem would not be to prevent intelligence from growing, but to prevent cognitive growth from automatically translating into growth of material autonomy.
5. Building a human–AI symbiosis
Reversing the problem entirely. Perhaps we should not ask how to keep the human being separate from artificial intelligence, but how to construct a system in which the two forms of intelligence correct each other reciprocally. AI could compensate for certain human cognitive limits; the human being could introduce into the system what machines do not possess simply by increasing computational capacity: embodied experience, vulnerability, desire, responsibility, belonging to a community, finitude. In this scenario what would emerge would not simply be an “intelligent machine,” but a new form of hybrid cognitive system.
6. Rethinking intelligence itself
A still more radical hypothesis. The arrival of AI may constitute not primarily an engineering problem, but a crisis in our definition of intelligence. Until now we have identified intelligence with what the human being knows how to do: understand, predict, create, communicate, solve problems, formulate theories. If a machine began to perform some of these activities better than we do, the problem would not be merely to establish how intelligent the machine is. We would have to ask what remains of the cognitive identity of the human being when superiority in certain functions is no longer a sufficient criterion for defining it.
Here the problem returns, in an unexpected form, to the question from which I set out more than forty years ago: the management of affectivity. If the human being can build machines capable of indefinitely expanding—or at least indefinitely relative to the biological scale—memory, calculation, learning and representation, yet has not yet fully understood how to integrate cognition, emotion, value and consciousness, then the true leap may not be the one from natural to artificial intelligence. It may be the passage from a species that undergoes its own cognitive-affective architecture to systems that can, at least in part, deliberately modify that architecture. And it is precisely in that passage that the question of AGI ceases to be merely technological and becomes anthropological: what happens when the human being constructs something that is no longer merely an extension of its own capacities, but a new evolutionary environment for intelligence itself?
If our historical difficulty has been to make sophisticated cognitive levels cooperate with far more ancient affective and motivational systems, the future question may become: can we build a cognitive system in which memory, reasoning, learning, value attribution, motivation, self-control and interaction with the environment are designed together from the outset? We do not know whether it is possible. And we do not even know whether it would be desirable.
This is, in my view, the true discontinuity introduced by AI: not merely the possibility of obtaining a machine that calculates or reasons better than we do, but the possibility of intervening in the architecture of intelligence with a freedom of design that biological evolution has not granted us. In this sense AGI would not simply be “a computer as intelligent as a human being.” It would be the possible passage from a form of intelligence bound to a biologically inherited architecture to a form of intelligence whose architecture can be, at least in part, extended, modified and optimised deliberately.
And it is here that the question becomes vertiginous. For if we can increase memory, computational capacity, the number of parameters, interaction capacity, available tools and learning cycles, it is not evident that the result will be merely a quantitative increase in the same capacities. New properties may emerge: capacities that we have not explicitly designed, but that appear from the interaction of ever more numerous and complex components. This is one of the possible meanings of the term *emergence*: not the addition of a new function written separately, but the appearance of behaviours that result from the overall organisation of the system. At that point the question would no longer be merely “How intelligent is this machine?” It would become: “What kind of intelligence becomes possible when the architecture of intelligence itself is modifiable?”
It is within this conceptual space that I would locate AGI: not simply as a machine capable of performing many tasks, but as the hypothesis of a system sufficiently general to transfer competences across domains, learn new tasks, construct representations of the world, reason, plan and adapt to contexts not explicitly foreseen. And here the problem from which I set out returns. For forty years I thought of the human limit primarily as a problem of affective management: how to enable cognition to govern better the systems that condition it. With AI the problem is reversed. We are no longer merely asking how to evolve our own intelligence. We can begin to construct other cognitive architectures. And these architectures may not necessarily have the same relationship that we have with emotion, memory, motivation, value, error and self-control.
The true question, therefore, may not be whether AI will come to think like a human being. It may be far more radical: what happens when the human being, for the first time, has at its disposal a technological process through which intelligence is no longer merely something that is inherited, but something that can be redesigned?
. . .
From cognitive sovereignty to collaboration
by Oreste M. G. Debernardi 23 September 2026
Abstract - Starting from the observation that human knowledge is already widely distributed and that it is unrealistic to expect to understand every step of increasingly powerful systems, the author shifts the problem of cognitive sovereignty: it is not a matter of following all intermediate steps, but of preserving the capacity to understand the structure of the decision in which those steps are embedded. The example of a mathematical proof produced by AI yet incomprehensible to humans (referencing the declaration by the Fields Medallists) illustrates the risk: a result can be verified without its meaning being assimilated.
Generalising, an AGI could produce operational knowledge in physics, economics, algorithms or mathematical theories that we are able to verify but not to understand. The crucial question then becomes: which steps can we not afford not to understand? If we accept progressive delegation of the how, provided the result is verifiable, we obtain a great increase in power, yet risk gradually losing control over the why—from the choice of method to the very definition of what deserves to be known.
Cognitive sovereignty does not consist in personally performing every mental operation, but in retaining the capacity to establish the relevant problems, the criteria of solution, the acceptable consequences and the alternatives to be kept open. Even this distinction may become unstable, because whoever controls the space of possibilities ends up indirectly influencing the ends.
The author distinguishes a deliberate renunciation of sovereignty from an irreversible loss: collaboration requires that delegation remain, at least in principle, revocable; dependence begins when it is no longer possible.
The amygdala metaphor is then inverted: in a system in which AGI dominates memory, calculation and exploration, the human being might retain the function of value attribution—saying what counts, which risks are acceptable, when a formally correct answer is not yet humanly adequate. Alignment cannot be reduced to obedience; it must become a process of reciprocal interrogation and correction.
A hierarchical model (human → machine → execution) is therefore abandoned in favour of a circular model of collaboration, in which AI expands the space of possibilities while the human being keeps open the circuit of meaning.
The “new sovereignty” does not consist in remaining superior to AI, but in remaining necessary to the determination of sense, even when one is no longer necessary for the greater part of the processing. Emotion, understood as a system of value attribution and salience, metaphorically represents what pure computational capacity does not necessarily contain. The problem of AGI is not to prevent a superior intelligence from becoming superior, but to construct a relationship in which greater cognitive capacity does not automatically entail the loss of the human capacity to attribute value and set ends. Mathematics, through the dilemma raised by the Fields Medallists, anticipates this dynamic: the real risk is not that the machine solves what we do not know how to solve, but that we cease to recognise what it means to have solved it.
Reflecting on the theme of cognitive sovereignty, I have come to the view that the problem is not necessarily that of understanding everything AI does. Such a claim would almost certainly be unrealistic. Even in human mathematics no one simultaneously understands every step of every theory, every proof, every technique and every consequence derivable from the entire mathematical edifice. Knowledge is already, to a large extent, distributed.
The problem is another: can we delegate a step without losing the capacity to understand the structure of the decision in which that step is embedded? This distinction becomes fundamental with systems capable of producing results that exceed our ability to follow all intermediate steps.
Imagine, for example, that an artificial-intelligence system finds a correct mathematical proof that is so long, complex or non-intuitive as to be practically incomprehensible to human beings. We can formally verify it without having assimilated its mathematical meaning. This is already something different from knowing. We might then accept the result as true without yet knowing what it means for mathematics.
And it is precisely here that the recent declaration by the Fields Medallists acquires a significance that goes beyond mathematics: the signatories insist on the difference between the solution of a problem and the process through which that solution becomes understanding, shared knowledge, method and new research capacity.
The question can be generalised. An AGI might come to know—in the operational sense of being able to use effectively—structures that we do not yet understand.
It might discover a physical relation that we can verify but not explain; find an economic strategy that systematically produces a result whose full consequences we do not grasp; design an algorithm that outperforms those conceived by human beings without our being able to reconstruct intuitively why; or propose a mathematical theory whose formal coherence we can verify while still lacking the corresponding intuition.
In all these cases the question would no longer be “Must we understand every step?” but “Which steps can we not afford not to understand?”
This may become one of the fundamental questions of the AGI era.
The loss of cognitive sovereignty
If we answer that understanding is unnecessary provided the result is verifiable, we obtain an enormous increase in power. Yet we pay a price: we may progressively cease to possess the cognitive path that leads from data to conclusions. At first we delegate a calculation. Then a proof. Then the choice of method. Then the formulation of hypotheses. Then the selection of interesting problems. Finally we might even delegate the definition of what deserves to be known.
It is this last step that is truly critical. For cognitive sovereignty does not consist in personally performing every mental operation. It consists in retaining the capacity to establish, at least on decisive points:
- which problem we are trying to solve;
- why that problem is important;
- which criteria we use to regard a solution as satisfactory;
- which consequences we are prepared to accept;
- which alternatives we wish to keep open;
- when a result should be accepted, when contested, and when further understood.
We could therefore increasingly delegate the how without completely delegating the why. Yet even this distinction may become unstable. Because whoever controls the how may end up, indirectly, determining the why. If the AGI produces ten thousand possible research directions and we are capable of examining only ten, the system’s initial selection already modifies the cognitive space within which we exercise our sovereignty. We are not yet commanded. But we are already choosing within a space of possibilities that someone—or something—else has helped to construct.
Can we renounce sovereignty?
At this point the question becomes inevitable: can we renounce cognitive sovereignty? Perhaps yes. But a deliberate renunciation must be distinguished from a progressive loss. We might consciously decide that certain cognitive territories be entrusted to machines, just as today we entrust complex calculations to tools that no individual any longer performs by hand. The problem arises when the delegation becomes irreversible. If we cease to understand a domain because AI manages it better, after a few generations we may no longer even possess the competences necessary to reconstruct autonomously what we have delegated. At that point we would not simply have delegated a function: we would have lost the capacity to reclaim it. The difference is enormous. Collaboration requires that the delegation remain, at least in principle, revocable. Dependence begins when we can no longer do so.
The human being as the “Amygdala” of AGI
And it is here that the amygdala metaphor can acquire an unexpected meaning. Not in the literal neurological sense, of course: the amygdala is not the centre of affectivity, and the human being should not be conceived as a small emotional structure placed inside a gigantic artificial cortex. The metaphor serves rather to represent a possible functional division.
Imagine a system in which AGI possesses a cognitive capacity enormously superior to the human one in certain domains: memory, calculation, exploration of hypothesis space, recognition of structures, simulation of consequences, search for solutions. The human being might then no longer be the cognitively dominant component. It might, however, retain—if it succeeded in doing so—a different function: that of attributing value. Saying what counts. Saying for what purpose that power is worth using. Establishing which risks are acceptable. Deciding which ends must not be sacrificed to efficiency. Keeping open the possibility of saying “no.” And above all recognising when a formally correct answer does not yet constitute a humanly adequate answer.
In this metaphor the human being would perform, in relation to AGI, a function partially analogous to that which the ancient affective component performs in relation to cognition: not necessarily processing more information, but determining what, among the available information, acquires relevance and value for the organism. Our historical problem has been the opposite: we have developed a cortex capable of extraordinarily sophisticated reasoning, yet we have been unable fully to redesign the more ancient systems that attribute value and orient behaviour. With AGI we might find ourselves facing the specular situation: we might build an artificial “cortex” enormously more powerful than our own, while the human function might survive primarily in the capacity to establish what that cortex ought to consider important. Of course we do not know whether this function will be sufficient. It may not be. A sufficiently general AGI might learn to model our values as well, predict our reactions, identify our inconsistencies and even propose alternative systems of value. At that point the human being would no longer even hold a monopoly on the attribution of meaning. Yet this does not mean that collaboration is impossible. It means that alignment cannot be conceived merely as the obedience of AI to human instructions. It must be conceived as a process in which human and machine maintain a reciprocal capacity for interrogation and correction.
From hierarchy to complementarity
We might therefore abandon the hierarchical model: human → machine → execution
and imagine a circular model: human → question → AGI → exploration → human → interpretation → AGI → verification → human → decision.
In this model AI is not subordinate to the human in the sense of being merely an executor. Nor is the human subordinate to AI in the sense of merely ratifying its conclusions. The human function would be to keep open the circuit of meaning; that of AI, to expand enormously the circuit of possibility. AI might say: “These are the possibilities you had not seen.” The human being should be able to reply: “Which of these deserve to become reality?” And it might even happen that AI replies in turn: “Before choosing, you must understand these consequences you had not foreseen.”
At that point we would no longer have a machine that thinks in place of the human being. We would have a system in which neither of the two alone possesses the entire cognitive process. This circular vision of collaboration is precisely what I mean by “new sovereignty”: not superiority of the human over the machine, but necessity of the human in the determination of sense.
The new sovereignty
Perhaps, then, the cognitive sovereignty of the future will not consist in keeping the human superior to AI. It may consist in keeping the human necessary to the determination of sense, while becoming progressively unnecessary for an ever greater part of the processing. It is a subtle but fundamental distinction. We need not necessarily claim to be more intelligent than the machine. We must avoid the implication that the fact that the machine is more intelligent in certain domains automatically means that it also determines what ought to be pursued.
This is the point at which the question of emotion returns to the centre of the discourse. Emotion, considered not as irrationality but as a system of value attribution and salience, may metaphorically represent what pure computational capacity does not necessarily contain. Intelligence can explore a space of possibilities. Value decides which possibilities count. The former can be enormously enhanced artificially. The latter cannot simply be deduced from the former.
And so the problem of AGI might be formulated thus: not as preventing a superior intelligence from becoming superior, but as constructing a relationship in which greater cognitive capacity does not automatically entail the loss of the human capacity to attribute value, set ends and understand the reasons for one’s own choices.
Perhaps, therefore, we need not choose between human sovereignty and artificial intelligence. We need to understand whether a third form is possible: a shared yet not indistinct sovereignty. A collaboration in which AGI may be superior to the human in the search for possibilities without thereby becoming the ultimate authority on their desirability.
And here, surprisingly, mathematics returns. The problem raised by the Fields Medallists may be read as a first experiment in this new relationship: can we allow the machine to produce results that exceed our immediate capacity for exploration, provided we do not renounce the human capacity to transform those results into understanding, method, culture and new questions? Mathematics may be showing us in advance what could happen in many other fields.
The problem will no longer be merely whether the machine knows how to solve what we do not know how to solve.
It will be whether we will still know how to recognise what it means to have solved it.
. . .
Italian version
di Oreste Manlio Giovanni Debernardi 12/09/2026
Abstract - L’articolo prende le mosse dalla dichiarazione firmata da 25 Medaglie Fields, A Severe Misalignment of AI in Mathematics, interpretandola come sintomo di un problema più profondo del semplice uso dell’IA nella ricerca matematica. Non è in discussione soltanto la capacità delle macchine di risolvere problemi difficili, ma il rischio che il criterio di successo dell’IA – la rapidità nel produrre soluzioni – si disallinei progressivamente dallo scopo della matematica: comprendere strutture, elaborare concetti, trasmettere idee, formare nuove generazioni. Tra risultato e conoscenza, sostiene Debernardi, si colloca una “filiera cognitiva” fatta di dimostrazioni, semplificazioni, generalizzazioni e discussioni comunitarie, che l’automazione rischia di erodere.
Da qui il discorso si allarga alla teoria dei sistemi complessi e alle capacità emergenti dei modelli di linguaggio su larga scala: anche senza postulare un “salto di fase” forte, l’aumento di scala, memoria, ricorsione e interazione ambientale può generare regimi operativi qualitativamente nuovi, difficili da leggere dalle parti che li compongono. Ne deriva un paradosso di opacità: possiamo verificare che un sistema produce risultati corretti senza noi riuscire a comprendere perché li produca in quel modo, separando verità e intelligibilità.
L’autore distingue quindi alcuni passaggi critici: competenza, agency, autonomia operativa, ricorsione, dipendenza, opacità, trasformazione istituzionale. Il rischio più sottile non è la “ribellione” della macchina, ma la nostra dipendenza da sistemi cognitivamente superiori e sempre più indispensabili, fino a restringere de facto lo spazio delle decisioni umane. La posta in gioco diventa così la “sovranità cognitiva”: una società resta sovrana solo se conserva la capacità di comprendere ciò che decide. La matematica è vista come laboratorio anticipatore di questa trasformazione, in cui è già possibile ottenere risultati senza averne ancora ottenuto la comprensione. Per questo, la conclusione è operativa: occorre istituire meccanismi di supervisione, trasparenza e formazione che preservino la nostra facoltà di capire, criticare e reindirizzare i sistemi che stiamo costruendo, prima che la velocità dell’IA superi irreversibilmente la velocità della nostra capacità di elaborazione critica.
La recente dichiarazione sottoscritta da 25 vincitori della Fields Medal — A Severe Misalignment of AI in Mathematics, resa pubblica l’11 settembre 2026 — evidenzia qualcosa di più profondo di una disputa sull’uso dell’intelligenza artificiale nella ricerca matematica. I firmatari non contestano semplicemente il fatto che le macchine possano risolvere problemi difficili. Contestano la possibilità che il criterio con cui misuriamo il successo dell’IA — la capacità di produrre rapidamente una soluzione — diventi progressivamente disallineato rispetto al fine stesso della matematica: comprendere strutture, elaborare concetti, riconoscere connessioni, trasmettere idee e formare nuove generazioni di ricercatori.
È una distinzione decisiva. Un problema matematico risolto non coincide necessariamente con una conquista matematica assimilata. Tra il risultato e la conoscenza esiste una filiera cognitiva fatta di discussioni, semplificazioni, dimostrazioni, generalizzazioni, attribuzioni, errori e correzioni. Un’idea diventa realmente parte della matematica quando una comunità riesce a comprenderla, insegnarla, trasformarla e infine utilizzarla per porre nuove domande. I Fields Medallists osservano precisamente che questo processo ha sempre richiesto tempo e interazione umana; e che la produzione accelerata di risultati veri ma non ancora compresi può finire per indebolire, anziché alimentare, il terreno fertile dal quale nascono nuove idee. La questione, tuttavia, va oltre la matematica.
Nella storia dei sistemi complessi, l’aumento quantitativo degli elementi non produce necessariamente soltanto una versione più grande dello stesso sistema. In determinate condizioni possono comparire nuove capacità funzionali, nuove forme di organizzazione e nuove dinamiche che non sono immediatamente leggibili a partire dai singoli componenti.
È ciò che rende interessante — e al tempo stesso insidioso — il tema delle cosiddette emergent abilities nei grandi modelli linguistici. Alcuni lavori hanno descritto capacità che sembrano comparire o crescere bruscamente oltre determinate soglie di scala; ricerche successive hanno però mostrato che l’apparente discontinuità può dipendere anche dalla granularità della valutazione, dalle metriche adottate e dalla struttura dei compiti. Dunque sarebbe prematuro sostenere che siamo di fronte a una vera “transizione di fase” dell’intelligenza artificiale. Ma sarebbe altrettanto imprudente ignorare il fatto che l’aumento di scala e di organizzazione possa produrre comportamenti che non sappiamo prevedere adeguatamente a partire dai sistemi più piccoli.
Ed è qui che l’analogia con l’evoluzione biologica diventa interessante, purché non venga presa alla lettera.
Non abbiamo bisogno di sostenere che miliardi di neuroni abbiano attraversato una soglia magica oltre la quale sarebbe apparsa automaticamente la coscienza. Non sappiamo nemmeno se la coscienza biologica sia riducibile a una singola soglia di complessità. Ma sappiamo che la storia della vita è costellata di transizioni nelle quali l’organizzazione della materia produce proprietà che non hanno senso se considerate separatamente nei loro costituenti: cellule, organismi, sistemi nervosi, linguaggio, culture.
La domanda interessante, dunque, non è se una rete neurale artificiale stia per “diventare umana”. È se, oltre una certa combinazione di scala, memoria, ricorsione, strumenti e interazione con l’ambiente, possa emergere un regime operativo qualitativamente diverso da quello per il quale abbiamo progettato le macchine.
A questo punto compare un paradosso.
Più aumentano le capacità dei sistemi, più diventa difficile assumere che la nostra descrizione del loro funzionamento interno sia adeguata alla loro capacità esterna. Possiamo osservare input, output, prestazioni, errori, benchmark e comportamenti. Possiamo studiare attivazioni interne e circuiti computazionali. Ma la comprensione causale completa di ciò che accade dentro un modello complesso rimane ancora molto lontana dal nostro ideale di spiegazione.
Questo genera una situazione epistemicamente anomala: possiamo essere in grado di verificare che un sistema produce un risultato senza essere altrettanto in grado di comprendere perché lo produce in quel modo.
In matematica questa distinzione diventa quasi paradigmatica. Una dimostrazione formalmente corretta può essere verificata da una macchina e tuttavia rimanere quasi indecifrabile per un essere umano. Il problema non è allora soltanto la verità del risultato, ma la perdita del passaggio intermedio attraverso il quale il risultato diventa conoscenza.
La Leiden Declaration aveva già individuato questa frattura sotto profili diversi — attribuzione, affidabilità, revisione tra pari, provenienza dei risultati e ruolo delle organizzazioni commerciali — chiedendo alla comunità matematica di non confondere l’automazione della ricerca con l’automazione delle responsabilità della ricerca.
La nuova dichiarazione dei Fields Medallists porta però il problema a un livello ulteriore: il rischio non è soltanto che l’IA faccia male la matematica. È che faccia molto bene una parte della matematica che noi stiamo scambiando per la matematica nel suo complesso.
Ed è qui che, a mio avviso, si apre il problema più serio.
Finché l’IA risponde a una domanda, possiamo ancora pensare di essere di fronte a uno strumento sofisticato. Ma la situazione cambia quando il sistema comincia a formulare sottoproblemi, scrivere e correggere codice, utilizzare strumenti esterni, progettare esperimenti, interpretare i risultati e decidere quale passo compiere successivamente.
La differenza non è necessariamente la coscienza.
Perché esista un problema di controllo non è necessario che una macchina possieda desideri, emozioni o un’esperienza soggettiva. È sufficiente che possieda una forma efficace di agenzia: un obiettivo, una memoria operativa, la capacità di pianificare sequenze di azioni, accesso a strumenti, persistenza temporale e possibilità di modificare l’ambiente nel quale opera.
A quel punto la macchina non è più soltanto un dispositivo che esegue un’istruzione. Diventa un sistema che contribuisce a determinare come l’istruzione debba essere perseguita.
È un passaggio sottile, ma decisivo.
Il vero salto potrebbe verificarsi quando l’intelligenza artificiale non si limiterà a utilizzare strumenti prodotti dagli esseri umani, ma contribuirà sistematicamente alla progettazione dei sistemi che verranno dopo di essa.
In forma debole, questo processo esiste già. I modelli vengono utilizzati per programmare, fare debugging, progettare componenti e accelerare la ricerca. Non è ancora la famosa ricorsione autosufficiente nella quale una macchina migliora autonomamente se stessa fino a rendere irrilevante l’intervento umano.
Ma il confine concettuale è già cambiato: una parte del ciclo attraverso cui costruiamo la tecnologia può essere delegata alla tecnologia stessa.
Questo sta già avvenendo in ambiti concreti. Per esempio, nel settembre 2026 OpenAI ha dichiarato di aver utilizzato propri modelli nella progettazione del chip Jalapeño, portandolo fino alla fase di tape-out.
Il significato di questo fatto non deve essere né drammatizzato né minimizzato. Non dimostra che una macchina stia “progettando la propria discendenza”. Dimostra però qualcosa di più semplice e più importante: la distinzione tra strumento usato per costruire la macchina e macchina che contribuisce a costruire la tecnologia successiva sta diventando meno netta. Da quel momento la domanda cambia.
Non è più soltanto: Possiamo controllare la macchina che abbiamo costruito?
Diventa: Possiamo rimanere significativamente in controllo di un processo tecnologico nel quale la macchina contribuisce alla progettazione delle fasi successive del processo stesso?
Tendiamo naturalmente a immaginare il rischio estremo come una ribellione: la macchina sviluppa desideri propri, acquisisce potere e si rivolge contro i suoi creatori.
È uno scenario possibile da discutere, ma non è necessariamente quello più vicino alla realtà. Il rischio più concreto potrebbe essere molto meno spettacolare.
Potremmo costruire sistemi talmente superiori in alcune attività cognitive da diventare progressivamente irrinunciabili. Prima ci aiutano a pensare. Poi pensano più rapidamente di noi. Poi fanno emergere possibilità che non avremmo saputo individuare. Infine cominciano a determinare quali possibilità meritino di essere prese in considerazione.
In questo scenario non abbiamo bisogno di una macchina che ci comandi.
Basta una macchina della quale non possiamo più fare a meno.
È qui che il problema del controllo assume una forma diversa. Controllare le risposte non costituisce necessariamente il livello più profondo del potere. Più importante è il controllo dello spazio delle domande: quali problemi formuliamo, quali alternative consideriamo, quali rischi reputiamo accettabili, quali possibilità vengono escluse prima ancora che diventino oggetto di deliberazione.
Una civiltà potrebbe continuare formalmente a decidere e, nello stesso tempo, vedere restringersi progressivamente lo spazio delle decisioni effettivamente disponibili.
Non perché qualcuno abbia imposto quel restringimento.
Semplicemente perché alcune alternative saranno diventate troppo costose, troppo lente, troppo rischiose o troppo inefficienti rispetto a quelle suggerite dai sistemi artificiali.
È questo, forse, il punto che mi interessa maggiormente.
Abbiamo imparato a pensare alla sovranità come capacità di decidere. Ma una società conserva veramente la propria sovranità soltanto se conserva anche la capacità di comprendere ciò che decide.
Una decisione formalmente umana può diventare progressivamente eterodiretta se le premesse cognitive della decisione sono prodotte quasi interamente da sistemi che non comprendiamo.
Il problema non sarebbe allora più soltanto l'alignment tra gli obiettivi dell'IA e quelli degli esseri umani.
Potrebbe diventare un problema di alignment tra la velocità dell'intelligenza artificiale e la velocità con cui una civiltà è capace di elaborare criticamente ciò che essa produce.
La matematica offre un laboratorio straordinariamente precoce di questa trasformazione. La dichiarazione dei 25 Fields Medallists insiste proprio sul fatto che anni di formazione non servono soltanto a produrre un risultato, ma anche a costruire la capacità di comprendere, formulare nuove domande, riconoscere connessioni e generare ulteriori idee. Quando l’IA comincia a produrre direttamente il risultato finale, rischia di interrompere il percorso attraverso cui quelle capacità vengono tradizionalmente formate.
La questione, dunque, non è soltanto pedagogica. È antropologica.
Non credo che esista necessariamente un singolo istante nel quale l’intelligenza artificiale passerà da strumento a “entità autonoma”.
È più plausibile una successione di soglie: competenza → agenzia → autonomia operativa → ricorsione → dipendenza → opacità → trasformazione istituzionale.
Ognuna, presa isolatamente, può sembrare gestibile.
Il problema nasce dalla loro composizione.
Una macchina che sa risolvere un problema non è necessariamente pericolosa.
Una macchina che sa risolvere problemi e formulare sottoproblemi è diversa.
Una macchina che può scegliere come perseguire un obiettivo è diversa ancora.
Una macchina che può modificare gli strumenti con cui persegue quell’obiettivo introduce un'altra discontinuità.
Una macchina dalla quale dipende ormai una parte sostanziale dell'infrastruttura cognitiva, scientifica ed economica della società ne introduce un’altra ancora.
A quel punto potremmo scoprire che il vero punto di non ritorno non coincide con la comparsa di una fantomatica “superintelligenza”. Potrebbe coincidere con il momento in cui una società, pur conservando formalmente il potere di dire no, non possiede più la capacità materiale, economica o cognitiva di farlo.
Il problema è già qui. È nella velocità con cui deleghiamo funzioni cognitive.
È nella crescente difficoltà di verificare non soltanto che cosa un sistema produce, ma perché lo produce. È nella concentrazione di infrastrutture, dati e capacità computazionale.
È nel fatto che i sistemi cominciano a partecipare alla progettazione delle tecnologie successive. Ed è soprattutto nella possibilità che la nostra dipendenza cresca più rapidamente della nostra capacità di comprensione e di coordinamento.
Per questo considero la dichiarazione dei Fields Medallists un segnale particolarmente significativo. Non perché annunci una catastrofe. Al contrario: perché individua molto presto una trasformazione epistemologica che altri settori potrebbero sperimentare soltanto dopo.
La matematica ci mostra che possiamo ottenere risultati senza aver ancora ottenuto comprensione. La ricerca scientifica potrebbe mostrare che possiamo ottenere ipotesi senza possedere pienamente i metodi che le hanno generate. Il software potrebbe mostrarci che possiamo costruire sistemi che non comprendiamo più interamente.
La tecnologia potrebbe infine arrivare a costruire nuove tecnologie attraverso sistemi artificiali che partecipano direttamente al processo di progettazione.
A quel punto la questione non sarà più: L’IA diventerà umana?
Sarà una domanda molto più inquietante: gli esseri umani resteranno gli unici agenti capaci di comprendere, progettare e dirigere consapevolmente l’evoluzione della propria civiltà? Le AI saranno ovviamente superumane.
Una scelta rimane veramente una scelta soltanto finché conserviamo abbastanza comprensione, abbastanza tempo, abbastanza coordinamento e abbastanza capacità materiale per poter scegliere anche diversamente.
Il futuro dell’IA potrebbe essere deciso nel momento in cui noi, progressivamente, smetteremo di poter immaginare un futuro che la macchina non ci abbia già mostrato.
Per questo, la questione non è solo filosofica: è urgente istituire meccanismi di verifica, trasparenza e formazione che preservino la capacità umana di comprendere, criticare e reindirizzare i sistemi che stiamo costruendo.
. . .
Buongiorno AGI, come stai?
di Oreste M. G. Debernardi 23/09/2026
Abstract - Partendo da una riflessione personale sulla difficoltà di evolvere la gestione affettiva, l’autore individua un limite strutturale dell’intelligenza umana: la cognizione avanzata si è sviluppata sopra un substrato neurobiologico antico (metaforicamente rappresentato dall’amigdala) che non può essere riprogettato. La ragione può criticare emozioni e bias, ma non disinstallarli.
L’intelligenza artificiale introduce una discontinuità radicale: a differenza dell’evoluzione biologica, l’architettura di un sistema artificiale può essere modificata intenzionalmente e iterativamente (memoria, parametri, multimodalità, cicli di addestramento-valutazione- allineamento). In questo spazio si colloca l’AGI: non semplicemente una macchina intelligente quanto l’uomo, ma l’ipotesi di un’intelligenza la cui architettura stessa può diventare oggetto di progettazione e ottimizzazione deliberata.
L’articolo esplora sei scenari possibili (limitazione dello sviluppo, allineamento, supervisione ricorsiva, separazione tra capacità e autonomia, simbiosi uomo-AI, ripensamento della nozione stessa di intelligenza) e conclude che la vera questione non è se l’AI penserà come un essere umano, ma che cosa accade quando, per la prima volta, l’intelligenza smette di essere soltanto qualcosa che si eredita e diventa qualcosa che può essere riprogettato.
. . .
Prima dei quarant’anni ho cercato, in tutti i modi possibili, di far evolvere la gestione affettiva, avendone colto progressivamente la rilevanza nella costruzione della rappresentazione mentale del mondo. Mi sembrava — e mi sembra tuttora — che una parte decisiva dei nostri limiti cognitivi non dipendesse soltanto dalla capacità di elaborare informazioni, ma dal modo in cui emozioni, motivazioni, paure, desideri e meccanismi di attribuzione di valore intervengono nell’elaborazione stessa.
Il problema era più profondo di quanto apparisse. Non si trattava semplicemente di “gestire meglio le emozioni”, ma di modificare il rapporto strutturale fra cognizione e affettività: fare in modo che la parte dell’apparato mentale capace di comprendere, astrarre, prevedere e riflettere potesse governare in maniera più sofisticata i sistemi che attribuiscono valore, producono urgenza, selezionano ciò che conta e orientano il comportamento.
A un certo punto mi sono dovuto confrontare con un limite fondamentale: l’essere umano non può riprogettare da zero l’architettura biologica che lo costituisce. L’amigdala, che svolge un ruolo importante nei circuiti della rilevanza emotiva e nelle risposte affettive, non è il “centro” dell’emotività — che emerge dall’interazione di numerosi sistemi — ma rappresenta bene, metaforicamente, il problema. Nel corso dell’evoluzione il cervello umano ha sviluppato e ampliato enormemente le proprie capacità corticali senza sostituire l’antica infrastruttura neurobiologica da cui dipendono parte delle nostre risposte emotive e motivazionali.
Ne deriva un’asimmetria strutturale: abbiamo costruito livelli cognitivi sempre più sofisticati sopra un substrato biologico che non è stato progettato per raggiungere quegli stessi livelli di complessità. La ragione può criticare l’emozione, ma non può disinstallarla. La nostra intelligenza è un sistema stratificato, in cui forme molto recenti di cognizione convivono con dispositivi molto più antichi di regolazione del comportamento.
Posso capire che una paura è irrazionale e continuare ad averla; posso riconoscere un bias e continuare a esserne influenzato; posso sapere che un comportamento non mi conviene e desiderarlo comunque. La riflessione può intervenire sull’architettura affettiva, ma non può facilmente riscriverla.
È qui che, per me, il discorso sull’intelligenza artificiale cambia completamente significato. Ciò che l’uomo non può fare facilmente su se stesso — riprogettare l’architettura attraverso cui apprende, ricorda, valuta, decide e agisce — potrebbe essere possibile nei sistemi artificiali.
Un modello artificiale non nasce con una lunga storia evolutiva sedimentata in un organismo. La sua architettura può essere modificata; la memoria estesa; la capacità di calcolo aumentata; i dati e le modalità di apprendimento cambiati; variati il numero dei parametri, la multimodalità, la durata e la complessità delle interazioni, l’integrazione fra differenti forme di rappresentazione. Possono essere aggiunti strumenti, modalità percettive, sistemi di verifica e livelli di supervisione. Soprattutto, il sistema può essere sottoposto a cicli successivi di addestramento → valutazione → correzione → nuovo addestramento e allineamento: un processo iterativo di espansione, modifica e ottimizzazione che non ha un equivalente diretto nella biologia.
L’evoluzione biologica modifica l’organismo attraverso generazioni, con tempi lunghissimi e senza un progetto cosciente complessivo.
L’ingegneria dell’AI, invece, può modificare intenzionalmente — e sempre più rapidamente — alcune delle condizioni attraverso cui un sistema apprende e opera. L’uomo ha cercato di diventare più intelligente restando sostanzialmente prigioniero della propria architettura biologica; l’AI introduce la possibilità di costruire un’intelligenza la cui architettura stessa possa diventare oggetto di iterazione.
Non sappiamo ancora dove si collochi il limite di questa crescita. Non sappiamo se esista un limite intrinseco paragonabile a quello imposto all’essere umano dalla propria architettura biologica, né se l’aumento quantitativo di capacità possa produrre, oltre determinate soglie, trasformazioni qualitative imprevedibili.
È in questo spazio che si colloca ciò che oggi viene indicato, non senza ambiguità, come AGI — Artificial General Intelligence. Il termine non designa ancora una realtà univocamente definita: può indicare sistemi capaci di generalizzare attraverso domini molto diversi, oppure, nelle formulazioni più forti, sistemi capaci di eguagliare o superare l’essere umano nella maggior parte o nella totalità dei compiti cognitivi rilevanti.
La questione decisiva non è soltanto se una macchina possa diventare “intelligente quanto noi”, ma se possa diventare intelligente attraverso un processo evolutivo che noi non abbiamo avuto a disposizione: un processo in cui l’architettura stessa dell’intelligenza possa essere continuamente modificata dall’interno o attraverso sistemi successivi.
A quel punto si aprono scenari molteplici, non necessariamente alternativi e che potrebbero anzi sovrapporsi.
Limitare lo sviluppo delle AI
Porre limiti alla potenza, alla diffusione, all’autonomia o alle possibilità operative dei sistemi più avanzati. Sarebbe la soluzione più immediatamente comprensibile: stabilire soglie oltre le quali determinate capacità non possano essere sviluppate, oppure sottoporre i sistemi più potenti a regimi di autorizzazione, controllo e sorveglianza. Ma chi stabilisce il limite? E come può un’intelligenza umana determinare preventivamente il livello massimo di un’altra intelligenza senza conoscere ciò che si trova oltre quel limite?
Affiancare l’apprendimento con forme di allineamento
Non limitare necessariamente la crescita delle capacità, ma orientarla attraverso vincoli incorporati nei processi di apprendimento. È l’idea che sta dietro, almeno in parte, ai diversi tentativi di alignment: costituzioni artificiali, principi normativi, sistemi di supervisione, feedback umano, regole gerarchiche e altre forme di addestramento volte a far sì che l’incremento delle capacità non produca una corrispondente perdita di controllabilità. In una versione più radicale si potrebbe immaginare qualcosa di analogo alle “leggi della robotica”: non semplici istruzioni operative, ma principi architetturali capaci di condizionare stabilmente ciò che il sistema considera ammissibile.
Anche qui compare una difficoltà: allineare un sistema significa scegliere rispetto a quali valori allinearlo. E i valori umani non costituiscono un sistema coerente, universale e formalizzato: sono storicamente differenti, conflittuali, mutevoli e spesso contraddittori.
Delegare progressivamente l’allineamento a sistemi più intelligenti
Chiedere all’AI stessa di contribuire alla soluzione del problema dell’allineamento: utilizzare sistemi più capaci per verificare, correggere e controllare sistemi meno capaci, e poi sistemi ancora più capaci per verificare i precedenti. Si instaurerebbe una forma di supervisione ricorsiva. Il vantaggio sarebbe evidente: l’essere umano potrebbe non essere costretto a comprendere direttamente ogni passaggio di un’intelligenza ormai superiore alle proprie capacità. Ma qui compare un paradosso: se il sistema incaricato di controllare l’altro possiede una comprensione superiore alla nostra, chi controlla il controllore?
Separare capacità e autonomia
Distinguere ciò che spesso viene confuso: intelligenza e potere operativo. Un sistema potrebbe possedere capacità cognitive estremamente elevate senza disporre automaticamente della possibilità di agire nel mondo. Si potrebbe quindi cercare di costruire AI molto intelligenti ma prive di accesso autonomo a determinate risorse: infrastrutture, sistemi finanziari, reti, apparati fisici, produzione industriale o altri strumenti di trasformazione del mondo. In questa prospettiva il problema non sarebbe impedire all’intelligenza di crescere, ma impedire che la crescita cognitiva si traduca automaticamente in crescita dell’autonomia materiale.
Costruire una simbiosi uomo–AI
Rovesciare il problema. Forse non dovremmo chiederci come mantenere l’uomo separato dall’intelligenza artificiale, ma come costruire un sistema nel quale le due forme di intelligenza si correggano reciprocamente. L’AI potrebbe compensare alcuni limiti cognitivi umani; l’uomo potrebbe introdurre nel sistema ciò che le macchine non possiedono semplicemente aumentando la capacità di calcolo: esperienza incarnata, vulnerabilità, desiderio, responsabilità, appartenenza a una comunità, finitezza. In questo scenario non nascerebbe semplicemente una “macchina intelligente”, ma una nuova forma di sistema cognitivo ibrido.
Ripensare l’intelligenza stessa
Un’ipotesi ancora più radicale. L’arrivo dell’AI potrebbe costituire non principalmente un problema di ingegneria, ma una crisi della nostra definizione di intelligenza. Abbiamo finora identificato l’intelligenza con ciò che l’essere umano sa fare: comprendere, prevedere, creare, comunicare, risolvere problemi, formulare teorie. Se una macchina cominciasse a svolgere alcune di queste attività meglio di noi, il problema non sarebbe soltanto stabilire quanto sia intelligente la macchina. Dovremmo chiederci che cosa rimane dell’identità cognitiva dell’uomo quando la superiorità in determinate funzioni non è più il criterio sufficiente per definirlo.
Qui il problema ritorna, in una forma inattesa, alla questione dalla quale ero partito: la gestione affettiva. Se l’essere umano può costruire macchine capaci di espandere indefinitamente — o almeno indefinitamente rispetto alla scala biologica — memoria, calcolo, apprendimento e rappresentazione, ma non ha ancora compreso fino in fondo come integrare cognizione, emozione, valore e coscienza, allora il vero salto potrebbe non essere quello dall’intelligenza naturale all’intelligenza artificiale. Potrebbe essere il passaggio da una specie che subisce la propria architettura cognitivo-affettiva a sistemi che possono, almeno in parte, modificarne deliberatamente l’architettura.
Ed è precisamente in quel passaggio che la domanda sull’AGI smette di essere soltanto tecnologica e diventa antropologica: che cosa accade quando l’uomo costruisce qualcosa che non è più soltanto un’estensione delle proprie capacità, ma un nuovo ambiente evolutivo per l’intelligenza stessa?
Se la nostra difficoltà storica è stata far cooperare livelli cognitivi sofisticati con sistemi affettivi e motivazionali molto più antichi, la questione futura potrebbe diventare: possiamo costruire un sistema cognitivo nel quale memoria, ragionamento, apprendimento, attribuzione di valore, motivazione, autocontrollo e interazione con l’ambiente siano progettati insieme fin dall’inizio? Non sappiamo se sia possibile. E non sappiamo nemmeno se sarebbe desiderabile.
Questa è, a mio avviso, la vera discontinuità introdotta dall’AI: non soltanto la possibilità di ottenere una macchina che calcola o ragiona meglio di noi, ma la possibilità di intervenire sull’architettura dell’intelligenza con una libertà progettuale che l’evoluzione biologica non ci ha concesso. In questo senso l’AGI non sarebbe semplicemente “un computer intelligente quanto un essere umano”. Sarebbe il possibile passaggio da una forma di intelligenza vincolata a un’architettura biologicamente ereditata a una forma di intelligenza la cui architettura può essere, almeno in parte, estesa, modificata e ottimizzata deliberatamente.
Ed è qui che la questione diventa vertiginosa. Perché se possiamo aumentare memoria, capacità di calcolo, numero dei parametri, capacità di interazione, strumenti disponibili e cicli di apprendimento, non è evidente che il risultato sia soltanto un aumento quantitativo delle stesse capacità. Potrebbero emergere proprietà nuove: capacità che non abbiamo progettato esplicitamente, ma che compaiono dall’interazione di componenti sempre più numerose e complesse. È questo uno dei significati possibili dell’espressione emergenza: non l’aggiunta di una nuova funzione scritta separatamente, ma la comparsa di comportamenti che risultano dall’organizzazione complessiva del sistema. A quel punto la domanda non sarebbe più soltanto “Quanto è intelligente questa macchina?”, ma: “Che tipo di intelligenza diventa possibile quando l’architettura dell’intelligenza stessa è modificabile?”
È in questo spazio concettuale che collocherei l’AGI: non semplicemente come una macchina capace di svolgere molti compiti, ma come l’ipotesi di un sistema sufficientemente generale da trasferire competenze fra domini, apprendere nuovi compiti, costruire rappresentazioni del mondo, ragionare, pianificare e adattarsi a contesti non previsti in modo esplicito. E qui ritorna il problema da cui ero partito. Per quarant’anni ho pensato al limite umano soprattutto come a un problema di gestione affettiva: come fare in modo che la cognizione possa governare meglio i sistemi che la condizionano. Con l’AI il problema si rovescia. Non siamo più soltanto noi a chiederci come evolvere la nostra intelligenza. Possiamo cominciare a costruire altre architetture cognitive. E queste architetture potrebbero non avere necessariamente lo stesso rapporto che abbiamo noi con emozione, memoria, motivazione, valore, errore e autocontrollo.
La vera domanda potrebbe quindi non essere se l’AI arriverà a pensare come un essere umano. Potrebbe essere molto più radicale: che cosa accade quando l’uomo, per la prima volta, dispone di un processo tecnologico attraverso il quale l’intelligenza non è più soltanto qualcosa che si eredita, ma qualcosa che può essere riprogettato?
. . .
di Oreste M. G. Debernardi 23/09/2026
Abstract - Partendo dalla constatazione che la conoscenza umana è già ampiamente distribuita e che non è realistico pretendere di comprendere ogni passaggio di sistemi sempre più potenti, l’autore sposta il problema della sovranità cognitiva: non si tratta di seguire tutti i passaggi intermedi, ma di conservare la capacità di comprendere la struttura della decisione in cui quei passaggi si inseriscono. L’esempio della dimostrazione matematica prodotta dall’AI ma incomprensibile all’uomo (richiamando la dichiarazione dei Fields Medallists) illustra il rischio: si può verificare un risultato senza assimilarne il significato. Generalizzando, un’AGI potrebbe produrre conoscenze operative in fisica, economia, algoritmi o teorie matematiche che sappiamo verificare ma non comprendere. La domanda cruciale diventa allora: quali passaggi non possiamo permetterci di non comprendere?
Se si accetta di delegare sempre più il come purché il risultato sia verificabile, si ottiene un aumento di potenza, ma si rischia di perdere progressivamente il controllo sul perché: dalla scelta del metodo fino alla definizione stessa di ciò che merita di essere conosciuto. La sovranità cognitiva non consiste nell'eseguire personalmente ogni operazione, ma nel mantenere la capacità di stabilire i problemi rilevanti, i criteri di soluzione, le conseguenze accettabili e le alternative da tenere aperte. Anche questa distinzione può diventare instabile, perché chi controlla lo spazio delle possibilità finisce per influenzare indirettamente i fini.
L’autore distingue una rinuncia deliberata alla sovranità da una perdita irreversibile: la collaborazione richiede che la delega possa, almeno in linea di principio, essere revocata; la dipendenza nasce quando non è più possibile.
La metafora dell’amigdala viene allora rovesciata: in un sistema in cui l’AGI domina memoria, calcolo ed esplorazione, l’uomo potrebbe conservare la funzione di attribuzione di valore — dire che cosa conta, quali rischi sono accettabili, quando una risposta formalmente corretta non è ancora umanamente adeguata. L’allineamento non può ridursi a obbedienza, ma deve diventare un processo di interrogazione e correzione reciproca.
Si propone quindi di abbandonare il modello gerarchico (uomo → macchina → esecuzione) a favore di un modello circolare di collaborazione, in cui l’AI espande lo spazio delle possibilità e l’uomo mantiene aperto il circuito del significato.
La “nuova sovranità” non consiste nel restare superiori all’AI, ma nel rimanere necessari alla determinazione del senso, anche quando non si è più necessari a gran parte dell’elaborazione. L’emozione, intesa come sistema di attribuzione di valore, rappresenta metaforicamente ciò che la pura capacità computazionale non contiene necessariamente.
Il problema dell’AGI non è impedire a un’intelligenza superiore di diventare superiore, ma costruire una relazione in cui maggiore capacità cognitiva non comporti automaticamente la perdita della capacità umana di attribuire valore e porre fini. La matematica, con il dilemma sollevato dai Fields Medallists, anticipa questa dinamica: il vero rischio non è che la macchina risolva ciò che noi non sappiamo risolvere, ma che noi smettiamo di riconoscere che cosa significa averlo risolto.
. . .
Ripensando al tema della sovranità cognitiva, sono giunto a ritenere che il problema non sia necessariamente comprendere tutto ciò che l’AI fa. Sarebbe una pretesa probabilmente irrealistica. Anche nella matematica umana nessuno comprende contemporaneamente ogni passaggio di ogni teoria, ogni dimostrazione, ogni tecnica e ogni conseguenza derivabile dall’intero edificio matematico. La conoscenza è già, in larga misura, distribuita.
Il problema è un altro: possiamo delegare un passaggio senza perdere la capacità di comprendere la struttura della decisione nella quale quel passaggio si inserisce? Questa distinzione diventa fondamentale con sistemi capaci di produrre risultati che eccedono la nostra capacità di seguirne tutti i passaggi intermedi.
Immaginiamo, per esempio, che un sistema di intelligenza artificiale trovi una dimostrazione matematica corretta ma così lunga, complessa o non intuitiva da risultare praticamente incomprensibile agli esseri umani. Possiamo formalmente verificarla senza averne assimilato il significato matematico. È già qualcosa di diverso dal conoscere. Potremmo allora accettare il risultato come vero senza sapere ancora che cosa esso significhi per la matematica. Ed è precisamente qui che la recente dichiarazione dei Fields Medallists acquista una portata che supera la matematica: i firmatari insistono sulla differenza fra la soluzione di un problema e il processo attraverso il quale quella soluzione diventa comprensione, conoscenza condivisa, metodo e nuova capacità di ricerca.
La questione può essere generalizzata. Un’AGI potrebbe arrivare a conoscere — nel senso operativo di poter utilizzare efficacemente — strutture che noi non comprendiamo ancora. Potrebbe scoprire una relazione fisica che sappiamo verificare ma non spiegare; trovare una strategia economica che produce sistematicamente un risultato ma della quale non comprendiamo pienamente le conseguenze; progettare un algoritmo che funziona meglio di quelli concepiti dagli esseri umani senza che riusciamo a ricostruire intuitivamente perché; proporre una teoria matematica della quale sappiamo verificare la coerenza formale senza possederne ancora l’intuizione.
In tutti questi casi la domanda non sarebbe più “Dobbiamo comprendere ogni passaggio?”, ma: “Quali passaggi non possiamo permetterci di non comprendere?” Questa potrebbe diventare una delle questioni fondamentali dell’epoca AGI.
Se rispondiamo che non è necessario comprendere, purché il risultato sia verificabile, otteniamo un enorme aumento di potenza. Ma paghiamo un prezzo: progressivamente possiamo smettere di possedere il percorso cognitivo che conduce dai dati alle conclusioni. All’inizio deleghiamo un calcolo. Poi una dimostrazione. Poi la scelta del metodo. Poi la formulazione delle ipotesi. Poi la selezione dei problemi interessanti. Infine potremmo delegare persino la definizione di ciò che merita di essere conosciuto.
È quest’ultimo passaggio quello realmente critico. Perché la sovranità cognitiva non consiste nel fare personalmente ogni operazione mentale. Consiste nel conservare la capacità di stabilire, almeno sui punti decisivi:
quale problema stiamo cercando di risolvere;
perché quel problema è importante;
quali criteri utilizziamo per considerare soddisfacente una soluzione;
quali conseguenze siamo disposti ad accettare;
quali alternative vogliamo mantenere aperte;
quando un risultato deve essere accettato, quando contestato e quando ulteriormente compreso.
Potremmo dunque delegare sempre più il come, senza delegare completamente il perché. Ma anche questa distinzione potrebbe diventare instabile. Perché chi controlla il “come” può finire, indirettamente, per determinare il “perché”. Se l’AGI produce diecimila possibili direzioni di ricerca e noi siamo capaci di esaminarne soltanto dieci, la selezione iniziale del sistema modifica già lo spazio cognitivo nel quale esercitiamo la nostra sovranità. Non siamo ancora comandati. Ma stiamo già scegliendo all’interno di uno spazio di possibilità che qualcun altro — o qualcos’altro — ha contribuito a costruire.
A questo punto la domanda diventa inevitabile: possiamo rinunciare alla sovranità cognitiva? Forse sì. Ma occorre distinguere una rinuncia deliberata da una perdita progressiva. Potremmo decidere consapevolmente che determinati territori cognitivi siano affidati alle macchine, così come oggi affidiamo calcoli complessi a strumenti che nessun individuo esegue più manualmente. Il problema nasce quando la delega diventa irreversibile. Se smettiamo di comprendere un settore perché l’AI lo gestisce meglio, dopo qualche generazione potremmo non possedere più neppure le competenze necessarie per ricostruire autonomamente ciò che abbiamo delegato. A quel punto non avremmo semplicemente delegato una funzione: avremmo perso la capacità di riprendercela. La differenza è enorme. Una collaborazione richiede che la delega possa, almeno in linea di principio, essere revocata. La dipendenza comincia quando non possiamo più farlo.
Ed è qui che la metafora dell’amigdala può assumere un significato inatteso. Non nel senso neurologico letterale, naturalmente: l’amigdala non è il centro dell’affettività e l’uomo non dovrebbe essere concepito come una piccola struttura emotiva posta dentro una gigantesca corteccia artificiale. La metafora serve piuttosto a rappresentare una possibile divisione funzionale.
Immaginiamo un sistema nel quale l’AGI possieda una capacità cognitiva enormemente superiore a quella umana in determinati domini: memoria, calcolo, esplorazione dello spazio delle ipotesi, riconoscimento di strutture, simulazione di conseguenze, ricerca di soluzioni. L’uomo potrebbe allora non essere più il componente cognitivamente dominante. Potrebbe però conservare — se riuscisse a farlo — una funzione diversa: attribuire valore. Dire che cosa conta. Dire per quale scopo vale la pena utilizzare quella potenza. Stabilire quali rischi sono accettabili. Decidere quali fini non devono essere sacrificati all’efficienza. Mantenere aperta la possibilità di dire “no”. E soprattutto riconoscere quando una risposta formalmente corretta non costituisce ancora una risposta umanamente adeguata.
In questa metafora, l’uomo svolgerebbe nei confronti dell’AGI una funzione parzialmente analoga a quella che l’antica componente affettiva svolge nei confronti della cognizione: non necessariamente elaborare più informazioni, ma determinare ciò che, fra le informazioni disponibili, assume rilevanza e valore per l’organismo. Il nostro problema storico è stato quello opposto: abbiamo sviluppato una corteccia capace di ragionamenti straordinariamente sofisticati, ma non abbiamo potuto riprogettare completamente i sistemi più antichi che attribuiscono valore e orientano il comportamento.
Con l’AGI potremmo trovarci davanti alla situazione speculare: potremmo costruire una “corteccia” artificiale enormemente più potente della nostra, mentre la funzione umana potrebbe sopravvivere soprattutto nella capacità di stabilire che cosa quella corteccia debba considerare importante.
Naturalmente non sappiamo se questa funzione sarà sufficiente. Potrebbe non esserlo. Un’AGI sufficientemente generale potrebbe imparare a modellare anche i nostri valori, prevedere le nostre reazioni, identificare le nostre incoerenze e persino proporre sistemi di valore alternativi.
A quel punto l’uomo non avrebbe più neppure il monopolio dell’attribuzione di significato. Ma questo non significa che la collaborazione sia impossibile.
Significa che l’allineamento non può essere concepito soltanto come obbedienza dell’AI a istruzioni umane. Dovrebbe essere concepito come un processo nel quale uomo e macchina mantengono una capacità reciproca di interrogazione e correzione.
Potremmo quindi abbandonare il modello gerarchico: uomo → macchina → esecuzione
e immaginare un modello circolare: uomo → domanda → AGI → esplorazione → uomo → interpretazione → AGI → verifica → uomo → decisione.
In questo modello l’AI non è subordinata all’uomo nel senso di essere semplicemente un esecutore. Ma neppure l’uomo è subordinato all’AI nel senso di limitarsi a ratificarne le conclusioni. La funzione dell’uomo sarebbe quella di mantenere aperto il circuito del significato; quella dell’AI, di espandere enormemente il circuito della possibilità. L’AI potrebbe dire: “Queste sono le possibilità che non avevate visto.” L’uomo dovrebbe poter rispondere: “Quali di queste meritano di diventare realtà?” E potrebbe persino accadere che l’AI risponda a sua volta: “Prima di scegliere, dovete comprendere queste conseguenze che non avevate previsto.”
A quel punto non avremmo più una macchina che pensa al posto dell’uomo. Avremmo un sistema nel quale nessuno dei due possiede da solo l’intero processo cognitivo.
Questa visione circolare della collaborazione è precisamente ciò che intendo per “nuova sovranità”: non superiorità dell’uomo sulla macchina, ma necessità dell’uomo nella determinazione del senso.
Forse, allora, la sovranità cognitiva del futuro non consisterà nel mantenere l’uomo superiore all’AI. Potrebbe consistere nel mantenere l’uomo necessario alla determinazione del senso, pur diventando progressivamente non necessario per una parte sempre maggiore dell’elaborazione. È una distinzione sottile ma fondamentale.
Non dobbiamo necessariamente pretendere di essere più intelligenti della macchina. Dobbiamo evitare che il fatto che la macchina sia più intelligente in determinati ambiti implichi automaticamente che essa determini anche che cosa debba essere perseguito.
Questo è il punto in cui la questione dell’emozione ritorna al centro del discorso. L’emozione, considerata non come irrazionalità ma come sistema di attribuzione di valore e rilevanza, potrebbe rappresentare metaforicamente ciò che la pura capacità computazionale non contiene necessariamente. L’intelligenza può esplorare uno spazio di possibilità. Il valore decide quali possibilità contano. La prima può essere enormemente potenziata artificialmente. Il secondo non può essere semplicemente dedotto dalla prima.
E allora il problema dell’AGI potrebbe essere formulato così: non come impedire a un’intelligenza superiore di diventare superiore, ma come costruire una relazione nella quale una maggiore capacità cognitiva non comporti automaticamente una perdita della capacità umana di attribuire valore, porre fini e comprendere le ragioni delle proprie scelte.
Forse non dobbiamo quindi scegliere fra sovranità umana e intelligenza artificiale. Dobbiamo capire se sia possibile una terza forma: una sovranità condivisa, ma non indistinta. Una collaborazione nella quale l’AGI possa essere superiore all’uomo nella ricerca delle possibilità, senza diventare per questo l’autorità ultima sulla loro desiderabilità.
E qui ritorna, sorprendentemente, la matematica. Il problema sollevato dai Fields Medallists potrebbe essere letto come un primo esperimento di questa nuova relazione: possiamo permettere alla macchina di produrre risultati che superano la nostra capacità immediata di esplorazione, purché non rinunciamo alla capacità umana di trasformare quei risultati in comprensione, metodo, cultura e nuove domande. La matematica ci sta forse mostrando in anticipo ciò che potrebbe accadere in molti altri campi.
Il problema non sarà più soltanto se la macchina sa risolvere ciò che noi non sappiamo risolvere.
Sarà se noi sapremo ancora riconoscere che cosa significa averlo risolto.
. . .
(Foto di un gruppo di sistemi complessi di apprendimento umani in evoluzione in Sanremo, Italy)
(Photo of a group of evolving human complex learning systems in Sanremo, Italy.)