Numeri & IA

Tutte le informazioni presenti in questo sito hanno esclusivamente un fine illustrativo.

Tutte le informazioni presenti in questo sito non costituiscono in nessun caso prescrizione, diagnosi o consulenza di qualsiasi genere. 

Come i Dati Quantitativi Mascherano l'Incertezza nell'Intelligenza Artificiale

La Seduzione dei Numeri

Nel panorama contemporaneo della ricerca e dello sviluppo in intelligenza artificiale, assistiamo a un fenomeno paradossale: mentre la complessità dei sistemi aumenta esponenzialmente, la precisione apparente delle affermazioni che li riguardano cresce proporzionalmente. Percentuali nette, confronti binari, proiezioni economiche cristalline vengono presentate con una sicurezza che contrasta radicalmente con l'opacità intrinseca dei modelli di machine learning.

Questa contraddizione non è accidentale. Rappresenta piuttosto una manifestazione particolare di quello che potremmo definire positivismo quantitativo: l'assunzione implicita che l'attribuzione di un numero a un fenomeno costituisca di per sé una forma di comprensione. Nel contesto dell'IA, questa tendenza acquisisce caratteristiche peculiari che meritano un'analisi approfondita, non tanto per il loro valore descrittivo quanto per le dinamiche epistemologiche e socio-economiche che rivelano.

La Crisi della Misurabilità nell'Era dei Modelli Fondazionali

La Commensurabilità

Quando affermiamo che un sistema di IA supera le performance umane in un determinato compito, stiamo operando un'astrazione: riduciamo fenomeni qualitativamente eterogenei a una scala comune. Ma questa operazione è legittima?

Consideriamo il caso paradigmatico della valutazione comparativa tra esperti umani e agenti artificiali. La metodologia standard prevede:

1. Definizione di un compito circoscritto

2. Misurazione delle performance attraverso metriche standardizzate

3. Confronto statistico dei risultati

Ciascuno di questi passaggi introduce distorsioni sistematiche:

Primo livello 

la definizione del compito. Ogni processo lavorativo reale è inserito in una rete di relazioni sociali, aspettative implicite, contesti situazionali. Quando isoliamo un compito per renderlo misurabile, lo trasformiamo in qualcosa di fondamentalmente diverso. Un avvocato che redige un contratto non sta semplicemente producendo un testo conforme a specifiche tecniche: sta interpretando intenzioni, anticipando contestazioni, costruendo relazioni fiduciarie. La versione benchmark di questo compito cattura solo la superficie testuale, perdendo completamente la dimensione pragmatica.

Secondo livello 

le metriche di valutazione. Come si misura la qualità di un'analisi finanziaria? Attraverso l'accuratezza predittiva? La completezza documentale? La chiarezza espositiva? La robustezza metodologica? Ciascuna di queste dimensioni può essere operazionalizzata, ma la loro sintesi in un punteggio univoco richiede una ponderazione arbitraria che inevitabilmente riflette bias culturali e professionali.

Terzo livello 

l'interpretazione statistica. Anche ammettendo metriche valide, il confronto tra distribuzioni di performance umane e artificiali solleva questioni fondamentali. Gli umani mostrano variabilità idiosincratica, apprendimento contestuale, performance non stazionarie. I sistemi di IA presentano errori correlati, failure modes sistematici, sensibilità a perturbazioni semanticamente irrilevanti. Queste due distribuzioni sono davvero confrontabili?

L'Opacità Epistémica dei Large Language Models

I modelli linguistici di grandi dimensioni introducono una complicazione ulteriore: l'impossibilità strutturale di decomporre le loro capacità in componenti analizzabili separatamente. Quando un modello produce un'analisi complessa, non possiamo distinguere:

• Recupero memoriale di pattern presenti nei dati di training

• Generalizzazione autentica da principi appresi

• Artefatti stocastici della generazione probabilistica

• Capacità emergenti non riducibili all'architettura base

Questa opacità non è un limite tecnico temporaneo ma una conseguenza necessaria dell'approccio di apprendimento distribuito su reti neurali profonde. Contrariamente ai sistemi simbolici classici, dove le regole di inferenza sono esplicite e ispezionabili, i transformer operano attraverso trasformazioni continue in spazi vettoriali ad alta dimensionalità che sfuggono all'interpretazione umana.

Le implicazioni epistemologiche sono radicali: stiamo valutando sistemi di cui non comprendiamo i meccanismi operativi attraverso benchmark di cui non possiamo garantire la validità ecologica.

L'Economia Politica dei Benchmark

Chi Misura e Perché

La produzione di metriche di performance nell'IA non è un'attività neutrale. Osserviamo una concentrazione crescente della capacità di definire standard di valutazione presso:

1. Grandi laboratori industriali (OpenAI, Anthropic, Google DeepMind, Meta...)

2. Consorzi accademici finanziati dall'industria

3. Organizzazioni apparentemente indipendenti ma strutturalmente dipendenti da finanziamenti corporate

Questa configurazione genera conflitti di interesse sistemici. Quando OpenAI pubblica risultati che dimostrano la superiorità marginale dei suoi modelli, non sta semplicemente comunicando scoperte scientifiche: sta producendo capitale reputazionale che si traduce direttamente in valorizzazione economica.

Il meccanismo è circolare:

• I laboratori definiscono i benchmark

• Ottimizzano i propri modelli per eccellere in questi benchmark

• Pubblicizzano i risultati come prova di supremazia tecnologica

• Utilizzano questa narrativa per attrarre investimenti e talenti

• Consolidano il potere di definire i futuri benchmark

La Retorica della Soglia

Un pattern ricorrente nella comunicazione industriale sull'IA è l'identificazione di soglie di capability che funzionano come marcatori narrativi più che come demarcazioni oggettive:

• Superamento delle performance umane in specifici task

• Raggiungimento di livelli di competenza professionale certificata

• Attraversamento di percentili di distribuzione umana

Queste soglie acquisiscono valore performativo: non descrivono semplicemente realtà tecniche ma le costituiscono attraverso l'accettazione sociale. Quando si afferma che un sistema di IA supera il livello di competenza medio in una professione, si sta implicitamente ridefinendo cosa significhi quella competenza, spostandola da pratica incarnata a performance misurabile.

Anatomia delle Affermazioni Quantitative

Le Proiezioni di Efficienza Economica

Affermare che l'adozione di workflow AI-augmented può aumentare la velocità del quaranta percento e ridurre i costi del sessanta percento richiede un'analisi della struttura logica dell'affermazione.

Assunzioni implicite

1. Sostituibilità perfetta: Si assume che il lavoro prodotto con assistenza IA sia qualitativamente equivalente a quello prodotto interamente da umani

2. Assenza di costi di transazione: Non si considerano i tempi di apprendimento degli strumenti, la necessità di verifiche più approfondite, i fallimenti sistemici

3. Linearità degli effetti: Si assume che i guadagni osservati in contesti sperimentali si mantengano su scala

4. Neutralità rispetto alla complessità: Si ignora che compiti diversi possono beneficiare in misura radicalmente diversa dall'automazione

Meccanismi di distorsione

Il calcolo del risparmio temporale tipicamente include solo il tempo di produzione del primo draft, escludendo:

• Tempo di prompting iterativo per ottenere risultati adeguati

• Tempo di revisione e correzione

• Tempo di gestione delle failure (allucinazioni, incoerenze)

• Overhead cognitivo del code-switching tra modalità umana e artificiale

Il calcolo del risparmio economico raramente incorpora:

• Costi di licenza e infrastruttura computazionale

• Costi di opportunità della dipendenza tecnologica

• Costi di rischio (liability per errori, vulnerabilità di sicurezza)

• Costi di erosione delle competenze umane nel medio-lungo periodo

I Guadagni Esponenziali nelle Capacità Agentiche

L'affermazione di crescita esponenziale nelle capacità di completamento autonomo di task complessi rappresenta un caso particolarmente istruttivo di ambiguità semantica mascherata da precisione quantitativa.

Analisi terminologica

Il termine esponenziale viene utilizzato colloquialmente per indicare crescita rapida, ma matematicamente descrive una relazione specifica: f(t)=a⋅ebtf(t) = a \cdot e^{bt} f(t)=a⋅ebt dove il tasso di crescita stesso cresce proporzionalmente al valore corrente. Questa confusione non è innocente: l'evocazione di crescita esponenziale attiva frame cognitivi specifici (inevitabilità, accelerazione incontrollabile, discontinuità radicale) che influenzano percezioni e decisioni.

Problemi di identificazione causale

Anche ammettendo una crescita genuinamente esponenziale nelle performance benchmark, attribuirla a progressi architetturali intrinseci richiede di escludere spiegazioni alternative:

1. Effetto dimensione - Il semplice scaling dei parametri del modello produce miglioramenti prevedibili secondo power laws

2. Effetto dati - L'aumento della quantità e qualità dei dati di training può spiegare gran parte dei guadagni

3. Effetto ottimizzazione - Il raffinamento delle tecniche di training (RLHF, constitutional AI) produce miglioramenti ortogonali all'architettura

4. Effetto benchmark - I benchmark stessi evolvono, e nuove versioni possono essere implicitamente più adatte ai punti di forza dei modelli recenti

Senza analisi ablative rigorose che isolino questi fattori, l'attribuzione causale rimane speculativa.

Il Paradosso della Formattazione

L'osservazione che i sistemi di IA falliscano principalmente per problemi di formattazione e aderenza a istruzioni, piuttosto che per errori sostanziali, merita attenzione particolare.

Interpretazioni possibili

Interpretazione ottimistica: Le capacità cognitive di base sono comparabili a quelle umane; i limiti attuali sono superficiali e risolvibili con ingegnerizzazione incrementale.

Interpretazione pessimistica: L'incapacità di gestire aspetti formali rivela una comprensione puramente pattern-matching senza autentica intenzionalità. Gli umani comprendono perché la formattazione è rilevante; le IA seguono euristiche statistiche che falliscono sotto distributional shift.

Implicazioni per la robustness

In contesti professionali reali, le istruzioni sono spesso:

• Implicite (derivanti da convenzioni sociali)

• Contestuali (dipendenti dalla situazione specifica)

• Contraddittorie (richiedenti giudizio interpretativo)

• Emergenti (generate dinamicamente dall'interazione)

Se i sistemi falliscono già con istruzioni esplicite e ben formate, la loro affidabilità in contesti naturali è radicalmente compromessa. Questo suggerisce che il gap tra performance benchmark e applicabilità pratica potrebbe essere molto più ampio di quanto le metriche aggregate suggeriscano.

Verso un'Epistemologia Critica della Misurazione in IA

Riconoscere i Limiti della Quantificazione

La critica fin qui sviluppata non implica relativismo radicale o rigetto della misurazione quantitativa. Piuttosto, richiede umiltà epistemica: riconoscere che i numeri non sono finestre trasparenti sulla realtà ma costruzioni che illuminano certi aspetti oscurandone altri.

Principi per una misurazione responsabile

1. Esplicitazione delle assunzioni: Ogni metrica si fonda su scelte metodologiche che privilegiano certi valori. Queste scelte necessitano trasparenza radicale.

2. Pluralismo metrico: Nessuna metrica singola può catturare fenomeni complessi. Necessita un'ecologia di misurazioni complementari che si controllino reciprocamente.

3. Validazione ecologica: I benchmark sintetici richiedono validazione in contesti reali con tutte le loro complicazioni idiosincratiche.

4. Analisi delle distribuzioni: Le medie nascondono variabilità essenziale. Performance modali, percentili, analisi di outlier sono cruciali.

5. Studio dei failure modes: Comprendere quando e perché i sistemi falliscono è epistemicamente più informativo che misurare performance aggregate.

Ripensare la Comparazione Uomo-Macchina

Il framework stesso del confronto competitivo tra intelligenza umana e artificiale necessita revisione. Questa cornice concettuale:

• Presuppone commensurabilità che potrebbe non esistere

• Oscura la possibilità di complementarità non sostituiva

• Genera pressioni economiche verso la commodificazione del lavoro cognitivo

• Distorce le priorità di ricerca verso capacità facilmente benchmarkabili

Un approccio alternativo partirebbe da queste domande:

• Quali compiti beneficiano genuinamente dell'automazione e quali dalla collaborazione uomo-macchina?

• Come progettare interfacce che esaltino le capacità complementari piuttosto che replicare quelle esistenti?

• Quali forme di lavoro cognitivo sono intrinsecamente resistenti alla formalizzazione algoritmica?

• Come garantire che l'adozione tecnologica non eroda le capacità umane che non siamo ancora in grado di automatizzare?

Implicazioni Socio-Economiche della Misurazione Imperfetta

Il Rischio dell'Automazione Prematura

Quando le organizzazioni prendono decisioni strategiche basandosi su metriche di performance che sovrastimano sistematicamente le capacità reali dei sistemi di IA, si generano:

Disallineamenti micro

• Allocazione di risorse verso soluzioni tecniche prima che siano mature

• Riduzione di personale qualificato in anticipo rispetto alle capacità sostitutive

• Erosione di competenze organizzative difficili da recuperare

Rischi sistemici

• Creazione di punti di failure correlati (molte organizzazioni dipendenti dagli stessi modelli)

• Perdita di ridondanza nelle capacità produttive

• Vulnerabilità a shock tecnologici (vulnerabilità scoperte, degradazione delle performance)

La Trasformazione Epistemica delle Professioni

L'adozione di IA nei contesti professionali non è semplicemente uno strumento neutrale che aumenta l'efficienza. Trasforma la natura stessa della pratica professionale attraverso:

Ridefinizione delle competenze 

Ciò che viene automatizzato viene progressivamente svalorizzato economicamente. Ciò che resiste all'automazione viene ricodificato come il nucleo autentico della professionalità.

Shift dell'autorità epistemica

L'expertise si sposta dalla capacità di produrre artefatti alla capacità di valutare criticamente output generati automaticamente. Questa transizione richiede forme diverse di competenza che non sono semplicemente versioni ridotte di quelle precedenti.

Erosione della conoscenza tacita

La mediazione algoritmica dei processi lavorativi può interrompere la trasmissione di conoscenza implicita che si sviluppa attraverso la pratica incarnata. Questa perdita potrebbe essere invisibile finché non si manifesta come incapacità di gestire situazioni eccezionali.

Abitare l'Incertezza

La proliferazione di affermazioni quantitative sull'intelligenza artificiale riflette un desiderio comprensibile di certezza in un dominio caratterizzato da complessità irriducibile. Ma questa certezza è in gran parte illusoria: i numeri offrono precisione senza necessariamente garantire accuratezza, forniscono comparabilità a costo di perdere rilevanza.

Riconoscere questo non significa rinunciare alla misurazione o cadere nello scetticismo radicale. Significa piuttosto coltivare una forma di rigore epistemico che:

• Tratta le metriche come strumenti euristici piuttosto che descrizioni oggettive

• Mantiene costante consapevolezza dei loro limiti e delle assunzioni su cui si fondano

• Integra valutazione quantitativa con comprensione qualitativa dei meccanismi

• Resiste alla tentazione di ridurre fenomeni complessi a confronti binari

Nel contesto specifico dell'IA, questa postura critica è particolarmente urgente. Stiamo sviluppando tecnologie le cui capacità evolvono più rapidamente della nostra comprensione dei loro meccanismi fondamentali. Stiamo prendendo decisioni economiche e sociali di enorme portata basandoci su benchmark la cui validità ecologica rimane largamente non testata. Stiamo ridefinendo categorie fondamentali come intelligenza, competenza, lavoro attraverso operazionalizzazioni necessariamente parziali.

La sfida non è rifiutare la quantificazione ma sofisticarla: sviluppare pratiche di misurazione che incorporino autoconsapevolezza dei propri limiti, che esplicitino le scelte valoriali implicite nelle metriche, che resistano alla seduzione della pseudo-precisione. Solo attraverso questo approccio criticamente informato possiamo sperare di navigare la complessità dell'integrazione tra intelligenza umana e artificiale senza sacrificare né rigore analitico né rilevanza pratica.

L'alternativa è continuare a operare sotto l'illusione che assegnare numeri a fenomeni che non comprendiamo pienamente costituisca una forma di controllo. Ma i numeri, per quanto rassicuranti, non possono sostituire il giudizio umano informato, la comprensione contestuale, la deliberazione etica. Possono solo, nel migliore dei casi, informarli.

Massimo Zanetti