Che cosa è un modello normativo ?

Come illustrato nel Modulo 4, il quadro giuridico dell’UE per l’IA nel settore sanitario è complesso, articolato su più livelli e in rapida evoluzione. I principi etici e i requisiti giuridici, tuttavia, non sono sufficienti da soli: devono essere tradotti in processi concreti e operativi che le istituzioni sanitarie possano effettivamente attuare nella loro pratica quotidiana.

Questo è esattamente lo scopo del Modello normativo sull’IA di AEQUITAS. Esso fornisce agli ospedali e alle organizzazioni della società civile un quadro di governance pratico che copre l’intero ciclo di vita dei sistemi di IA, dall’approvvigionamento e dalla convalida fino all’implementazione, al monitoraggio e alla responsabilità. Integrando la tutela dei diritti fondamentali nei processi operativi, questo quadro mira a ridurre i rischi di pregiudizi di genere e razziali nel processo decisionale sanitario supportato dall’IA e a contribuire a risultati sanitari più equi in tutta l’UE. Inoltre, il documento offre una serie di politiche pratiche, strumenti operativi e risorse che gli ospedali e le organizzazioni della società civile possono adattare ai diversi contesti nazionali per attuare il modello in modo coerente in contesti reali.

Il modello trae ispirazione da approcci di governance che si sono dimostrati efficaci in altri settori ad alto rischio. Gli operatori sanitari riconosceranno la logica della farmacovigilanza, ovvero la raccolta e l’analisi sistematica delle reazioni avverse ai medicinali, che fornisce un solido modello per ciò che il modello AEQUITAS definisce sistema di «IA-vigilanza»: un sistema analogo per la segnalazione e l’analisi degli incidenti che coinvolgono decisioni cliniche supportate dall’IA, con particolare attenzione ai risultati in termini di equità. Analogamente, la cultura della sicurezza del paziente, familiare grazie agli approcci ispirati al settore aeronautico adottati negli ospedali e incentrata sull’identificazione dei rischi, la segnalazione degli incidenti e il miglioramento continuo, si ricollega direttamente alla logica di gestione del rischio nel ciclo di vita integrata nell’AI Act e in questo modello normativo.

Il quadro dei diritti fondamentali su cui si fonda il modello è la Carta dei diritti fondamentali dell’Unione europea (Carta dei diritti fondamentali dell’UE, 2009), in particolare:

• Articolo 1 (Dignità umana): gli strumenti di IA devono essere utilizzati in modo da preservare il giudizio umano e rispettare l’autonomia del paziente. In termini operativi, questo principio richiede misure di salvaguardia contro l’eccessivo affidamento alle raccomandazioni automatizzate, meccanismi per contestare le decisioni assistite dall’IA e strutture di supervisione clinica che prevengano i pregiudizi legati all’automazione.

• Articoli 20 e 21 (Uguaglianza e non discriminazione): gli ospedali devono monitorare le prestazioni dell’IA su popolazioni di pazienti eterogenee (in termini di genere, razza o etnia) e attuare azioni correttive laddove vengano rilevate disuguaglianze nelle prestazioni o negli esiti. Tali azioni dovrebbero essere attuate attraverso l’adeguamento dei modelli, modifiche al flusso di lavoro clinico o percorsi decisionali alternativi, garantendo che l’impiego dell’IA non consolidi le disuguaglianze strutturali.

• Articolo 35 (Assistenza sanitaria): I sistemi di IA possono essere implementati solo laddove contribuiscano in modo dimostrabile a un’erogazione dell’assistenza sanitaria sicura, efficace ed equa. Le tecnologie di IA non dovrebbero introdurre nuovi ostacoli all’assistenza né esacerbare le disparità esistenti che colpiscono le comunità storicamente emarginate, e dovrebbero essere valutate continuamente per il loro impatto sulle popolazioni di pazienti storicamente poco servite o comunque svantaggiate.

Sistemi di governance applicabili all'AI in ambito sanitario

Diversi quadri di governance internazionali sono alla base del modello normativo AEQUITAS. All’interno dell’UE, il fondamento giuridico primario è costituito da strumenti europei quali l’AI Act, l’MDR/IVDR, il GDPR e l’EHDS. I quadri aggiuntivi discussi in questa sezione integrano tale fondamento europeo con orientamenti pratici per l’attuazione e, pertanto, non intendono sostituire o privilegiare approcci non europei. In qualità di operatore sanitario, non è necessario essere un esperto di questi quadri normativi, ma la loro conoscenza aiuta a comprendere il contesto più ampio in cui si inseriscono gli obblighi di governance dell’IA della propria istituzione.

Standard ISO/IEC dell’Organizzazione internazionale per la normazione

Diverse norme ISO/IEC sostengono una governance responsabile dell’IA nel settore sanitario (Organizzazione internazionale per la normazione, 2023). La norma ISO/IEC 42001 definisce i requisiti per un sistema di gestione organizzativa dell’IA, favorendo l’integrazione dei principi di equità e non discriminazione nelle politiche e nei controlli dei rischi. La norma ISO/IEC 23894 fornisce indicazioni sull’integrazione della gestione dei rischi nello sviluppo e nell’implementazione dell’IA, compresi i rischi di impatti sproporzionati su diversi gruppi di popolazione. La norma ISO 14971 definisce i principi di gestione del rischio ampiamente utilizzati nella regolamentazione dei dispositivi medici, che possono essere estesi per coprire prestazioni inique tra i diversi gruppi di popolazione disaggregati.

Queste norme sono preziose in quanto suggeriscono una struttura di sistema di gestione che gli ospedali possono adottare e forniscono un linguaggio comune attraverso il quale i requisiti relativi all’equità (come la valutazione dei gruppi di popolazione disaggregati e la mitigazione dei pregiudizi) possono essere specificati negli appalti e nei contratti con i fornitori.

ALTAI - Elenco di valutazione per un’intelligenza artificiale affidabile

Sviluppato dal Gruppo di esperti di alto livello sulla IA della Commissione europea, ALTAI è uno strumento volontario di autovalutazione che attua le Linee guida etiche della Commissione europea per un’IA affidabile (Commissione europea, 2020). Il suo formato basato su domande può essere adattato in pratiche liste di controllo per l’approvvigionamento e l’implementazione, stimolando medici, specialisti IT e dirigenti ospedalieri a considerare questioni quali la rappresentatività dei dati di addestramento, il rischio di esiti clinici disparati e l’adeguatezza delle misure di salvaguardia contro gli effetti discriminatori.

Principi dell’OMS per l’IA in ambito sanitario

LOrganizzazione Mondiale della Sanità ha enunciato sei principi fondamentali per l’IA in ambito sanitario: autonomia, benessere, spiegabilità, responsabilità, equità e reattività (Organizzazione Mondiale della Sanità, 2021). Il principio di equità richiede esplicitamente di prestare attenzione alle differenze in termini di accesso, prestazioni e risultati tra le diverse popolazioni di pazienti, comprese quelle definite in base al genere e all’appartenenza razziale o etnica.

Quadro di riferimento per la gestione dei rischi dell’IA (AI RMF) del National Institute of Standards and Technology (NIST)

Sviluppato dall’Istituto Nazionale degli Standard e della Tecnologia degli Stati Uniti, questo quadro organizza la gestione dei rischi dell’IA attorno alla governance, alla mappatura dei rischi, alla misurazione dei rischi e alla gestione dei rischi lungo l’intero ciclo di vita dell’IA (Istituto Nazionale degli Standard e della Tecnologia, 2023). Riconosce esplicitamente l’equità e i pregiudizi dannosi come dimensioni fondamentali di un’IA affidabile e incoraggia le organizzazioni a valutare gli impatti disparati tra i gruppi demografici, inclusi quelli di genere e razziali, nell’ambito dei processi di mappatura e misurazione dei rischi. Per gli ospedali, il punto di forza operativo dell’AI RMF risiede nella sua capacità di tradursi in pratiche concrete, quali ruoli definiti per la supervisione dell’equità, la valutazione metodica delle prestazioni disaggregate per gruppi di popolazione e strategie dimitigazione documentate, pur rimanendo pienamente subordinato ai requisiti giuridici europei e ai principi dei diritti fondamentali.

Il modello normativo AEQUITAS

Il modello normativo AEQUITAS struttura la governance dell’IA attorno a una serie di «gate» obbligatori del ciclo di vita, ovvero chiari punti decisionali che gli ospedali devono superare prima, durante e dopo l’implementazione di un sistema di IA. Questi «gate» riflettono la logica normativa dell’AI Act dell’UE e della legislazione sanitaria correlata, fornendo al contempo un percorso di governance chiaro e verificabile. Il modello presuppone che l’ospedale sia solitamente un «implementatore» (ai sensi della legge sull’IA) e un fornitore di assistenza sanitaria ai sensi della legislazione sanitaria nazionale, ma contempla anche il caso in cui l’ospedale sviluppi internamente i propri strumenti di IA.

L’attuazione di questo modello normativo segue un principio di proporzionalità che riconosce che gli ospedali e le organizzazioni della società civile (CSO) possono avere livelli diversi di capacità tecnica, organizzativa e analitica nei vari Stati membri e sistemi sanitari. Mentre i requisiti minimi obbligatori si applicano in modo uniforme per garantire livelli di base di sicurezza, trasparenza e equità, le pratiche avanzate – quali l’analisi estesa e disaggregata dei gruppi di popolazione, l’audit esterno e sofisticati strumenti di monitoraggio dei pregiudizi – possono essere implementate progressivamente a seconda delle capacità tecniche, organizzative e analitiche di ciascuna istituzione.

Le 5 fasi del ciclo di vita

Fase 1 – Ambito di applicazione e classificazione (prima dell’acquisto o dello sviluppo)

Il primo passo consiste nel determinare lo status normativo dello strumento di IA in esame. Ciò significa valutare se il sistema rientri nella definizione di software per dispositivi medici ai sensi dell’MDR o dell’IVDR, se costituisca un sistema di IA ad alto rischio ai sensi dell’AI Act, oppure se rientri in una categoria a rischio inferiore che richieda comunque una supervisione di governance.

In questa fase iniziale, gli ospedali dovrebbero segnalare gli strumenti il cui uso previsto possa avere implicazioni più marcate in termini di equità o influenzare popolazioni di pazienti eterogenee, tenendo presente che questi richiederanno una valutazione più dettagliata dei pregiudizi di genere e razziali nelle fasi successive.

Fase 2 - Pre-appalto e contratto (prima della firma con un fornitore)

1. L’appalto rappresenta spesso il momento in cui gli ospedali hanno il maggiore potere di influenza sulla governance dell’IA. In questa fase, ai fornitori dovrebbe essere richiesto di impegnarsi contrattualmente ad affrontare i rischi di equità, inclusi i pregiudizi di genere e razziali, durante l’intero ciclo di vita dell’IA.

2. I contratti di appalto dovrebbero richiedere ai fornitori di fornire, come minimo:

   1. Prove della composizione dei dati di addestramento, compresa la rappresentanza di genere e razziale o etnica, a supporto della valutazione della rappresentatività e del rischio di pregiudizio;

   2. Informazioni sulla provenienza dei dati, ivi compreso se i set di dati siano proprietari o non proprietari, le loro condizioni di accessibilità e le implicazioni in termini di trasparenza, validazione indipendente e valutazione dei pregiudizi di genere e razziali;

   3. Risultati disaggregati sulle prestazioni dei gruppi di popolazione, compresi i risultati

   4. stratificati per genere e gruppi razziali o etnici, la documentazione di eventuali disparità note e le misure di mitigazione dei pregiudizi applicate durante lo sviluppo;

   5. Funzionalità di registrazione e verificabilità a supporto di audit indipendenti sui pregiudizi;

   6. Chiari impegni in materia di risposta agli incidenti legati alla parzialità, che obbligano il fornitore a segnalare errori o iniquità individuati che incidono su gruppi di genere o razziali/etnici e a delineare le misure correttive;

   7. Chiara attribuzione delle responsabilità, che specifichi gli obblighi del fornitore e di chi implementa il sistema in merito alla conformità ai requisiti dell’AI Act e alla gestione dei rischi legati all’equità e ai pregiudizi.

Fase 3 - Convalida (prima dell’inserimento nei flussi di lavoro clinici)

Prima che qualsiasi sistema di IA entri nei flussi di lavoro clinici e venga utilizzato con pazienti reali, deve essere valutato in modo indipendente. La validazione dovrebbe valutare sia le prestazioni complessive sia i risultati disaggregati per gruppi di popolazione, con particolare attenzione al genere e ai gruppi razziali/etnici. Questa fase è fondamentale perché i sistemi di IA biomedica possono mostrare prestazioni disparate tra le diverse popolazioni quando i dati di addestramento non sono rappresentativi o quando vengono trascurate le differenze contestuali tra gli ambienti di sviluppo e di implementazione (Rajkomar et al., 2018).

La validazione dovrebbe documentare eventuali misure di mitigazione applicate ed evidenziare i rischi residui in termini di equità, fornendo all’ospedale le prove necessarie per prendere una decisione informata sull’implementazione. La rivalidazione dovrebbe essere avviata ogni volta che il sistema viene implementato in una nuova sede, applicato a una popolazione di pazienti diversa, collegato a nuove apparecchiature o protocolli, aggiornato dal fornitore o mostra segni di deriva delle prestazioni.

Fase 4 - Implementazione (prima della messa in funzione) 

Una volta che un sistema ha superato la validazione, la fase di implementazione garantisce che siano presenti le condizioni operative per un utilizzo sicuro, equo e responsabile. Ciò include:

• L'assegnazione di personale di supervisione adeguatamente formato;

• L’implementazione di meccanismi che garantiscano ai medici la possibilità di ignorare o disattivare le raccomandazioni dell’IA;

• Assicurarsi che gli utenti comprendano lo scopo previsto del sistema, i suoi limiti e le eventuali considerazioni note relative alle prestazioni per i diversi gruppi di popolazione;

• Informare i medici delle potenziali variazioni nei risultati in base al genere e all’appartenenza razziale o etnica;

• Garantire che i pazienti siano informati quando vengono utilizzati strumenti decisionali supportati dall’IA nella loro cura;

Fase 5 - Monitoraggio, verifica e responsabilità (per tutto il ciclo di vita dell’implementazione)

L’ultimo gate disciplina la fase post-implementazione. Poiché i sistemi di IA non sono statici, è essenziale un monitoraggio continuo che copra le prestazioni complessive, le disparità tra i gruppi di popolazione disaggregati e gli incidenti relativi alla sicurezza o all’equità.

Gli ospedali dovrebbero tenere registri del funzionamento del sistema, implementare procedure standardizzate di segnalazione degli incidenti che rilevino potenziali pregiudizi di genere o razziali e rivalutare periodicamente le prestazioni del sistema attraverso esercizi di rivalidazione.

Laddove emergano disuguaglianze o rischi che interessano specifici gruppi demografici e che non possano essere efficacemente mitigati, il sistema dovrebbe essere modificato, sospeso o dismesso. I risultati dovrebbero orientare sia la governance interna sia, ove opportuno, un processo di apprendimento più ampio a livello di rete, al fine di prevenire il ripetersi di pregiudizi.

Strumenti pratici e strumenti di governance degli ospedali

Il modello normativo AEQUITAS fornisce una serie di strumenti di governance standardizzati e riutilizzabili che gli ospedali possono adattare ai propri contesti nazionali. Ecco una panoramica degli strumenti chiave:

Procurement and contract stage

Fasi di appalto e contrattazionePacchetto per gli appalti e la stipula dei contratti

La comunità dell’UE per gli appalti nel settore dell’IA ha pubblicato clausole contrattuali modello e le ha aggiornate per riflettere l’IA Act, incoraggiando esplicitamente le autorità pubbliche a utilizzarle e fornendo commenti per la loro attuazione (Commissione europea, 2025). Per l’IA nel settore sanitario, queste clausole possono essere adattate in un allegato specifico per gli ospedali, con l’obiettivo di valutare e mitigare i rischi di pregiudizi di genere e razziali. Tale allegato richiede, come minimo:

1. Rendicontazione standardizzata della composizione dei dati di addestramento, compresa la rappresentanza di genere e razziale/etnica, a supporto della valutazione della rappresentatività e del rischio di pregiudizi;

2. La divulgazione della provenienza dei dati, specificando se i set di dati siano proprietari o non proprietari, le relative condizioni di accessibilità e le implicazioni in termini di trasparenza, validazione indipendente e valutazione dei pregiudizi di genere e razziali; 

3. La divulgazione delle prestazioni disaggregate per gruppi di popolazione e delle prove di validazione, compresi i risultati stratificati per genere e gruppi razziali o etnici, la documentazione di eventuali disparità note, le misure di mitigazione dei pregiudizi applicate durante lo sviluppo e i test di validazione a supporto (comprese le considerazioni specifiche del sito relative all’equità e alla correttezza);

4. Requisiti di registrazione e verificabilità, che garantiscano che il sistema sia in grado di generare registri di utilizzo in grado di supportare verifiche indipendenti relative a pregiudizi o impatti disparati;

5. Obblighi di aggiornamento e controllo delle modifiche, che impongono al fornitore di informare l’ospedale in merito agli aggiornamenti del modello, alla riqualificazione del personale o alle modifiche del flusso di lavoro, nonché di documentarne i potenziali effetti sulle prestazioni relative al genere e alla razza;

6. Impegni relativi alla risposta agli incidenti legati ai pregiudizi, che obbligano il fornitore a segnalare errori o disuguaglianze individuati che incidono sui gruppi di genere o razziali/etnici e a delineare le misure correttive;

7. Chiara attribuzione delle responsabilità, che specifichi gli obblighi del fornitore e di chi implementa il sistema in merito alla conformità ai requisiti dell’AI Act e alla gestione dei rischi legati all’equità e alla parzialità.

Fasi di convalida e pre-implementazione

La politica sulla governance e la rappresentatività dei dati sanitari

Tutti gli ospedali e le organizzazioni della società civile (CSO) che implementano l’IA dovrebbero adottare una politica formale che garantisca che i dati utilizzati per l’addestramento, la messa a punto o a fini operativi siano rappresentativi, completi e accurati per le popolazioni servite. Ciò include la valutazione della composizione demografica, la documentazione dei gruppi di genere e razziali o etnici sottorappresentati e la definizione di misure di mitigazione ove necessario.

La politica dovrebbe riguardare sia i set di dati interni che quelli provenienti da fonti esterne, compresi i dati proprietari e quelli ad accesso libero, e richiedere la verifica delle prestazioni disaggregate per gruppi di popolazione e di eventuali strategie di mitigazione dei pregiudizi applicate dai fornitori.

Questa politica funge da principio preliminare all’implementazione e si integra direttamente nel monitoraggio continuo, nell’audit e nella rendicontazione.

Linee guida di base sulla sicurezza informatica e modello di minaccia specifico per l’IA

I sistemi di IA ospedalieri possono essere vulnerabili non solo ad attacchi convenzionali quali l’avvelenamento dei dati, gli esempi avversari o l’evasione del modello, ma anche a manipolazioni o errori che esacerbano i pregiudizi di genere o razziali, ad esempio influenzando in modo sproporzionato i gruppi di popolazione sottorappresentati nei dati di addestramento o operativi. 

Gli ospedali dovrebbero quindi stabilire una linea di base per la sicurezza informatica e un modello di minaccia specifico per l’IA che consideri esplicitamente i rischi legati ai pregiudizi insieme alle minacce tecniche. Questo documento in continua evoluzione funge da lista di controllo pre-implementazione per garantire l’attuazione di controlli di sicurezza informatica allineati con l’MDR e l’IVDR, la governance organizzativa della sicurezza delle informazioni (ad es. ISO/IEC 27001) e piani di modellizzazione delle minacce e di test sensibili ai pregiudizi (Medical Device Coordination Group, 2020). Supporta inoltre il monitoraggio continuo post-implementazione per individuare rischi emergenti, sia tecnici che legati ai pregiudizi, e per rispondere in modo proattivo. 

Attraverso l’attuazione di questa politica, gli ospedali possono rafforzare la resilienza dei sistemi, salvaguardare l’equità nei processi decisionali supportati dall’IA e mantenere la conformità con l’AI Act (artt. 9-15) e con i requisiti MDR/IVDR.

Il dossier del sistema di IA (per strumento)

Il dossier del sistema di IA è un documento standardizzato e sensibile ai pregiudizi, redatto per ciascun sistema di IA prima della sua implementazione all’interno di un’organizzazione sanitaria. 

Il dossier dovrebbe raccogliere tutte le informazioni di cui un ospedale ha bisogno riguardo a un sistema prima e durante l’implementazione, inclusi lo scopo previsto del sistema, l’integrazione nel flusso di lavoro clinico, i risultati della validazione e le metriche di prestazione, con particolare attenzione alle prestazioni disaggregate per genere e origine razziale o etnica, nonché a eventuali disparità note o misure di mitigazione.

Il dossier del sistema di IA deve essere considerato un documento in continua evoluzione, aggiornato ogni volta che sono disponibili nuovi risultati di validazione, metriche di prestazione o strategie di mitigazione dei pregiudizi. I campi del modello sono suddivisi in requisiti minimi obbligatori, applicabili a tutte le istituzioni, e pratiche raccomandate per le istituzioni con maggiori capacità tecniche e organizzative.

Il dossier copre sette aree fondamentali 

Mantenendo un'attenzione esplicita alle analisi disaggregate per genere e origine razziale o etnica, il dossier garantisce che i rischi di equità siano chiaramente visibili, valutati attivamente e adeguatamente mitigati prima dell’implementazione. Al servizio sia di finalità operative che di governance, il dossier informa il personale ospedaliero sulle funzionalità e i limiti del sistema, supporta le ispezioni e gli audit normativi e fornisce una documentazione strutturata che può alimentare il monitoraggio continuo, gli audit sull’equità e sui diritti e le iniziative di apprendimento tra sedi.

Il modello completo del Dossier del sistema di IA, comprensivo di tutti i campi, le note guida e le tabelle, è disponibile come risorsa scaricabile allegata a questo modulo. È progettato per essere adattato al contesto nazionale e alle strutture di governance della vostra istituzione.

È inoltre disponibile, come risorsa scaricabile allegata a questo modulo, un glossario dei termini chiave e delle definizioni operative, che fornisce spiegazioni in linguaggio semplice della terminologia normativa e tecnica utilizzata nel modello normativo AEQUITAS.

Il pacchetto combinato FRIA e DPIA

Come stabilito nel Modulo 4, gli ospedali pubblici che implementano sistemi di IA ad alto rischio sono tenuti a condurre sia una Valutazione d’impatto sui diritti fondamentali (FRIA) sia, ove applicabile, una Valutazione d’impatto sulla protezione dei dati (DPIA). Il modello AEQUITAS integra queste due valutazioni in un unico modello, riducendo l’onere amministrativo e garantendo al contempo che le questioni chiave relative alle popolazioni interessate, ai potenziali danni, alle strategie di mitigazione e ai meccanismi di reclamo siano affrontate in modo sistematico, con particolare attenzione alle disuguaglianze che colpiscono i gruppi di genere e quelli razziali o etnici.

Questo pacchetto funge principalmente da punto di controllo prima dell’implementazione, ma dovrebbe essere aggiornato qualora i rischi o le condizioni del sistema dovessero cambiare durante l’implementazione. Si raccomanda una consultazione significativa con le organizzazioni della società civile (CSO) nella progettazione di queste valutazioni, al fine di integrare le loro competenze in materia di diritti e le prospettive delle comunità interessate.

La politica di controllo delle modifiche

Questa politica disciplina gli aggiornamenti ai sistemi di IA, inclusi il riaddestramento dei modelli, gli aggiornamenti software o le modifiche al flusso di lavoro clinico. Definisce cosa costituisce una modifica sostanziale che richiede una nuova convalida o approvazione e garantisce che gli aggiornamenti siano valutati in base al loro potenziale impatto sull’equità di genere e razziale prima di essere implementati.

Gli ospedali dovrebbero inoltre garantire che i medici e il personale interessato siano informati delle modifiche che potrebbero influire sugli esiti delle cure per le diverse popolazioni di pazienti, consentendo un’adeguata supervisione e l’adozione di misure di mitigazione.

Il sistema di gestione della qualità – Per gli implementatori che sono anche fornitori

Nei casi in cui il sistema di IA sia sviluppato o adattato internamente e l’istituzione agisca in qualità di produttore o fornitore, è necessario implementare sistemi di gestione della qualità e mantenere la documentazione tecnica, al fine di dimostrare che lo strumento risponda a esigenze specifiche dei pazienti che non possono essere soddisfatte tramite prodotti commerciali (Medical Device Coordination Group, 2023).

Il sistema di gestione della qualità (QMS) dovrebbe inoltre garantire che i risultati dell’IA siano valutati in termini di differenze di prestazioni tra i generi e i gruppi razziali o etnici, che le strategie di mitigazione siano documentate e che le modalità di supervisione umana preservino esplicitamente la sicurezza e l’equità dei pazienti.

Anche laddove si applichino esenzioni normative per i dispositivi sviluppati internamente, gli obblighi derivanti dai diritti fondamentali e dai quadri di governance più ampi dell’IA rimangono pienamente rilevanti.

Fase di monitoraggio, audit e rendicontazione

Il «Rapporto disaggregato sulle prestazioni e l’equità per gruppi di popolazione»

Gli ospedali dovrebbero produrre analisi interne periodiche che mostrino le prestazioni dei sistemi di IA nei vari gruppi demografici rilevanti (stratificati per sesso e per gruppi razziali o etnici, ove ciò sia lecito e fattibile). Laddove sussistano disparità di prestazioni, le strategie di mitigazione dovrebbero essere documentate e la loro efficacia monitorata nel tempo. I risultati chiave dovrebbero essere sintetizzati e inclusi nell’«audit sull’equità e i diritti», garantendo trasparenza e responsabilità pubblica.

Il regime di audit a due livelli

Il modello AEQUITAS propone un approccio di audit a due livelli:

• Audit tecnico: una revisione operativa riservata che comprenda test di sicurezza, valutazioni di robustezza, convalida delle prestazioni cliniche e conformità alla governance dei dati, con particolare attenzione alle prestazioni nelle diverse popolazioni disaggregate per genere e origine razziale o etnica.

• Audit di equità e diritti: una revisione incentrata sulla trasparenza e sulla responsabilità che documenti le disuguaglianze nei risultati, le popolazioni incluse nei test, i limiti noti e i meccanismi di reclamo, con un’analisi esplicita degli impatti di genere e razziali. Una sintesi destinata al grande pubblico può comunicare i risultati chiave, le strategie di mitigazione e i miglioramenti implementati, senza rivelare informazioni proprietarie o riservate.

Il registro di vigilanza sull’IA

Ispirato ai sistemi di farmacovigilanza nella regolamentazione dei medicinali (Agenzia europea per i medicinali, 2017), il registro di vigilanza sull’IA fornisce un meccanismo strutturato che consente agli operatori sanitari di segnalare incidenti, quasi incidenti o esiti inattesi legati a decisioni supportate dall’IA, con campi specifici per rilevare potenziali disparità di genere o razziali/etniche. Le segnalazioni vengono analizzate sistematicamente per individuare modelli emergenti, alimentando audit periodici sull’equità e sui diritti e sostenendo il miglioramento continuo.

Il modulo di formazione per i medici

Formazione obbligatoria progettata per fornire agli operatori sanitari le competenze necessarie per comprendere i limiti dei sistemi di IA, interpretare i risultati in modo critico e sovrascrivere o arrestare i sistemi quando i risultati potrebbero produrre esiti distorti o iniqui. Questo modulo sostiene attivamente l’attuazione del modello normativo, garantendo che il personale responsabile della supervisione dell’IA sia in grado di implementare con competenza le procedure di monitoraggio, convalida e responsabilità in un’ottica di equità.

La formazione comprende verifiche delle competenze ed esercitazioni basate su casi concreti relativi all’individuazione e alla mitigazione delle disparità di genere e razziali/etniche.

La rete Aequitas : imparare insime in tutta Europa

Il progetto AEQUITAS ha istituito una rete europea di organizzazioni della società civile (CSO) e ospedali pubblici che funge da livello di governance condivisa, fornendo un vocabolario comune, standard di rendicontazione e una piattaforma per l’apprendimento interistituzionale sui pregiudizi di genere e razziali nei sistemi di IA.

Per gli operatori sanitari, questa rete significa che gli episodi di pregiudizio, i risultati disaggregati sulle prestazioni dei gruppi di popolazione e le strategie di mitigazione individuate presso la propria struttura contribuiscono a una base di conoscenze più ampia, a livello europeo, a beneficio dei pazienti in tutti i paesi partecipanti. Con la maturazione dello Spazio europeo dei dati sanitari (EHDS), questa rete è ben posizionata per allineare le proprie pratiche di condivisione dei dati e di apprendimento ai quadri normativi emergenti dell’UE, sostenendo un’implementazione dell’IA più equa e trasparente tra le istituzioni.

Il vostro ruolo come professionista sanitario

Il modello normativo AEQUITAS non è solo un documento destinato ai dirigenti ospedalieri, ai responsabili degli appalti o agli specialisti IT. Ha implicazioni dirette per voi in quanto medici. Ecco una sintesi di ciò che significa nella pratica:

Questo modulo completa i contenuti fondamentali della formazione AEQUITAS. Avete ora approfondito le basi dell’IA biomedica, i tipi e i meccanismi di parzialità, le specifiche disparità di genere e razziali documentate nelle malattie cardiovascolari, nel diabete e nella depressione, il quadro etico e giuridico che disciplina l’IA in ambito sanitario e gli strumenti pratici disponibili per aiutarvi a orientarvi in questo ambito. Il Modulo 6 presenterà il Database AEQUITAS, uno strumento concreto sviluppato appositamente per aiutare gli operatori sanitari a identificare e gestire i pregiudizi di genere e razziali nell’IA biomedica in ambito di malattie cardiovascolari, diabete e depressione, e vi mostrerà come utilizzare questa risorsa pratica nella vostra pratica clinica quotidiana.

Successivo: Module 6

Riferimenti bibliografici

European Commission, Assessment List for Trustworthy Artificial Intelligence (ALTAI) – Self‑Assessment, Brussels: European Commission, 2020.

European Commission, Updated EU AI Model Contractual Clauses Now Available, Brussels: European Commission, 2025.

European Medicines Agency, GVP Module VI – Collection and Submission of Suspected Adverse Reactions (Rev 2), London: EMA, 2017.

European Union, Charter of Fundamental Rights of the European Union, 2012/C 326/02, Strasbourg: EU. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT

International Organization for Standardization, ISO/IEC 42001:2023 – Artificial Intelligence Management System, Geneva: ISO, 2023.

Medical Device Coordination Group, MDCG 2019‑16 Rev. 1 - Guidance on Cybersecurity for Medical Devices, Brussels: European Commission, 2020.

Medical Device Coordination Group, MDCG 2023‑1 – Guidance on Health Institution Exemption (MDR/IVDR), Brussels: European Commission, 2023.

National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), Gaithersburg, MD: NIST, 2023.

Rajkomar, A., Hardt, M., Howell, M. D., Corrado, G., & Chin, M. H., Ensuring Fairness in Machine Learning to Advance Health Equity, Annals of Internal Medicine, 169(12), 866-872, 2018.

World Health Organization, Ethics and Governance of Artificial Intelligence for Health, Geneva: WHO, 2021