Comprendere i pregiudizi nei sistemi di IA

Quando parliamo di pregiudizi nell’IA, ci riferiamo a qualcosa di molto specifico, definito come un termine che indica «sistemi informatici che discriminano in modo sistematico e ingiusto determinati individui o gruppi a favore di altri. Un sistema discrimina ingiustamente se nega un’opportunità o assegna un esito indesiderato a un individuo o a un gruppo sulla base di motivi irragionevoli o inappropriati» (Friedman & Nissenbaum, 1996). Inoltre, i pregiudizi nei sistemi informatici possono essere suddivisi in tre categorie: pregiudizi preesistenti, pregiudizi tecnici e pregiudizi emergenti (Friedman & Nissenbaum, 1996).

La ricerca empirica ha dimostrato che tali distorsioni possono avere gravi conseguenze in ambito clinico. Diversi studi hanno documentato disparità persistenti nella diagnosi e nel trattamento delle patologie più gravi.

Diversi meccanismi possono portare a questi risultati distorti nel processo decisionale supportato dall’IA in ambito sanitario, tra cui squilibri nei dati di addestramento, errori di misurazione nelle variabili cliniche, indicatori surrogati inappropriati e differenze tra gli ambienti in cui i sistemi di IA vengono sviluppati e i contesti reali in cui vengono implementati.

I pregiudizi possono insorgere anche quando i sistemi di IA vengono introdotti nei flussi di lavoro clinici senza un’adeguata formazione degli operatori sanitari o senza solidi meccanismi di supervisione umana e di responsabilità per monitorarne le prestazioni su popolazioni di pazienti eterogenee.

Come insorge il bias ?

I ricercatori hanno individuato tre grandi categorie di distorsione applicabili a tutti i sistemi informatici. Comprendere queste categorie vi aiuterà a riconoscere in quale punto del sistema possa avere origine un problema:

BIAS preesistente

Questo tipo di pregiudizio deriva da disuguaglianze esistenti nelle istituzioni sociali, nelle pratiche e negli atteggiamenti, che sono indipendenti e solitamente presenti prima della creazione del sistema. Viene incorporato nel sistema, consciamente o inconsciamente, a volte anche quando gli sviluppatori cercano attivamente di evitarlo. Nel settore sanitario, ciò può significare che modelli storici di trattamento iniquo dei pazienti basati sul genere o sulla razza, ecc., si radicano negli strumenti di IA addestrati su quei dati.

BIAS tecnico

Il pregiudizio tecnico deriva dai vincoli e dalle considerazioni effettuate quando si traducono complesse realtà umane in forma computazionale, ad esempio quando le informazioni qualitative vengono ridotte a numeri, o quando un algoritmo sviluppato in un contesto clinico viene applicato in uno molto diverso. Ciò può indurre il sistema a trattare determinati gruppi in modo ingiusto in condizioni specifiche.

BIAS emergente

Il pregiudizio emergente si manifesta dopo l’implementazione di un sistema, come risultato di cambiamenti nella conoscenza sociale, nel contesto culturale o nella popolazione di pazienti che non sono stati, o non potevano essere, incorporati nella progettazione del sistema. Ciò può accadere perché alcune popolazioni sono assenti dai dati di addestramento, sia a causa di restrizioni etiche o legali, di un accesso limitato all’assistenza sanitaria, sia perché le categorie identitarie rilevanti non erano ancora riconosciute come variabili clinicamente significative al momento dello sviluppo. Tra gli esempi figurano gli anziani con comorbilità multiple, che vengono spesso esclusi dagli studi clinici a causa di limiti di età arbitrari e di criteri di esclusione basati sulla multimorbilità (Florisson et al., 2021), e le persone non binarie, transgender e intersessuali, le cui identità erano in gran parte assenti dai sistemi di dati clinici al momento dello sviluppo di molti attuali sistemi di IA (Hafner et al., 2024). In altre parole, un sistema di IA che funzionava in modo equo al momento del suo sviluppo può diventare distorto man mano che il mondo che lo circonda cambia.

Bias nella pipeline dell’IA

Sebbene le tre categorie sopra indicate siano valide per tutti i sistemi informatici, le applicazioni di IA e di apprendimento automatico richiedono un quadro di riferimento più dettagliato. Esaminando le fasi specifiche della costruzione e dell’utilizzo di un modello di IA (dalla raccolta dei dati alla distribuzione), sono stati identificati i seguenti sette tipi di pregiudizio (Suresh & Guttag, 2021).

Nota: questi sette tipi di pregiudizio non si escludono a vicenda, ovvero un singolo sistema di IA può essere affetto da più di uno contemporaneamente, e possono interagire e rafforzarsi a vicenda nelle diverse fasi di sviluppo e implementazione.

BIAS storico

Il pregiudizio storico corrisponde al pregiudizio preesistente, come definito da (Friedman & Nissenbaum, 1996), e riflette i pregiudizi e gli stereotipi già presenti nei dati utilizzati per addestrare l’IA. Anche se i dati sono tecnicamente accurati, possono codificare modelli di trattamento iniquo. Un esempio è riportato in (Calderone, 1990), che esamina se la frequenza della somministrazione di analgesici e sedativi ai pazienti sottoposti a intervento chirurgico di bypass coronarico (CABG) postoperatorio differisca in base al sesso e all’età del paziente. Il risultato ha rivelato che ai pazienti di sesso maschile e a quelli di età pari o inferiore a 61 anni venivano somministrati analgesici con una frequenza significativamente maggiore rispetto alle pazienti di sesso femminile e ai pazienti di età pari o superiore a 62 anni, ai quali venivano invece somministrati sedativi con una frequenza significativamente maggiore. Un’IA addestrata su tali dati apprenderebbe e replicerebbe questa disparità. 

BIAS  di rappresentazione

Il bias di rappresentazione si verifica quando i dati utilizzati per addestrare l’IA sottorappresentano determinati gruppi della popolazione. Ciò può verificarsi nei seguenti modi: 

• Quando si definisce la popolazione target, se questa non riflette la popolazione di utilizzo;

• Quando si definisce la popolazione target, se questa contiene gruppi sottorappresentati; 

• Quando si effettua il campionamento dalla popolazione target, se il metodo di campionamento è limitato o disomogeneo. 

Di conseguenza, il modello funziona bene per i gruppi ben rappresentati nei dati, ma male per quelli che non lo sono. Un esempio tipico di bias di rappresentazione riguarda il rilevamento del cancro della pelle: molti set di dati di imaging consistono prevalentemente di immagini di individui con pelle chiara, il che porta i modelli di IA a essere significativamente meno accurati nella valutazione di pazienti con tonalità di pelle diverse (Guo et al., 2021). 

BIAS di misurazione

Il bias di misurazione si verifica quando si scelgono, si raccolgono o si calcolano le caratteristiche e le etichette da utilizzare in un problema di previsione, specialmente quando si utilizza un proxy (una misura indiretta). Un esempio si trova in uno studio di (Obermeyer et al. 2019), in cui i costi sanitari sono stati utilizzati come proxy per le esigenze sanitarie dei pazienti. Poiché i pazienti di colore, che devono affrontare livelli sproporzionati di povertà, tendono a spendere meno per l’assistenza sanitaria rispetto a pazienti bianchi con lo stesso grado di malattia, l’algoritmo ha erroneamente concluso che i pazienti di colore fossero più sani e, di conseguenza, li ha classificati come aventi una priorità inferiore nell’assistenza.

Il bias di misurazione può verificarsi anche quando il metodo di misurazione varia da un gruppo all’altro, ad esempio quando due gruppi vengono monitorati per lo stesso comportamento, ma uno dei due viene monitorato in modo più rigoroso o frequente rispetto all’altro. La ricerca ha dimostrato, ad esempio, che i medici tendono a sottovalutare il dolore dei pazienti di colore rispetto a quello dei pazienti non di colore, a causa di false convinzioni sulle differenze biologiche, il che porta di conseguenza i pazienti di colore ad avere meno probabilità di ricevere un’adeguata terapia antidolorifica (Hoffman et al., 2016). 

BIAS da aggregazione

Il bias di aggregazione si verifica quando si utilizza un modello unico per un set di dati che include gruppi diversi di persone o cose, ignorando differenze significative tra i gruppi di popolazione. Il significato di un dato, o l’aspetto di una risposta clinicamente appropriata, può variare in modo significativo tra popolazioni, culture o contesti socioeconomici. Si può considerare l’esempio dell’assegnazione di etichette descrittive (ad esempio, basso, medio, alto) a dati di input (ad esempio, il reddito di una persona), partendo dal presupposto che tali etichette siano coerenti in tutti i sottoinsiemi dei dati. In realtà, il background o la cultura di una persona possono modificare il significato effettivo di quei numeri. Quando i modelli di IA non tengono conto di questo aspetto, rischiano di produrre risultati appropriati per alcuni pazienti ma fuorvianti o dannosi per altri. 

BIAS di apprendimento

Il pregiudizio di apprendimento deriva dalle scelte effettuate durante la costruzione e l’ottimizzazione del modello di IA stesso, che possono amplificare le disparità esistenti nei dati. Un esempio riguarda la privacy differenziale, un meccanismo utilizzato nei sistemi di IA che garantisce che, esaminando l’output di un sistema, non sia possibile determinare se i dati di un individuo specifico fossero inclusi nel set di dati originale. Nonostante venga utilizzata per proteggere la riservatezza dei pazienti nei set di dati sanitari, nel caso delle malattie rare, dove il caso di ciascun paziente è più o meno unico in un’area limitata coperta da un ospedale, anche se i dati sono resi anonimi, non è molto difficile dedurre l’identità della persona. Inoltre, è stato dimostrato che la privacy differenziale riduce l’influenza dei gruppi sottorappresentati su un modello. Pertanto, se i dati sottostanti sono già distorti, tali misure possono inavvertitamente aggravare tale distorsione (Bagdasaryan & Shmatikov, 2019). Per gli operatori sanitari, il punto chiave da tenere presente è che la distorsione può essere introdotta o amplificata non solo attraverso i dati, ma anche attraverso le decisioni tecniche prese durante lo sviluppo del modello, decisioni che potrebbero non essere visibili o trasparenti per gli utenti finali.

BIAS di valutazione

Il bias di valutazione si verifica quando i dati di riferimento utilizzati per un determinato compito non rappresentano la popolazione di utenti. I benchmark sono insiemi di dati standardizzati utilizzati per misurare la qualità di un modello, consentendo il confronto quantitativo tra i modelli. Nel settore sanitario, alcuni gruppi sono spesso sottorappresentati negli insiemi di dati di riferimento, sia perché sono assenti dai dati (ad esempio, le donne in gravidanza, a causa di vincoli etici), sia perché sono classificati in modo errato o inappropriato in categorie (ad esempio, le categorie “etnia mista” o “altro”). 

Le cause alla radice di questo fenomeno possono includere ragioni sociali, tecniche o giuridiche/etiche, quali barriere strutturali all’accesso all’assistenza sanitaria, ostacoli tecnici alla raccolta o alla digitalizzazione dei dati sanitari rilevanti, limitazioni individuali e strutturali relative al consenso alla condivisione dei dati e restrizioni giuridiche o etiche sulla condivisione dei dati che ne impediscono l’accessibilità, tra le altre (Arora et al., 2023). 

Quando i sistemi di IA vengono calibrati rispetto a tali parametri di riferimento, possono fornire prestazioni insufficienti per gli individui appartenenti a gruppi sottorappresentati, senza che ciò venga mai rilevato durante lo sviluppo; ciò significa che un sistema può sembrare funzionare bene durante i test, mentre nell’uso clinico reale fallisce sistematicamente con specifiche popolazioni di pazienti.

BIAS di implementazione

Il “bias di implementazione” si verifica quando c’è una discrepanza tra ciò per cui un modello di IA è stato progettato e il modo in cui viene effettivamente utilizzato nella pratica. Ciò può causare danni, specialmente se combinato con tendenze cognitive umane quali il “bias di conferma” (la tendenza a privilegiare le informazioni che confermano le convinzioni esistenti) o il “bias di automazione” (la tendenza a fare eccessivo affidamento sulle raccomandazioni automatizzate). Di conseguenza, un sistema che ha funzionato bene nel contesto di sviluppo originario può produrre risultati iniqui o imprecisi se applicato in un contesto clinico diverso o a una popolazione di pazienti diversa

Panoramica di tipi di BIAS

Ora che avete familiarizzato con i diversi tipi di pregiudizio e con i meccanismi alla base dei sistemi di IA distorti, il Modulo 3 vi avvicinerà alla realtà clinica, esaminando i pregiudizi specifici di genere e razziali che sono stati documentati nell’IA biomedica, con particolare attenzione alle malattie cardiovascolari, al diabete e alla depressione. 

Successivo: Modulo 3

Riferimenti bibliografici 

Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). The value of standards for health datasets in artificial intelligence-based applications. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w

Bagdasaryan, E., & Shmatikov, V. (2019). Differential Privacy Has Disparate Impact on Model Accuracy (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101

Calderone, K. L. (1990). The influence of gender on the frequency of pain and sedative medication administered to postoperative patients. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259

Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Are older adults insufficiently included in clinical trials? An umbrella review. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536

Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561

Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). Bias in, bias out: Underreporting and underrepresentation of diverse skin types in machine learning research for skin cancer detection-A scoping review. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884

Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342

Suresh, H., & Guttag, J. (2021). A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305