Comprender el sesgo en los sistemas de IA

Cuando hablamos de sesgo en la IA, nos referimos a algo muy específico, definido como «sistemas informáticos que discriminan de forma sistemática e injusta a determinados individuos o grupos en favor de otros. Un sistema discrimina injustamente si niega una oportunidad o asigna un resultado indeseable a un individuo o grupo por motivos irrazonables o inadecuados» (Friedman y Nissenbaum, 1996). Además, el sesgo en los sistemas informáticos puede clasificarse en tres categorías: sesgo preexistente, sesgo técnico y sesgo emergente (Friedman y Nissenbaum, 1996).

La investigación empírica ha demostrado que dichos sesgos pueden tener graves consecuencias en contextos clínicos. Diversos estudios han documentado disparidades persistentes en el diagnóstico y el tratamiento de enfermedades graves.

Existen varios mecanismos que pueden dar lugar a estos resultados sesgados en la toma de decisiones asistida por IA en el ámbito sanitario, entre ellos los desequilibrios en los datos de entrenamiento, los errores de medición en las variables clínicas, el uso de indicadores sustitutivos inadecuados y las diferencias entre los entornos en los que se desarrollan los sistemas de IA y los entornos del mundo real en los que se implementan.

El sesgo también puede surgir cuando los sistemas de IA se introducen en los flujos de trabajo clínicos sin una formación adecuada para los profesionales sanitarios, o sin mecanismos sólidos de supervisión humana y rendición de cuentas que controlen su rendimiento en poblaciones de pacientes diversas.

¿Cómo surge el sesgo?

Las investigaciones han identificado tres grandes categorías de sesgos que se aplican a todos los sistemas informáticos. Comprender estas categorías te ayudará a reconocer en qué parte del sistema puede originarse un problema:

Sesgo preexistente

Este tipo de sesgo se deriva de las desigualdades existentes en las instituciones sociales, las prácticas y las actitudes, y es independiente y suele estar presente antes de la creación del sistema. Se incorpora al sistema, ya sea de forma consciente o inconsciente, a veces incluso cuando los desarrolladores intentan evitarlo activamente. En el ámbito sanitario, esto puede significar que los patrones históricos de trato desigual a pacientes por motivos de sexo o raza, entre otros, queden integrados en las herramientas de IA entrenadas con esos datos.

Sesgo técnico

El sesgo técnico surge de las limitaciones y consideraciones que se tienen en cuenta al traducir realidades humanas complejas a un formato computacional; por ejemplo, cuando la información cualitativa se reduce a cifras, o cuando un algoritmo desarrollado en un entorno clínico se aplica en otro muy diferente. Esto puede hacer que el sistema trate a determinados grupos de forma injusta en condiciones específicas.

Sesgo emergente

El sesgo emergente aparece tras la implantación de un sistema, como resultado de cambios en el conocimiento social, el contexto cultural o la población de pacientes que no se incorporaron, o no pudieron incorporarse, al diseño del sistema. Esto puede suceder porque determinadas poblaciones no están representadas en los datos de entrenamiento, ya sea debido a restricciones éticas o legales, a un acceso limitado a la asistencia sanitaria, o porque las categorías de identidad relevantes aún no se reconocían como variables clínicamente significativas en el momento del desarrollo. Entre los ejemplos se incluyen las personas mayores con múltiples comorbilidades, que con frecuencia quedan excluidas de los ensayos clínicos debido a límites de edad arbitrarios y a criterios de exclusión por multimorbilidad (Florisson et al., 2021), y las personas no binarias, transgénero e intersexuales, cuyas identidades estaban en gran medida ausentes de los sistemas de datos clínicos cuando se desarrollaron muchos de los sistemas de IA actuales (Hafner et al., 2024). En otras palabras, un sistema de IA que funcionaba de manera imparcial en el momento de su desarrollo puede volverse sesgado a medida que cambia el mundo que lo rodea.

Sesgo en el flujo de trabajo de la IA

Si bien las tres categorías anteriores son válidas para todos los sistemas informáticos, las aplicaciones de IA y aprendizaje automático requieren un marco más detallado. Al analizar las fases específicas del proceso de creación y uso de un modelo de IA (desde la recopilación de datos hasta su implementación), se han identificado los siguientes siete tipos de sesgos (Suresh y Guttag, 2021).

Nota: Estos siete tipos de sesgo no son mutuamente excluyentes; es decir, un mismo sistema de IA puede adolecer de varios a la vez, y pueden interactuar y reforzarse mutuamente a lo largo de las diferentes etapas de desarrollo e implementación.

Sesgo histórico

El sesgo histórico se corresponde con el sesgo preexistente, tal y como lo definen (Friedman y Nissenbaum, 1996), y refleja los prejuicios y estereotipos ya presentes en los datos utilizados para entrenar la IA. Aunque los datos sean técnicamente precisos, pueden codificar patrones de trato desigual. Un ejemplo puede verse en (Calderone, 1990), donde se examina si la frecuencia con la que se administran analgésicos y sedantes a pacientes postoperatorios de un bypass coronario (CABG) varía en función del sexo y la edad del paciente. El resultado reveló que a los pacientes varones y a los de 61 años o menos se les administraban analgésicos con una frecuencia significativamente mayor que a las pacientes mujeres y a los pacientes de 62 años o más, a quienes, en cambio, se les administraban sedantes con una frecuencia significativamente mayor. Una IA entrenada con dichos datos aprendería y replicaría esta disparidad.

Sesgo de representación

El sesgo de representación surge cuando los datos utilizados para entrenar la IA infrarrepresentan a determinados grupos de la población. Esto puede ocurrir de las siguientes maneras:

• Al definir la población objetivo, si esta no refleja la población usuaria;

• Al definir la población objetivo, si esta contiene grupos infrarrepresentados;

• Al realizar un muestreo de la población objetivo, si el método de muestreo es limitado o desigual.

Como resultado, el modelo funciona bien con los grupos que están bien representados en los datos, pero mal con aquellos que no lo están. Un ejemplo típico de sesgo de representación se da en la detección del cáncer de piel: muchos conjuntos de datos de imágenes consisten predominantemente en imágenes de personas de piel clara, lo que hace que los modelos de IA sean significativamente menos precisos a la hora de evaluar a pacientes con diferentes tonos de piel (Guo et al., 2021).

Sesgo de medición

El sesgo de medición se produce al seleccionar, recopilar o calcular las características y etiquetas que se van a utilizar en un problema de predicción, especialmente cuando se recurre a un indicador sustitutivo (una medida indirecta). Un ejemplo de ello lo encontramos en un estudio de (Obermeyer et al., 2019), en el que se utilizaron los costes sanitarios como indicador sustitutivo de las necesidades sanitarias de los pacientes. Dado que los pacientes negros, que se enfrentan a niveles desproporcionados de pobreza, tienden a gastar menos en asistencia sanitaria que los pacientes blancos con la misma gravedad de enfermedad, el algoritmo concluyó erróneamente que los pacientes negros gozaban de mejor salud y, en consecuencia, los clasificó como de menor prioridad a la hora de recibir atención.

El sesgo de medición también puede producirse cuando el método de medición varía entre los distintos grupos; por ejemplo, cuando se supervisa el mismo comportamiento en dos grupos, pero uno de ellos es objeto de una supervisión más rigurosa o frecuente que el otro. Las investigaciones han demostrado, por ejemplo, que los médicos tienden a subestimar el dolor de los pacientes negros en comparación con el de los pacientes no negros, debido a creencias erróneas sobre diferencias biológicas, lo que, en consecuencia, hace que los pacientes negros tengan menos probabilidades de recibir la medicación adecuada para el dolor (Hoffman et al., 2016).

Sesgo de agregación

El sesgo de agregación se produce cuando se utiliza un modelo único para un conjunto de datos que incluye grupos diversos de personas u objetos, ignorando diferencias significativas entre los distintos grupos de la población. El significado de un dato concreto, o cómo se define una respuesta clínicamente adecuada, puede variar significativamente entre poblaciones, culturas o contextos socioeconómicos. Podemos considerar el ejemplo de la asignación de datos de entrada (por ejemplo, los ingresos de una persona) a etiquetas que los describen (por ejemplo, bajos, medios, altos), suponiendo que sean consistentes en todos los subconjuntos de los datos. En realidad, los antecedentes o la cultura de una persona pueden alterar el significado real de esas cifras. Cuando los modelos de IA no tienen esto en cuenta, corren el riesgo de generar resultados que son adecuados para algunos pacientes, pero engañosos o perjudiciales para otros.

Sesgo de aprendizaje

El sesgo de aprendizaje surge de las decisiones tomadas al construir y optimizar el propio modelo de IA, lo que puede amplificar las disparidades existentes en los datos. Un ejemplo es la privacidad diferencial, un mecanismo utilizado en los sistemas de IA que garantiza que, al examinar el resultado de un sistema, no sea posible determinar si los datos de un individuo concreto se incluyeron en el conjunto de datos original. A pesar de que se utiliza para proteger la confidencialidad de los y las pacientes en los conjuntos de datos sanitarios, en el caso de las enfermedades raras —en las que el caso de cada paciente es más o menos único en un área limitada cubierta por un hospital—, incluso si los datos están anonimizados, no resulta muy difícil deducir la identidad de la persona. Además, se ha demostrado que la privacidad diferencial reduce la influencia de los grupos infrarrepresentados en un modelo. Así, si los datos subyacentes ya presentan sesgos, estas medidas pueden, sin quererlo, agravar dicho sesgo (Bagdasaryan y Shmatikov, 2019). Para el personal sanitario, la conclusión clave es que el sesgo puede introducirse o amplificarse no solo a través de los datos, sino también a través de las decisiones técnicas tomadas durante el desarrollo del modelo, decisiones que pueden no ser visibles ni transparentes para los usuarios finales.

Sesgo de evaluación

El sesgo de evaluación se produce cuando los datos de referencia utilizados para una tarea concreta no son representativos de la población de usuarios. Los conjuntos de datos de referencia son conjuntos de datos estandarizados que se utilizan para medir la calidad de un modelo, lo que permite la comparación cuantitativa entre modelos. En el ámbito sanitario, determinados grupos suelen estar infrarrepresentados en los conjuntos de datos de referencia, ya sea porque no figuran en ellos (por ejemplo, las mujeres embarazadas, debido a restricciones éticas) o porque se clasifican de forma incorrecta o inadecuada en categorías (por ejemplo, las categorías de «origen étnico mixto» u «otros»).

Las causas fundamentales de esta situación pueden incluir razones sociales, técnicas o legales/éticas, como las barreras estructurales para acceder a la asistencia sanitaria, los obstáculos técnicos para la recopilación o digitalización de datos sanitarios relevantes, las limitaciones individuales y estructurales en relación con el consentimiento para compartir datos, y las restricciones legales o éticas sobre el intercambio de datos que impiden el acceso a los mismos, entre otras (Arora et al., 2023).

Cuando los sistemas de IA se calibran con respecto a dichos puntos de referencia, pueden ofrecer un rendimiento deficiente para las personas pertenecientes a grupos infrarrepresentados, sin que esto se detecte en ningún momento durante el desarrollo, lo que significa que un sistema puede parecer que funciona bien en las pruebas, mientras que, en la práctica clínica real, falla sistemáticamente con poblaciones específicas de pacientes.

Sesgo de implementación

El sesgo de implementación surge cuando existe una discrepancia entre lo que un modelo de IA fue diseñado para hacer y cómo se utiliza realmente en la práctica. Esto puede causar perjuicios, especialmente cuando se combina con tendencias cognitivas humanas como el sesgo de confirmación (la tendencia a dar preferencia a la información que confirma las creencias existentes) o el sesgo de automatización (la tendencia a confiar excesivamente en las recomendaciones automatizadas). En consecuencia, un sistema que funcionó bien en su contexto de desarrollo original puede producir resultados injustos o inexactos cuando se aplica en un entorno clínico diferente o a una población de pacientes distinta.

Resumen de los tipos de sesgo

Ahora que ya conoces los diferentes tipos de sesgo y los mecanismos que subyacen a los sistemas de IA sesgados, el Módulo 3 te acercará a la realidad clínica, analizando los sesgos específicos de género y raza que se han documentado en la IA biomédica, con especial atención a las enfermedades cardiovasculares, la diabetes y la depresión.

Para poder completar la formación y recibir el certificado, necesitas realizar la sesión práctica (en formato online). Inscríbete en el correo comunicacion.lobbyeuropeo@gmail.com y recibirás toda la información. ¡Gracias!

A continuación: Módulo 3

Bibliografía

Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). The value of standards for health datasets in artificial intelligence-based applications. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w

Bagdasaryan, E., & Shmatikov, V. (2019). Differential Privacy Has Disparate Impact on Model Accuracy (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101

Calderone, K. L. (1990). The influence of gender on the frequency of pain and sedative medication administered to postoperative patients. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259

Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Are older adults insufficiently included in clinical trials? An umbrella review. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536

Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561

Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). Bias in, bias out: Underreporting and underrepresentation of diverse skin types in machine learning research for skin cancer detection-A scoping review. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884

Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342

Suresh, H., & Guttag, J. (2021). A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305