El sesgo en la IA como cuestión interseccional

La discriminación en la IA es una cuestión interseccional que abarca múltiples dimensiones, como la edad, el sexo, la raza, la orientación sexual y el estado de salud, entre otras. Estos sesgos y la discriminación que generan amenazan directamente los derechos fundamentales protegidos por la Carta de los Derechos Fundamentales de la UE, en particular la prohibición de la discriminación por cualquier motivo, recogida en el artículo 21; la garantía de igualdad entre hombres y mujeres, recogida en el artículo 23; y el derecho de acceso a la asistencia sanitaria, recogido en el artículo 35.

Como profesional sanitario, es fundamental comprender esta naturaleza interseccional. Las personas que corren mayor riesgo de verse perjudicadas por herramientas de IA sesgadas suelen ser aquellas que ya se enfrentan a múltiples desventajas a la hora de acceder y recibir una atención sanitaria de calidad.

La raíz del problema: datos médicos sesgados

Los sesgos observados en las aplicaciones médicas de la IA son el resultado de datos médicos sesgados que se han recopilado a lo largo de décadas, lo que refleja una discriminación sistémica y desigualdades estructurales en la investigación y la práctica sanitarias (Cirillo et al., 2020; Cross et al., 2024).

Un factor clave de este problema es la conocida brecha de salud de género: una falta de equidad bien documentada en la asistencia sanitaria entre hombres y mujeres, que abarca desde el acceso a la asistencia sanitaria hasta la representación en la investigación. Durante gran parte de la historia de la medicina, los estudios clínicos y experimentales se centraron predominantemente en participantes masculinos, descuidando las diferencias biológicas específicas de cada sexo. En 2020, solo el 5 % de la financiación mundial en investigación y desarrollo (I+D) se destinó a la investigación sobre la salud de la mujer. Esta cifra se repartió en un 4 % para los cánceres que afectan a las mujeres y un 1 % para el resto de afecciones de salud específicas de las mujeres, limitándose además el 25 % de este último porcentaje a la investigación sobre fertilidad (Nature Reviews Bioengineering, 2024).

Cuando los datos utilizados para entrenar los algoritmos de IA reflejan este desequilibrio, las herramientas resultantes serán inevitablemente menos precisas para los grupos infrarrepresentados. Tal y como destacan Cirillo et al. (2020), la falta de datos justos y equitativos introducidos en los sistemas de IA es una consecuencia directa de esta desigualdad histórica. Sin embargo, es importante señalar que no se trata de un problema unidireccional, ya que, en algunos casos, los hombres son la población infrarrepresentada en la recopilación de datos. Por ejemplo, se ha observado que los participantes masculinos están infrarrepresentados en los ensayos clínicos sobre enfermedades musculoesqueléticas y traumatismos, así como en psiquiatría, en comparación con su carga de morbilidad, lo que constituye una forma de sesgo de representación (Steinberg et al., 2021). En el contexto específico de la depresión, los hombres están infrarrepresentados en los datos clínicos debido a su menor probabilidad de buscar atención médica, notificar síntomas depresivos y recibir un diagnóstico, lo que refleja tanto un sesgo de representación como de medición (Smith et al., 2018).

Las investigaciones sugieren que la concienciación sobre las diferencias en la manifestación de las enfermedades entre hombres y mujeres podría ayudar a reducir el riesgo de diagnósticos erróneos debidos a datos sesgados (Cirillo et al., 2020).

La brecha de salud entre hombres y mujeres

El sesgo de género en la medicina va más allá de los casos individuales; refleja un fallo sistémico a la hora de tener en cuenta el sexo como variable relevante en la investigación y la práctica clínicas. Esta «ceguera», combinada con prejuicios estereotipados sobre hombres y mujeres y una falta generalizada de conocimiento sobre el cuerpo femenino y sus diferencias biológicas respecto al cuerpo masculino, ha moldeado el conocimiento médico de formas que siguen perjudicando a las mujeres en la actualidad (Hamberg, 2008). A modo de ejemplo, un análisis retrospectivo de 450 948 pacientes adultos con enfermedades neurológicas y cardiovasculares ingresados en todos los hospitales de Suiza entre 2012 y 2016 reveló que, en general, las mujeres tenían menos probabilidades de ser ingresadas en una unidad de cuidados intensivos que los hombres, a pesar de presentar un cuadro clínico más grave (Todorov et al., 2021). Incluso en el ámbito de la investigación, los modelos animales masculinos siguen utilizándose más ampliamente que los femeninos en la investigación biomédica básica, preclínica y quirúrgica (Yoon et al., 2014), lo que significa que los fundamentos del conocimiento médico se basan a menudo en datos exclusivamente masculinos.

Sesgo racial en la IA biomédica

El sesgo racial en la medicina está ampliamente documentado, sobre todo en Estados Unidos, donde se ha demostrado que los afroamericanos y otros grupos minoritarios reciben menos procedimientos médicos, presentan menores tasas de intervención quirúrgica y obtienen menos derivaciones a especialistas en comparación con los pacientes blancos, independientemente de la necesidad clínica (Bowser, 2001; Williams y Wyatt, 2015).

Cuando los sistemas de IA se entrenan con datos que reflejan décadas de desigualdades existentes en la asistencia sanitaria, corren el riesgo de codificarlas y perpetuarlas a mayor escala. Por otra parte, tal y como se analiza en el Módulo 2, las investigaciones han demostrado que las medidas de protección de la privacidad pueden afectar inadvertidamente a la precisión de los datos relativos a las poblaciones negras no hispanas e hispanas, lo que agrava aún más las disparidades existentes. Se ha demostrado, por ejemplo, que la aplicación de la privacidad diferencial afecta en mayor medida a las estimaciones de la tasa de mortalidad de las poblaciones negras no hispanas e hispanas que a las de las poblaciones blancas no hispanas (Santos-Lozada et al., 2020). Las personas blancas no hispanas fueron también el único subgrupo racial y étnico para el que el algoritmo de privacidad diferencial captó con precisión las tasas de participación en Medicaid, un hallazgo con importantes implicaciones para la política sanitaria y la asignación de recursos (Kurz et al., 2022).

Aunque gran parte de la evidencia documentada procede de Estados Unidos, las condiciones estructurales que generan sesgos raciales en los datos sanitarios —entre ellas, las barreras de acceso, la infrarrepresentación en la investigación clínica y las desigualdades socioeconómicas— también están presentes en toda Europa, lo que convierte esta cuestión en una preocupación de relevancia directa para los profesionales sanitarios europeos.

Las personas LGBTQIA+ y la inteligencia artificial en la asistencia sanitaria

También es importante reconocer que las personas LGBTQIA+ sufren discriminación en lo que respecta al acceso a la asistencia sanitaria y son objeto de estereotipos que no afectan a la población heterosexual. Estos factores sociales y culturales perpetúan la discriminación y tienen un impacto cuantificable en la salud y la asistencia sanitaria. Las investigaciones han demostrado que el 16 % de las personas LGBTQIA+ denuncian haber sufrido discriminación en sus interacciones con el sistema sanitario, y que el 18 % evita por completo acudir a recibir atención médica por miedo a ser maltratadas (Chang et al., 2025).

Los sistemas de IA entrenados con datos que no representan adecuadamente a estos pacientes corren el riesgo de marginar aún más a una población que ya es vulnerable. Un estudio a gran escala que evaluó el sesgo de la IA en situaciones clínicas de los servicios de urgencias reveló que, en los casos relacionados con pacientes LGBTQIA+, se recomendaban intervenciones de salud mental entre seis y siete veces más de lo clínicamente adecuado (Chang et al., 2025).

Ejemplos en el ámbito de las enfermedades cardiovasculares

El sesgo de género en la atención cardiovascular es uno de los ejemplos mejor documentados de cómo la representación desigual en la investigación médica se traduce en resultados desiguales para los pacientes. Los síntomas cardiovasculares de las mujeres suelen diferir de la presentación «clásica» descrita en los libros de texto de medicina, una presentación que se basa en gran medida en datos de pacientes varones (Fatunde et al., 2025). Según una revisión sistemática realizada por Al Hamid et al. (2024), las enfermedades cardiovasculares se diagnosticaban con menos frecuencia en las mujeres, ya fuera porque presentaban síntomas más leves que los hombres o porque sus síntomas se diagnosticaban erróneamente como de origen gastrointestinal o relacionados con la ansiedad. En consecuencia, a las mujeres se les ofrecían menos pruebas diagnósticas y medicamentos, y se las derivaba con menos frecuencia a cardiólogos o se las hospitalizaba menos a menudo. Además, en caso de ser hospitalizadas, las mujeres tenían menos probabilidades de someterse a una intervención coronaria. Por lo tanto, los médicos, especialmente los hombres, no tenían debidamente en cuenta los factores de riesgo de las mujeres. Se puede concluir, pues, que las mujeres tienen menos probabilidades de recibir una atención sanitaria adecuada debido a los sesgos ya existentes.

Las consecuencias del sesgo racial en la atención cardiovascular son igualmente graves. Un ejemplo revelador, aunque no limitado a la IA, es el caso de los pulsioxímetros, dispositivos que miden la saturación de oxígeno en sangre y se utilizan de forma rutinaria en casos de episodios cardíacos. Las investigaciones han demostrado que los pulsioxímetros funcionan con mayor precisión en pieles de pigmentación clara, lo que significa que los pacientes con tonos de piel más oscuros pueden recibir sistemáticamente lecturas menos precisas (Sjoding et al., 2020). Esto ilustra hasta qué punto pueden estar arraigados los sesgos, que se extienden más allá de los sistemas de IA hasta los propios dispositivos médicos que se utilizan junto con ellos.

Cuando las herramientas de IA para la atención cardiovascular se entrenan con conjuntos de datos en los que las mujeres y los grupos étnicos minoritarios están infrarrepresentados, el riesgo de replicar y amplificar estas disparidades a gran escala se vuelve significativo.

Ejemplos relacionados con la diabetes

El sesgo racial en la atención de la diabetes está ampliamente documentado, especialmente en Estados Unidos. A pesar de su riesgo comparativamente menor, los grupos de personas blancas no hispanas siguen estando sobrerrepresentados en la bibliografía sobre predicción del riesgo de diabetes (Cronjé et al., 2023). En una revisión sobre la equidad etnorracial en la inteligencia artificial para el tratamiento de la diabetes, la distribución racial media en los artículos analizados fue del 69,5 % de blancos, el 17,1 % de negros y el 3,7 % de asiáticos, y solo dos artículos indicaban la inclusión de participantes nativos americanos (Pham et al., 2021).

Está bien documentado que las desigualdades en los resultados de la diabetes se deben en gran medida a determinantes sociales de la salud complejos e interrelacionados (como el acceso a alimentos saludables, una asistencia sanitaria de calidad, la situación en materia de seguros, las barreras educativas y las diferentes tasas de adopción de la tecnología), que provocan mayores tasas de complicaciones y un peor control glucémico entre las poblaciones minoritarias y de bajos ingresos (Alipour y Alipour, 2025).

Como resultado, un sistema de IA entrenado con dichos conjuntos de datos generaliza mal entre los distintos grupos raciales, lo que da lugar a modelos predictivos sesgados que pueden favorecer a personas de determinados grupos raciales y, potencialmente, perjudicar a los pacientes más vulnerables.

Otro ejemplo se refiere a la prueba de A1C, que mide la cantidad media de glucosa en sangre y se utiliza habitualmente para detectar la prediabetes o ayudar a diagnosticar la diabetes tipo 2. A pesar de que la A1C es solo una medida indirecta y no está vinculada causalmente a los resultados de salud, existe incluso una variación sustancial en la relación entre la glucemia y la A1C entre individuos e incluso en un mismo individuo a lo largo del tiempo. Además, diversos estudios han señalado niveles significativamente más altos de hemoglobina A1c (A1C) en pacientes afroamericanos que en pacientes blancos con la misma glucosa media (Karter et al., 2023).

Si un sistema de IA diseñado para diagnosticar la diabetes se entrena para utilizar los resultados de la prueba de A1C como indicador sustitutivo de la glucemia sin tener en cuenta otros factores, como la raza del paciente, esto puede dar lugar a diagnósticos prematuros de diabetes y a tratamientos inadecuados, lo que se traduce en una calidad asistencial sesgada y en desigualdades en materia de salud. Sin embargo, tal y como se señala en Alipour y Alipour (2025), una revisión sistemática de los sesgos que podrían afectar a la equidad de los modelos de IA/aprendizaje automático en la diabetes, aunque los estudios revisados mencionan explícitamente que el sesgo de medición puede propagarse a través de los modelos de IA si no se corrige, ninguno de ellos tuvo en cuenta dichos sesgos durante el desarrollo del modelo, los mitigó explícitamente ni informó de que se hubieran corregido las diferencias en la precisión de la medición.

Ejemplos relacionados con la depresión

La depresión es un ámbito en el que tanto los prejuicios de género como los raciales tienen consecuencias significativas y bien documentadas para la atención asistida por IA, especialmente en las herramientas que utilizan el procesamiento del lenguaje natural (PLN) para la detección y el diagnóstico.

Los modelos de IA que utilizan el PLN para elaborar perfiles de salud mental recopilan grandes conjuntos de datos de lenguaje expresivo, que suelen obtenerse de redes sociales, foros en línea, blogs y salas de chat. Sin embargo, estos datos ya están influenciados por los antecedentes personales y el contexto social de cada individuo (Straw y Callison-Burch, 2020).

Concretamente, las investigaciones han demostrado que hombres y mujeres expresan el malestar mental de forma diferente. Mientras que las mujeres utilizan un lenguaje menos asertivo, lo que se manifiesta en una mayor cortesía, menos palabrotas, más intensificadores (p. ej., «realmente», «tan») y más expresiones de cautela (es decir, calificativos o palabras que denotan incertidumbre como «más o menos», «quizás» o «tal vez»), los hombres, por el contrario, se describen como directivos, precisos y también menos emocionales en su uso del lenguaje, que se caracteriza por referencias a la cantidad, adjetivos valorativos (p. ej., «bueno», «tonto»), frases elípticas («¡Qué foto tan genial!») y referencias en primera persona («yo») (Pennebaker et al., 2003). Estas diferencias concuerdan con un marco sociológico de las diferencias de género.

Los hombres y las mujeres también expresan la angustia suicida de forma diferente; las mujeres interiorizan las emociones negativas, mientras que los hombres expresan una ira creciente (Straw y Callison-Burch, 2020). Por lo tanto, un sistema de IA entrenado predominantemente con datos lingüísticos de un género podría realizar una detección inexacta en el caso del otro. 

Aunque los estudios epidemiológicos muestran que a las mujeres se les diagnostica depresión con mayor frecuencia que a los hombres, esto puede reflejar en parte el hecho de que, históricamente, la investigación ha medido síntomas que son más comunes en las mujeres, lo que podría pasar por alto cómo se manifiesta la depresión en los hombres y crear un tipo diferente de brecha representativa (Cirillo et al., 2020).

El sesgo de género en la depresión se extiende también al uso de herramientas de monitorización digital, como los sensores de los dispositivos portátiles. Estos datos se asignaron a características utilizadas por los modelos de IA para realizar predicciones, correspondientes al sueño, la actividad física, el ritmo circadiano, la sociabilidad, la ubicación y el uso del teléfono (De Angel et al., 2022).

Sin embargo, las investigaciones han demostrado que existen diferencias en los patrones de sueño entre hombres y mujeres, aunque las mujeres suelen estar infrarrepresentadas en la investigación sobre el sueño. Además, muchas herramientas de salud digitales no distinguen entre el género como construcción social y el sexo biológico, y no tienen en cuenta las identidades interseccionales definidas por la edad, la raza y la clase socioeconómica (Lok et al., 2024), factores todos ellos relevantes para el seguimiento y el tratamiento de la depresión.

Los sesgos de género y raciales que se analizan en este módulo tienen consecuencias reales para los pacientes e implicaciones reales para los profesionales que los atienden. A medida que la IA se integra cada vez más en la práctica clínica, los profesionales sanitarios tienen tanto la responsabilidad ética como la obligación legal de comprender, cuestionar y, cuando sea necesario, poner en tela de juicio las herramientas que utilizan. El módulo 4 examinará los marcos éticos y los instrumentos jurídicos que regulan el uso de la IA en la asistencia sanitaria, incluido el panorama normativo de la UE y tus derechos y responsabilidades como profesional clínico que trabaja con estas herramientas.

Para poder completar la formación y recibir el certificado, necesitas realizar la sesión práctica (en formato online). Inscríbete en el correo comunicacion.lobbyeuropeo@gmail.com y recibirás toda la información. ¡Gracias!

A continuación: Módulo 4

Bibliografía

Al Hamid, A., Beckett, R., Wilson, M., Jalal, Z., Cheema, E., Al-Jumeily Obe, D., Coombs, T., Ralebitso-Senior, K., & Assi, S. (2024). Gender Bias in Diagnosis, Prevention, and Treatment of Cardiovascular Diseases: A Systematic Review. Cureus, 16(2). https://doi.org/10.7759/cureus.54264

Alipour, M., & Alipour, A. (2025). Algorithmic Bias in AI-Based Diabetes Care: Systematic Review of Model Performance, Equity Reporting, and Physiological Label Bias. InfoScience Trends, 2(5), 33–46. https://doi.org/10.61186/ist.202502.05.04

Bowser, R. (2001). Racial bias in medical treatment. Dick. L. Rev., 105(3), 365.

Chang, C.T., Srivathsa N., Bou-Khalil, C., Swaminathan, A., Lunn, M.R., Mishra, K., Koyejo, S,. Daneshjou, R. (2025). Evaluating anti-LGBTQIA+ medical bias in large language models. PLOS Digit Health 4(9): e0001001. https://doi.org/10.1371/journal.pdig.0001001

Cirillo, D., Catuara-Solarz, S., Morey, C., Guney, E., Subirats, L., Mellino, S., Gigante, A.A., Valencia, A., Rementeria, M.J., Chadha, A.S., & Mavridis, N. (2020). Sex and gender differences and biases in artificial intelligence for biomedicine and healthcare. npj Digit. Med. 3(81). https://doi.org/10.1038/s41746-020-0288-5

Cronjé, H. T., Katsiferis, A., Elsenburg, L. K., Andersen, T. O., Rod, N. H., Nguyen, T.-L., & Varga, T. V. (2023). Assessing racial bias in type 2 diabetes risk prediction algorithms. PLOS Global Public Health, 3(5), e0001556. https://doi.org/10.1371/journal.pgph.0001556

Cross, J. L., Choma, M. A., & Onofrey, J. A. (2024). Bias in medical AI: Implications for clinical decision-making. PLOS Digital Health, 3(11), e0000651. https://doi.org/10.1371/journal.pdig.0000651

De Angel, V., Lewis, S., White, K., Oetzmann, C., Leightley, D., Oprea, E., Lavelle, G., Matcham, F., Pace, A., Mohr, D. C., Dobson, R., & Hotopf, M. (2022). Digital health tools for the passive monitoring of depression: A systematic review of methods. Npj Digital Medicine, 5(1), 3. https://doi.org/10.1038/s41746-021-00548-8

Fatunde, O. A., Grant, J. K., Lara-Breitinger, K., Kizzee, O. P., Savic, J., LeMond, L., & Hayes, S. N. (2025). Gender Disparities in Cardiology. JACC: Advances, 4(4), 101642. https://doi.org/10.1016/j.jacadv.2025.101642

Funding research on women’s health. Nat Rev Bioeng 2, 797–798 (2024). https://doi.org/10.1038/s44222-024-00253-7

Hafner, F.S., Valdivia, A., Rocher, L. 2025. Gender Trouble in Language Models: An Empirical Audit Guided by Gender Performativity Theory. FAccT '25: Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency, 1677–1695. https://doi.org/10.1145/3715275.3732112

Hamberg, K. (2008). Gender Bias in Medicine. Women’s Health, 4(3), 237–243. https://doi.org/10.2217/17455057.4.3.237

Karter, A. J., Parker, M. M., Moffet, H. H., & Gilliam, L. K. (2023). Racial and Ethnic Differences in the Association Between Mean Glucose and Hemoglobin A1c. Diabetes Technology & Therapeutics, 25(10), 697–704. https://doi.org/10.1089/dia.2023.0153

Kurz, C. F., König, A. N., Emmert-Fees, K. M. F., & Allen, L. D. (2022). The effect of differential privacy on Medicaid participation among racial and ethnic minority groups. Health Services Research, 57(S2), 207–213. https://doi.org/10.1111/1475-6773.14000

Lok, R., Qian, J., & Chellappa, S. L. (2024). Sex differences in sleep, circadian rhythms, and metabolism: Implications for precision medicine. Sleep Medicine Reviews, 75, 101926. https://doi.org/10.1016/j.smrv.2024.101926

Pennebaker, J. W., Mehl, M. R., & Niederhoffer, K. G. (2003). Psychological Aspects of Natural Language Use: Our Words, Our Selves. Annual Review of Psychology, 54(1), 547–577. https://doi.org/10.1146/annurev.psych.54.101601.145041

Pham, Q., Gamble, A., Hearn, J., & Cafazzo, J. A. (2021). The Need for Ethnoracial Equity in Artificial Intelligence for Diabetes Management: Review and Recommendations. Journal of Medical Internet Research, 23(2), e22320. https://doi.org/10.2196/22320

Santos-Lozada, A. R., Howard, J. T., & Verdery, A. M. (2020). How differential privacy will affect our understanding of health disparities in the United States. Proceedings of the National Academy of Sciences of the United States of America, 117(24), 13405–13412. https://doi.org/10.1073/pnas.2003714117

Sjoding, M. W., Dickson, R. P., Iwashyna, T. J., Gay, S. E., & Valley, T. S. (2020). Racial Bias in Pulse Oximetry Measurement. New England Journal of Medicine, 383(25), 2477–2478. https://doi.org/10.1056/NEJMc2029240

Smith, D.T., Mouzon, D.M., & Elliott, M. (2018). Reviewing the assumptions about men's mental health: An exploration of the gender binary. American Journal of Men's Health, 12(1), 78–89. https://doi.org/10.1177/1557988316630953

Steinberg, J.R., Turner, B.E., Weeks, B.T., Magnani, C.J., Wong, B.O., Rodriguez, F., Roque, E.L., & Bhatt, D.L. (2021). Analysis of female enrollment and participant sex by burden of disease in US clinical trials between 2000 and 2020. JAMA Network Open, 4(6), e2113749. https://doi.org/10.1001/jamanetworkopen.2021.13749

Straw, I., & Callison-Burch, C. (2020). Artificial Intelligence in mental health and the biases of language based models. PLOS ONE, 15(12), e0240376. https://doi.org/10.1371/journal.pone.0240376

Todorov, A., Kaufmann, F., Arslani, K., Haider, A., Bengs, S., Goliasch, G., Zellweger, N., Tontsch, J., Sutter, R., Buddeberg, B., Hollinger, A., Zemp, E., Kaufmann, M., Siegemund, M., Gebhard, C., & Gebhard, C.E., on behalf of the Swiss Society of Intensive Care Medicine. (2021). Gender differences in the provision of intensive care: a Bayesian approach. Intensive Care Medicine, 47(5), 577–587. https://doi.org/10.1007/s00134-021-06393-3

Williams, D. R., & Wyatt, R. (2015). Racial Bias in Health Care and Health: Challenges and Opportunities. JAMA, 314(6), 555. https://doi.org/10.1001/jama.2015.9260

Yoon, D. Y., Mansukhani, N. A., Stubbs, V. C., Helenowski, I. B., Woodruff, T. K., & Kibbe, M. R. (2014). Sex bias exists in basic science and translational surgical research. Surgery, 156(3), 508–516. https://doi.org/10.1016/j.surg.2014.07.001