¿Qué es un modelo regulatorio?

Tal y como se ha expuesto en el Módulo 4, el marco jurídico de la UE para la IA en el ámbito sanitario es complejo, tiene múltiples niveles y evoluciona rápidamente. Sin embargo, los principios éticos y los requisitos legales por sí solos no son suficientes, sino que deben traducirse en procesos concretos y operativos que las instituciones sanitarias puedan aplicar realmente en su práctica diaria.

Esto es precisamente para lo que se ha diseñado el Modelo Regulador de IA de AEQUITAS. Proporciona a los hospitales y a las organizaciones de la sociedad civil un marco de gobernanza práctico que abarca todo el ciclo de vida de los sistemas de IA, desde la adquisición y la validación hasta la implantación, el seguimiento y la rendición de cuentas. Al integrar la protección de los derechos fundamentales en los procesos operativos, este marco pretende reducir los riesgos de sesgos de género y raciales en la toma de decisiones sanitarias respaldadas por la IA y contribuir a unos resultados sanitarios más equitativos en toda la UE. Además, el documento ofrece un conjunto de políticas prácticas, herramientas operativas y recursos que los hospitales y las OSC pueden adaptar a los distintos contextos nacionales para aplicar el modelo de manera coherente en entornos reales.

El modelo se inspira en enfoques de gobernanza que han demostrado su eficacia en otros sectores de alto riesgo. Los profesionales sanitarios reconocerán la lógica de la farmacovigilancia —la recopilación y el análisis sistemáticos de las reacciones adversas a los medicamentos—, que proporciona un sólido modelo para lo que el modelo AEQUITAS denomina sistema de «IA-vigilancia»: un sistema comparable para notificar y analizar incidentes relacionados con decisiones clínicas respaldadas por la IA, prestando especial atención a los resultados en materia de equidad. Del mismo modo, la cultura de seguridad del paciente, ya conocida en los hospitales gracias a los enfoques inspirados en la aviación —basada en la identificación de riesgos, la notificación de incidentes y la mejora continua—, se ajusta directamente a la lógica de gestión de riesgos a lo largo del ciclo de vida incorporada en la Ley de IA y en este modelo regulador.

El marco de derechos fundamentales que sustenta el modelo es la Carta de los Derechos Fundamentales de la Unión Europea (Carta de los Derechos Fundamentales de la UE, 2009), en particular:

• Artículo 1 (Dignidad humana): Las herramientas de IA deben utilizarse de manera que se preserve el juicio humano y se respete la autonomía del paciente. En términos operativos, este principio exige salvaguardias contra la dependencia excesiva de las recomendaciones automatizadas, mecanismos para impugnar las decisiones asistidas por IA y estructuras de supervisión clínica que eviten el sesgo de la automatización.

• Artículos 20 y 21 (Igualdad y no discriminación): Los hospitales deben supervisar el rendimiento de la IA en poblaciones de pacientes diversas (incluidos género, raza u origen étnico) y aplicar medidas correctivas cuando se detecten desigualdades en el rendimiento o los resultados. Dichas medidas deben aplicarse mediante el ajuste de los modelos, cambios en los flujos de trabajo clínicos o vías de decisión alternativas, garantizando que el despliegue de la IA no consolide las desigualdades estructurales.

• Artículo 35 (Asistencia sanitaria): Los sistemas de IA solo podrán implantarse cuando se demuestre que contribuyen a una prestación de asistencia sanitaria segura, eficaz y equitativa. Las tecnologías de IA no deben introducir nuevas barreras a la atención ni agravar las disparidades existentes que afectan a comunidades históricamente marginadas, y deben evaluarse de forma continua en cuanto a su impacto en poblaciones de pacientes históricamente desatendidas o en situación de desventaja por otros motivos.

Marcos normativos aplicables a la IA responsable en el ámbito sanitario

El modelo regulador de AEQUITAS se basa en varios marcos de gobernanza internacionales. Dentro de la UE, el fundamento jurídico principal lo proporcionan instrumentos europeos como la Ley de IA, el MDR/IVDR, el RGPD y el EHDS. Los marcos adicionales que se analizan en esta sección complementan este fundamento europeo con orientaciones prácticas para su aplicación y, por lo tanto, no pretenden sustituir ni dar prioridad a enfoques no europeos. Como profesional sanitario, no es necesario que seas un experto en estos marcos, pero conocerlos te ayuda a comprender el contexto más amplio en el que se enmarcan las obligaciones de gobernanza de la IA de tu institución.

Normas ISO/IEC de la Organización Internacional de Normalización

Varias normas ISO/IEC respaldan la gobernanza responsable de la IA en el ámbito sanitario (Organización Internacional de Normalización, 2023). La norma ISO/IEC 42001 establece los requisitos para un sistema de gestión de la IA en las organizaciones, favoreciendo la integración de los principios de equidad y no discriminación en las políticas y los controles de riesgos. La norma ISO/IEC 23894 ofrece orientación sobre la integración de la gestión de riesgos en el desarrollo y la implantación de la IA, incluidos los riesgos de impactos desproporcionados en diferentes grupos de población. La norma ISO 14971 define los principios de gestión de riesgos ampliamente utilizados en la regulación de los productos sanitarios, que pueden ampliarse para abarcar el rendimiento desigual entre los distintos grupos de población desglosados.

Estas normas son valiosas, ya que sugieren una estructura de sistema de gestión que los hospitales pueden adoptar y proporcionan un lenguaje común mediante el cual se pueden especificar los requisitos relacionados con la equidad (como la evaluación de grupos de población desglosados y la mitigación de sesgos) en la contratación pública y los acuerdos con los proveedores.

ALTAI - Lista de evaluación para una inteligencia artificial fiable

Desarrollada por el Grupo de Expertos de Alto Nivel sobre IA de la Comisión Europea, ALTAI es una herramienta voluntaria de autoevaluación que pone en práctica las Directrices éticas de la CE para una IA fiable (Comisión Europea, 2020). Su formato basado en preguntas puede adaptarse a listas de verificación prácticas para la adquisición y la implantación, lo que anima a los profesionales clínicos, los especialistas en TI y los gestores hospitalarios a tener en cuenta cuestiones como la representatividad de los datos de entrenamiento, el riesgo de resultados clínicos dispares y la idoneidad de las salvaguardias contra los efectos discriminatorios.

Principios de la OMS para la IA en el ámbito sanitario

La Organización Mundial de la Salud ha articulado seis principios fundamentales para la IA en el ámbito sanitario: autonomía, bienestar, explicabilidad, responsabilidad, equidad y capacidad de respuesta (Organización Mundial de la Salud, 2021). El principio de equidad exige explícitamente que se preste atención a las diferencias en el acceso, el rendimiento y los resultados entre las diversas poblaciones de pacientes, incluyendo las diferencias de género y las de origen racial o étnico.

Marco de Gestión de Riesgos de la IA (AI RMF) del Instituto Nacional de Estándares y Tecnología (NIST) (AI RMF)

Desarrollado por el Instituto Nacional de Estándares y Tecnología de EE. UU., este marco organiza la gestión de riesgos de la IA en torno a la gobernanza, la cartografía de riesgos, la medición de riesgos y la gestión de riesgos a lo largo de todo el ciclo de vida de la IA (Instituto Nacional de Estándares y Tecnología, 2023). Reconoce explícitamente la equidad y los sesgos perjudiciales como dimensiones fundamentales de una IA fiable, y anima a las organizaciones a evaluar los impactos dispares entre los distintos grupos demográficos, incluidos el género y la raza, como parte de los procesos de cartografía y medición de riesgos. Para los hospitales, la fortaleza operativa del AI RMF radica en su capacidad para traducirse en prácticas concretas, como la definición de funciones para la supervisión de la equidad, la evaluación metódica del rendimiento desglosado por grupos de población y las estrategias de mitigación documentadas, sin dejar de estar plenamente subordinado a los requisitos legales europeos y a los principios de los derechos fundamentales.

El modelo regulatorio de AEQUITAS

El modelo regulatorio de AEQUITAS estructura la gobernanza de la IA en torno a una serie de etapas obligatorias del ciclo de vida, puntos de decisión claros que los hospitales deben superar antes, durante y después de implementar un sistema de IA. Estas etapas reflejan la lógica regulatoria de la Ley de IA de la UE y la legislación sanitaria relacionada, al tiempo que proporcionan una vía de gobernanza clara y auditable. El modelo parte de la base de que el hospital suele ser un «implementador» (según la Ley de IA) y un prestador de asistencia sanitaria con arreglo a la legislación sanitaria nacional, pero también contempla el caso en el que el hospital desarrolle internamente sus propias herramientas de IA.

La aplicación de este modelo regulador se rige por el principio de proporcionalidad, que reconoce que los hospitales y las organizaciones de la sociedad civil pueden tener distintos niveles de capacidad técnica, organizativa y analítica en los distintos Estados miembros y sistemas sanitarios. Si bien los requisitos mínimos obligatorios se aplican de manera uniforme para garantizar las salvaguardias básicas de seguridad, transparencia y equidad, las prácticas avanzadas —como el análisis ampliado y desagregado de grupos de población, la auditoría externa y las sofisticadas herramientas de seguimiento de sesgos— pueden implementarse de forma progresiva en función de la capacidad técnica, organizativa y analítica de cada institución.

Las cinco etapas del ciclo de vida

Etapa 1: Ámbito de aplicación y clasificación (antes de la adquisición o el desarrollo)

El primer paso consiste en determinar la situación normativa de la herramienta de IA en cuestión. Esto implica evaluar si el sistema cumple los requisitos para ser considerado software de dispositivo médico según el MDR o el IVDR, si constituye un sistema de IA de alto riesgo según la Ley de IA, o si entra dentro de una categoría de menor riesgo que, no obstante, requiere supervisión regulatoria.

En esta fase inicial, los hospitales deben señalar aquellas herramientas cuyo uso previsto pueda tener implicaciones más importantes en materia de equidad o afectar a poblaciones de pacientes diversas, teniendo en cuenta que estas requerirán una evaluación más detallada de los sesgos de género y raciales en fases posteriores.

Etapa 2: Fase previa a la contratación y al contrato (antes de firmar con un proveedor)

La fase de contratación suele ser el momento en el que los hospitales tienen mayor influencia sobre la gobernanza de la IA. En esta etapa, se debería exigir a los proveedores que se comprometan contractualmente a abordar los riesgos de equidad, incluidos los sesgos de género y raciales, a lo largo de todo el ciclo de vida de la IA.

Los contratos de adquisición deberían exigir a los proveedores que faciliten, como mínimo:

• Pruebas de la composición de los datos de entrenamiento, incluida la representación de género y racial o étnica, para respaldar la evaluación de la representatividad y el riesgo de sesgo;

• Información sobre la procedencia de los datos, incluyendo si los conjuntos de datos son de propiedad exclusiva o no, sus condiciones de accesibilidad y las implicaciones para la transparencia, la validación independiente y la evaluación de los sesgos de género y raciales;

• Resultados de rendimiento desglosados por grupos de población, incluyendo resultados estratificados por género y grupos raciales o étnicos, documentación de cualquier disparidad conocida y medidas de mitigación de sesgos aplicadas durante el desarrollo;

• Capacidades de registro y auditabilidad para respaldar auditorías independientes sobre sesgos;

• Compromisos claros en materia de respuesta ante incidentes relacionados con sesgos, que obliguen al proveedor a notificar los errores o desigualdades identificados que afecten a grupos de género o raciales/étnicos y a esbozar las medidas correctivas;

• Asignación clara de responsabilidades, especificando las obligaciones del proveedor y del responsable de la implementación en lo que respecta al cumplimiento de los requisitos de la Ley de IA y a la gestión de los riesgos relacionados con la equidad y los sesgos.

Etapa 3: Validación (antes de incorporarse a los flujos de trabajo clínicos)

Antes de que cualquier sistema de IA se incorpore a los flujos de trabajo clínicos y se utilice con pacientes reales, debe someterse a una evaluación independiente. La validación debe evaluar tanto el rendimiento general como los resultados desglosados por grupos de población, prestando especial atención al género y a los grupos raciales y étnicos. Este paso es fundamental, ya que los sistemas de IA biomédica pueden mostrar un rendimiento desigual entre las distintas poblaciones cuando los datos de entrenamiento no son representativos o cuando se pasan por alto las diferencias contextuales entre los entornos de desarrollo y de implementación (Rajkomar et al., 2018).

La validación debe documentar cualquier medida de mitigación aplicada y poner de relieve los riesgos residuales en materia de equidad, proporcionando al hospital pruebas que le permitan tomar una decisión informada sobre la implementación. Debe llevarse a cabo una revalidación cada vez que el sistema se implemente en un nuevo centro, se aplique a una población de pacientes diferente, se conecte a nuevos equipos o protocolos, sea actualizado por el proveedor o muestre signos de desviación en su rendimiento.

Etapa 4: Implementación (antes de la puesta en marcha) 

Una vez que un sistema ha superado la validación, la etapa de implementación garantiza que se cumplan las condiciones operativas para un uso seguro, equitativo y responsable. Esto incluye:

• Asignar personal de supervisión debidamente formado;

• Implementar mecanismos que garanticen que los profesionales clínicos puedan anular o desactivar las recomendaciones de la IA;

• garantizar que los usuarios comprendan la finalidad prevista del sistema, sus limitaciones y cualquier consideración conocida sobre el rendimiento en grupos de población desagregados;

• informar a los profesionales clínicos de las posibles variaciones en los resultados en función del género y la raza o el origen étnico;

• garantizar que se informe a los pacientes cuando se utilicen herramientas de decisión asistidas por IA en su atención;

Etapa 5: Seguimiento, auditoría y rendición de cuentas (a lo largo de todo el ciclo de vida de la implantación)

La última etapa regula la fase continua posterior a la implantación. Dado que los sistemas de IA no son estáticos, resulta esencial un seguimiento continuo que abarque el rendimiento general, las disparidades entre los distintos grupos de población desglosados y los incidentes relacionados con la seguridad o la equidad.

Los hospitales deben mantener registros del funcionamiento del sistema, aplicar procedimientos estandarizados de notificación de incidentes que detecten posibles sesgos de género o raciales, y reevaluar periódicamente el rendimiento del sistema mediante ejercicios de revalidación.

Cuando surjan desigualdades o riesgos que afecten a grupos demográficos específicos y no puedan mitigarse de forma eficaz, el sistema deberá modificarse, suspenderse o retirarse del servicio. Las conclusiones deben servir de base tanto para la gobernanza interna como, cuando proceda, para el aprendizaje a nivel de red más amplio, con el fin de evitar que se repitan los sesgos.

Herramientas prácticas y elementos de gestión para hospitales

El modelo regulador de AEQUITAS ofrece un conjunto de instrumentos de gestión estandarizados y reutilizables que los hospitales pueden adaptar a sus contextos nacionales. A continuación se ofrece una visión general de las herramientas clave:

Fase de contratación y formalización de contratos

Paquete de medidas sobre contratación pública

La comunidad de la UE dedicada a la contratación pública en materia de IA ha publicado unas cláusulas contractuales modelo y las ha actualizado para reflejar la Ley de IA, animando explícitamente a las autoridades públicas a utilizarlas y proporcionando comentarios para su aplicación (Comisión Europea, 2025). En el caso de la IA en el ámbito sanitario, estas cláusulas pueden adaptarse en un anexo específico para hospitales, con el fin de evaluar y mitigar los riesgos de sesgo de género y racial. Este anexo exige, como mínimo:

• Informes estandarizados sobre la composición de los datos de entrenamiento, incluida la representación de género y racial/étnica, para respaldar la evaluación de la representatividad y el riesgo de sesgo;

• Divulgación de la procedencia de los datos, incluyendo si los conjuntos de datos son de propiedad privada o de dominio público, sus condiciones de accesibilidad y las implicaciones para la transparencia, la validación independiente y la evaluación del sesgo de género y racial;

•  La divulgación de los resultados desglosados por grupos de población y de las pruebas de validación, incluidos los resultados estratificados por género y por grupos raciales o étnicos, la documentación de cualquier disparidad conocida, las medidas de mitigación de sesgos aplicadas durante el desarrollo y las pruebas de validación que lo respalden (incluidas las consideraciones específicas del centro relevantes para la equidad y la imparcialidad);

• Requisitos de registro y auditabilidad, que garanticen que el sistema sea capaz de generar registros de uso que puedan servir de base para auditorías independientes sobre sesgos o impactos desiguales;

• Obligaciones de actualización y control de cambios, que exigen al proveedor informar al hospital de las actualizaciones del modelo, la nueva formación o los cambios en los flujos de trabajo, y documentar sus posibles efectos en el rendimiento en función del género y la raza;

• Compromisos de respuesta ante incidentes relacionados con sesgos, que obligan al proveedor a notificar los errores o desigualdades identificados que afecten a grupos de género o raciales/étnicos y a esbozar las medidas correctivas;

• Una asignación clara de responsabilidades, que especifique las obligaciones del proveedor y del responsable de la implementación en lo que respecta al cumplimiento de los requisitos de la Ley de IA y a la gestión de los riesgos relacionados con la equidad y los sesgos.

Fases de validación y previa a la puesta en marcha

Política de gobernanza y representatividad de los datos sanitarios

Todos los hospitales y organizaciones de la sociedad civil que utilicen inteligencia artificial deberían adoptar una política formal que garantice que los datos utilizados para el entrenamiento, el ajuste fino o con fines operativos sean representativos, completos y precisos para las poblaciones a las que atienden. Esto incluye evaluar la composición demográfica, documentar los grupos de género y los grupos raciales o étnicos infrarrepresentados, y definir medidas de mitigación cuando sea necesario.

La política debe abarcar tanto los conjuntos de datos internos como los de origen externo, incluidos los datos de propiedad exclusiva y de acceso abierto, y exigir la verificación del rendimiento desglosado por grupos de población, así como de cualquier estrategia de mitigación de sesgos aplicada por los proveedores.

Esta política funciona como un principio previo a la implementación y se integra directamente en el seguimiento continuo, la auditoría y la rendición de cuentas.

Referencia de ciberseguridad y modelo de amenazas específico para la IA

Los sistemas de IA de los hospitales pueden ser vulnerables no solo a ataques convencionales, como el envenenamiento de datos, los ejemplos adversarios o la evasión de modelos, sino también a manipulaciones o errores que exacerben los sesgos de género o raciales, por ejemplo, al afectar de manera desproporcionada a los grupos de población infrarrepresentados en los datos de entrenamiento o operativos. 

Por lo tanto, los hospitales deben establecer una referencia de ciberseguridad y un modelo de amenazas específico para la IA que tenga en cuenta explícitamente los riesgos relacionados con los sesgos, junto con las amenazas técnicas. Este documento evolutivo funciona como una lista de comprobación previa a la puesta en marcha para garantizar la implementación de controles de ciberseguridad alineados con el MDR y el IVDR, la gobernanza de la seguridad de la información de la organización (p. ej., ISO/IEC 27001) y los planes de modelización de amenazas y de pruebas sensibles a los sesgos (Grupo de Coordinación de Productos Sanitarios, 2020). Asimismo, respalda la supervisión continua tras la puesta en marcha para detectar riesgos emergentes, tanto técnicos como relacionados con los sesgos, y responder de forma proactiva.

Mediante la aplicación de esta política, los hospitales pueden reforzar la resiliencia de los sistemas, salvaguardar la equidad en la toma de decisiones respaldada por la IA y mantener el cumplimiento de la Ley de IA (artículos 9-15) y de los requisitos del MDR y el IVDR.

El expediente del sistema de IA (por herramienta)

El expediente del sistema de IA es un documento estandarizado y sensible a los sesgos que se mantiene para cada sistema de IA antes de su implementación en una organización sanitaria.

El expediente debe recopilar toda la información que un hospital necesita conocer sobre un sistema antes y durante su implementación, incluyendo la finalidad prevista del sistema, la integración en el flujo de trabajo clínico, los resultados de validación y los indicadores de rendimiento, prestando especial atención al rendimiento desglosado por género y origen racial o étnico, así como a cualquier disparidad conocida o medida de mitigación.

El expediente del sistema de IA debe considerarse un documento vivo, que se actualiza cada vez que se disponga de nuevos resultados de validación, métricas de rendimiento o estrategias de mitigación de sesgos. Los campos de la plantilla se dividen en requisitos mínimos obligatorios, aplicables a todas las instituciones, y prácticas recomendadas para aquellas instituciones con mayor capacidad técnica y organizativa.

El expediente abarca siete áreas fundamentales:

Al centrarse de forma explícita en análisis desglosados por género y origen racial o étnico, el dossier garantiza que los riesgos para la equidad sean claramente visibles, se evalúen de forma activa y se mitiguen adecuadamente antes de la puesta en marcha. Con fines tanto operativos como de gobernanza, el dossier informa al personal hospitalario sobre la funcionalidad y las limitaciones del sistema, sirve de apoyo en las inspecciones y auditorías reglamentarias, y proporciona un registro estructurado que puede utilizarse para el seguimiento continuo, las auditorías de equidad y derechos, y las iniciativas de aprendizaje entre centros.

La plantilla completa del expediente del sistema de IA, que incluye todos los campos, notas orientativas y tablas, está disponible como recurso descargable que acompaña a este módulo. Está diseñada para adaptarse al contexto nacional y a las estructuras de gobernanza de su institución.

También se ofrece un glosario de términos clave y definiciones operativas como recurso descargable que acompaña a este módulo, en el que se proporcionan explicaciones en lenguaje sencillo de la terminología normativa y técnica utilizada en todo el modelo regulador de AEQUITAS.

El paquete combinado de FRIA y DPIA

Tal y como se establece en el Módulo 4, los hospitales públicos que implementen sistemas de IA de alto riesgo están obligados a realizar tanto una Evaluación del Impacto sobre los Derechos Fundamentales (FRIA) como, cuando proceda, una Evaluación del Impacto sobre la Protección de Datos (DPIA). El modelo AEQUITAS integra ambas en una única plantilla, lo que reduce la carga administrativa al tiempo que garantiza que se aborden de forma sistemática cuestiones clave sobre las poblaciones afectadas, los posibles perjuicios, las estrategias de mitigación y los mecanismos de reclamación, prestando especial atención a las desigualdades que afectan a los grupos de género y a los grupos raciales o étnicos.

Este paquete funciona principalmente como un punto de control previo a la implantación, pero debe actualizarse si los riesgos o las condiciones del sistema cambian durante la misma. Se recomienda llevar a cabo una consulta significativa con las organizaciones de la sociedad civil (OSC) en el diseño de estas evaluaciones, a fin de incorporar sus conocimientos especializados en materia de derechos y las perspectivas de las comunidades afectadas.

La política de control de cambios

Esta política regula las actualizaciones de los sistemas de IA, incluyendo el reentrenamiento de modelos, las actualizaciones de software o las modificaciones del flujo de trabajo clínico. Define qué constituye un cambio sustancial que requiere revalidación o aprobación, y garantiza que las actualizaciones se evalúen en cuanto a su posible impacto en la equidad de género y racial antes de su implementación.

Los hospitales también deben asegurarse de que el personal clínico y el personal pertinente estén informados de las modificaciones que podrían afectar a los resultados asistenciales de diversas poblaciones de pacientes, lo que permite una supervisión adecuada y la adopción de medidas de mitigación.

El sistema de gestión de la calidad: para los implementadores que también son proveedores

En los casos en que el sistema de IA se desarrolle o adapte internamente, y la institución actúe como fabricante o proveedor, deben implementarse sistemas de gestión de la calidad y mantenerse la documentación técnica, a fin de demostrar que la herramienta responde a necesidades específicas de los pacientes que no pueden satisfacerse mediante productos comerciales (Medical Device Coordination Group, 2023).

El sistema de gestión de la calidad (SGC) también debe garantizar que se evalúen los resultados de la IA en cuanto a diferencias de rendimiento entre géneros y grupos raciales o étnicos, que se documenten las estrategias de mitigación y que las medidas de supervisión humana preserven explícitamente la seguridad y la equidad de los pacientes.

Incluso cuando se apliquen exenciones reglamentarias para los dispositivos de desarrollo propio, las obligaciones derivadas de los derechos fundamentales y de los marcos más amplios de gobernanza de la IA siguen siendo plenamente pertinentes.

Fase de seguimiento, auditoría y rendición de cuentas

El «Informe sobre el rendimiento y la equidad de los grupos de población desglosados»

Los hospitales deberían elaborar análisis internos periódicos que muestren el rendimiento de los sistemas de IA en los distintos grupos demográficos relevantes (estratificados por sexo y por grupos raciales o étnicos, siempre que sea lícito y viable). Cuando existan diferencias de rendimiento, deberían documentarse las estrategias de mitigación y supervisarse su eficacia a lo largo del tiempo. Las conclusiones clave deberían sintetizarse e incluirse en la «auditoría de equidad y derechos», garantizando la transparencia y la rendición de cuentas pública.

El régimen de auditoría de dos niveles

El modelo AEQUITAS propone un enfoque de auditoría de dos niveles:

• Auditoría técnica: Una revisión operativa confidencial que abarca pruebas de seguridad, evaluaciones de robustez, validación del rendimiento clínico y cumplimiento de la gobernanza de datos, prestando especial atención al rendimiento en las poblaciones desglosadas por género y origen racial o étnico.

• Auditoría de equidad y derechos: una revisión centrada en la transparencia y la rendición de cuentas que documente las desigualdades en los resultados, las poblaciones incluidas en las pruebas, las limitaciones conocidas y los mecanismos de reclamación, con un análisis explícito de los impactos de género y raciales. Un resumen dirigido al público en general puede comunicar las conclusiones clave, las estrategias de mitigación y las mejoras implementadas, sin revelar información privada o confidencial.

El registro de vigilancia de la IA

Inspirado en los sistemas de farmacovigilancia de la regulación de medicamentos (Agencia Europea de Medicamentos, 2017), el registro de vigilancia de la IA proporciona un mecanismo estructurado para que los profesionales sanitarios notifiquen incidentes, cuasi-incidentes o resultados inesperados relacionados con decisiones respaldadas por la IA, con campos específicos que recogen posibles disparidades de género o raciales/étnicas. Los informes se analizan sistemáticamente en busca de patrones emergentes, lo que alimenta las auditorías periódicas de equidad y derechos y respalda la mejora continua.

El módulo de formación para personal clínico

Formación obligatoria diseñada para dotar a los profesionales sanitarios de las habilidades necesarias para comprender las limitaciones de los sistemas de IA, interpretar los resultados de forma crítica y anular o detener los sistemas cuando los resultados puedan producir consecuencias sesgadas o injustas. Este módulo respalda activamente la puesta en práctica del modelo regulador al garantizar que el personal responsable de la supervisión de la IA pueda aplicar de forma competente los procedimientos de seguimiento, validación y rendición de cuentas desde una perspectiva de equidad.

La formación incluye evaluaciones de competencias y ejercicios basados en casos prácticos sobre la detección y mitigación de las disparidades de género y raciales o étnicas.

La red AEQUITAS: Aprender juntos en toda Europa

El proyecto AEQUITAS ha creado una red europea de organizaciones de la sociedad civil y hospitales públicos que funciona como un nivel de gobernanza compartida, proporcionando un vocabulario común, normas de presentación de informes y una plataforma para el aprendizaje interinstitucional sobre los sesgos de género y raciales en los sistemas de inteligencia artificial.

Para los profesionales sanitarios, esta red significa que los incidentes de sesgo, los resultados desglosados sobre el rendimiento de los distintos grupos de población y las estrategias de mitigación identificadas en su institución contribuyen a una base de conocimientos más amplia, a escala europea, que beneficia a los pacientes de todos los países participantes. A medida que el Espacio Europeo de Datos Sanitarios (EHDS) va madurando, esta red se encuentra en una posición idónea para armonizar sus prácticas de intercambio de datos y aprendizaje con los marcos normativos emergentes de la UE, favoreciendo así un despliegue más equitativo y transparente de la IA en todas las instituciones.

Tu papel como profesional de la salud

El modelo normativo de AEQUITAS no es solo un documento dirigido a los directores de hospitales, los responsables de compras o los especialistas en tecnologías de la información. Tiene implicaciones directas para ti como profesional clínico. A continuación te ofrecemos un resumen de lo que significa en la práctica:

Este módulo completa los contenidos básicos de la formación de AEQUITAS. Hasta ahora has abordado los fundamentos de la IA biomédica, los tipos y mecanismos de sesgo, las disparidades específicas de género y raza documentadas en las enfermedades cardiovasculares, la diabetes y la depresión, el marco ético y jurídico que regula la IA en la asistencia sanitaria, y las herramientas prácticas disponibles para ayudarte a gestionarla. El módulo 6 presentará la base de datos AEQUITAS, una herramienta concreta desarrollada específicamente para ayudar a los profesionales sanitarios a identificar y gestionar los sesgos de género y raciales en la IA biomédica en el ámbito de las enfermedades cardiovasculares, la diabetes y la depresión, y te mostrará cómo utilizar ese recurso práctico en tu práctica clínica diaria.

Para poder completar la formación y recibir el certificado, necesitas realizar la sesión práctica (en formato online). Inscríbete en el correo comunicacion.lobbyeuropeo@gmail.com y recibirás toda la información. ¡Gracias!

A continuación: Módulo 6

Bibliografía

European Commission, Assessment List for Trustworthy Artificial Intelligence (ALTAI) – Self‑Assessment, Brussels: European Commission, 2020.

European Commission, Updated EU AI Model Contractual Clauses Now Available, Brussels: European Commission, 2025.

European Medicines Agency, GVP Module VI – Collection and Submission of Suspected Adverse Reactions (Rev 2), London: EMA, 2017.

European Union, Charter of Fundamental Rights of the European Union, 2012/C 326/02, Strasbourg: EU. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT

International Organization for Standardization, ISO/IEC 42001:2023 – Artificial Intelligence Management System, Geneva: ISO, 2023.

Medical Device Coordination Group, MDCG 2019‑16 Rev. 1 - Guidance on Cybersecurity for Medical Devices, Brussels: European Commission, 2020.

Medical Device Coordination Group, MDCG 2023‑1 – Guidance on Health Institution Exemption (MDR/IVDR), Brussels: European Commission, 2023.

National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), Gaithersburg, MD: NIST, 2023.

Rajkomar, A., Hardt, M., Howell, M. D., Corrado, G., & Chin, M. H., Ensuring Fairness in Machine Learning to Advance Health Equity, Annals of Internal Medicine, 169(12), 866-872, 2018.

World Health Organization, Ethics and Governance of Artificial Intelligence for Health, Geneva: WHO, 2021