En el ámbito de la auditoría algorítmica, las métricas de fairness se dividen principalmente en tres familias estadísticas basadas en la distribución conjunta del atributo protegido ($A$), la etiqueta real ($Y$) y la predicción o puntuación del modelo ($\hat{Y}$ o $R$).
Demographic Parity (Independencia): Requiere que la predicción sea estadísticamente independiente del atributo protegido.
Definición: $P(\hat{Y}=1 | A=a) = P(\hat{Y}=1 | A=b)$.
Ejemplo: En un proceso de contratación, la tasa de selección debe ser igual para hombres y mujeres, independientemente de sus calificaciones relativas.
Equalized Odds (Separación): Exige que las tasas de error (falsos positivos y falsos negativos) sean equivalentes entre grupos, condicionando la predicción al valor real de la etiqueta.
Definición: $P(\hat{Y}=1 | A=a, Y=y) = P(\hat{Y}=1 | A=b, Y=y)$ para $y \in {0, 1}$.
Ejemplo: En la predicción de reincidencia (caso COMPAS), tanto la probabilidad de asignar erróneamente "alto riesgo" a quien no reincide, como la de asignar "bajo riesgo" a quien sí lo hace, debe ser igual para todos los grupos étnicos.
Equality of Opportunity: Es una relajación de equalized odds que se enfoca únicamente en el grupo que debería recibir el resultado favorable.
Definición: $P(\hat{Y}=1 | A=a, Y=1) = P(\hat{Y}=1 | A=b, Y=1)$.
Ejemplo: En la concesión de créditos, asegurar que las personas que realmente pagarán su deuda tengan la misma probabilidad de obtener el préstamo, sin importar su raza.
Predictive Parity (Suficiencia): Requiere que el valor predictivo (positivo o negativo) sea igual entre grupos.
Definición: $P(Y=1 | \hat{Y}=1, A=a) = P(Y=1 | \hat{Y}=1, A=b)$.
Ejemplo: Si un modelo predice "éxito académico", la probabilidad real de éxito para los estudiantes seleccionados debe ser la misma para todos los grupos sociales.
Calibración (Calibration): Es una forma de suficiencia aplicada a puntuaciones continuas ($R$).
Definición: $P(Y=1 | R=r, A=a) = r$.
Ejemplo: Si el modelo asigna un puntaje de riesgo de 0.7, exactamente el 70% de los individuos con ese puntaje en cada grupo deben pertenecer a la clase positiva.
El Teorema de la Imposibilidad del Fairness establece que es matemáticamente imposible satisfacer simultáneamente Independencia (Demographic Parity), Separación (Equalized Odds) y Suficiencia (Predictive Parity/Calibración) si las tasas base del evento ($P(Y=1|A)$) difieren entre los grupos protegidos.
Incompatibilidad Crítica: En contextos reales con desigualdades históricas, la calibración por grupo es incompatible con la igualdad de tasas de falsos positivos y negativos (balance de clases). Optimizar una métrica necesariamente degrada la otra.
Compatibilidad Condicional: Las métricas solo son compatibles bajo condiciones triviales, como una precisión perfecta del modelo (error cero) o tasas base idénticas entre grupos. Se han propuesto métodos como el Matching (emparejamiento causal) para modificar las métricas y forzar una compatibilidad teórica al controlar variables confusoras.
La literatura identifica un trade-off fundamental donde la imposición de restricciones de equidad suele reducir la precisión predictiva global del modelo.
Causa del Trade-off: La injusticia algorítmica a menudo proviene de sesgos indirectos, donde atributos protegidos influyen en la variable objetivo a través de codificaciones redundantes en otras características. Al mitigar este impacto, el modelo pierde información correlacionada con el objetivo, reduciendo su utilidad técnica.
Frontera de Pareto: El uso de marcos como ManyFairHPO permite explorar la "Frontera de Pareto", identificando modelos que maximizan el balance óptimo entre precisión y múltiples métricas de fairness en conflicto.
Riesgos de Segundo Orden: Optimizar exclusivamente para una métrica (ej. Demographic Parity) sin considerar otras (ej. Equality of Opportunity) puede generar consecuencias sociales negativas, como la Profecía Autocumplida (Self-Fulfilling Prophecy), donde se seleccionan individuos no calificados de un grupo minoritario, reforzando prejuicios futuros si estos fallan en el desempeño real.
Para una auditoría externa o ante un regulador (ej. bajo el AI Act de la UE), la elección de la métrica debe justificarse según la naturaleza del daño potencial.
Criterios por Tipo de Decisión:
Justicia Criminal (Decisiones Punitivas): Se prioriza la tasa de falsos positivos (FPR) para minimizar el daño de encarcelar erróneamente a personas inocentes, buscando paridad en el riesgo de ser perjudicado por el sistema.
Salud (Diagnóstico y Tratamiento): La prioridad es la tasa de falsos negativos (FNR) o la paridad en el Recall, ya que omitir un diagnóstico tiene costos de vida o muerte. La calibración es vital para que los médicos interpreten correctamente los puntajes de riesgo.
Empleo (Selección de Personal):
Para reclutamiento general, se suele priorizar Equality of Opportunity (FNR) para garantizar que candidatos calificados de grupos diversos no sean filtrados.
Ante reguladores de EE. UU., se evalúa a menudo el Impacto Dispar mediante la Regla de los Cuatro Quintos (una tasa de selección del grupo minoritario inferior al 80% del mayoritario se considera discriminatoria prima facie).
Crédito y Finanzas:
Préstamos de alto riesgo: Priorizar Equal Opportunity para distribuir la carga del incumplimiento equitativamente.
Préstamos de bajo riesgo: Priorizar la tasa de falsos positivos para no denegar injustificadamente el acceso al capital.
Defensa ante Auditores Externos:
Un modelo es defendible si presenta un análisis de trade-offs multiobjetivo documentado, demostrando que se consideró el contexto legal y social. Se recomienda el uso de Bias Indexes o Fairness Scores que combinen métricas para ofrecer una visión holística de la conformidad del sistema. El regulador exigirá transparencia en la selección del "punto de operación" en la frontera de Pareto que mejor equilibre los derechos fundamentales y la eficiencia del sistema.