Compreender o Bias nos Sistemas de IA

Quando falamos de bias em IA, estamos a referir-nos a algo muito específico, definido como um termo que se refere a "sistemas informáticos que discriminam de forma sistemática e injusta certos indivíduos ou grupos em favor de outros. Um sistema discrimina de forma injusta se negar uma oportunidade ou atribuir um resultado indesejável a um indivíduo ou grupo com base em razões despropositadas ou inadequadas" (Friedman & Nissenbaum, 1996). Além disso, o bias nos sistemas informáticos pode ser distinguido em três categorias: bias pré-existente, bias técnico, e bias emergente (Friedman & Nissenbaum, 1996).

A investigação empírica demonstrou que estes biases podem ter consequências graves em contextos clínicos como disparidades persistentes no diagnóstico e tratamento de condições importantes.

Vários mecanismos podem conduzir a estes resultados enviesados na tomada de decisões apoiada por IA nos cuidados de saúde, incluindo desequilíbrios nos dados de treino, erros de medição em variáveis clínicas, indicadores proxy (uma medida indireta) desadequados, e diferenças entre os ambientes onde os sistemas de IA são desenvolvidos e os contextos reais onde são implantados.

O bias pode também surgir quando os sistemas de IA são introduzidos nos fluxos de trabalho clínicos sem formação adequada para os profissionais de saúde, ou sem mecanismos robustos de supervisão humana e de responsabilização para monitorizar o seu desempenho em populações de doentes diversas.

Como Surge o Bias?

Os investigadores identificaram três categorias amplas de bias que se aplicam a todos os sistemas informáticos. Compreender estas categorias ajudá-lo-á a reconhecer onde no sistema um problema pode ter origem:

Bias Pré-existente

Este tipo de bias decorre de desigualdades existentes em instituições, práticas e atitudes sociais, que são independentes e normalmente presentes antes da criação do sistema. É incorporado no sistema, de forma consciente ou inconsciente, por vezes mesmo quando os programadores estão ativamente a tentar evitá-lo. Nos cuidados de saúde, isto pode significar que padrões históricos de tratamento desigual de doentes com base no género ou raça, entre outros, ficam incorporados em ferramentas de IA treinadas com esses dados.

Bias Técnico

O bias técnico surge das restrições e considerações feitas ao traduzir realidades humanas complexas para forma computacional, por exemplo, quando informação qualitativa é reduzida a números, ou quando um algoritmo desenvolvido num contexto clínico é aplicado num contexto muito diferente. Isto pode fazer com que o sistema trate certos grupos de forma injusta em condições específicas.

Bias Emergente

O bias emergente aparece após a implantação de um sistema, como resultado de alterações no conhecimento social, no contexto cultural, ou na população de doentes que não foram, ou não puderam ser, incorporadas no desenho do sistema. Isto pode acontecer porque certas populações estão ausentes dos dados de treino, seja devido a restrições éticas ou legais, acesso limitado aos cuidados de saúde, ou porque categorias de identidade relevantes ainda não eram reconhecidas como variáveis clinicamente significativas no momento do desenvolvimento. Exemplos incluem adultos mais velhos com múltiplas comorbilidades, frequentemente excluídos de ensaios clínicos devido a limites de idade arbitrários e critérios de exclusão por multimorbilidade (Florisson et al., 2021), e indivíduos não-binários, transgénero, e intersexo, cujas identidades estavam largamente ausentes dos sistemas de dados clínicos quando muitos dos sistemas de IA atualmente em uso foram desenvolvidos (Hafner et al., 2024). Por outras palavras, um sistema de IA que funcionava de forma justa no momento do seu desenvolvimento pode tornar-se enviesado à medida que o mundo à sua volta muda.

Bias no Pipeline de IA

Embora as três categorias acima sejam válidas para todos os sistemas informáticos, as aplicações de IA e de machine learning requerem um quadro mais detalhado. Analisando as fases específicas de como um modelo de IA é construído e utilizado - o seu pipeline de desenvolvimento - desde a recolha de dados até à implantação, foram identificados os seguintes sete tipos de bias (Suresh & Guttag, 2021).

Nota: Estes sete tipos de bias não são mutuamente exclusivos, ou seja, um único sistema de IA pode sofrer de vários em simultâneo, e podem interagir e reforçar-se mutuamente ao longo das diferentes fases de desenvolvimento e implantação.

Bias Histórico

O bias histórico corresponde ao bias pré-existente tal como definido por Friedman & Nissenbaum (1996), refletindo preconceitos e estereótipos já presentes nos dados utilizados para treinar a IA. Mesmo que os dados sejam tecnicamente precisos, podem codificar padrões de tratamento desigual. Um exemplo pode ser encontrado em Calderone (1990), que examinou se a frequência com que medicação para a dor e sedativos eram administrados a doentes em pós-operatório de cirurgia de revascularização do miocárdio (CABG) diferia em função do género e da idade do doente. Os resultados revelaram que os doentes do sexo masculino e os doentes com 61 anos ou menos receberam medicação para a dor significativamente com mais frequência do que as doentes do sexo feminino e os doentes com 62 anos ou mais, que em vez disso receberam sedativos com significativamente mais frequência. Uma IA treinada com tais dados aprenderia, e replicaria, esta disparidade. 

Bias de Representação

O bias de representação surge quando os dados utilizados para treinar a IA sub-representam certos grupos da população. Isto pode ocorrer das seguintes formas: 

• Ao definir a população-alvo, se esta não refletir a população de utilização;

• Ao definir a população-alvo, se contiver grupos sub-representados;

• Ao amostrar da população-alvo, se o método de amostragem for limitado ou desigual. 

Como resultado, o modelo tem um bom desempenho para os grupos bem representados nos dados, mas um desempenho fraco para os que não o estão. Um exemplo típico de bias de representação diz respeito à deteção de cancro de pele: muitos conjuntos de dados de imagiologia consistem predominantemente em imagens de indivíduos de pele clara, fazendo com que os modelos de IA sejam significativamente menos precisos na avaliação de doentes com diferentes tons de pele (Guo et al., 2021). 

Bias de Medição

O bias de medição ocorre ao escolher, recolher, ou calcular características e etiquetas para utilizar num problema de previsão, especialmente quando se utiliza um proxy (uma medida indireta). Um exemplo pode ser encontrado num estudo de Obermeyer et al. (2019), onde os custos de saúde foram utilizados como proxy para as necessidades de saúde dos doentes. Como os doentes negros, confrontados com níveis desproporcionais de pobreza, tendem a gastar menos em cuidados de saúde do que doentes brancos igualmente doentes, o algoritmo concluiu erroneamente que os doentes negros eram mais saudáveis, classificando-os consequentemente como menos prioritários para os cuidados.

O bias de medição pode também ocorrer quando o método de medição varia entre grupos, por exemplo, quando dois grupos são monitorizados quanto ao mesmo comportamento, mas um deles é monitorizado de forma mais rigorosa ou frequente do que o outro. A investigação demonstrou, por exemplo, que os médicos tendem a subestimar a dor dos doentes negros em comparação com os doentes não negros, devido a falsas crenças sobre diferenças biológicas, levando consequentemente a que os doentes negros tenham menos probabilidade de receber medicação adequada para a dor (Hoffman et al., 2016). 

Bias de Agregação

O bias de agregação ocorre quando um modelo único é aplicado a um conjunto de dados que inclui grupos diversos de pessoas ou coisas, ignorando diferenças significativas entre grupos populacionais. O que um ponto de dados significa, ou como se parece uma resposta clinicamente adequada, pode variar significativamente entre populações, culturas, ou contextos socioeconómicos. Podemos considerar o exemplo do mapeamento de dados de entrada (inputs) - por exemplo, o rendimento de uma pessoa - usando etiquetas que a descrevem (por exemplo, baixo, médio, alto), assumindo que este mapeamento é consistente entre subconjuntos dos dados. Na realidade, o contexto ou a cultura de uma pessoa pode alterar o que esses números realmente significam. Quando os modelos de IA não têm em conta estas diferenças, correm o risco de produzir resultados (outputs) adequados para alguns doentes, mas enganosos ou prejudiciais para outros. 

Bias de Aprendizagem

O bias de aprendizagem surge das escolhas feitas ao construir e otimizar o próprio modelo de IA, que podem amplificar disparidades existentes nos dados. Um exemplo diz respeito à privacidade diferencial, um mecanismo utilizado em sistemas de IA que adiciona "ruído" (perturbações aleatórias) aos dados para garantir que, ao examinar os resultados de um sistema, não é possível determinar se os dados de um indivíduo específico foram incluídos no conjunto de dados original. Apesar de ser utilizado para proteger a confidencialidade dos doentes em conjuntos de dados de saúde, no caso de doenças raras, em que o caso de cada doente é mais ou menos único numa área limitada coberta por um hospital, mesmo que os dados sejam anonimizados, não é muito difícil deduzir a identidade da pessoa. Além disso, demonstrou-se que a privacidade diferencial reduz desproporcionalmente a influência dos grupos sub-representados no modelo, uma vez que o “ruído” introduzido nos dados para proteger a identidade dos indivíduos, acaba por afetar mais os grupos menos representados. Assim, se os dados subjacentes já forem enviesados, esta medida de proteção pode inadvertidamente agravá-lo ainda mais (Bagdasaryan & Shmatikov, 2019). 

Para os profissionais de saúde, a conclusão-chave é que o bias pode ser introduzido ou amplificado não só através dos dados, mas também através das decisões técnicas tomadas durante o desenvolvimento do modelo, decisões que podem não ser visíveis ou transparentes para os utilizadores finais.

Bias de Avaliação

O bias de avaliação ocorre quando os dados de referência (benchmark) utilizados para uma determinada tarefa não representam a população de utilização. Os benchmarks são conjuntos de dados normalizados utilizados para medir a qualidade de um modelo, permitindo a comparação quantitativa entre modelos. Nos cuidados de saúde, certos grupos estão frequentemente sub-representados nos conjuntos de dados de referência, seja porque estão ausentes dos conjuntos de dados (por exemplo, mulheres grávidas, devido a restrições éticas) ou porque são incorreta ou inadequadamente categorizados em grupos (por exemplo, categorias de "etnicidade mista" ou "outro").

As causas de raiz para isto podem incluir razões sociais, técnicas, ou jurídicas/éticas, tais como barreiras estruturais ao acesso aos cuidados de saúde, obstáculos técnicos à captura ou digitalização de dados de saúde relevantes, limitações individuais e estruturais relativas ao consentimento para partilha de dados, e restrições legais ou éticas à partilha de dados que impedem a acessibilidade dos dados, entre outras (Arora et al., 2023). 

Quando os sistemas de IA são calibrados com base em tais benchmarks, podem ter um desempenho fraco para indivíduos de grupos sub-representados, sem que isso seja detetado durante o desenvolvimento, o que significa que um sistema pode aparentemente ter um bom desempenho nos testes, enquanto falha sistematicamente populações específicas de doentes na utilização clínica real.

Nota: Enquanto o bias de representação ocorre quando certos grupos estão ausentes dos dados de treino, afetando o que o modelo aprende, o bias de avaliação ocorre quando esses grupos estão ausentes dos dados de teste, afetando a capacidade de detetar falhas do modelo.

Bias de Implantação

O bias de implantação surge quando há uma discrepância entre o que um modelo de IA foi concebido para fazer e como é efetivamente utilizado na prática. Isto pode causar danos, especialmente quando combinado com tendências cognitivas humanas como o bias de confirmação (a tendência para favorecer informação que confirma crenças existentes) ou o bias de automação (a tendência para depender excessivamente de recomendações automatizadas). Em consequência, um sistema que teve um bom desempenho no seu contexto de desenvolvimento original pode produzir resultados injustos ou inexatos quando aplicado num contexto clínico ou população de doentes diferente.

Resumos dos Tipo de Bias

Agora que está familiarizado com os diferentes tipos de bias e os mecanismos subjacentes aos sistemas de IA enviesados, o Módulo 3 aproximará estes conceitos da realidade clínica, examinando os bias de género e raciais específicos que foram documentados na IA biomédica, com um foco particular nas doenças cardiovasculares, na diabetes, e na depressão.

A seguir: Módulo 3

Referências

Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). The value of standards for health datasets in artificial intelligence-based applications. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w

Bagdasaryan, E., & Shmatikov, V. (2019). Differential Privacy Has Disparate Impact on Model Accuracy (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101

Calderone, K. L. (1990). The influence of gender on the frequency of pain and sedative medication administered to postoperative patients. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259

Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Are older adults insufficiently included in clinical trials? An umbrella review. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536

Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561

Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). Bias in, bias out: Underreporting and underrepresentation of diverse skin types in machine learning research for skin cancer detection-A scoping review. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884

Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342

Suresh, H., & Guttag, J. (2021). A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305