Verstehen von Bias in KI-Systemen

Wenn wir von Bias in der KI sprechen, beziehen wir uns auf etwas sehr Spezifisches, definiert als ein Begriff, der sich auf „Computersysteme bezieht, die bestimmte Personen oder Gruppen systematisch und ungerechtfertigt zugunsten anderer diskriminieren. Ein System diskriminiert ungerechtfertigt, wenn es einer Person oder Gruppe eine Chance verweigert oder ihr ein unerwünschtes Ergebnis zuweist, und zwar aus Gründen, die unvernünftig oder unangemessen sind“ (Friedman & Nissenbaum, 1996). Darüber hinaus lassen sich Bias in Computersystemen in drei Kategorien unterteilen: bereits vorhandene Bias, technische Bias und neu entstehende Bias (Friedman & Nissenbaum, 1996).

Empirische Untersuchungen haben gezeigt, dass solche Bias im klinischen Kontext schwerwiegende Folgen haben können. Studien belegen anhaltende Ungleichheiten bei der Diagnose und Behandlung schwerwiegender Erkrankungen.

Mehrere Mechanismen können zu diesen verzerrten Ergebnissen bei der KI-gestützten Entscheidungsfindung im Gesundheitswesen führen, darunter Ungleichgewichte in den Trainingsdaten, Messfehler bei klinischen Variablen, ungeeignete Ersatzindikatoren sowie Unterschiede zwischen den Umgebungen, in denen KI-Systeme entwickelt werden, und den realen Umgebungen, in denen sie eingesetzt werden.

Bias kann auch entstehen, wenn KI-Systeme in klinische Arbeitsabläufe eingeführt werden, ohne dass medizinisches Fachpersonal angemessen geschult wurde oder ohne robuste Mechanismen zur menschlichen Aufsicht und Rechenschaftspflicht, um ihre Leistung bei unterschiedlichen Patientengruppen zu überwachen.

Wie entsteht Bias?

Forscher haben drei große Kategorien von Bias identifiziert, die für alle Computersysteme gelten. Das Verstehen dieser Kategorien hilft Ihnen zu erkennen, wo im System ein Problem seinen Ursprung haben könnte:

Vorbestehendes  Bias

Diese Art von Bias rührt von bestehenden Ungleichheiten in sozialen Institutionen, Praktiken und Einstellungen her, die unabhängig sind und in der Regel bereits vor der Erstellung des Systems bestehen. Sie wird bewusst oder unbewusst in das System integriert, manchmal sogar dann, wenn Entwickler aktiv versuchen, sie zu vermeiden. Im Gesundheitswesen kann dies bedeuten, dass historische Muster der ungleichen Behandlung von Patienten aufgrund von Gender oder ethnischer Zugehörigkeit usw. in KI-Tools verankert werden, die auf diesen Daten trainiert wurden.

Technisches Bias

Technisches Bias entsteht durch die Einschränkungen und Überlegungen, die bei der Umsetzung komplexer menschlicher Realitäten in rechnerische Formen gemacht werden, beispielsweise wenn qualitative Informationen auf Zahlen reduziert werden oder wenn ein in einem klinischen Umfeld entwickelter Algorithmus in einem ganz anderen Umfeld angewendet wird. Dies kann dazu führen, dass das System bestimmte Gruppen unter bestimmten Bedingungen ungerecht behandelt.

Entstehendes Bias

Entstehendes Bias tritt nach der Einführung eines Systems auf, als Folge von Veränderungen im gesellschaftlichen Wissen, im kulturellen Kontext oder in der Patientenpopulation, die nicht in das Systemdesign einbezogen wurden oder nicht einbezogen werden konnten. Dies kann passieren, weil bestimmte Bevölkerungsgruppen in den Trainingsdaten fehlen, sei es aufgrund ethischer oder rechtlicher Einschränkungen, eingeschränkten Zugangs zur Gesundheitsversorgung oder weil relevante Identitätskategorien zum Zeitpunkt der Entwicklung noch nicht als klinisch signifikante Variablen anerkannt waren. Beispiele hierfür sind ältere Erwachsene mit mehreren Begleiterkrankungen, die aufgrund willkürlicher Altersgrenzen und Ausschlusskriterien für Multimorbidität häufig von klinischen Studien ausgeschlossen werden (Florisson et al., 2021), sowie nicht-binäre, transgender und intersexuelle Personen, deren Identitäten in den klinischen Datensystemen weitgehend fehlten, als viele der heutigen KI-Systeme entwickelt wurden (Hafner et al., 2024). Mit anderen Worten: Ein KI-System, das zum Zeitpunkt seiner Entwicklung fair funktionierte, kann voreingenommen werden, wenn sich die Welt um es herum verändert.

Bias in der KI-Pipeline

Während die drei oben genannten Kategorien für alle Computersysteme gelten, erfordern KI- und Machine-Learning-Anwendungen einen detaillierteren Rahmen. Betrachtet man die spezifischen Phasen der Erstellung und Nutzung eines KI-Modells (von der Datenerhebung bis zum Einsatz), lassen sich die folgenden sieben Arten von Bias identifizieren  (Suresh & Guttag, 2021).

Anmerkung: Diese sieben Arten von Bias schließen sich nicht gegenseitig aus, d. h., ein einzelnes KI-System kann gleichzeitig von mehreren betroffen sein, und sie können in den verschiedenen Phasen der Entwicklung und des Einsatzes miteinander interagieren und sich gegenseitig verstärken.

Historisches Bias

Historisches Bias entspricht dem von (Friedman & Nissenbaum, 1996) definierten vorbestehenden Bias und spiegelt Vorurteile und Stereotypen wider, die bereits in den zum Trainieren der KI verwendeten Daten vorhanden sind. Selbst wenn die Daten technisch korrekt sind, können sie Muster ungleicher Behandlung enthalten. Ein Beispiel findet sich in (Calderone, 1990), wo untersucht wird, ob die Häufigkeit der Verabreichung von Schmerz- und Beruhigungsmitteln an Patienten nach einer koronaren Bypass-Operation (CABG) je nach Gender und Alter der Patienten variiert. Das Ergebnis zeigte, dass männlichen Patienten und Patienten im Alter von 61 Jahren oder jünger signifikant häufiger Schmerzmittel verabreicht wurden als weiblichen Patienten und Patienten im Alter von 62 Jahren und älter, denen stattdessen signifikant häufiger Beruhigungsmittel verabreicht wurden. Eine auf solchen Daten trainierte KI würde diese Ungleichheit lernen und reproduzieren. 

Repräsentationsbias

Ein Repräsentationsbias entsteht, wenn die zum Trainieren der KI verwendeten Daten bestimmte Bevölkerungsgruppen unterrepräsentieren. Dies kann auf folgende Weise geschehen: 

• Bei der Definition der Zielpopulation, wenn diese nicht die Nutzerpopulation widerspiegelt;

• Wenn die Zielpopulation bei ihrer Definition unterrepräsentierte Gruppen enthält; 

• Wenn bei der Stichprobenentnahme aus der Zielpopulation die Stichprobenmethode begrenzt oder ungleichmäßig ist. 

Infolgedessen liefert das Modell gute Ergebnisse für Gruppen, die in den Daten gut vertreten sind, aber schlechte Ergebnisse für diejenigen, die es nicht sind. Ein typisches Beispiel für Repräsentationsbias betrifft die Erkennung von Hautkrebs: Viele Bilddatensätze bestehen überwiegend aus Bildern von hellhäutigen Personen, was dazu führt, dass KI-Modelle bei der Beurteilung von Patienten mit anderen Hautfarben deutlich weniger genau sind  (Guo et al., 2021). 

Messungsbias

Messungsbias tritt bei der Auswahl, Erfassung oder Berechnung von Merkmalen und Labels auf, die in einem Vorhersageproblem verwendet werden sollen, insbesondere bei der Verwendung eines Proxys (einer indirekten Messgröße). Ein Beispiel findet sich in einer Studie von (Obermeyer et al. 2019), in der Gesundheitskosten als Proxy für den Gesundheitsbedarf der Patienten verwendet wurden. Da schwarze Patienten, die mit überproportionaler Armut konfrontiert sind, tendenziell weniger für die Gesundheitsversorgung ausgeben als gleich kranke weiße Patienten, kam der Algorithmus fälschlicherweise zu dem Schluss, dass schwarze Patienten gesünder seien, und stufte sie folglich als weniger vorrangig für die Versorgung ein.

Messungsbias kann auch auftreten, wenn die Messmethode zwischen den Gruppen variiert, beispielsweise wenn zwei Gruppen hinsichtlich desselben Verhaltens beobachtet werden, eine davon jedoch strenger oder häufiger überwacht wird als die andere. Untersuchungen haben beispielsweise gezeigt, dass Ärzte die Schmerzen schwarzer Patienten im Vergleich zu nicht-schwarzen Patienten aufgrund falscher Annahmen über biologische Unterschiede eher unterschätzen, was dazu führt, dass schwarze Patienten mit geringerer Wahrscheinlichkeit eine angemessene Schmerzmedikation erhalten (Hoffman et al., 2016). 

Aggregationsbias

Aggregationsbias tritt auf, wenn ein Einheitsmodell für einen Datensatz verwendet wird, der verschiedene Gruppen von Menschen oder Dingen umfasst, wobei bedeutende Unterschiede zwischen den Bevölkerungsgruppen ignoriert werden. Was ein Datenpunkt bedeutet oder wie eine klinisch angemessene Reaktion aussieht, kann je nach Bevölkerung, Kultur oder sozioökonomischem Kontext erheblich variieren. Man kann sich das Beispiel vorstellen, dass Eingabedaten (z. B. das Einkommen einer Person) Labels zugeordnet werden, die diese beschreiben (z. B. niedrig, mittel, hoch), wobei angenommen wird, dass diese über alle Teilmengen der Daten hinweg konsistent sind. In Wirklichkeit kann der Hintergrund oder die Kultur einer Person die tatsächliche Bedeutung dieser Zahlen verändern. Wenn KI-Modelle dies nicht berücksichtigen, besteht die Gefahr, dass sie Ergebnisse liefern, die für manche Patienten angemessen, für andere jedoch irreführend oder schädlich sind. 

Bias beim Lernen

Bias entstehen durch Entscheidungen, die beim Aufbau und der Optimierung des KI-Modells selbst getroffen werden und die bestehende Ungleichheiten in den Daten verstärken können. Ein Beispiel betrifft die differentielle Privatsphäre, einen in KI-Systemen verwendeten Mechanismus, der sicherstellt, dass anhand der Systemausgabe nicht festgestellt werden kann, ob die Daten einer bestimmten Person im ursprünglichen Datensatz enthalten waren. Obwohl dies zum Schutz der Patientendaten in Gesundheitsdatensätzen eingesetzt wird, ist es bei seltenen Krankheiten – bei denen der Fall jedes Patienten in einem begrenzten, von einer Klinik abgedeckten Gebiet mehr oder weniger einzigartig ist – selbst bei anonymisierten Daten nicht sehr schwierig, die Identität der Person zu ermitteln. Darüber hinaus hat sich gezeigt, dass Differential Privacy den Einfluss unterrepräsentierter Gruppen auf ein Modell verringert. Sind die zugrunde liegenden Daten also bereits mit Bias belastet, können solche Maßnahmen diesen Bias unbeabsichtigt noch verstärken (Bagdasaryan & Shmatikov, 2019). Für Fachkräfte im Gesundheitswesen lautet die wichtigste Erkenntnis, dass Bias nicht nur durch Daten, sondern auch durch technische Entscheidungen während der Modellentwicklung entsteht oder verstärkt werden kann – Entscheidungen, die für Endnutzer möglicherweise nicht sichtbar oder transparent sind.

Evaluationsbias

Evaluationsbias tritt auf, wenn die für eine bestimmte Aufgabe verwendeten Benchmark-Daten nicht repräsentativ für die Nutzerpopulation sind. Benchmarks sind standardisierte Datensätze, die zur Messung der Modellqualität dienen und einen quantitativen Vergleich von Modellen ermöglichen. Im Gesundheitswesen sind bestimmte Gruppen in Benchmark-Datensätzen häufig unterrepräsentiert, entweder weil sie in den Datensätzen fehlen (z. B. schwangere Frauen aufgrund ethischer Einschränkungen) oder weil sie falsch oder unangemessen in Gruppen eingeteilt werden (z. B. in Kategorien wie „gemischte ethnische Zugehörigkeit“ oder „Sonstige“). 

Zu den Ursachen hierfür können soziale, technische oder rechtliche/ethische Gründe gehören, wie beispielsweise strukturelle Hindernisse beim Zugang zur Gesundheitsversorgung, technische Hindernisse bei der Erfassung oder Digitalisierung relevanter Gesundheitsdaten, individuelle und strukturelle Einschränkungen hinsichtlich der Einwilligung zur Datenweitergabe sowie rechtliche oder ethische Beschränkungen der Datenweitergabe, die den Datenzugriff verhindern (Arora et al., 2023). 

Wenn KI-Systeme anhand solcher Benchmarks kalibriert werden, können sie bei Personen aus unterrepräsentierten Gruppen schlechte Ergebnisse liefern, ohne dass dies während der Entwicklung jemals erkannt wird. Das bedeutet, dass ein System in Tests scheinbar gut funktioniert, während es in der realen klinischen Anwendung bei bestimmten Patientengruppen systematisch versagt.

Bias im Einsatz

Bias im Einsatz entsteht, wenn eine Diskrepanz zwischen dem, wofür ein KI-Modell entwickelt wurde, und seiner tatsächlichen Anwendung in der Praxis besteht. Dies kann Schaden anrichten, insbesondere in Verbindung mit menschlichen kognitiven Tendenzen wie der Bestätigungsverzerrung (der Neigung, Informationen zu bevorzugen, die bestehende Überzeugungen bestätigen) oder der Automatisierungsverzerrung (der Neigung, sich zu sehr auf automatisierte Empfehlungen zu verlassen). Infolgedessen kann ein System, das in seinem ursprünglichen Entwicklungskontext gute Leistungen erbracht hat, unfaire oder ungenaue Ergebnisse liefern, wenn es in einem anderen klinischen Umfeld oder bei einer anderen Patientengruppe eingesetzt wird..

Arten von Bias im Überblick

Nachdem Sie nun mit den verschiedenen Arten von Bias und den Mechanismen hinter voreingenommenen KI-Systemen vertraut sind, wird Modul 3 diese Themen näher an die klinische Praxis heranführen und den Fokus auf die spezifischen geschlechts- und rassenspezifischen Bias legen, die in der biomedizinischen KI dokumentiert wurden, wobei ein besonderer Fokus auf Herz-Kreislauf-Erkrankungen, Diabetes und Depressionen liegt.

Weiter: Modul 3

Literaturverzeichnis

Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). The value of standards for health datasets in artificial intelligence-based applications. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w

Bagdasaryan, E., & Shmatikov, V. (2019). Differential Privacy Has Disparate Impact on Model Accuracy (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101

Calderone, K. L. (1990). The influence of gender on the frequency of pain and sedative medication administered to postoperative patients. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259

Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Are older adults insufficiently included in clinical trials? An umbrella review. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536

Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561

Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). Bias in, bias out: Underreporting and underrepresentation of diverse skin types in machine learning research for skin cancer detection-A scoping review. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884

Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342

Suresh, H., & Guttag, J. (2021). A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305