Was ist ein Regulierungsmodell?

Wie in Modul 4 dargelegt, ist der EU-Rechtsrahmen für KI im Gesundheitswesen komplex, vielschichtig und entwickelt sich rasch weiter. Ethische Prinzipien und rechtliche Anforderungen allein reichen jedoch nicht aus; sie müssen in konkrete, operative Prozesse umgesetzt werden, die Gesundheitseinrichtungen in ihrer täglichen Praxis tatsächlich anwenden können.

Genau dafür ist das AEQUITAS-KI-Regulierungsmodell konzipiert. Es bietet Kliniken und zivilgesellschaftlichen Organisationen einen praktischen Governance-Rahmen, der den gesamten Lebenszyklus von KI-Systemen abdeckt, von der Beschaffung und Validierung bis hin zum Einsatz, zur Überwachung und zur Rechenschaftspflicht. Durch die Einbettung des Schutzes der Grundrechte in operative Prozesse zielt dieser Rahmen darauf ab, das Risiko gender- und rassenspezifischer Verzerrungen bei KI-gestützten Entscheidungen im Gesundheitswesen zu verringern und zu gerechteren Gesundheitsergebnissen in der gesamten EU beizutragen. Darüber hinaus bietet das Dokument eine Reihe praktischer Leitlinien, operativer Tools und Hilfsmittel, die Kliniken und zivilgesellschaftliche Organisationen an unterschiedliche nationale Kontexte anpassen können, um das Modell in der Praxis konsistent umzusetzen.

Das Modell orientiert sich an Governance-Ansätzen, die sich in anderen Hochrisikosektoren bewährt haben. Fachkräfte im Gesundheitswesen werden die Logik der Pharmakovigilanz wiedererkennen, also die systematische Erfassung und Analyse von Nebenwirkungen von Arzneimitteln, die eine solide Vorlage für das bildet, was das AEQUITAS-Modell als „KI-Vigilanz“-System bezeichnet: ein vergleichbares System zur Meldung und Analyse von Vorfällen im Zusammenhang mit KI-gestützten klinischen Entscheidungen, mit besonderem Augenmerk auf Gerechtigkeitsergebnisse. Ebenso lässt sich die aus der Luftfahrt inspirierte Patientensicherheitskultur in Kliniken, die auf der Erkennung von Gefahren, der Meldung von Vorfällen und der kontinuierlichen Verbesserung basiert, direkt auf die Logik des Lebenszyklus-Risikomanagements übertragen, die im „AI Act“ und in diesem Regulierungsmodell verankert ist.

Der Grundrechtsrahmen, auf dem das Modell basiert, ist die Charta der Grundrechte der Europäischen Union  (EU Charter of Fundamental Rights, 2009), insbesondere:

• Artikel 1 (Würde des Menschen): KI-Tools müssen so eingesetzt werden, dass das menschliche Urteilsvermögen gewahrt bleibt und die Autonomie der Patienten respektiert wird. In der Praxis erfordert dieses Prinzip Schutzmaßnahmen gegen eine übermäßige Abhängigkeit von automatisierten Empfehlungen, Mechanismen zur Anfechtung KI-gestützter Entscheidungen sowie klinische Aufsichtsstrukturen, die Bias bei der Automatisierung verhindern.

• Artikel 20 und 21 (Gleichheit vor dem Gesetz und Nichtdiskriminierung): Kliniken müssen die KI-Leistung über verschiedene Patientengruppen hinweg (einschließlich Gender, Rasse oder ethnischer Zugehörigkeit) überwachen und Korrekturmaßnahmen ergreifen, wenn Ungleichheiten bei der Leistung oder den Ergebnissen festgestellt werden. Solche Maßnahmen sollten durch Modellanpassungen, Änderungen der klinischen Arbeitsabläufe oder alternative Entscheidungswege umgesetzt werden, um sicherzustellen, dass der Einsatz von KI keine strukturellen Ungleichheiten verfestigt.

• Artikel 35 (Gesundheitsschutz): KI-Systeme dürfen nur dort eingesetzt werden, wo sie nachweislich zu einer sicheren, wirksamen und gerechten Gesundheitsversorgung beitragen. KI-Technologien sollten keine neuen Hindernisse für die Versorgung schaffen oder bestehende Ungleichheiten verschärfen, von denen historisch marginalisierte Gemeinschaften betroffen sind, und sollten kontinuierlich auf ihre Auswirkungen auf historisch unterversorgte oder anderweitig benachteiligte Patientengruppen hin überprüft werden.

Governance-Rahmenwerke für verantwortungsvolle KI im Gesundheitswesen

Mehrere internationale Governance-Rahmenwerke bilden die Grundlage für das AEQUITAS-Regulierungsmodell. Innerhalb der EU bilden europäische Rechtsinstrumente wie der „AI Act“, die MDR/IVDR, die DSGVO und der EHDS die primäre Rechtsgrundlage. Die in dieser Sektion behandelten zusätzlichen Rahmenwerke ergänzen diese europäische Grundlage durch praktische Umsetzungsleitlinien und sollen daher keine außereuropäischen Ansätze ersetzen oder diesen Vorrang einräumen. Als medizinische Fachkraft müssen Sie kein Experte für diese Rahmenwerke sein, doch deren Kenntnis hilft Ihnen, den breiteren Kontext zu verstehen, in dem die KI-Governance-Verpflichtungen Ihrer Einrichtung stehen

ISO/IEC-Normen der Internationalen Organisation für Normung

Mehrere ISO/IEC-Normen unterstützen eine verantwortungsvolle KI-Governance im Gesundheitswesen (International Organization for Standardization, 2023). ISO/IEC 42001 legt Anforderungen an ein organisatorisches KI-Managementsystem fest und unterstützt die Integration von Fairness- und Nichtdiskriminierungsprinzipien in Richtlinien und Risikokontrollen. ISO/IEC 23894 bietet Leitlinien zur Integration des Risikomanagements in die Entwicklung und den Einsatz von KI, einschließlich der Risiken unverhältnismäßiger Auswirkungen auf verschiedene Bevölkerungsgruppen. ISO 14971 definiert Risikomanagement-Prinzipien, die in der Regulierung von Medizinprodukten weit verbreitet sind und auf ungleiche Leistungsergebnisse bei disaggregierten Bevölkerungsgruppen ausgeweitet werden können.

Diese Normen sind wertvoll, da sie eine Managementsystemstruktur vorschlagen, die Kliniken übernehmen können, und eine gemeinsame Sprache bieten, durch die Anforderungen in Bezug auf Gerechtigkeit (wie die Bewertung nach Bevölkerungsgruppen und die Minderung von Bias) bei der Beschaffung und bei Vertragsabschlüssen mit Lieferanten festgelegt werden können.

ALTAI – Bewertungsliste für vertrauenswürdige künstliche Intelligenz

ALTAI wurde von der hochrangigen Expertengruppe für KI der Europäischen Kommission entwickelt und ist ein freiwilliges Tool zur Selbstbewertung, das die Ethikleitlinien der Europäischen Kommission für vertrauenswürdige KI (European Commission, 2020) in die Praxis umsetzt. Sein fragengesteuertes Format lässt sich in praktische Checklisten für die Beschaffung und den Einsatz umsetzen und regt Kliniker, IT-Spezialisten und Manager von Kliniken dazu an, Aspekte wie die Repräsentativität der Trainingsdaten, das Risiko unterschiedlicher klinischer Ergebnisse und die Angemessenheit von Schutzmaßnahmen gegen diskriminierende Auswirkungen zu berücksichtigen..

WHO-Prinzipien für KI im Gesundheitswesen

Die Weltgesundheitsorganisation hat sechs Kernprinzipien für KI im Gesundheitswesen formuliert: Autonomie, Wohlbefinden, Erklärbarkeit, Verantwortung, Gerechtigkeit und Reaktionsfähigkeit (World Health Organization, 2021). Das Prinzip der Gerechtigkeit erfordert ausdrücklich die Berücksichtigung von Unterschieden beim Zugang, bei der Leistung und bei den Ergebnissen in verschiedenen Patientengruppen, einschließlich genderspezifischer sowie rassebezogener oder ethnischer Unterschiede

AI Risk Management Framework (AI RMF) des National Institute of Standards and Technology (NIST)

Dieses vom US-amerikanischen National Institute of Standards and Technology entwickelte Rahmenwerk strukturiert das KI-Risikomanagement rund um Governance, Risikokartierung, Risikomessung und Risikomanagement über den gesamten KI-Lebenszyklus hinweg  (National Institute of Standards and Technology, 2023). Es erkennt Fairness und schädliche Voreingenommenheit ausdrücklich als zentrale Dimensionen vertrauenswürdiger KI an und ermutigt Organisationen, im Rahmen von Risikokartierungs- und -messungsprozessen unterschiedliche Auswirkungen auf verschiedene demografische Gruppen, einschließlich Gender und ethnischer Zugehörigkeit, zu bewerten. Für Kliniken liegt die operative Stärke des AI RMF in seiner Fähigkeit, in konkrete Praktiken umgesetzt zu werden, wie beispielsweise definierte Rollen für die Überwachung der Gleichbehandlung, die methodische Bewertung der Leistung nach aufgeschlüsselten Bevölkerungsgruppen und dokumentierte Strategien zur Risikominderung, wobei es vollständig den europäischen rechtlichen Anforderungen und den Grundrechts-Prinzipien untergeordnet bleibt

Das AEQUITAS-Regulierungsmodell

Das AEQUITAS-Regulierungsmodell strukturiert die KI-Governance anhand einer Reihe von obligatorischen Lebenszyklus-Kontrollpunkten, also klaren Entscheidungspunkten, die Kliniken vor, während und nach der Einführung eines KI-Systems durchlaufen müssen. Diese Kontrollpunkte spiegeln die Regulierungslogik des „AI Act“ und der damit verbundenen Gesundheitsgesetzgebung wider und bieten gleichzeitig einen klaren und überprüfbaren Governance-Pfad. Das Modell geht davon aus, dass die Klinik in der Regel ein Einsatzort (im Sinne des „AI Act“) und ein Gesundheitsdienstleister im Sinne des nationalen Gesundheitsrechts ist, behandelt aber auch den Fall, dass die Klinik eigene KI-Tools intern entwickelt.

Die Umsetzung dieses Regulierungsmodells folgt einem Verhältnismäßigkeitsprinzip, das anerkennt, dass Kliniken und zivilgesellschaftliche Organisationen in den verschiedenen Mitgliedstaaten und Gesundheitssystemen über unterschiedliche technische, organisatorische und analytische Kapazitäten verfügen können. Während verbindliche Mindestanforderungen einheitlich gelten, um grundlegende Sicherheits-, Transparenz- und Gerechtigkeitsgarantien zu gewährleisten, können fortgeschrittene Praktiken – wie erweiterte, disaggregierte Bevölkerungsgruppenanalysen, externe Audits und ausgefeilte Tools zur Überwachung von Bias – schrittweise eingeführt werden, je nach den technischen, organisatorischen und analytischen Kapazitäten der einzelnen Einrichtungen.

Die fünf Lebenszyklus-Gateways

Gate 1 – Umfang und Klassifizierung (vor der Beschaffung oder Entwicklung)

Der erste Schritt besteht darin, den regulatorischen Status des in Betracht gezogenen KI-Tools zu bestimmen. Das bedeutet, zu beurteilen, ob das System als Medizinprodukt-Software gemäß der MDR oder IVDR gilt, ob es ein KI-System mit hohem Risiko gemäß des „AI Act“ darstellt oder ob es in eine Kategorie mit geringerem Risiko fällt, die dennoch eine behördliche Aufsicht erfordert.

In dieser frühen Phase sollten Kliniken Tools kennzeichnen, deren Verwendungszweck möglicherweise erhöhte Auswirkungen auf die Gleichbehandlung hat oder verschiedene Patientengruppen betrifft, wobei zu beachten ist, dass diese in späteren Phasen eine detailliertere Bewertung hinsichtlich gender- und ethnischer Bias erfordern.

Gate 2 – Vor der Beschaffung und Vertragsabschluss (vor der Unterzeichnung mit einem Lieferanten)

Die Beschaffung ist oft der Zeitpunkt, an dem Kliniken den größten Einfluss auf die KI-Governance haben. In dieser Phase sollten Lieferanten vertraglich verpflichtet werden, Gerechtigkeitsrisiken, einschließlich Genders- und rassenspezifischer Bias, während des gesamten KI-Lebenszyklus zu berücksichtigen.

Beschaffungsverträge sollten von den Anbietern mindestens Folgendes verlangen:

• Nachweise zur Zusammensetzung der Trainingsdaten, einschließlich der genderlichen und ethnischen Repräsentation, um die Bewertung der Repräsentativität und des Risikos von Bias zu unterstützen;

• Informationen zur Datenherkunft, einschließlich der Angabe, ob es sich um proprietäre oder nicht-proprietäre Datensätze handelt, ihrer Zugangsbedingungen sowie der Auswirkungen auf Transparenz, unabhängige Validierung und die Bewertung von gender- und rassenspezifischen Bias;

• Aufgeschlüsselte Leistungsergebnisse nach Bevölkerungsgruppen, einschließlich nach gender und ethnischen Gruppen stratifizierter Ergebnisse, Dokumentation bekannter Ungleichheiten sowie während der Entwicklung angewandter Maßnahmen zur Verringerung von Biasen;

• Protokollierungs- und Überprüfbarkeitsfunktionen zur Unterstützung unabhängiger Bias-Prüfungen;

• Klare Verpflichtungen zur Reaktion auf Vorfälle im Zusammenhang mit Bias, die den Anbieter verpflichten, festgestellte Fehler oder Ungleichheiten, die genderspezifische oder ethnische Gruppen betreffen, zu melden und Maßnahmen zur Behebung darzulegen;

• Klare Zuweisung von Verantwortlichkeiten, in der die Pflichten des Anbieters und des Betreibers hinsichtlich der Einhaltung der Anforderungen des „AI Act“ sowie des Managements von Risiken im Zusammenhang mit Gerechtigkeit und Bias festgelegt sind.

• .

Gate 3 - Validierung (vor der Einbindung in klinische Arbeitsabläufe)

Bevor ein KI-System in klinische Arbeitsabläufe integriert und bei echten Patienten eingesetzt wird, muss es unabhängig evaluiert werden. Die Validierung sollte sowohl die Gesamtleistung als auch die Ergebnisse nach Populationen aufschlüsseln, wobei besonderes Augenmerk auf Gender und ethnische Gruppen zu legen ist. Dieser Schritt ist entscheidend, da biomedizinische KI-Systeme unterschiedliche Leistungen bei verschiedenen Populationen zeigen können, wenn die Trainingsdaten nicht repräsentativ sind oder wenn kontextuelle Unterschiede zwischen Entwicklungs- und Einsatzumgebungen übersehen werden  (Rajkomar et al., 2018).

Die Validierung sollte alle angewandten Abhilfemaßnahmen dokumentieren und verbleibende Gerechtigkeitsrisiken aufzeigen, um der Klinik die Grundlage für eine fundierte Entscheidung über den Einsatz zu liefern. Eine erneute Validierung sollte immer dann erfolgen, wenn das System an einem neuen Standort eingesetzt wird, auf eine andere Patientengruppe angewendet wird, an neue Geräte oder Protokolle angeschlossen wird, vom Anbieter aktualisiert wird oder Anzeichen einer Leistungsabweichung zeigt.

Gate 4 - Einsatz (vor der Inbetriebnahme) 

Sobald ein System die Validierung bestanden hat, stellt die Einführungsphase sicher, dass die Betriebsbedingungen für eine sichere, gerechte und verantwortungsvolle Nutzung gegeben sind. Dazu gehören:

• die Zuweisung von geschultem Aufsichtspersonal;

• die Implementierung von Mechanismen, die sicherstellen, dass Ärzte KI-Empfehlungen außer Kraft setzen oder deaktivieren können;

• Sicherstellen, dass die Nutzer den beabsichtigten Zweck des Systems, seine Grenzen und alle bekannten Leistungsaspekte in Bezug auf bestimmte Bevölkerungsgruppen verstehen;

• die Information der Ärzte über mögliche Abweichungen in den Ergebnissen entlang Gendersspezifischer- sowie rassebezogener oder ethnischer Linien;

• Sicherstellung, dass Patienten darüber informiert werden, wenn KI-gestützte Tools bei ihrer Versorgung eingesetzt werden;

Gate 5 -Überwachung, Prüfung und Rechenschaftspflicht (während des gesamten Einsatzzyklus)

Die letzte Kontrollinstanz regelt die fortlaufende Phase nach der Einführung. Da KI-Systeme nicht statisch sind, ist eine kontinuierliche Überwachung unerlässlich, die die Gesamtleistung, Ungleichheiten zwischen einzelnen Bevölkerungsgruppen sowie Vorfälle in Bezug auf Sicherheit oder Gerechtigkeit abdeckt.

Kliniken sollten Protokolle über den Systembetrieb führen, standardisierte Verfahren zur Meldung von Vorfällen einführen, die potenzielle gender- oder rassenspezifische Bias erfassen, und die Systemleistung regelmäßig durch Revalidierungsmaßnahmen neu bewerten.

Wenn Ungleichheiten oder Risiken auftreten, die bestimmte Bevölkerungsgruppen betreffen und nicht wirksam gemindert werden können, sollte das System angepasst, ausgesetzt oder außer Betrieb genommen werden. Die Ergebnisse sollten sowohl in die interne Steuerung als auch – wo angebracht – in einen breiteren Lernprozess auf Netzwerkebene einfließen, um wiederkehrende Bias-Effekte zu verhindern.

Praktische Tools und Governance-Instrumente für Kliniken

Das AEQUITAS-Regulierungsmodell bietet eine Reihe standardisierter, wiederverwendbarer Governance-Tools, die Kliniken an ihre nationalen Gegebenheiten anpassen können. Hier ein Überblick über die wichtigsten Tools:

Beschaffungs- und Vertragsphase

Paket für Beschaffung und Vertragsabschluss

Die EU-Arbeitsgruppe für KI-Beschaffung hat Mustervertragsklauseln veröffentlicht und diese an den „AI Act“ angepasst, wobei sie öffentliche Behörden ausdrücklich zur Verwendung dieser Klauseln ermutigt und Erläuterungen zur Umsetzung bereitstellt  (European Commission, 2025). Für KI im Gesundheitswesen können diese Klauseln in einen klinikspezifischen Anhang überarbeitet werden, um Risiken Genderspezifischer- und ethnischer Bias-Risiken zu bewerten und zu mindern. Dieser Anhang erfordert mindestens:

• eine standardisierte Berichterstattung über die Zusammensetzung der Trainingsdaten, einschließlich der Genderlichen und ethnischen Repräsentation, um die Bewertung der Repräsentativität und des Risikos von Bias zu unterstützen;

• Offenlegung der Datenherkunft, einschließlich der Angabe, ob es sich um proprietäre oder nicht-proprietäre Datensätze handelt, ihrer Zugangsbedingungen sowie der Auswirkungen auf Transparenz, unabhängige Validierung und die Bewertung von Genders- und rassenspezifischen Bias; 

• Offenlegung der aufgeschlüsselten Leistungsdaten der Bevölkerungsgruppen und der Validierungsnachweise, einschließlich nach Gender und ethnischen Gruppen stratifizierter Ergebnisse, Dokumentation bekannter Ungleichheiten, während der Entwicklung angewandter Maßnahmen zur Verringerung von Verzerrungen sowie unterstützender Validierungstests (einschließlich standortspezifischer Überlegungen in Bezug auf Gerechtigkeit und Fairness);

• Anforderungen an die Protokollierung und Überprüfbarkeit, um sicherzustellen, dass das System in der Lage ist, Nutzungsprotokolle zu erstellen, die unabhängige Überprüfungen auf Bias oder ungleiche Auswirkungen unterstützen können;

• Verpflichtungen zur Aktualisierung und Änderungskontrolle, die den Anbieter verpflichten, die Klinik über Modellaktualisierungen, Nachschulungen oder Änderungen der Arbeitsabläufe zu informieren und deren potenzielle Auswirkungen auf die Leistung in Bezug auf Gender und ethnische Zugehörigkeit zu dokumentieren;

• Verpflichtungen zur Reaktion auf Vorfälle im Zusammenhang mit Bias, die den Anbieter verpflichten, festgestellte Fehler oder Ungleichheiten, die genderspezifische oder ethnische Gruppen betreffen, zu melden und Maßnahmen zur Behebung darzulegen;

• Klare Zuweisung von Verantwortlichkeiten, in der die Verpflichtungen des Anbieters und des Einsatzbetreibers hinsichtlich der Einhaltung der Anforderungen des „AI Act“ sowie des Managements von Risiken im Zusammenhang mit Gleichbehandlung und Bias festgelegt werd

Validierungs- und Einsatzvorbereitunsgphasen

Die Richtlinie zur Verwaltung und Repräsentativität von Gesundheitsdaten

Alle Kliniken und zivilgesellschaftlichen Organisationen, die KI einsetzen, sollten eine formelle Richtlinie verabschieden, die sicherstellt, dass die für Trainings-, Feinabstimmungs- oder Betriebszwecke verwendeten Daten für die versorgten Bevölkerungsgruppen repräsentativ, vollständig und genau sind. Dies umfasst die Bewertung der demografischen Zusammensetzung, die Dokumentation unterrepräsentierter Genderer sowie ethnischer oder rassischer Gruppen und die Festlegung von Abhilfemaßnahmen, wo dies erforderlich ist.

Die Richtlinie sollte sowohl interne als auch extern bezogene Datensätze abdecken, einschließlich proprietärer und frei zugänglicher Daten, und die Überprüfung der Leistung nach Bevölkerungsgruppen sowie aller von den Anbietern angewandten Strategien zur Verringerung von Bias vorschreiben.

Diese Richtlinie dient als Prinzip vor der Einführung und fließt direkt in die kontinuierliche Überwachung, Prüfung und Rechenschaftspflicht ein.

Grundlagen der Cybersicherheit und KI-spezifisches Bedrohungsmodell

KI-Systeme in Kliniken können nicht nur anfällig für herkömmliche Angriffe wie Datenvergiftung, gegnerische Beispiele oder Modellumgehung sein, sondern auch für Manipulationen oder Fehler, die gender- oder rassenspezifische Bias verschärfen, beispielsweise durch eine unverhältnismäßige Beeinträchtigung unterrepräsentierter Bevölkerungsgruppen in Trainings- oder Betriebsdaten. 

Kliniken sollten daher eine Cybersicherheits-Baseline und ein KI-spezifisches Bedrohungsmodell etablieren, das neben technischen Bedrohungen auch Risiken durch Bias ausdrücklich berücksichtigt. Dieses fortlaufend aktualisierte Dokument dient als Checkliste vor der Bereitstellung, um die Umsetzung von Cybersicherheitskontrollen sicherzustellen, die mit der MDR und der IVDR, der organisatorischen Informationssicherheits-Governance (z. B. ISO/IEC 27001) sowie vorurteilssensiblen Bedrohungsmodellen und Testplänen im Einklang stehen  (Medical Device Coordination Group, 2020). Es unterstützt zudem die kontinuierliche Überwachung nach der Bereitstellung, um aufkommende technische und vorurteilsbezogene Risiken zu erkennen und proaktiv darauf zu reagieren. 

Durch die Umsetzung dieser Richtlinie können Kliniken die Systemresilienz stärken, die Fairness bei KI-gestützten Entscheidungsprozessen gewährleisten und die Einhaltung der Anforderungen des „AI Act“ (Art. 9–15) sowie der MDR/IVDR sicherstellen

Das KI-Systemdossier (pro Tool)

Das KI-Systemdossier ist ein standardisiertes, bias-bewusstes Dokument, das für jedes KI-System vor der Bereitstellung innerhalb einer Gesundheitsorganisation geführt wird. 

Das Dossier sollte alle Informationen zusammenfassen, die eine Klinik vor und während der Einführung über ein System wissen muss, einschließlich des Verwendungszwecks des Systems, der Integration in den klinischen Arbeitsablauf, der Validierungsergebnisse und der Leistungskennzahlen, wobei besonderes Augenmerk auf die nach Gender und ethnischer Herkunft aufgeschlüsselte Leistung sowie auf bekannte Ungleichheiten oder Maßnahmen zu deren Minderung zu legen ist.

Das KI-Systemdossier sollte als lebendes Dokument betrachtet werden, das aktualisiert wird, sobald neue Validierungsergebnisse, Leistungskennzahlen oder Strategien zur Verringerung von Bias vorliegen. Die Felder der Vorlage sind unterteilt in obligatorische Mindestanforderungen, die für alle Einrichtungen gelten, und empfohlene Vorgehensweisen für Einrichtungen mit größeren technischen und organisatorischen Kapazitäten.

Das Dossier deckt sieben Kernbereiche ab:

Durch den konsequenten Fokus auf Analysen, die nach Gender und ethnischer Herkunft aufgeschlüsselt sind, stellt das Dossier sicher, dass Risiken für die Gleichbehandlung vor dem Einsatz klar erkennbar sind, aktiv bewertet und angemessen gemindert werden. Das Dossier dient sowohl operativen als auch Governance-Zwecken: Es informiert das Personal der Kliniken über die Funktionalität und Grenzen des Systems, unterstützt behördliche Inspektionen und Audits und bietet eine strukturierte Dokumentation, die in die kontinuierliche Überwachung, Gleichbehandlungs- und Rechte-Audits sowie standortübergreifende Lerninitiativen einfließen kann.

Die vollständige Vorlage für das KI-Systemdossier, einschließlich aller Felder, Leitfäden und Tabellen, steht als herunterladbare Ressource zu diesem Modul zur Verfügung. Sie ist so konzipiert, dass sie an den nationalen Kontext und die Governance-Strukturen Ihrer Einrichtung angepasst werden kann.

Ein Glossar mit Schlüsselbegriffen und operativen Definitionen ist ebenfalls als herunterladbare Ressource zu diesem Modul verfügbar und bietet leicht verständliche Erklärungen der regulatorischen und technischen Terminologie, die im gesamten AEQUITAS-Regulierungsmodell verwendet wird.

Das kombinierte GRFA- und DPIA-Paket

Wie in Modul 4 dargelegt, sind öffentliche Kliniken, die risikoreiche KI-Systeme einsetzen, verpflichtet, sowohl eine Grundrechtsverträglichkeitsprüfung (GRFA) als auch, sofern zutreffend, eine Datenschutz-Folgenabschätzung (DPIA) durchzuführen. Das AEQUITAS-Modell fasst diese in einer einzigen Vorlage zusammen, wodurch der Verwaltungsaufwand reduziert wird und gleichzeitig sichergestellt wird, dass zentrale Fragen zu den betroffenen Bevölkerungsgruppen, potenziellen Schäden, Strategien zur Risikominderung und Beschwerdemechanismen systematisch behandelt werden, wobei besonderes Augenmerk auf Ungleichheiten gelegt wird, die genderspezifische sowie rassische oder ethnische Gruppen betreffen.

Dieses Paket dient in erster Linie als Kontrollpunkt vor der Einführung, sollte jedoch aktualisiert werden, wenn sich Risiken oder Systembedingungen während der Einführung ändern. Bei der Konzeption dieser Bewertungen wird eine sinnvolle Konsultation mit zivilgesellschaftlichen Organisationen empfohlen, um deren Fachwissen im Bereich der Rechte und die Perspektiven der betroffenen Gemeinschaften einzubeziehen.

Die Richtlinie zur Änderungskontrolle

Diese Richtlinie regelt Aktualisierungen von KI-Systemen, einschließlich des erneuten Trainings von Modellen, Software-Upgrades oder Änderungen am klinischen Arbeitsablauf. Sie definiert, was eine wesentliche Änderung darstellt, die eine erneute Validierung oder Genehmigung erfordert, und stellt sicher, dass Aktualisierungen vor ihrer Umsetzung auf ihre potenziellen Auswirkungen auf die Genderer- und Rassengleichheit geprüft werden.

Kliniken sollten außerdem sicherstellen, dass Ärzte und das zuständige Personal über Änderungen informiert werden, die sich auf die Behandlungsergebnisse für verschiedene Patientengruppen auswirken könnten, um angemessene Überwachungs- und Abhilfemaßnahmen zu ermöglichen.

Das Qualitätsmanagementsystem – Für Anwender, die gleichzeitig Betreiber

In Fällen, in denen das KI-System intern entwickelt oder angepasst wird und die Einrichtung als Hersteller oder Anbieter fungiert, sollten Qualitätsmanagementsysteme implementiert und technische Dokumentationen geführt werden, um nachzuweisen, dass das Tool spezifische Patientenbedürfnisse erfüllt, die durch kommerzielle Produkte nicht abgedeckt werden können  (Medical Device Coordination Group, 2023).

Das QMS sollte außerdem sicherstellen, dass KI-Ergebnisse auf unterschiedliche Leistungsmerkmale bei verschiedenen Gender und ethnischen Gruppen hin bewertet werden, dass Risikominderungsstrategien dokumentiert werden und dass Vorkehrungen zur menschlichen Aufsicht die Patientensicherheit und Fairness ausdrücklich gewährleisten. 

Selbst wenn regulatorische Ausnahmen für intern entwickelte Geräte gelten, bleiben die Verpflichtungen im Rahmen der Grundrechte und umfassenderer KI-Governance-Rahmenwerke uneingeschränkt relevant.

Phase der Überwachung, Prüfung und Rechenschaftspflicht

Der „Bericht über Leistung und Gerechtigkeit nach Bevölkerungsgruppen“

Kliniken sollten regelmäßig interne Analysen erstellen, aus denen hervorgeht, wie KI-Systeme in den relevanten demografischen Gruppen abschneiden (nach Gender und ethnischen Gruppen stratifiziert, sofern dies rechtmäßig und machbar ist). Wo Leistungsunterschiede bestehen, sollten Strategien zur Risikominderung dokumentiert und deren Wirksamkeit im Laufe der Zeit überwacht werden. Wichtige Ergebnisse sollten zusammengefasst und in das „Audit zu Gerechtigkeit und Rechten“ aufgenommen werden, um Transparenz und öffentliche Rechenschaftspflicht zu gewährleisten.

Das zweistufige Audit-System

Das AEQUITAS-Modell schlägt einen zweistufigen Audit-Ansatz vor:

• Technisches Audit: Eine vertrauliche operative Überprüfung, die Sicherheitstests, Robustheitsbewertungen, die Validierung der klinischen Leistung und die Einhaltung der Daten-Governance umfasst, mit besonderem Augenmerk auf die Leistung in verschiedenen Bevölkerungsgruppen, aufgeschlüsselt nach Gender und rassischer oder ethnischer Herkunft.

• Gerechtigkeits- und Rechte-Audit: Ein Audit mit Fokus auf Transparenz und Rechenschaftspflicht, das Ergebnisungleichheiten, in die Tests einbezogene Bevölkerungsgruppen, bekannte Einschränkungen und Beschwerdemechanismen dokumentiert, mit einer expliziten Analyse der Gender- und ethnisch bedingten Auswirkungen. Eine für die breite Öffentlichkeit bestimmte Zusammenfassung kann wichtige Ergebnisse, Strategien zur Risikominderung und umgesetzte Verbesserungen vermitteln, ohne geschützte oder vertrauliche Informationen preiszugeben

Das KI-Vigilanz-Protokoll

Inspiriert von Pharmakovigilanz-Systemen in der Arzneimittelregulierung (European Medicines Agency, 2017), bietet das KI-Vigilanz-Protokoll einen strukturierten Mechanismus für medizinisches Fachpersonal, um Vorfälle, Beinahevorfälle oder unerwartete Ergebnisse im Zusammenhang mit KI-gestützten Entscheidungen zu melden, wobei explizite Felder potenzielle genderspezifische oder rassische/ethnische Ungleichheiten erfassen. Die Berichte werden systematisch auf sich abzeichnende Muster analysiert, fließen in regelmäßige Gleichstellungs- und Rechte-Audits ein und unterstützen die kontinuierliche Verbesserung.

Das Trainingsmodul für die KlinikerInnen

Obligatorische Schulung, die darauf abzielt, medizinisches Fachpersonal mit den Fähigkeiten auszustatten, die Grenzen von KI-Systemen zu verstehen, Ergebnisse kritisch zu interpretieren und Systeme zu übersteuern oder anzuhalten, wenn die Ergebnisse zu Bias oder ungerechten Ergebnissen führen könnten. Dieses Modul unterstützt aktiv die Operationalisierung des Regulierungsmodells, indem es sicherstellt, dass das für die KI-Aufsicht zuständige Personal Überwachungs-, Validierungs- und Rechenschaftsprozeduren unter Berücksichtigung von Gerechtigkeitsaspekten kompetent umsetzen kann.

Das Training umfasst Kompetenzprüfungen und fallbasierte Übungen zur Erkennung und Minderung von genderspezifischen sowie rassebezogenen/ethnischen Ungleichheiten.

Das AEQUITAS-Netzwerk: Gemeinsames Lernen in ganz Europa

The AEQUITAS project has established a European network of CSOs and public hospitals that functions as a shared governance layer, providing common vocabulary, reporting standards, and a platform for cross-institutional learning about gender and racial bias in AI systems.

Für Fachkräfte im Gesundheitswesen bedeutet dieses Netzwerk, dass Vorfälle von Bias, aufgeschlüsselte Leistungsergebnisse nach Bevölkerungsgruppen und in Ihrer Einrichtung ermittelte Strategien zur Risikominderung zu einer umfassenderen, europaweiten Wissensbasis beitragen, von der Patienten in allen teilnehmenden Ländern profitieren. Mit der Weiterentwicklung des Europäischen Gesundheitsdatenraums (EHDS) ist dieses Netzwerk gut aufgestellt, um seine Praktiken im Bereich Datenaustausch und Lernen an neue EU-Rahmenbedingungen anzupassen und so einen gerechteren und transparenteren Einsatz von KI in allen Institutionen zu fördern.

Your Role Ihre Rolle als medizinisches Fachpersonala Healthcare Professional

Das AEQUITAS-Regulierungsmodell ist nicht nur ein Dokument für Klinikleiter, Beschaffungsbeauftragte oder Fachleute aus dem IT-Bereich. Es hat direkte Auswirkungen auf Sie als klinisches Fachpersonal. Hier finden Sie eine Zusammenfassung dessen, was dies in der Praxis bedeutet:

Dieses Modul schließt die Kerninhalte der AEQUITAS-Schulung ab. Sie haben nun die Grundlagen der biomedizinischen KI, die Arten und Mechanismen von Bias, die spezifischen Genders- und rassenspezifischen Ungleichheiten bei Herz-Kreislauf-Erkrankungen, Diabetes und Depressionen, den ethischen und rechtlichen Rahmen für KI im Gesundheitswesen sowie die praktischen Tools kennengelernt, die Ihnen dabei helfen, sich darin zurechtzufinden. Modul 6 stellt die AEQUITAS-Datenbank vor, ein konkretes Tool, das speziell entwickelt wurde, um Fachkräften im Gesundheitswesen dabei zu helfen, gender- und ethnisch bedingte Biases in der biomedizinischen KI bei Herz-Kreislauf-Erkrankungen, Diabetes und Depressionen zu erkennen und damit umzugehen, und zeigt Ihnen, wie Sie diese praktische Ressource in Ihrer täglichen klinischen Praxis nutzen können.

Weiter: Modul 6

Literaturverzeichnis

European Commission, Assessment List for Trustworthy Artificial Intelligence (ALTAI) – Self‑Assessment, Brussels: European Commission, 2020.

European Commission, Updated EU AI Model Contractual Clauses Now Available, Brussels: European Commission, 2025.

European Medicines Agency, GVP Module VI – Collection and Submission of Suspected Adverse Reactions (Rev 2), London: EMA, 2017.

European Union, Charter of Fundamental Rights of the European Union, 2012/C 326/02, Strasbourg: EU. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT

International Organization for Standardization, ISO/IEC 42001:2023 – Artificial Intelligence Management System, Geneva: ISO, 2023.

Medical Device Coordination Group, MDCG 2019‑16 Rev. 1 - Guidance on Cybersecurity for Medical Devices, Brussels: European Commission, 2020.

Medical Device Coordination Group, MDCG 2023‑1 – Guidance on Health Institution Exemption (MDR/IVDR), Brussels: European Commission, 2023.

National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), Gaithersburg, MD: NIST, 2023.

Rajkomar, A., Hardt, M., Howell, M. D., Corrado, G., & Chin, M. H., Ensuring Fairness in Machine Learning to Advance Health Equity, Annals of Internal Medicine, 169(12), 866-872, 2018.

World Health Organization, Ethics and Governance of Artificial Intelligence for Health, Geneva: WHO, 2021