В предходния модул бе разгледано, че правната рамка на ЕС за ИИ в здравеопазването е сложна, многослойна и бързоразвиваща се. Етичните принципи и правните изисквания сами по себе си обаче не са достатъчни — те трябва да бъдат преведени в конкретни, оперативни процеси, които здравните институции реално могат да прилагат в ежедневната си практика.
Точно за това в рамките на AEQUITAS е създаден регулаторният модел за ИИ. Той предоставя на болниците и гражданските организациите практическа рамка за управление, обхващаща целия жизнен цикъл на системите с ИИ — от възлагането на обществени поръчки и валидирането до внедряването, мониторинга и отчетността. Чрез интегриране на защитите на основните права в оперативните процеси, тази рамка има за цел да намали риска от полови и расови пристрастия в ИИ-базираното клинично вземане на решения и да допринесе за по-равнопоставени здравни резултати в ЕС. Освен това документът предлага набор от практически политики и инструменти, които болниците и гражданските организации могат да адаптират към различни национални контексти, за да прилагат модела последователно в реални условия.
Моделът се вдъхновява от управленски подходи, доказали своята ефективност в други високорискови сектори. Здравните специалисти ще разпознаят логиката на фармаковигиланса — систематичното събиране и анализ на нежелани лекарствени реакции, което предоставя силен аналог за това, което моделът AEQUITAS нарича система за „ИИ-вигиланса“: сравнима система за докладване и анализ на инциденти, включващи клинични решения, подпомагани от ИИ, с особен акцент върху резултатите по отношение на равнопоставеността. По подобен начин културата на безопасност на пациентите, възприета в болниците по модела на авиацията, се основава на идентифициране на рисковете, докладване на инциденти и непрекъснато усъвършенстване. Тези принципи съответстват пряко на подхода за управление на риска през целия жизнен цикъл на системите с ИИ, заложен в Акта за ИИ.
Правната рамка на основните права, която поддържа модела, е Хартата на основните права на ЕС, по-специално:
Член 1 (Човешко достойнство): инструментите с ИИ трябва да се използват по начин, който съхранява човешката преценка и уважава автономията на пациента. В оперативен смисъл този принцип изисква предпазни механизми срещу прекомерно разчитане на автоматизирани препоръки, механизми за оспорване на решения, подпомогнати от ИИ, както и структури за клиничен надзор, които предотвратяват пристрастия към автоматизацията.
Членове 20 и 21 (Равенство и недискриминация): Болниците трябва да наблюдават работата на системите с ИИ при различни групи пациенти (включително разграничени по биологичен и социален пол, расов произход или етническа принадлежност) и да прилагат коригиращи мерки, когато се открият неравенства в ефективността или резултатите. Такива мерки могат да включват адаптиране на модела, промени в клиничните процеси или алтернативни пътища за вземане на решения, като се гарантира, че внедряването на ИИ не затвърждава структурни неравенства.
Член 35 (Здравеопазване): системите с ИИ могат да бъдат внедрявани само когато доказуемо допринасят за безопасно, ефективно и справедливо предоставяне на здравни услуги. ИИ технологиите не трябва да създават нови бариери пред достъпа до грижи или да задълбочават съществуващи неравенства, засягащи исторически маргинализирани общности, и трябва да бъдат непрекъснато оценявани по отношение на тяхното въздействие върху исторически недостатъчно обслужвани или иначе неблагоприятно поставени групи пациенти.
Няколко международни рамки за управление информират регулаторния модел AEQUITAS. В рамките на ЕС основната правна основа се предоставя от европейски инструменти като Акта за ИИ, MDR/IVDR, GDPR и EHDS. Допълнителните рамки, разгледани в този раздел, допълват тази европейска основа с практически насоки за прилагане и следователно не са предназначени да заменят или да приоритизират неевропейски подходи. Като здравен специалист не е необходимо да сте експерт в тези рамки, но тяхното познаване Ви помага да разбирате по-широкия контекст, в който се намират задълженията на Вашата институция за управление на ИИ.
Стандарти на Международната организация по стандартизация
Няколко стандарта на Международната организация по стандартизация (ISO/IEC) подкрепят управлението на отговорен ИИ в здравеопазването (International Organization for Standardization, 2023). ISO/IEC 42001 определя изисквания за организационна система за управление на ИИ, като подпомага интегрирането на принципите за справедливост и недискриминация в политики и механизми за контрол на риска. ISO/IEC 23894 предоставя насоки за интегриране на управлението на риска в разработването и внедряването на ИИ, включително рисковете от непропорционални въздействия върху различни групи от населението. ISO 14971 дефинира принципи за управление на риска, широко използвани в регулацията на медицински изделия, които могат да бъдат разширени така, че да обхванат неравномерна ефективност между различни демографски групи.
Тези стандарти са ценни, тъй като предлагат структура на система за управление, която болниците могат да възприемат, и осигуряват общ език, чрез който изискванията, свързани с равнопоставеността (като оценка по демографски маркери и мерки за ограничаване на пристрастията), могат да бъдат конкретизирани при обществените поръчки и договорите с доставчици.
Контролен списък за надежден изкуствен интелект
Разработен от Групата на високо равнище на Европейската комисия по изкуствен интелект, Контролният списък за надежден изкуствен интелект (Assessment List for Trustworthy Artificial Intelligence - ALTAI) е доброволен инструмент за самооценка, който прилага на практика Етичните насоки на Европейската комисия за надежден изкуствен интелект (European Commission, 2020). Форматът му, базиран на въпроси, може да бъде адаптиран в практически контролни списъци за обществени поръчки и внедряване, като насърчава клиницисти, IT специалисти и болнични мениджъри да разглеждат въпроси като представителността на обучаващите данни, риска от неравномерни клинични резултати и адекватността на предпазните механизми срещу дискриминационни ефекти.
Принципи на Световната здравна организация за изкуствен интелект в здравеопазването
Световната здравна организация формулира шест основни принципа за ИИ в здравеопазването: автономия, благополучие, обяснимост, отговорност, равнопоставеност и адаптивност (World Health Organization, 2021). Принципът на равнопоставеност изрично изисква внимание към различията в достъпа, ефективността и резултатите между разнообразни групи пациенти, включително разграничени по биологичен и социален пол, расов произход или етническа принадлежност.
Рамка на Националния институт за стандарти и технологии на САЩ за управление на риска при изкуствения интелект
Разработена от Националния институт за стандарти и технологии на САЩ (NIST), Рамката на Националния институт за стандарти и технологии на САЩ за управление на риска при изкуствения интелект (AI Risk Management Framework – AI RMF) организира управлението на риска при системите с ИИ около четири основни направления: управление, идентифициране на рисковете, оценяване на рисковете и управление на рисковете през целия жизнен цикъл на системите с ИИ (National Institute of Standards and Technology, 2023). Тя изрично определя справедливостта и вредните системни пристрастия като основни характеристики на надеждния ИИ и насърчава организациите да оценяват различията във въздействието върху различни демографски групи, включително по биологичен и социален пол, както и по расов и етнически произход, като част от процесите по идентифициране и оценяване на риска.
За болниците практическата стойност на тази рамка се състои във възможността принципите на рамката да бъдат превърнати в конкретни организационни практики, като ясно определяне на отговорностите за надзор върху равнопоставеността, систематично оценяване на ефективността на системите по групи от населението и документиране на мерките за ограничаване на системните пристрастия, като същевременно се гарантира пълно съответствие с европейските правни изисквания и принципите за защита на основните права.
Регулаторният модел AEQUITAS структурира управлението на ИИ около поредица от задължителни контролни точки в жизнения цикъл на ИИ — конкретни моменти във времето за вземане на решения, през които болниците трябва да преминат преди, по време и след внедряването на система, базирана на ИИ. Тези точки отразяват регулаторната логика на Акта за ИИ на ЕС и свързаното здравно законодателство, като същевременно предоставят ясна и подлежаща на одит управленска рамка. Моделът приема, че болницата обикновено е внедрител по смисъла на Акта за ИИ и доставчик на здравни услуги съгласно националното здравно право, но също така обхваща и случаите, в които болницата разработва собствени инструменти с ИИ вътрешно.
Прилагането на този регулаторен модел следва принципа на пропорционалност, като признава, че болниците и гражданските организации могат да имат различни нива на технически, организационен и аналитичен капацитет в отделните държави членки и здравни системи. Докато минималните задължителни изисквания се прилагат еднакво, за да се гарантира базова безопасност, прозрачност и защита на равнопоставеността, напредналите практики — като разширен анализ по демографски групи, външен одит и по-сложни инструменти за мониторинг на пристрастията, могат да бъдат въвеждани постепенно, в зависимост от техническия, организационния и аналитичния капацитет на всяка институция.
📌 Какво представляват контролните точки в жизнения цикъл на ИИ? Можете да разглеждате това понятие като формална контролна точка, подобна на списък за безопасност, която трябва да бъде изпълнена и документирана преди преминаване към следващия етап от внедряването на система с ИИ. Всяка такава контролна точка е проектирана така, че да идентифицира потенциални рискове за равнопоставеността още преди те да засегнат пациентите.
Контролна точка 1 – Обхват и класификация (преди възлагане на поръчка или разработка)
Първата стъпка е определяне на регулаторния статус на разглеждания инструмент с ИИ. Това означава да се оцени дали системата се квалифицира като софтуер за медицинско изделие съгласно MDR или IVDR, дали представлява високорискова система с ИИ съгласно Акта за ИИ, или попада в по-нискорискова категория, която въпреки това изисква управленски надзор.
На този ранен етап болниците трябва да идентифицират инструментите, чието предназначение може да има засилени последици за равнопоставеността или да засяга разнообразни групи пациенти, като отбележат, че те ще изискват по-задълбочена оценка на половите и расовите пристрастия в по-късните етапи.
📌 Вашата роля на този етап: Ако участвате в обсъжданията за въвеждане на нов инструмент с ИИ във Вашето отделение, задавайте още в началото следните въпроси: За кого е проектирана тази система? Върху какви групи пациенти е била тествана? Отчита ли тя различията между биологичен и социален пол и расова или етническа принадлежност?
Контролна точка 2 – Предпоръчка и договор (преди подписване с доставчик)
Обществените поръчки често са моментът, в който болниците имат най-голям лост за влияние върху управлението на ИИ. На този етап от доставчиците трябва да се изисква договорно да поемат ангажимент за адресиране на рисковете за равнопоставеност, включително пристрастия по биологичен и социален пол или расов произход, през целия жизнен цикъл на системата с ИИ.
Договорите за възлагане на обществени поръчки трябва да изискват от доставчиците да предоставят, като минимум:
Доказателства за състава на обучаващите данни, включително представителност по демографски фактори като биологичен и социален пол и расов произход, с цел подпомагане на оценката на представителността и риска от пристрастия;
Информация за произхода на данните, условията за достъп до тях и последиците за прозрачността, независимата валидация и оценката на половите и расовите пристрастия;
Резултати за представяне по групи от населението, включително резултати, разграничени по билогичен и социален пол и расов или етнически произход, документация за установени различия и мерки за ограничаване на пристрастията, приложени по време на разработката;
Възможност за проследяване на действията и извършване на независими проверки за наличие на пристрастия;
Ясни ангажименти за реакция при инциденти, свързани с пристрастия, задължаващи доставчика да докладва установени грешки или неравенства, засягащи полови или расови/етнически групи, и да опише стъпките за тяхното отстраняване;
Ясно разпределение на отговорностите, което уточнява задълженията на доставчика и внедрителя по отношение на спазването на изискванията на Акта за ИИ и управлението на рисковете, свързани с равнопоставеност и пристрастия.
📌 Вашата роля на този етап: Като клиницист може да бъдете консултирани по време на обществената поръчка. Използвайте тази възможност, за да поставяте въпроси относно това как системата се представя при различни групи пациенти и какво се случва, когато тя генерира неочаквани или потенциално пристрастни резултати.
Контролна точка 3 – Валидация (преди влизане в клиничните работни процеси)
Преди всяка система с ИИ да бъде въведена в клиничните работни процеси и използвана с реални пациенти, тя трябва да бъде независимо оценена. Валидацията трябва да обхваща както общата ефективност, така и резултатите по демографски групи, с особено внимание към полови и расови/етнически групи. Тази стъпка е критична, тъй като биомедицинските ИИ системи могат да показват различна ефективност при различни групи, когато обучаващите данни не са представителни или когато контекстуалните различия между средата на разработка и тази на внедряване не са отчетени (Rajkomar et al., 2018).
Валидацията трябва да документира всички приложени мерки за ограничаване на пристрастията и да подчертае остатъчните рискове за равнопоставеност, като предоставя на болницата доказателства за информирано решение относно внедряването. Повторна валидация трябва да се задейства всеки път, когато системата бъде внедрена на ново място, приложена към различна група пациенти, свързана с ново оборудване или протоколи, актуализирана от доставчика или покаже признаци на отклонение в ефективността.
📌 Защо това е важно за Вас: Система, която се е представяла добре в първоначалния си контекст на разработка — например в друга държава или върху различна пациентска популация, може да не се представя еднакво добре във Вашата клинична среда. Затова валидирането в конкретния Ви контекст не е формалност, а мярка за безопасност на пациентите.
Контролна точка 4 – Внедряване (преди пускане в реална експлоатация)
След като една система е преминала валидация, етапът на внедряване гарантира, че са налице оперативните условия за безопасна, справедлива и отговорна употреба. Това включва:
Назначаване на обучен персонал за надзор;
Въвеждане на механизми, които гарантират, че клиницистите могат да отменят или деактивират препоръки на системата с ИИ;
Осигуряване на това потребителите да разбират предназначението на системата, нейните ограничения и всички известни съображения, свързани с представянето ѝ при различни демографски групи;
Информиране на клиницистите за възможни вариации в резултатите по пол и расови или етнически характеристики;
Гарантиране, че пациентите са уведомени, когато в тяхното лечение се използват ИИ-базирани инструменти за вземане на решения;
📌 Вашата роля на този етап: Вие имате както правото, така и отговорността да разбирате ограниченията на всеки инструмент с ИИ, който използвате в клиничната практика. Ако не сте получили достатъчно обучение относно рисковете от пристрастия на системата и начините за реагиране при тях, повдигнете този въпрос пред Вашата институция преди използването ѝ при пациенти.
Контролна точка 5 – Мониторинг, одит и отчетност (през целия цикъл на използването)
Последната контролна точка управлява целия цикъл на използване. Тъй като ИИ системите не са статични, непрекъснатият мониторинг е от съществено значение и трябва да обхваща общата ефективност, различията между демографски групи, както и инциденти, свързани с безопасността или равнопоставеността.
Болниците трябва да поддържат регистрационни списъкци за работата на системата, да прилагат стандартизирани процедури за докладване на инциденти, които улавят потенциални полови или расови пристрастия, и периодично да преоценяват ефективността на системата чрез повторни валидации.
Когато се появят неравенства или рискове, засягащи конкретни демографски групи и те не могат да бъдат ефективно смекчени, системата трябва да бъде модифицирана, временно спряна или напълно изведена от употреба. Констатациите следва да се използват както за вътрешно управление, така и — когато е уместно, за по-широко споделяне на знания на ниво мрежа, с цел предотвратяване на повтарящи се пристрастия.
📌 Вашата роля на този етап: Ако наблюдавате резултати от ИИ, които изглеждат непоследователни, неочаквани или потенциално дискриминационни (особено между полови или расови групи), имате професионално задължение да ги документирате и докладвате. Именно така на практика функционира безопасното и справедливо управление на ИИ.
Регулаторният модел AEQUITAS предоставя набор от стандартизирани инструменти за управление, които болниците могат да адаптират към националния контекст. По-долу е представен преглед на ключовите инструменти:
Пакет за обществени поръчки и сключване на договори
Европейската общност за обществени поръчки в сферата на ИИ е публикувала примерни договорни клаузи и ги е актуализирала, за да отразяват Акта за ИИ като изрично насърчава публичните органи да ги използват и предоставя насоки за прилагане (European Commission, 2025). За ИИ в здравеопазването тези клаузи могат да бъдат адаптирани в анекс с цел оценка и ограничаване на рисковете от полови и расови пристрастия. Този анекс изисква като минимум:
Стандартизирано докладване на състава на обучаващите данни, включително представителство по пол и расови/етнически групи, с цел оценка на представителността и риска от пристрастия;
Разкриване на произхода на данните, условията за достъп до тях и последиците за прозрачността, независимата валидация и оценката на половите и расовите пристрастия;
Разкриване на резултати от представяне и валидация по демографски групи, включително резултати по пол и расови или етнически характеристики, документация за установени различия, приложени мерки за ограничаване на пристрастията по време на разработката и подкрепящи валидиращи тестове (включително специфични за дадения сайт съображения, свързани с равнопоставеност и справедливост);
Изисквания за проследяване на работата на системата и възможност за независим одит, така че да се съхраняват записи за използването ѝ, които позволяват независими проверки за наличие на пристрастия или неравномерни въздействия;
Задължения за управление на актуализации и промени, изискващи доставчикът да информира болницата за актуализации на модела, повторно обучение или промени в работните процеси, както и да документира тяхното потенциално въздействие върху половото и расовото представяне;
Ангажименти за реакция при инциденти, свързани с пристрастия, задължаващи доставчика да докладва установени грешки или неравенства, засягащи полови или расови/етнически групи, и да опише стъпките за тяхното отстраняване;
Ясно разпределение на отговорностите, уточняващо задълженията на доставчика и внедрителя по отношение на спазването на изискванията на Акта за ИИ и управлението на рисковете, свързани с равнопоставеност и пристрастия.
Политика за управление на здравни данни и представителност
Всички болници и граждански организации, които внедряват ИИ, трябва да приемат формална политика, която гарантира, че данните, използвани за обучение, фино настройване или оперативни цели, са представителни, пълни и точни за обслужваните групи пациенти. Това включва оценка на демографския състав, документиране на недостатъчно представени полови и расови или етнически групи и дефиниране на мерки за справяне, когато е необходимо.
Политиката трябва да обхваща както вътрешно разработени, така и външно доставени набори от данни и да изисква проверка на представянето по демографски групи, както и на всички прилагани стратегии за ограничаване на пристрастията от страна на доставчиците.
Тази политика действа като принцип преди внедряване и се свързва директно с непрекъснатия мониторинг, одит и отчетност.
Базова киберсигурност и AI-специфичен модел на заплахи
ИИ системите в болниците могат да бъдат уязвими не само към класически атаки като отравяне на данни или избягване на модела, но и към манипулации или грешки, които задълбочават половите или расовите пристрастия — например чрез непропорционално засягане на недостатъчно представени групи в обучаващите или оперативните данни.
Затова болниците трябва да установят базова киберсигурност и ИИ-специфичен модел на заплахи, който изрично разглежда рисковете, свързани с пристрастия, наред с техническите заплахи. Този „жив“ документ функционира като контролен списък преди внедряване, за да гарантира прилагането на киберсигурностни мерки в съответствие с MDR и IVDR, организационното управление на информационната сигурност (напр. ISO/IEC 27001) и моделиране на заплахи и тестови планове, чувствителни към пристрастия (Medical Device Coordination Group, 2020). Той също така подпомага непрекъснатия мониторинг за откриване на нововъзникващи технически рискове и рискове от пристрастия и за проактивна реакция.
Чрез прилагането на тази политика болниците могат да укрепят устойчивостта на системите, да защитят равнопоставеността в ИИ-базираните решения и да поддържат съответствие с Акта за ИИ (чл. 9–15) и изискванията на MDR/IVDR.
Досие за система с ИИ (за всеки инструмент)
Досието за система с ИИ е стандартизиран документ, чувствителен към пристрастия, който се поддържа за всяка ИИ система преди внедряването ѝ в здравна организация.
Това досие трябва да обединява всичко, което една болница следва да знае за системата преди и по време на внедряването, включително предназначението ѝ, интеграцията в клиничните работни процеси, резултатите от валидация и показателите за ефективност, с особено внимание към представянето по демографски групи според пол и расов или етнически произход, както и всички известни различия или мерки за справяне.
Досието за система с ИИ следва да се третира като „жив документ“, който се актуализира винаги когато са налични нови резултати от валидация, показатели за ефективност или стратегии за ограничаване на пристрастията. Шаблонът включва задължителни минимални изисквания, приложими за всички институции, и препоръчителни практики за организации с по-висок технически и организационен капацитет.
Досието обхваща седем основни области:
С поддържането на изричен фокус върху анализите, разпределени по групи от населението според биологичен и социален пол и расов или етнически произход, досието гарантира, че рисковете за равнопоставеността са ясно идентифицирани, систематично оценявани и подходящо ограничавани преди внедряването на системата. Освен че подпомага ежедневната работа с ИИ системата, досието изпълнява и важни функции по управлението ѝ. То предоставя на персонала на лечебното заведение информация за начина на функциониране на системата и нейните ограничения, подпомага регулаторните проверки и одити и осигурява структурирана документация, която може да се използва за непрекъснато наблюдение, одити на равнопоставеността и основните права, както и за обмен на опит и добри практики между различни лечебни заведения.
Пълният шаблон на досието, включително всички раздели, указания за попълване и таблици, е достъпен като ресурс за изтегляне към този модул. Той е разработен така, че да може да бъде адаптиран към националния контекст и механизмите за управление във Вашата институция.
Към този модул е достъпен за изтегляне и Речник на основните понятия, който обяснява на разбираем език правната и техническата терминология, използвана в регулаторния модел AEQUITAS.
Комбиниран пакет за оценка на въздействието върху основните права (FRIA) и оценка на въздействието върху защитата на данните (DPIA)
Както бе посочено в Модул 4, публичните лечебни заведения, които внедряват високорискови системи с ИИ, са задължени да извършват както оценка на въздействието върху основните права (FRIA), така и, когато е приложимо, оценка на въздействието върху защитата на данните (DPIA). Регулаторният модел AEQUITAS обединява тези две оценки в единен образец, като намалява административната тежест и същевременно гарантира, че ключовите въпроси, свързани със засегнатите групи от населението, потенциалните вреди, мерките за ограничаване на риска и механизмите за подаване на жалби, се разглеждат по систематичен начин, с особено внимание към неравенствата, засягащи групи, разграничени по биологичен и социален пол и расов или етнически произход.
Този пакет функционира основно като контролен механизъм на етапа преди внедряването, но следва да бъде актуализиран при промяна на рисковете или на условията, при които системата функционира след нейното внедряване.
При разработването на тези оценки се препоръчва да бъде осигурено смислено участие на гражданските организации, така че в процеса да бъдат включени техният експертен опит в областта на правата на човека и гледните точки на засегнатите общности.
Политика за управление на промените
Тази политика урежда начина, по който се управляват промените в системите с ИИ, включително повторното обучение на моделите, актуализациите на софтуера и измененията в клиничните работни процеси. Тя определя кои промени се считат за съществени, изискващи повторно валидиране или ново одобрение, и гарантира, че преди тяхното въвеждане се оценява потенциалното им въздействие върху равнопоставеността по отношение на биологичния и социалния пол и расовия произход.
Лечебните заведения следва също така да гарантират, че медицинските специалисти и останалият персонал са своевременно информирани за всички промени, които могат да окажат влияние върху резултатите от лечението при различни групи пациенти. Това позволява осигуряването на подходящ човешки надзор и предприемането на необходимите мерки за ограничаване на риска.
Система за управление на качеството – за внедряващи организации, които са и доставчици
В случаите, когато системата с ИИ е разработена или адаптирана вътрешно и организацията изпълнява ролята на производител или доставчик, следва да бъде внедрена система за управление на качеството и да се поддържа необходимата техническа документация, която да доказва, че инструментът отговаря на специфични потребности на пациентите, които не могат да бъдат удовлетворени чрез наличните на пазара търговски продукти (Medical Device Coordination Group, 2023).
Системата за управление на качеството следва също така да гарантира, че резултатите от работата на системата с ИИ се оценяват по отношение на различните групи пациенти, разграничени по биологичен и социален пол и расов или етнически произход, че приложените мерки за ограничаване на системните пристрастия са надлежно документирани и че механизмите за човешки надзор изрично гарантират безопасността на пациентите и равнопоставеността при предоставянето на здравни услуги.
Дори когато за медицински изделия, разработени и използвани вътрешно, се прилагат регулаторни изключения, задълженията, произтичащи от основните права и от по-широката рамка за управление на системите с ИИ, остават изцяло приложими.
Доклад за ефективността на системата при различните групи от населението и равнопоставеността
Лечебните заведения следва регулярно да изготвят вътрешни анализи, които показват как системите с ИИ функционират при различните групи от населението, анализирани поотделно по биологичен и социален пол и расов или етнически произход, когато това е позволено от закона и практически възможно.
Когато бъдат установени различия в ефективността на системата между отделните групи, приложените мерки за ограничаване на системните пристрастия следва да бъдат документирани, а тяхната ефективност да се проследява във времето.
Основните констатации следва да бъдат обобщавани и включвани в одита на равнопоставеността и основните права, като по този начин се насърчават прозрачността и публичната отчетност.
Двустепенен режим на одит
Регулаторният модел AEQUITAS предлага двустепенен подход към одита, който включва:
Технически одит: Поверителна проверка на системата, която включва оценка на киберсигурността, устойчивостта, клиничната ефективност и съответствието с изискванията за управление на данните. Особено внимание се обръща на това как системата се представя при различните групи от населението, като резултатите се анализират отделно по биологичен пол, социален пол и расов или етнически произход.
Одит на равнопоставеността и основните права: Одит, насочен към прозрачността и отчетността, който документира установените неравенства в резултатите, групите от населението, включени в изпитванията, известните ограничения на системата и механизмите за подаване на жалби, като включва изричен анализ на въздействието по отношение на биологичния и социалния пол и расовия или етническия произход. За широката общественост може да бъде публикувано кратко обобщение на този одит, което представя основните констатации, предприетите мерки за ограничаване на системните пристрастия и въведените подобрения, без да разкрива лична или поверителна информация.
Регистър за бдителност при системите с ИИ
Вдъхновен от системите за фармаковигиланса (лекарствена бдителност), използвани при регулирането на лекарствените продукти (European Medicines Agency, 2017), регистърът за бдителност при системите с ИИ предоставя структуриран механизъм, чрез който медицинските специалисти могат да докладват инциденти, случаи с предотвратени неблагоприятни последици или неочаквани резултати, свързани с решения, подпомагани от системи с ИИ.
Регистърът включва специални полета за документиране на потенциални различия, свързани с биологичния и социалния пол или расовия/етническия произход. Постъпилите сигнали се анализират систематично с цел идентифициране на повтарящи се тенденции и модели, като резултатите се използват при периодичните одити на равнопоставеността и основните права и подпомагат процеса на непрекъснато усъвършенстване на системите с ИИ.
Обучителен модул за клиницисти
Задължителен обучителен модул, предназначен да предостави на медицинските специалисти необходимите знания и умения, за да разбират ограниченията на системите с ИИ, да интерпретират критично техните резултати и, когато е необходимо, да преустановяват или отменят действието на системата, ако нейните резултати могат да доведат до системни пристрастия или неравнопоставени резултати.
Този модул пряко подпомага практическото прилагане на регулаторния модел, като гарантира, че служителите, отговорни за надзора върху системите с ИИ, разполагат с необходимите компетентности за ефективно изпълнение на процедурите по мониторинг, валидиране и отчетност, като същевременно отчитат принципите на равнопоставеността.
Обучението включва оценка на придобитите компетентности и практически упражнения, базирани на реалистични казуси, за разпознаване и ограничаване на системните пристрастия и неравенствата, свързани с биологичния и социалния пол и расовия или етническия произход.
В рамките на AEQUITAS е създадена европейска мрежа от граждански организации и публични лечебни заведения, която дава обща терминология, единни стандарти за докладване и платформа за междуинституционално учене относно системните пристрастия, свързани с биологичния и социалния пол и расовия произход, при използването на системи с ИИ.
За медицинските специалисти тази мрежа означава, че информацията за инциденти, свързани със системни пристрастия, резултатите от оценките на ефективността на системите при различните групи от населението и приложените мерки за ограничаване на риска, установени във Вашето лечебно заведение, допринасят за изграждането на обща европейска база от знания, която носи ползи за пациентите във всички участващи държави.
С развитието на Европейското пространство на здравни данни тази мрежа е в добра позиция да съгласува своите практики за споделяне на данни и обмен на знания с нововъзникващите европейски рамки, като по този начин подпомага по-равнопоставеното, прозрачно и отговорно внедряване на системите с ИИ в различните лечебни заведения.
Регулаторният модел AEQUITAS не е предназначен само за ръководителите на болници, служители по обществени поръчки и IТ-специалисти - той има пряко значение и за медицинските специалисти. Ето какво означава това на практика:
📌 Ключово послание: Регулаторният модел е създаден, за да Ви подпомага, а не да Ви натоварва с бюрократични процеси. Неговата цел е да гарантира, че инструментите с ИИ, с които работите, са безопасни, прозрачни и справедливи спрямо всеки пациент, за когото се грижите, независимо от неговия пол, раса или други характеристики. Вашата клинична преценка остава от първостепенно значение във всеки един момент.
С този модул приключва основното съдържание на обучението AEQUITAS. Досега сте разгледали основите на биомедицинския ИИ, видовете и механизмите на системните пристрастия, конкретните неравенства, свързани с пола и расовия произход, документирани при сърдечно-съдовите заболявания, диабета и депресията, етичната и правната рамка, регулиращи ИИ в здравеопазването, както и практическите инструменти, които са на Ваше разположение, за да Ви помогнат да се ориентирате в тази област. Модул 6 ще Ви запознае с базата данни AEQUITAS – конкретен инструмент, разработен специално, за да помогне на медицинските специалисти да идентифицират и да се ориентират сред половите и расовите пристрастия в биомедицинския ИИ при сърдечно-съдовите заболявания, диабета и депресията, и ще Ви покаже как да използвате този практичен ресурс във Вашата ежедневна клинична практика.
Следва: Mодул 6
European Commission, Контролен списък за надежден изкуствен интелект (ALTAI) – самооценка, Brussels: European Commission, 2020.
European Commission, Актуализирани стандартни договорни клаузи на ЕС за изкуствен интелект вече са налични, Brussels: European Commission, 2025.
European Medicines Agency, GVP Module VI – Събиране и подаване на съобщения за подозирани нежелани реакции (Rev 2), London: EMA, 2017.
European Union, Харта на основните права на Европейския съюз, 2012/C 326/02, Strasbourg: EU. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT
International Organization for Standardization, ISO/IEC 42001:2023 – Система за управление на изкуствения интелект, Geneva: ISO, 2023.
Medical Device Coordination Group, MDCG 2019‑16 Rev. 1 - Насоки за киберсигурност на медицински изделия, Brussels: European Commission, 2020.
Medical Device Coordination Group, MDCG 2023‑1 – Насоки относно освобождаването на здравни институции (MDR/IVDR), Brussels: European Commission, 2023.
National Institute of Standards and Technology, Рамка за управление на риска при изкуствен интелект (AI RMF 1.0), Gaithersburg, MD: NIST, 2023.
Rajkomar, A., Hardt, M., Howell, M. D., Corrado, G., & Chin, M. H., Осигуряване на справедливост в машинното обучение за напредък на здравното равенство, Annals of Internal Medicine, 169(12), 866-872, 2018.
World Health Organization, Етика и управление на изкуствения интелект в здравеопазването, Geneva: WHO, 2021