Kaip aptarta IV modulyje, Europos Sąjungos DI naudojimo sveikatos priežiūros srityje teisinis reguliavimas yra sudėtingas, daugiasluoksnis ir nuolat kintantis. Tačiau vien etikos principų ir teisinių reikalavimų nepakanka – jie turi būti paversti konkrečiais, praktiškai įgyvendinamais procesais, kuriuos sveikatos priežiūros įstaigos galėtų taikyti savo kasdienėje veikloje.
Būtent tam ir buvo sukurtas AEQUITAS DI reguliavimo modelis. Jis suteikia ligoninėms ir pilietinės visuomenės organizacijoms praktinę DI sistemų valdysenos sistemą, apimančią visą jų gyvavimo ciklą – nuo įsigijimo ir validavimo iki diegimo, stebėsenos ir atskaitomybės užtikrinimo. Integruojant pagrindinių teisių apsaugą į kasdienius organizacijos procesus, šiuo modeliu siekiama mažinti lyčių ir rasinio šališkumo riziką DI sistemomis grindžiamų sprendimų priėmimo sveikatos priežiūros srityje metu ir prisidėti prie teisingesnių sveikatos priežiūros rezultatų visoje Europos Sąjungoje. Be to, modelyje pateikiamas praktinių politikų, veiklos priemonių ir dokumentų pavyzdžių rinkinys, kurį ligoninės ir pilietinės visuomenės organizacijos gali pritaikyti savo nacionaliniam kontekstui, kad modelį galėtų nuosekliai įgyvendinti praktikoje.
Šis modelis remiasi valdysenos principais, kurie jau pasiteisino kitose didelės rizikos srityse. Sveikatos priežiūros specialistams gerai pažįstama farmakologinio budrumo (farmakologinio budrumo sistema) samprata – sistemingas nepageidaujamų reakcijų į vaistus rinkimas, registravimas ir analizė. Būtent ši sistema tapo pagrindu tam, ką AEQUITAS modelis vadina DI budrumo sistema (AI-vigilance) – panašiu mechanizmu, skirtu registruoti ir analizuoti incidentus, susijusius su DI sistemomis grindžiamais klinikiniais sprendimais, ypatingą dėmesį skiriant jų poveikiui lygybei ir nediskriminavimui. Panašiai ir pacientų saugos kultūra, kuri ligoninėse buvo plėtojama remiantis aviacijos sektoriaus patirtimi ir grindžiama pavojų nustatymu, incidentų registravimu bei nuolatiniu veiklos tobulinimu, tiesiogiai atitinka Dirbtinio intelekto akte ir šiame reguliavimo modelyje įtvirtintą DI sistemų rizikos valdymo viso gyvavimo ciklo metu logiką.
Modelio pagrindą sudaro ES pagrindinių teisių chartija (Europos Sąjungos pagrindinių teisių chartija, 2009), visų pirma remiantis šiais straipsniais:
1 straipsnis (Žmogaus orumas): DI sistemos turi būti naudojamos taip, kad būtų išsaugotas žmogaus vaidmuo priimant sprendimus ir gerbiama paciento autonomija. Praktikoje tai reiškia, kad turi būti įdiegtos apsaugos priemonės, padedančios išvengti pernelyg didelio pasitikėjimo automatizuotomis rekomendacijomis, sudaryta galimybė ginčyti DI sistemų pagalba priimtus sprendimus ir užtikrinta klinikinė priežiūra, padedanti išvengti automatizavimo šališkumo.
20 ir 21 straipsniai (Lygybė ir diskriminacijos): Sveikatos priežiūros įstaigos turi stebėti, kaip DI sistemos veikia skirtingose pacientų grupėse, įskaitant grupes pagal lytį, rasę ar etninę kilmę, ir imtis korekcinių veiksmų, jei nustatoma, kad sistemos veiksmingumas ar jos rezultatai šiose grupėse skiriasi. Tokiais atvejais gali būti koreguojamas DI modelis, keičiami klinikiniai darbo procesai arba taikomi alternatyvūs sprendimų priėmimo būdai, siekiant užtikrinti, kad DI sistemų naudojimas neįtvirtintų esamos struktūrinės nelygybės.
35 straipsnis (Sveikatos priežiūra): DI sistemos gali būti diegiamos tik tuo atveju, jei yra įrodyta, kad jos prisideda prie saugios, veiksmingos ir teisingos sveikatos priežiūros. DI technologijos neturi sudaryti naujų kliūčių gauti sveikatos priežiūros paslaugas ar didinti jau esamų sveikatos netolygumų, darančių poveikį istoriškai marginalizuotoms visuomenės grupėms. Be to, jų poveikis turi būti nuolat vertinamas, ypatingą dėmesį skiriant pacientų grupėms, kurios istoriškai turėjo mažesnes galimybes gauti sveikatos priežiūros paslaugas arba dėl kitų priežasčių yra nepalankesnėje padėtyje.
AEQUITAS reguliavimo modelis remiasi keliomis tarptautinėmis DI valdysenos sistemomis. Europos Sąjungoje pagrindinį teisinį pagrindą sudaro tokie teisės aktai kaip Dirbtinio intelekto aktas, Medicinos priemonių reglamentas (MPR), In vitro diagnostikos medicinos priemonių reglamentas (IVPR), Bendrasis duomenų apsaugos reglamentas (BDAR) ir Europos sveikatos duomenų erdvės (ESDE) reglamentas. Šiame skyriuje aptariamos papildomos valdysenos sistemos papildo šį Europos Sąjungos teisinį pagrindą praktinėmis įgyvendinimo gairėmis. Jos nėra skirtos pakeisti Europos Sąjungos reguliavimą ar teikti pirmenybę ne Europos Sąjungos požiūriams. Sveikatos priežiūros specialistams nebūtina išsamiai išmanyti šių valdysenos sistemų, tačiau bendras supratimas apie jas padeda geriau suvokti platesnį kontekstą, kuriame kyla jūsų sveikatos priežiūros įstaigos pareigos, susijusios su DI sistemų valdysena.
Tarptautinės standartizacijos organizacijos ISO/IEC standartai
Keletas ISO/IEC standartų padeda užtikrinti atsakingą DI sistemų valdyseną sveikatos priežiūros srityje (Tarptautinė standartizacijos organizacija, 2023). ISO/IEC 42001 nustato organizacijos DI valdymo sistemai keliamus reikalavimus ir padeda integruoti sąžiningumo, lygybės ir diskriminacijos prevencijos principus į organizacijos politiką bei rizikos valdymo priemones. ISO/IEC 23894 pateikia gaires, kaip DI sistemų kūrimo ir diegimo procesuose taikyti rizikos valdymą, įskaitant riziką, kad skirtingoms gyventojų grupėms gali būti daromas nevienodas poveikis. ISO 14971 apibrėžia rizikos valdymo principus, plačiai taikomus medicinos priemonių reglamentavimo srityje. Šie principai taip pat gali būti taikomi vertinant nevienodą DI sistemų veikimą skirtingose gyventojų grupėse.
Šie standartai yra vertingi, nes siūlo DI valdymo sistemos struktūrą, kurią gali taikyti sveikatos priežiūros įstaigos, ir suteikia bendrą terminiją, leidžiančią viešųjų pirkimų ir sutarčių su tiekėjais metu aiškiai apibrėžti su lygybe susijusius reikalavimus, pavyzdžiui, DI sistemų veikimo vertinimą skirtingose gyventojų grupėse ir šališkumo mažinimo priemones.
ALTAI – dirbtinio intelekto patikimumo vertinimo klausimynas
Europos Komisijos Aukšto lygio ekspertų grupės dirbtinio intelekto klausimais sukurtas ALTAI yra savanoriškai naudojamas įsivertinimo įrankis, padedantis praktiškai taikyti Europos Komisijos Patikimo dirbtinio intelekto etikos gaires (Europos Komisija, 2020). Klausimais grindžiama ALTAI struktūra gali būti pritaikyta rengiant praktinius viešųjų pirkimų ir DI sistemų diegimo kontrolinius sąrašus. Ji skatina sveikatos priežiūros specialistus, informacinių technologijų specialistus ir sveikatos priežiūros įstaigų vadovus įvertinti tokius aspektus kaip mokymo duomenų reprezentatyvumas, nevienodų klinikinių rezultatų rizika skirtingoms pacientų grupėms ir apsaugos priemonių pakankamumas siekiant užkirsti kelią diskriminaciniam DI sistemų poveikiui.
PSO dirbtinio intelekto naudojimo sveikatos priežiūroje principai
Pasaulio sveikatos organizacija (PSO) yra suformulavusi šešis pagrindinius DI naudojimo sveikatos priežiūroje principus: autonomiją, gerovę, paaiškinamumą, atsakomybę, teisingumą ir gebėjimą reaguoti į kintančius poreikius (Pasaulio sveikatos organizacija, 2021). Teisingumo principas aiškiai pabrėžia būtinybę atsižvelgti į skirtumus, susijusius su galimybėmis naudotis sveikatos priežiūros paslaugomis, DI sistemų veiksmingumu ir sveikatos priežiūros rezultatais skirtingose pacientų grupėse, įskaitant skirtumus pagal lytį, rasę ar etninę kilmę.
JAV Nacionalinio standartų ir technologijų instituto (NIST) DI rizikos valdymo sistema (AI RMF)
JAV Nacionalinio standartų ir technologijų instituto (NIST) sukurta DI rizikos valdymo sistema (AI Risk Management Framework, AI RMF) organizuoja DI rizikos valdymą visame DI sistemos gyvavimo cikle, apimdama valdyseną, rizikos nustatymą, rizikos vertinimą ir rizikos valdymą (National Institute of Standards and Technology, 2023). Šioje sistemoje teisingumas ir žalingas šališkumas aiškiai įvardijami kaip pagrindiniai patikimo DI požymiai. Organizacijos skatinamos, atliekant rizikos nustatymą ir vertinimą, analizuoti galimą nevienodą DI sistemų poveikį skirtingoms demografinėms gyventojų grupėms, įskaitant grupes pagal lytį, rasę ar etninę kilmę. Sveikatos priežiūros įstaigoms AI RMF ypač vertinga tuo, kad jos principus galima paversti konkrečiomis praktinėmis priemonėmis, pavyzdžiui, aiškiai apibrėžti atsakomybę už lygybės priežiūrą, sistemingai vertinti DI sistemų veikimą skirtingose gyventojų grupėse ir dokumentuoti taikomas šališkumo mažinimo priemones. Vis dėlto Europos Sąjungoje ši sistema taikoma tik tiek, kiek ji neprieštarauja Europos Sąjungos teisės aktams ir Europos Sąjungos pagrindinių teisių chartijoje įtvirtintiems principams.
AEQUITAS reguliavimo modelyje DI sistemų valdysena organizuojama remiantis privalomais gyvavimo ciklo etapais – aiškiai apibrėžtais sprendimų priėmimo etapais, kuriuos sveikatos priežiūros įstaiga turi pereiti prieš pradėdama naudoti DI sistemą, jos naudojimo metu ir po jos diegimo. Šie etapai atspindi Dirbtinio intelekto akto ir kitų sveikatos priežiūrą reglamentuojančių teisės aktų logiką, kartu užtikrindami aiškią, nuoseklią ir audituojamą DI sistemų valdysenos struktūrą. Modelyje daroma prielaida, kad sveikatos priežiūros įstaiga dažniausiai veikia kaip DI sistemos naudotoja pagal Dirbtinio intelekto aktą ir kartu yra sveikatos priežiūros paslaugų teikėja pagal nacionalinius teisės aktus. Tačiau modelis taip pat apima situacijas, kai sveikatos priežiūros įstaiga DI sistemas kuria savo viduje. Šis reguliavimo modelis įgyvendinamas vadovaujantis proporcingumo principu, pripažįstant, kad skirtingose Europos Sąjungos valstybėse narėse veikiančios sveikatos priežiūros įstaigos ir pilietinės visuomenės organizacijos gali turėti nevienodus techninius, organizacinius ir analitinius pajėgumus. Todėl privalomi minimalūs reikalavimai visoms organizacijoms taikomi vienodai, siekiant užtikrinti pagrindines saugos, skaidrumo ir lygybės apsaugos priemones. Tačiau pažangesnės praktikos, pavyzdžiui, išsamesnė DI sistemų veikimo analizė skirtingose gyventojų grupėse, išorės auditas ar pažangios šališkumo stebėsenos priemonės, gali būti diegiamos palaipsniui, atsižvelgiant į kiekvienos organizacijos techninius, organizacinius ir analitinius pajėgumus.
📌Kas yra gyvavimo ciklo etapas? Tai galima palyginti su oficialiu kontrolės etapu, panašiu į saugos kontrolinį sąrašą, kurį būtina užbaigti ir dokumentuoti prieš pereinant prie kito DI sistemos diegimo etapo. Kiekvienas toks etapas skirtas nustatyti galimą su lygybe susijusią riziką dar prieš jai pradedant daryti poveikį pacientams.
1 etapo kontrolinis taškas. Taikymo sritis ir klasifikavimas (prieš įsigijimą arba kūrimą)
Pirmasis žingsnis – nustatyti vertinamos DI sistemos teisinį statusą. Tai reiškia įvertinti, ar sistema pagal MPR arba IVPR priskiriama medicinos priemonių programinei įrangai, ar pagal Dirbtinio intelekto aktą ji laikoma didelės rizikos DI sistema, ar patenka į mažesnės rizikos kategoriją, kuriai vis tiek taikomi DI valdysenos reikalavimai.
Šiame ankstyvajame etape sveikatos priežiūros įstaigos turėtų nustatyti DI sistemas, kurių numatoma paskirtis gali turėti didesnį poveikį lygybei arba skirtingoms pacientų grupėms. Tokios sistemos vėlesniuose etapuose turėtų būti išsamiau vertinamos, ypatingą dėmesį skiriant galimam lyčių ir rasiniam šališkumui.
📌 Jūsų atsakomybė: Jei dalyvaujate svarstant galimybę savo skyriuje diegti naują DI sistemą, jau šiame etape užduokite svarbiausius klausimus: Kam ši sistema buvo sukurta? Su kokia pacientų populiacija ji buvo išbandyta? Ar ją kuriant ir vertinant buvo atsižvelgta į lyčių, rasinius ir etninius skirtumus?
2 etapo kontrolinis taškas. Viešieji pirkimai ir sutarties sudarymas (prieš pasirašant sutartį su tiekėju)
Viešųjų pirkimų etapas dažnai yra tas momentas, kai sveikatos priežiūros įstaigos turi didžiausias galimybes daryti įtaką DI sistemų valdysenai. Šiame etape sutartyse su tiekėjais turėtų būti aiškiai numatyta jų pareiga viso DI sistemos gyvavimo ciklo metu valdyti su lygybe susijusias rizikas, įskaitant lyčių ir rasinį šališkumą.
Viešųjų pirkimų sutartyse iš tiekėjų turėtų būti reikalaujama bent jau šios informacijos ir įsipareigojimų:
Mokymo duomenų sudėties aprašymo, įskaitant duomenis apie lyčių, rasinių ir etninių grupių reprezentaciją, kad būtų galima įvertinti duomenų reprezentatyvumą ir galimą šališkumo riziką;
Informacijos apie duomenų kilmę, nurodant, ar naudoti duomenų rinkiniai yra nuosavybiniai ar viešai prieinami, kokiomis sąlygomis jie prieinami ir kokią įtaką tai turi skaidrumui, nepriklausomam validavimui bei lyčių ir rasinio šališkumo vertinimui;
DI sistemos veikimo rezultatų skirtingose gyventojų grupėse, įskaitant rezultatus, suskirstytus pagal lytį, rasę ar etninę kilmę, informaciją apie nustatytus veikimo skirtumus ir kūrimo metu taikytas šališkumo mažinimo priemones;
Žurnalų kaupimo ir audituojamumo funkcijų, leidžiančių atlikti nepriklausomus DI sistemų šališkumo auditus;
Aiškių įsipareigojimų reaguoti į su šališkumu susijusius incidentus, įpareigojančių tiekėją pranešti apie nustatytas klaidas ar netolygumus, darančius poveikį skirtingų lyčių, rasinių ar etninių grupių pacientams, ir numatyti jų šalinimo priemones;
Aiškaus atsakomybės pasidalijimo, apibrėžiančio DI sistemos tiekėjo ir DI sistemos naudotojo pareigas, susijusias su Dirbtinio intelekto akto reikalavimų laikymusi bei su lygybe ir šališkumu susijusių rizikų valdymu.
📌 Jūsų atsakomybė: Kaip sveikatos priežiūros specialistas galite būti kviečiamas dalyvauti viešųjų pirkimų procese kaip konkrečios srities ekspertas. Pasinaudokite šia galimybe ir užduokite klausimus apie tai, kaip DI sistema veikia skirtingose pacientų grupėse ir kaip elgiamasi tais atvejais, kai ji pateikia netikėtus, klaidingus ar galimai šališkus rezultatus.
3 etapo kontrolinis taškas. Validavimas (prieš pradedant naudoti klinikinėje praktikoje)
Prieš pradedant naudoti DI sistemą klinikinėje praktikoje ir taikyti ją realių pacientų priežiūrai, ji turi būti nepriklausomai įvertinta. Validavimo metu turi būti vertinamas ne tik bendras sistemos veiksmingumas, bet ir jos veikimas skirtingose gyventojų grupėse, ypatingą dėmesį skiriant rezultatams pagal lytį, rasę ir etninę kilmę. Šis etapas yra ypač svarbus, nes biomedicininės DI sistemos gali veikti nevienodai skirtingose pacientų grupėse, jei jų mokymo duomenys nėra pakankamai reprezentatyvūs arba jei neatsižvelgiama į skirtumus tarp aplinkos, kurioje sistema buvo sukurta, ir tos, kurioje ji naudojama (Rajkomar ir kt., 2018).
Validavimo metu taip pat turi būti dokumentuojamos taikytos šališkumo mažinimo priemonės ir aiškiai įvardijama išliekanti su lygybe susijusi rizika. Tai suteikia sveikatos priežiūros įstaigai pagrindą priimti informuotą sprendimą dėl DI sistemos diegimo. Pakartotinis validavimas turėtų būti atliekamas kiekvieną kartą, kai DI sistema pradedama naudoti kitoje sveikatos priežiūros įstaigoje, taikoma kitai pacientų populiacijai, integruojama su nauja įranga ar naujais klinikiniais protokolais, atnaujinama tiekėjo arba kai pastebima, kad jos veiksmingumas laikui bėgant blogėja.
📌 Kodėl tai svarbu? DI sistema, kuri veikė gerai toje aplinkoje, kurioje buvo sukurta ir įvertinta, pavyzdžiui, kitoje šalyje ar naudojant kitą pacientų populiaciją, nebūtinai veiks taip pat gerai jūsų klinikinėje aplinkoje. Todėl validavimas jūsų konkrečiomis darbo sąlygomis nėra tik formalumas – tai svarbi pacientų saugos užtikrinimo priemonė.
4 etapo kontrolinis taškas. Diegimas (prieš pradedant naudoti)
Kai DI sistema sėkmingai pereina validavimo etapą, šio kontrolinio taško tikslas – užtikrinti, kad būtų sudarytos visos sąlygos ją naudoti saugiai, teisingai ir atsakingai. Tai apima:
kompetentingų darbuotojų, atsakingų už žmogaus priežiūrą, paskyrimą;
mechanizmų, leidžiančių sveikatos priežiūros specialistams nepaisyti DI sistemos rekomendacijų arba prireikus išjungti jos veikimą, įdiegimą;
užtikrinimą, kad DI sistemos naudotojai suprastų jos paskirtį, ribotumus ir žinomus veikimo ypatumus skirtingose gyventojų grupėse;
sveikatos priežiūros specialistų informavimą apie galimus DI sistemos rezultatų skirtumus skirtingų lyčių, rasinių ar etninių grupių pacientams;
pacientų informavimą, kad jų priežiūroje naudojamos DI sistemomis grindžiamos sprendimų priėmimo priemonės.
📌 Jūsų atsakomybė: Jūs turite ne tik teisę, bet ir pareigą suprasti kiekvienos klinikinėje praktikoje naudojamos DI sistemos ribotumus. Jei nesate gavę pakankamo mokymo apie galimą sistemos šališkumą ir tai, kaip į jį reaguoti, prieš pradėdami ją naudoti pacientų priežiūroje kreipkitės į savo sveikatos priežiūros įstaigą ir informuokite apie šį poreikį.
5 etapo kontrolinis taškas. Stebėsena, auditas ir atskaitomybė (visą DI sistemos naudojimo laikotarpį)
Paskutinis kontrolinis taškas apima DI sistemos priežiūrą po jos įdiegimo. Kadangi DI sistemos nėra statiškos ir laikui bėgant gali keistis jų veikimas, būtina vykdyti nuolatinę jų stebėseną. Ji turėtų apimti bendrą sistemos veiksmingumo vertinimą, jos veikimo skirtumų skirtingose gyventojų grupėse analizę, taip pat su sauga ir lygybe susijusių incidentų stebėseną.
Sveikatos priežiūros įstaigos turėtų kaupti DI sistemos veikimo žurnalus, taikyti standartizuotas incidentų registravimo procedūras, leidžiančias nustatyti galimą lyčių ar rasinį šališkumą, ir periodiškai atlikti pakartotinį sistemos validavimą, siekdamos įvertinti, ar jos veiksmingumas išlieka tinkamas.
Jei nustatoma, kad DI sistema sukelia netolygumus ar riziką, darančią poveikį tam tikroms demografinėms gyventojų grupėms, ir šios rizikos negalima veiksmingai sumažinti, sistema turėtų būti pakoreguota, jos naudojimas sustabdytas arba ji turėtų būti visiškai nebenaudojama. Gauta informacija turėtų būti naudojama ne tik vidaus valdysenos procesams tobulinti, bet, kai tinkama, ir dalijantis patirtimi platesniu mastu, kad ateityje būtų išvengta panašių šališkumo atvejų.
📌 Jūsų atsakomybė: Jei pastebite, kad DI sistemos pateikiami rezultatai yra nenuoseklūs, netikėti arba gali būti diskriminaciniai, ypač skirtingų lyčių ar rasinių ir etninių grupių pacientų atžvilgiu, turite profesinę pareigą šiuos atvejus dokumentuoti ir apie juos pranešti. Būtent taip praktikoje užtikrinama saugi, teisinga ir atsakinga DI sistemų valdysena.
AEQUITAS reguliavimo modelyje pateikiamas standartizuotų ir pakartotinai naudojamų valdysenos priemonių rinkinys, kurį sveikatos priežiūros įstaigos gali pritaikyti savo nacionaliniam kontekstui. Toliau pateikiama svarbiausių priemonių apžvalga:
Viešųjų pirkimų ir sutarčių dokumentų paketas
Europos Sąjungos DI viešųjų pirkimų ekspertų bendruomenė yra parengusi pavyzdines sutarčių sąlygas ir jas atnaujinusi pagal Dirbtinio intelekto akto reikalavimus. Viešojo sektoriaus institucijos skatinamos šiomis sąlygomis naudotis, o kartu pateikiamos ir jų taikymo gairės (Europos Komisija, 2025). Sveikatos priežiūros srityje šios sąlygos gali būti pritaikytos kaip prie ligoninės poreikių priderintas sutarties priedas, skirtas lyčių ir rasinio šališkumo rizikai įvertinti ir mažinti.
Standartizuotas mokymo duomenų sudėties pateikimas, įskaitant informaciją apie lyčių, rasinių ir etninių grupių reprezentaciją, kad būtų galima įvertinti duomenų reprezentatyvumą ir galimą šališkumo riziką;
Informacijos apie duomenų kilmę atskleidimas, nurodant, ar naudoti duomenų rinkiniai yra privatūs ar viešai prieinami, kokiomis sąlygomis jie prieinami ir kokią įtaką tai turi skaidrumui, nepriklausomam validavimui bei lyčių ir rasinio šališkumo vertinimui;
Informacijos apie DI sistemos veikimą skirtingose gyventojų grupėse ir validavimo rezultatus pateikimas, įskaitant rezultatus, suskirstytus pagal lytį, rasę ar etninę kilmę, informaciją apie nustatytus veikimo skirtumus, kūrimo metu taikytas šališkumo mažinimo priemones ir validavimo bandymų rezultatus (įskaitant konkrečiai gydymo įstaigai aktualius lygybės ir teisingumo aspektus);
Reikalavimai žurnalams, užtikrinant, kad DI sistema galėtų generuoti naudojimo žurnalus, tinkamus nepriklausomiems šališkumo ar nevienodo poveikio auditams atlikti;
Įsipareigojimai dėl atnaujinimų ir pakeitimų valdymo, įpareigojantys tiekėją informuoti gydymo įstaigą apie DI modelio atnaujinimus, pakartotinį apmokymą ar darbo proceso pakeitimus ir dokumentuoti galimą jų poveikį sistemos veikimui skirtingų lyčių bei rasinių ar etninių grupių atžvilgiu;
Įsipareigojimai reaguoti į su šališkumu susijusius incidentus, įpareigojantys tiekėją pranešti apie nustatytas klaidas ar netolygumus, darančius poveikį skirtingų lyčių, rasinių ar etninių grupių pacientams, ir pateikti jų šalinimo planą;
Aiškus atsakomybės pasidalijimas, apibrėžiantis DI sistemos tiekėjo ir DI sistemos naudotojo pareigas, susijusias su Dirbtinio intelekto akto reikalavimų laikymusi bei su lygybe ir šališkumu susijusių rizikų valdymu.
Sveikatos duomenų valdysenos ir reprezentatyvumo politika
Visos sveikatos priežiūros įstaigos ir pilietinės visuomenės organizacijos, diegiančios DI sistemas, turėtų turėti oficialiai patvirtintą politiką, užtikrinančią, kad DI sistemų apmokymui, papildomam apmokymui ar naudojimui reikalingi duomenys būtų reprezentatyvūs, išsamūs ir tikslūs jų aptarnaujamai pacientų populiacijai. Tai apima duomenų demografinės sudėties vertinimą, nepakankamai atstovaujamų lyčių, rasinių ir etninių grupių nustatymą bei, prireikus, šališkumo mažinimo priemonių numatymą.
Politika turėtų apimti tiek pačios organizacijos tvarkomus, tiek iš išorės gaunamus duomenų rinkinius, įskaitant privačius ir atvirosios prieigos duomenis. Ji taip pat turėtų numatyti pareigą tikrinti DI sistemų veikimą skirtingose gyventojų grupėse bei įvertinti tiekėjų taikomas šališkumo mažinimo priemones.
Ši politika yra vienas iš pagrindinių reikalavimų prieš pradedant diegti DI sistemą ir sudaro pagrindą vėlesnei nuolatinei jos stebėsenai, auditui ir atskaitomybei.
Kibernetinio saugumo pagrindiniai reikalavimai ir su DI sistemomis grėsmių modelis
Sveikatos priežiūros įstaigose naudojamos DI sistemos gali būti pažeidžiamos ne tik įprastų kibernetinių atakų, tokių kaip duomenų užteršimas (data poisoning), priešiškieji pavyzdžiai (adversarial examples) ar modelio apėjimo atakos (model evasion), bet ir manipuliacijų ar klaidų, kurios didina lyčių ar rasinį šališkumą. Pavyzdžiui, jos gali neproporcingai paveikti nepakankamai reprezentuojamas gyventojų grupes mokymo arba naudojimo metu gaunamuose duomenyse. Todėl sveikatos priežiūros įstaigos turėtų nustatyti pagrindinius kibernetinio saugumo reikalavimus ir parengti DI sistemoms skirtą grėsmių modelį, kuriame kartu su techninėmis grėsmėmis būtų aiškiai įvertintos ir su šališkumu susijusios rizikos.
Šis nuolat atnaujinamas dokumentas naudojamas kaip kontrolinis sąrašas prieš pradedant diegti DI sistemą. Jis padeda užtikrinti, kad būtų įgyvendintos kibernetinio saugumo priemonės, atitinkančios MPR ir IVPR reikalavimus, organizacijos informacijos saugumo valdyseną (pvz., ISO/IEC 27001) bei DI sistemoms pritaikytą grėsmių modeliavimą ir testavimo planus, kuriuose atsižvelgiama į galimą šališkumą (Medical Device Coordination Group, 2020). Šis dokumentas taip pat padeda vykdyti nuolatinę stebėseną po DI sistemos įdiegimo, siekiant laiku nustatyti naujai atsirandančias technines ir su šališkumu susijusias rizikas bei į jas operatyviai reaguoti.
Įgyvendindamos šią politiką, sveikatos priežiūros įstaigos gali padidinti DI sistemų atsparumą, užtikrinti teisingesnį DI sistemomis grindžiamų sprendimų priėmimą ir laikytis Dirbtinio intelekto akto (9–15 straipsniai) bei MPR ir IVPR reikalavimų.
DI sistemos dokumentacija (taikoma kiekvienai atskirai DI sistemai)
DI sistemos dokumentacija – tai standartizuotas dokumentas, kuriame kiekvienai DI sistemai dar prieš ją pradedant naudoti sveikatos priežiūros įstaigoje sistemingai kaupiama informacija apie galimą šališkumą ir kitus svarbius aspektus.
Ši dokumentacija turėtų apjungti visą informaciją, kurios sveikatos priežiūros įstaigai reikia prieš diegiant DI sistemą ir ją naudojant. Joje turėtų būti nurodyta DI sistemos paskirtis, jos integravimas į klinikinius darbo procesus, validavimo rezultatai ir veiksmingumo rodikliai, ypatingą dėmesį skiriant sistemos veikimui skirtingose gyventojų grupėse pagal lytį, rasę ar etninę kilmę, taip pat informacijai apie nustatytus veikimo skirtumus ir taikytas šališkumo mažinimo priemones.
DI sistemos dokumentacija turėtų būti laikoma nuolat atnaujinamu dokumentu, kuris papildomas kiekvieną kartą gavus naujų validavimo rezultatų, veiksmingumo rodiklių ar informacijos apie taikomas šališkumo mažinimo priemones. Dokumento šablone pateikti laukai suskirstyti į privalomuosius minimalius reikalavimus, taikomus visoms organizacijoms, ir rekomenduojamą praktiką, skirtą organizacijoms, turinčioms didesnius techninius ir organizacinius pajėgumus.
Dokumentaciją sudaro septynios pagrindinės dalys, kurios pateikiamos toliau esančioje lentelėje.
Nuosekliai dokumentuojant analizės rezultatus, suskirstytus pagal lytį, rasę ir etninę kilmę, DI sistemos dokumentacija padeda užtikrinti, kad su lygybe susijusios rizikos būtų aiškiai matomos, sistemingai vertinamos ir tinkamai mažinamos dar prieš pradedant naudoti DI sistemą.
Ši dokumentacija atlieka tiek praktinę, tiek valdysenos funkciją. Ji padeda sveikatos priežiūros įstaigos darbuotojams suprasti DI sistemos paskirtį, veikimą ir ribotumus, palengvina reguliavimo institucijų atliekamus patikrinimus ir auditus, taip pat sudaro struktūruotą pagrindą nuolatinei stebėsenai, lygybės ir pagrindinių teisių auditams bei keitimuisi gerąja patirtimi tarp skirtingų sveikatos priežiūros įstaigų.
Visas DI sistemos dokumentacijos šablonas, įskaitant visus laukus, pildymo paaiškinimus ir lenteles, pateikiamas kaip kartu su šiuo moduliu atsisiunčiamas priedas. Jis parengtas taip, kad galėtų būti pritaikytas kiekvienos sveikatos priežiūros įstaigos nacionaliniam teisiniam kontekstui ir valdysenos struktūrai.
Kartu su šiuo moduliu taip pat pateikiamas atsisiunčiamas pagrindinių terminų ir jų apibrėžčių žodynas, kuriame paprasta kalba paaiškinami AEQUITAS reguliavimo modelyje vartojami teisiniai ir techniniai terminai.
Bendras FRIA ir PDAV dokumentų paketas
Kaip aptarta IV modulyje, viešosios sveikatos priežiūros įstaigos, diegiančios didelės rizikos DI sistemas, privalo atlikti poveikio pagrindinėms teisėms vertinimą (FRIA) ir, kai taikoma, poveikio duomenų apsaugai vertinimą (PDAV). AEQUITAS modelyje šie du vertinimai sujungti į vieną šabloną, taip sumažinant administracinę naštą ir kartu užtikrinant, kad būtų nuosekliai įvertinti pagrindiniai klausimai, susiję su poveikį patiriančiomis gyventojų grupėmis, galima žala, rizikos mažinimo priemonėmis ir skundų nagrinėjimo mechanizmais. Ypatingas dėmesys skiriamas lyčių, rasiniams ir etniniams netolygumams. Šis dokumentų paketas pirmiausia naudojamas kaip kontrolinis taškas prieš pradedant diegti DI sistemą, tačiau jis turėtų būti atnaujinamas ir tais atvejais, kai DI sistemos naudojimo metu pasikeičia rizikos arba sistemos veikimo sąlygos.
Rengiant šiuos vertinimus rekomenduojama prasmingai įtraukti pilietinės visuomenės organizacijas, kad būtų pasinaudota jų kompetencija pagrindinių teisių srityje ir atsižvelgta į bendruomenių, kurioms DI sistema gali daryti poveikį, patirtį bei poreikius.
Pakeitimų valdymo politika
Ši politika reglamentuoja DI sistemų pakeitimų valdymą, įskaitant modelio pakartotinį apmokymą, programinės įrangos atnaujinimus ir klinikinių darbo procesų pakeitimus. Joje apibrėžiama, kokie pakeitimai laikomi esminiais ir dėl jų būtina atlikti pakartotinį validavimą arba gauti atitinkamą patvirtinimą. Taip pat nustatoma, kad prieš įgyvendinant tokius pakeitimus turi būti įvertintas jų galimas poveikis lygybei pagal lytį, rasę ir etninę kilmę.
Sveikatos priežiūros įstaigos taip pat turėtų užtikrinti, kad sveikatos priežiūros specialistai ir kiti susiję darbuotojai būtų informuoti apie visus pakeitimus, kurie gali turėti įtakos skirtingų pacientų grupių gydymo rezultatams. Tai sudaro sąlygas užtikrinti tinkamą žmogaus priežiūrą ir laiku taikyti reikiamas rizikos mažinimo priemones.
Kokybės valdymo sistema – DI sistemų naudotojams, kurie kartu yra ir tiekėjai
Tais atvejais, kai DI sistema kuriama arba pritaikoma pačioje sveikatos priežiūros įstaigoje ir ši įstaiga veikia kaip gamintojas arba DI sistemos tiekėjas, turi būti įdiegta kokybės valdymo sistema ir tvarkoma techninė dokumentacija, įrodanti, kad DI sistema tenkina konkrečius pacientų poreikius, kurių negali patenkinti rinkoje prieinami komerciniai sprendimai (Medical Device Coordination Group, 2023).
Kokybės valdymo sistema taip pat turėtų užtikrinti, kad DI sistemų rezultatai būtų vertinami atsižvelgiant į galimus veikimo skirtumus skirtingose pacientų grupėse pagal lytį, rasę ar etninę kilmę, kad taikomos šališkumo mažinimo priemonės būtų tinkamai dokumentuojamos ir kad žmogaus priežiūros mechanizmai aiškiai užtikrintų pacientų saugą ir teisingą požiūrį į visus pacientus.
Net ir tais atvejais, kai vidaus reikmėms sukurtoms medicinos priemonėms taikomos reglamentuose numatytos išimtys, pareigos laikytis pagrindinių teisių apsaugos principų ir platesnių DI sistemų valdysenos reikalavimų išlieka visiškai privalomos.
DI sistemų veikimo skirtingose gyventojų grupėse ir lygybės ataskaita
Sveikatos priežiūros įstaigos turėtų reguliariai rengti vidines ataskaitas, kuriose būtų analizuojama, kaip DI sistemos veikia skirtingose demografinėse gyventojų grupėse (kai tai leidžiama pagal teisės aktus ir praktiškai įmanoma, rezultatus suskirstant pagal lytį bei rasę ar etninę kilmę). Nustačius DI sistemos veikimo skirtumų tarp atskirų gyventojų grupių, turi būti dokumentuojamos taikomos šių skirtumų mažinimo priemonės ir laikui bėgant vertinamas jų veiksmingumas. Pagrindinės šių analizių išvados turėtų būti apibendrinamos ir įtraukiamos į lygybės ir pagrindinių teisių auditą, taip užtikrinant skaidrumą ir viešąją atskaitomybę.
Dviejų lygių audito sistema
AEQUITAS modelyje siūloma taikyti dviejų lygių auditą:
Techninis auditas: Tai konfidencialus veiklos auditas, apimantis kibernetinio saugumo testavimą, DI sistemos atsparumo vertinimą, klinikinio veiksmingumo validavimą ir duomenų valdysenos reikalavimų laikymosi vertinimą. Atliekant auditą ypatingas dėmesys skiriamas DI sistemos veikimui skirtingose gyventojų grupėse pagal lytį, rasę ir etninę kilmę.
Lygybės ir teisių auditas: Šis auditas orientuotas į skaidrumą ir atskaitomybę. Jame dokumentuojami nustatyti gydymo rezultatų netolygumai, nurodomos į testavimą įtrauktos gyventojų grupės, aprašomi žinomi DI sistemos ribotumai ir skundų nagrinėjimo mechanizmai, taip pat pateikiama aiški analizė apie DI sistemos poveikį lyčių bei rasinėms ir etninėms grupėms. Plačiajai visuomenei gali būti parengta šio audito santrauka, kurioje pateikiamos pagrindinės išvados, taikytos rizikos mažinimo priemonės ir įgyvendinti patobulinimai, neatskleidžiant nuosavybinės ar kitos konfidencialios informacijos.
DI budrumo registras
Remiantis vaistų reguliavimo srityje taikoma farmakologinio budrumo sistema (Europos vaistų agentūra, 2017), DI budrumo registras suteikia sveikatos priežiūros specialistams struktūruotą priemonę registruoti incidentus, situacijas, kai incidento pavyko išvengti (near miss), ir netikėtus atvejus, susijusius su DI sistemomis grindžiamais sprendimais. Registre taip pat numatyti atskiri laukai informacijai apie galimus skirtumus pagal lytį, rasę ar etninę kilmę fiksuoti. Pateikti pranešimai sistemingai analizuojami siekiant nustatyti pasikartojančias tendencijas. Gauti rezultatai naudojami periodiškai atliekant lygybės ir pagrindinių teisių auditus bei nuolat tobulinant DI sistemų naudojimą.
Mokymai sveikatos priežiūros specialistams
Privalomi mokymai, skirti suteikti sveikatos priežiūros specialistams žinių ir įgūdžių, reikalingų suprasti DI sistemų ribotumus, kritiškai vertinti jų pateikiamus rezultatus ir prireikus nepaisyti DI sistemos rekomendacijų arba sustabdyti jos naudojimą, jei jos rezultatai gali lemti šališkus ar neteisingus sprendimus. Šie mokymai padeda praktiškai įgyvendinti AEQUITAS reguliavimo modelį, užtikrindamas, kad už DI sistemų priežiūrą atsakingi darbuotojai gebėtų tinkamai vykdyti stebėsenos, validavimo ir atskaitomybės procedūras, nuosekliai atsižvelgdami į lygybės principą.
Mokymuose numatytas įgytų kompetencijų vertinimas ir praktinės užduotys, paremtos realiomis situacijomis, padedančios atpažinti ir mažinti skirtumus, susijusius su lytimi, rase ar etnine kilme.
AEQUITAS projekte sukurtas Europos pilietinės visuomenės organizacijų ir viešųjų sveikatos priežiūros įstaigų tinklas, veikiantis kaip bendra DI sistemų valdysenos platforma. Jis padeda formuoti bendrą terminiją, taikyti vienodus pranešimų teikimo standartus ir sudaro sąlygas sveikatos priežiūros įstaigoms keistis patirtimi apie lyčių bei rasinį šališkumą DI sistemose.
Sveikatos priežiūros specialistams šis tinklas reiškia, kad jūsų įstaigoje nustatyti su šališkumu susiję incidentai, DI sistemų veikimo skirtingose gyventojų grupėse vertinimo rezultatai ir taikytos šališkumo mažinimo priemonės prisideda prie visos Europos mastu kuriamos žinių bazės, kuria gali naudotis visos tinkle dalyvaujančios šalys ir kuri padeda gerinti pacientų priežiūrą.
Toliau plėtojant Europos sveikatos duomenų erdvę (ESDE), šis tinklas turės galimybę savo duomenų dalijimosi ir tarpusavio mokymosi praktiką derinti su naujais Europos Sąjungos reguliavimo principais. Tai prisidės prie teisingesnio, skaidresnio ir nuoseklesnio DI sistemų diegimo įvairiose sveikatos priežiūros įstaigose.
AEQUITAS reguliavimo modelis nėra skirtas vien ligoninių vadovams, viešųjų pirkimų specialistams ar informacinių technologijų specialistams. Jis tiesiogiai susijęs ir su jūsų, kaip sveikatos priežiūros specialisto, kasdiene klinikine praktika. Toliau trumpai apibendrinama, ką tai reiškia praktiškai:
📌 Svarbiausia žinutė: Reguliavimo modelis sukurtas tam, kad jums padėtų, o ne didintų administracinę naštą. Jo tikslas – užtikrinti, kad DI sistemos, su kuriomis dirbate, būtų saugios, skaidrios ir teisingos kiekvienam jūsų prižiūrimam pacientui, nepriklausomai nuo jo lyties, rasės ar kitų ypatybių. Jūsų profesinis sprendimas visada išlieka svarbiausias.
Šiuo moduliu baigiama pagrindinė AEQUITAS mokymų dalis. Jau susipažinote su biomedicininio dirbtinio intelekto pagrindais, šališkumo rūšimis ir jo atsiradimo mechanizmais, dokumentuotais lyčių ir rasiniais skirtumais sergant širdies ir kraujagyslių ligomis, cukriniu diabetu ir depresija, taip pat su etikos ir teisės principais, reglamentuojančiais DI taikymą sveikatos priežiūroje, bei praktinėmis priemonėmis, padedančiomis šiuos principus taikyti praktikoje.
VI modulyje susipažinsite su AEQUITAS duomenų baze – praktiniu įrankiu, sukurtu padėti sveikatos priežiūros specialistams nustatyti ir suprasti lyčių bei rasinį šališkumą biomedicininiame dirbtiniame intelekte širdies ir kraujagyslių ligų, cukrinio diabeto ir depresijos srityse. Taip pat sužinosite, kaip šia duomenų baze naudotis kasdienėje klinikinėje praktikoje.
Toliau Modulis VI
European Commission, Assessment List for Trustworthy Artificial Intelligence (ALTAI) – Self‑Assessment, Brussels: European Commission, 2020.
European Commission, Updated EU AI Model Contractual Clauses Now Available, Brussels: European Commission, 2025.
European Medicines Agency, GVP Module VI – Collection and Submission of Suspected Adverse Reactions (Rev 2), London: EMA, 2017.
European Union, Charter of Fundamental Rights of the European Union, 2012/C 326/02, Strasbourg: EU. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:12012P/TXT
International Organization for Standardization, ISO/IEC 42001:2023 – Artificial Intelligence Management System, Geneva: ISO, 2023.
Medical Device Coordination Group, MDCG 2019‑16 Rev. 1 - Guidance on Cybersecurity for Medical Devices, Brussels: European Commission, 2020.
Medical Device Coordination Group, MDCG 2023‑1 – Guidance on Health Institution Exemption (MDR/IVDR), Brussels: European Commission, 2023.
National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), Gaithersburg, MD: NIST, 2023.
Rajkomar, A., Hardt, M., Howell, M. D., Corrado, G., & Chin, M. H., Ensuring Fairness in Machine Learning to Advance Health Equity, Annals of Internal Medicine, 169(12), 866-872, 2018.
World Health Organization, Ethics and Governance of Artificial Intelligence for Health, Geneva: WHO, 2021