Kalbant apie šališkumą DI sistemose, omenyje turimas konkretus reiškinys. Jis apibrėžiamas kaip kompiuterinių sistemų polinkis sistemingai diskriminuoti tam tikrus asmenis ar jų grupes kitų naudai. Sistema diskriminuoja, jei dėl nepagrįstų ar netinkamų priežasčių asmeniui ar grupei nesuteikia galimybės arba priima jiems nepalankų sprendimą (Friedman ir Nissenbaum, 1996).
Friedman ir Nissenbaum (1996) išskiria tris pagrindines kompiuterinių sistemų šališkumo kategorijas: išankstinį šališkumą, techninį šališkumą ir iškylantį šališkumą.
Šališkus DI sistemų sprendimus sveikatos priežiūroje gali lemti įvairūs veiksniai. Tarp jų – netolygiai pasiskirstę mokymo duomenys, klinikinių kintamųjų matavimo paklaidos, netinkamai parinkti pakaitiniai rodikliai (angl. proxy indicators) bei skirtumai tarp aplinkos, kurioje DI sistema buvo sukurta ir apmokyta, ir realių sąlygų, kuriomis ji taikoma klinikinėje praktikoje.
Šališkumas taip pat gali atsirasti, kai DI sistemos diegiamos į klinikinius darbo procesus neužtikrinus tinkamo sveikatos priežiūros specialistų pasirengimo arba nesukūrus veiksmingų žmogaus priežiūros ir atskaitomybės mechanizmų, leidžiančių stebėti DI sistemų veikimą skirtingose pacientų grupėse.
Mokslininkai išskiria tris pagrindines šališkumo kategorijas, būdingas visoms kompiuterinėms sistemoms. Jų supratimas padeda nustatyti, kuriame sistemos kūrimo ar taikymo etape problema gali atsirasti.
Išankstinis šališkumas
Išankstinis šališkumas kyla dėl visuomenėje jau egzistuojančios nelygybės, įsitvirtinusios institucijose, praktikoje ir visuomenės nuostatose. Toks šališkumas egzistuoja dar iki kuriant DI sistemą ir gali būti į ją perkeltas tiek sąmoningai, tiek nesąmoningai. Net ir tuomet, kai kūrėjai siekia jo išvengti, jis sistemoje gali atsispindėti.
Sveikatos priežiūros srityje tai reiškia, kad istoriškai susiformavusi nelygybė, pavyzdžiui, susijusi su pacientų lytimi, rasine ar etnine kilme, gali būti perimami DI sistemų, jeigu jų mokymui naudojami tokią nelygybę atspindintys duomenys.
Techninis šališkumas
Techninis šališkumas atsiranda dėl sprendimų ir apribojimų, su kuriais susiduriama sudėtingus realaus pasaulio reiškinius paverčiant kompiuteriu apdorojamais duomenimis. Pavyzdžiui, kokybinę informaciją paverčiant skaitiniais duomenimis arba DI sistemą, sukurtą ir apmokytą vienoje klinikinėje aplinkoje, taikant kitoje, iš esmės besiskiriančioje aplinkoje. Dėl to tam tikromis aplinkybėmis sistema gali veikti neteisingai ir lemti mažiau palankius rezultatus tam tikroms pacientų grupėms.
Iškylantis šališkumas
Iškylantis šališkumas pasireiškia jau po to, kai DI sistema pradedama taikyti praktikoje. Jis atsiranda dėl visuomenės, mokslo žinių, kultūrinio konteksto ar pacientų grupių pokyčių, į kuriuos nebuvo arba negalėjo būti atsižvelgta kuriant sistemą.
Toks šališkumas gali atsirasti, kai tam tikrų gyventojų grupių duomenys neįtraukiami į mokymo duomenų rinkinius. Taip gali nutikti dėl etinių ar teisinių apribojimų, ribotų galimybių naudotis sveikatos priežiūros paslaugomis arba dėl to, kad sistemos kūrimo metu tam tikri tapatybės požymiai dar nebuvo pripažįstami kliniškai reikšmingais kintamaisiais. Pavyzdžiui, vyresnio amžiaus pacientai, sergantys keliomis gretutinėmis ligomis, dažnai neįtraukiami į klinikinius tyrimus dėl nustatytų amžiaus ribų ar daugialigystės atmetimo kriterijų (Florisson ir kt., 2021). Panašiai daugelis šiandien naudojamų DI sistemų buvo kuriamos tuo metu, kai nebinarinių, translyčių ir interseksualių asmenų tapatybės klinikinių duomenų sistemose beveik nebuvo registruojamos (Hafner ir kt., 2024).
Kitaip tariant, DI sistema, kuri jos sukūrimo metu veikė teisingai ir vienodai visų pacientų atžvilgiu, laikui bėgant gali tapti šališka, nes keičiasi visuomenė, pacientų grupių įvairovė ir medicinos žinios.
Nors anksčiau aptartos trys šališkumo kategorijos būdingos visoms kompiuterinėms sistemoms, dirbtinio intelekto ir mašininio mokymosi sistemoms reikalingas detalesnis analizės modelis. Vertinant atskirus DI sistemos kūrimo ir taikymo etapus – nuo duomenų rinkimo iki sistemos diegimo – išskiriami septyni pagrindiniai šališkumo tipai (Suresh ir Guttag, 2021).
Svarbu. Šie septyni šališkumo tipai nėra tarpusavyje atskiri. Toje pačioje DI sistemoje gali pasireikšti keli šališkumo tipai vienu metu, jie gali sąveikauti tarpusavyje ir vienas kitą sustiprinti skirtingais DI sistemos gyvavimo ciklo etapais – tiek ją kuriant, tiek diegiant ir naudojant.
Istorinis šališkumas
Istorinis šališkumas atitinka anksčiau aptartą išankstinį šališkumą (Friedman ir Nissenbaum, 1996). Jis atspindi išankstines nuostatas ir stereotipus, jau esančius duomenyse, naudojamuose DI sistemai apmokyti. Net jeigu duomenys yra techniškai tikslūs, juose gali būti užkoduoti istoriškai susiformavę netolygaus pacientų vertinimo ar gydymo modeliai. Vieną iš tokių pavyzdžių pateikia Calderone (1990), tyręs, ar po vainikinių arterijų šuntavimo operacijos (CABG) pacientams skiriamų skausmą malšinančių ir raminamųjų vaistų dažnis skiriasi priklausomai nuo paciento lyties ir amžiaus. Tyrimo rezultatai parodė, kad vyrams ir 61 metų ar jaunesniems pacientams skausmą malšinantys vaistai buvo skiriami reikšmingai dažniau, o moterims ir 62 metų bei vyresniems pacientams reikšmingai dažniau buvo skiriami raminamieji vaistai. DI sistema, apmokyta naudojant tokius duomenis, perimtų ir atkurtų šį netolygumą.
Reprezentatyvumo šališkumas
Reprezentatyvumo šališkumas atsiranda tuomet, kai DI sistemos apmokymui naudojami duomenys nepakankamai atspindi tam tikras gyventojų grupes. Tai gali nutikti keliais atvejais:
kai sistemoje apibrėžiama tikslinė populiacija neatitinka populiacijos, kuriai DI sistema bus taikoma;
kai tikslinėje populiacijoje tam tikros gyventojų grupės yra nepakankamai atstovaujamos;
kai renkant duomenis iš tikslinės populiacijos taikomi riboti arba netolygūs atrankos metodai.
Dėl to DI sistema paprastai tiksliau veikia toms gyventojų grupėms, kurios mokymo duomenyse yra pakankamai reprezentuojamos, o kitoms grupėms jos veikimas gali būti gerokai mažiau tikslus. Vienas dažniausiai minimų reprezentatyvumo šališkumo pavyzdžių yra odos vėžio diagnostika. Daugelį medicininių vaizdų duomenų rinkinių daugiausia sudaro šviesios odos pacientų vaizdai, todėl DI sistemų tikslumas vertinant pacientus, kurių odos spalva yra tamsesnė, yra reikšmingai mažesnis (Guo ir kt., 2021).
Matavimo šališkumas
Matavimo šališkumas atsiranda tuomet, kai prognozavimui naudojami požymiai ir rezultatų kintamieji parenkami, surenkami ar apskaičiuojami netinkamai, ypač kai naudojami pakaitiniai rodikliai (netiesioginiai matavimo rodikliai). Vieną iš tokių pavyzdžių pateikia Obermeyer ir kt. (2019). Tyrime sveikatos priežiūros išlaidos buvo naudojamos kaip pakaitinis rodiklis paciento sveikatos priežiūros poreikiams įvertinti. Kadangi juodaodžiai pacientai dėl didesnio skurdo lygio vidutiniškai sveikatos priežiūros paslaugoms išleidžia mažiau nei tokios pačios sveikatos būklės baltaodžiai pacientai, algoritmas klaidingai įvertino, kad jų sveikatos būklė yra geresnė. Dėl to šiems pacientams buvo skiriamas mažesnis prioritetas gauti reikalingą sveikatos priežiūrą.
Matavimo šališkumas taip pat gali atsirasti, kai skirtingoms gyventojų grupėms taikomi nevienodi matavimo ar vertinimo metodai. Pavyzdžiui, jei dvi pacientų grupės vertinamos pagal tą patį kriterijų, tačiau viena iš jų stebima dažniau arba taikant griežtesnius vertinimo kriterijus nei kita. Tyrimai rodo, kad gydytojai dažniau nepakankamai įvertina juodaodžių pacientų jaučiamą skausmą nei kitų pacientų, remdamiesi klaidingais įsitikinimais apie biologinius skirtumus. Dėl to juodaodžiams pacientams rečiau skiriamas pakankamas skausmo malšinimas (Hoffman ir kt., 2016).
Apibendrinimo šališkumas
Apibendrinimo šališkumas atsiranda, kai skirtingoms gyventojų grupėms taikomas tas pats DI modelis, neatsižvelgiant į reikšmingus jų skirtumus. Daroma prielaida, kad vienas modelis vienodai tinka visiems, nors skirtingose populiacijose tie patys duomenys gali turėti skirtingą reikšmę, o kliniškai tinkami sprendimai gali skirtis. Pavyzdžiui, galima manyti, kad tam tikros pajamų ribos vienodai apibūdina visų gyventojų socialinę padėtį, todėl pagal pajamas asmenys priskiriami mažų, vidutinių ar didelių pajamų grupėms. Tačiau skirtingose šalyse, kultūrose ar socialinėse grupėse tos pačios pajamos gali reikšti visai kitokią ekonominę padėtį.
Jeigu DI modeliai į tokius skirtumus neatsižvelgia, jų pateikiami rezultatai vienoms pacientų grupėms gali būti tinkami, o kitoms – klaidinantys ar net žalingi.
Mokymosi šališkumas
Mokymosi šališkumas atsiranda dėl sprendimų, priimamų kuriant ir optimizuojant DI modelį. Šie sprendimai gali sustiprinti mokymo duomenyse jau esantį šališkumą. Vienas iš pavyzdžių – diferencinis privatumas (angl. differential privacy). Tai metodas, taikomas DI sistemose siekiant apsaugoti asmens duomenų privatumą. Jis užtikrina, kad iš sistemos pateikiamų rezultatų nebūtų galima nustatyti, ar konkretaus asmens duomenys buvo naudojami modelio apmokymui.
Nors šis metodas padeda apsaugoti pacientų privatumą, retų ligų atvejais, kai kiekvienas paciento atvejis yra unikalus, o konkrečioje gydymo įstaigoje tokių pacientų yra nedaug, net ir anonimizuoti duomenys gali sudaryti prielaidas nustatyti asmens tapatybę. Be to, tyrimai rodo, kad diferencinio privatumo metodai gali sumažinti nepakankamai reprezentuojamų gyventojų grupių įtaką modelio mokymuisi. Todėl, jei mokymo duomenyse jau yra šališkumo, tokios priemonės gali jį netyčia dar labiau sustiprinti (Bagdasaryan ir Shmatikov, 2019).
Sveikatos priežiūros specialistams svarbu suprasti, kad šališkumas gali atsirasti arba sustiprėti ne tik dėl naudojamų duomenų, bet ir dėl techninių sprendimų, priimamų kuriant ir optimizuojant DI modelį. Šie sprendimai galutiniams sistemos naudotojams dažnai nėra matomi ar lengvai suprantami.
Vertinimo šališkumas
Vertinimo šališkumas atsiranda tuomet, kai DI sistemos veikimui įvertinti naudojami baziniai duomenų rinkiniai neatspindi pacientų grupių, kurioms sistema bus taikoma. Baziniai duomenų rinkiniai – tai standartizuoti duomenų rinkiniai, naudojami DI modelių kokybei vertinti ir skirtingų modelių veikimui kiekybiškai palyginti. Sveikatos priežiūros srityje tam tikros pacientų grupės tokiuose baziniuose duomenų rinkiniuose dažnai yra nepakankamai reprezentuojamos. Taip gali būti todėl, kad jų duomenys apskritai nėra įtraukiami (pavyzdžiui, nėščiųjų – dėl etinių apribojimų) arba todėl, kad jos priskiriamos netinkamoms ar pernelyg bendroms kategorijoms, pavyzdžiui, „mišri etninė kilmė“ arba „kita“.
To priežastys gali būti įvairios – socialinės, techninės, teisinės ar etinės. Tarp jų – struktūrinės kliūtys gauti sveikatos priežiūros paslaugas, techniniai sunkumai renkant ar skaitmeninant svarbius sveikatos duomenis, asmens ir institucijų galimybės gauti sutikimą dalytis duomenimis bei teisiniai ar etiniai duomenų prieinamumo apribojimai (Arora ir kt., 2023).
Jeigu DI sistemos vertinamos remiantis tokiais baziniais duomenų rinkiniais, jų veikimas gali būti mažiau tikslus nepakankamai reprezentuojamų pacientų grupių atžvilgiu, tačiau sistemos kūrimo etape tai gali likti nepastebėta. Dėl to testavimo metu DI sistema gali atrodyti veikianti tinkamai, nors realioje klinikinėje praktikoje ji sistemingai prasčiau veiks tam tikrų pacientų grupių atžvilgiu.
Diegimo šališkumas
Diegimo šališkumas atsiranda tuomet, kai DI sistema praktikoje naudojama kitaip, nei buvo numatyta ją kuriant. Dėl to gali būti priimami netikslūs ar netinkami sprendimai, ypač kai tai derinama su žmogaus mąstymui būdingais šališkumais, pavyzdžiui, patvirtinimo šališkumu (polinkiu daugiau dėmesio skirti informacijai, kuri patvirtina jau turimus įsitikinimus) arba automatizavimo šališkumu (polinkiu pernelyg pasitikėti automatizuotų sistemų rekomendacijomis). Todėl DI sistema, kuri kūrimo ir testavimo metu veikė tiksliai, gali pateikti neteisingus ar mažiau tikslius rezultatus, jei ji taikoma kitoje klinikinėje aplinkoje arba kitoms pacientų grupėms, nei buvo numatyta ją kuriant.
📌 Svarbiausia žinutė: Šališkumas DI sistemose nėra vienalytė problema, turinti vieną aiškią priežastį. Šališkumas gali atsirasti bet kuriame DI sistemos gyvavimo ciklo etape – nuo mokymo duomenų ir techninių sprendimų, priimamų kuriant modelį, iki DI sistemos taikymo klinikinėje praktikoje. Todėl gebėjimas atpažinti, kur ir kaip atsiranda šališkumas bei kaip skirtingi jo tipai gali vienas kitą sustiprinti, yra pirmasis žingsnis siekiant jį nustatyti, vertinti ir mažinti.
Dabar, kai susipažinote su skirtingais šališkumo tipais ir mechanizmais, lemiančiais šališkumo atsiradimą DI sistemose, III modulyje nagrinėsime, kaip šios problemos pasireiškia klinikinėje praktikoje. Daugiausia dėmesio skirsime biomedicininiame DI nustatytam lyčių ir rasiniam šališkumui bei jo poveikiui širdies ir kraujagyslių ligų, cukrinio diabeto ir depresijos diagnostikai bei gydymui.
Toliau: Modulis III
Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). The value of standards for health datasets in artificial intelligence-based applications. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w
Bagdasaryan, E., & Shmatikov, V. (2019). Differential Privacy Has Disparate Impact on Model Accuracy (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101
Calderone, K. L. (1990). The influence of gender on the frequency of pain and sedative medication administered to postoperative patients. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259
Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Are older adults insufficiently included in clinical trials? An umbrella review. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536
Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561
Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). Bias in, bias out: Underreporting and underrepresentation of diverse skin types in machine learning research for skin cancer detection-A scoping review. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884
Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Racial bias in pain assessment and treatment recommendations, and false beliefs about biological differences between blacks and whites. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113
Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342
Suresh, H., & Guttag, J. (2021). A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305