Разбиране на системните пристрастия в системите с ИИ

Пристрастията в ИИ се отнасят до „компютърни системи, които систематично и несправедливо дискриминират определени лица или групи в полза на други. Дадена система дискриминира несправедливо, ако отказва възможност или води до нежелан резултат за дадено лице или група на основания, които са необосновани или неподходящи“ (Friedman & Nissenbaum, 1996). Освен това пристрастията в компютърните системи магат да се разделят на три категории: предварително съществуващи пристрастия, технически пристрастия и възникващи пристрастия (Friedman & Nissenbaum, 1996).  

Емпиричните изследвания са показали, че такива пристрастия могат да имат сериозни последствия в клиничен контекст. Проучванията са документирали постоянни несъответствия в диагностиката и лечението на сериозни заболявания. 

Няколко механизма могат да доведат до подобни пристрастни резултати при вземането на решения, подпомагани от ИИ в здравеопазването, включително дисбаланси в данните за обучение, грешки при измерването на клинични променливи, неподходящи заместващи показатели и разлики между средата, в която се разработват системите за ИИ, и реалните условия, в които се прилагат. 

Пристрастие може да възникне и когато системите за ИИ се въвеждат в клиничните работни процеси без адекватно обучение на медицинските специалисти или без надеждни механизми за човешки надзор и отчетност, които да следят тяхното представяне при различни групи пациенти.

Как възникват системните пристрастия?

Изследователите са определили три основни категории пристрастия, които важат за всички компютърни системи. Разбирането на тези категории ще Ви помогне да разпознаете къде в системата може да възникне проблем:

Предварително съществуващи пристрастия

Този тип пристрастие произтича от съществуващи неравенства в социалните институции, практики и нагласи, които са независими и обикновено са налице преди създаването на системата. То се вгражда в системата, съзнателно или несъзнателно, понякога дори когато разработчиците активно се опитват да го избегнат. В здравеопазването това може да означава, че историческите модели на неравно третиране на пациенти въз основа на билогичен и социален пол или расов произход и т.н. се вграждат в инструментите за ИИ, обучени на тези данни.

Технически пристрастия

Техническите пристрастия възникват от ограниченията и съображенията, направени при превръщането на сложни човешки реалности в изчислителна форма, например когато качествената информация се редуцира до числа или когато алгоритъм, разработен в една клинична среда, се прилага в съвсем различна такава. Това може да доведе до неравностойно третиране на определени групи от системата при конкретни условия. 

Възникващи пристрастия

Възникващите пристрастия се проявяват след внедряването на дадена система в резултат на промени в обществените познания, културния контекст или пациентската популация, които не са били или не са могли да бъдат включени в проекта на системата. Това може да се случи, защото определени групи от населението липсват в обучителните данни – било то поради етични или правни ограничения, ограничен достъп до здравни грижи или поради факта, че съответните категории на идентичност все още не са били признати за клинично значими променливи към момента на разработването. Примери за това са възрастните хора с множество съпътстващи заболявания, които често се изключват от клиничните изпитвания поради произволни възрастови ограничения и критерии за изключване на мултиморбидност (Florisson et al., 2021), както и небинарните, транс и интерсексуалните лица, чиито идентичности до голяма степен липсваха в системите за клинични данни, когато бяха разработени много от настоящите системи за ИИ (Hafner et al., 2024). С други думи, система за ИИ, която е работила справедливо по време на разработването си, може да стане пристрастна, тъй като светът около нея се променя.

Пристрастия в процеса на разработване на ИИ 

Макар и трите категории по-горе да важат за всички компютърни системи, приложенията за ИИ и машинно обучение изискват по-подробна рамка. При разглеждане на конкретните етапи на създаване и използване на ИИ модел (от събирането на данни до внедряването) са идентифицирани следните седем вида пристрастност (Suresh & Guttag, 2021).

Забележка: Тези седем вида пристрастия не се изключват взаимно, т.е. една и съща система за ИИ може да страда от няколко едновременно, а те могат да взаимодействат и да се подсилват взаимно през различните етапи на разработване и внедряване.

Историческо пристрастие

Историческото пристрастие съответства на предварително съществуващото пристрастие, както е дефинирано от Friedman & Nissenbaum (1996), отразявайки предразсъдъци и стереотипи, които вече са налице в данните, използвани за обучение на ИИ. Дори ако данните са технически точни, те могат да кодират модели на неравно третиране. Пример за това може да се види в Calderone (1990), където се проучва дали честотата на прилагане на обезболяващи и успокоителни лекарства при пациенти след операция за коронарен байпас (CABG) се различава в зависимост от пола и възрастта на пациента. Резултатът показа, че на мъжете пациенти и на пациентите на 61 години или по-млади са били предписвани обезболяващи лекарства значително по-често, отколкото на жените пациенти и на пациентите на 62 години или повече, на които вместо това са били предписвани успокоителни лекарства значително по-често. ИИ, обучен на такива данни, би научил и възпроизвел тази неравнопоставеност.

Пристрастие в представителността

Пристрастие в представителността възниква, когато данните, използвани за обучение на ИИ, не отразяват адекватно определени групи от населението. Това може да се случи по следните начини: 

• При определяне на целевата популация, ако тя не отразява реалната популация;

• При определяне на целевата популация, ако тя включва недостатъчно представени групи; 

• При вземане на извадка от целевата популация, ако методът на извадката е ограничен или неравномерен. 

В резултат на това моделът работи успешно за групи, които са добре представени в данните, но неуспешно за тези, които не са добре представени. Типичен пример за пристрастие в представянето се отнася до откриването на рак на кожата: много набори от данни за изображения се състоят предимно от изображения на хора със светла кожа, което води до значително по-ниска точност на моделите на ИИ при оценката на пациенти с различен цвят на кожата (Guo et al., 2021). 

Изкривяване при измерването

Изкривяване при измерването възниква при избора, събирането или изчисляването на характеристики и етикети, които да се използват в задача за прогнозиране, особено при използването на заместващ показател. Пример за това може да се намери в проучването на Obermeyer et al. (2019), където разходите за здравеопазване са били използвани като заместващ показател за здравните нужди на пациентите. Тъй като чернокожите пациенти, изправени пред непропорционално високи нива на бедност, са склонни да харчат по-малко за здравни грижи в сравнение с бялокожи пациенти със същото заболяване, алгоритъмът погрешно е заключил, че чернокожите пациенти са по-здрави, и вследствие на това ги е класифицирал като по-ниска приоритет за грижи.

Измервателна пристрастност може да възникне и когато методът на измерване варира между групите, например когато две групи се наблюдават за едно и също поведение, но едната от тях се наблюдава по-стриктно или по-често от другата. Изследвания са показали, например, че лекарите са по-склонни да подценяват болката на чернокожи пациенти в сравнение с нечернокожи пациенти, поради погрешни вярвания за биологични разлики, което впоследствие води до по-малка вероятност чернокожите пациенти да получат адекватни обезболяващи лекарства (Hoffman et al., 2016).

Отклонение при агрегиране

Отклонение при агрегиране възниква, когато за набор от данни, включващ разнообразни групи хора или обекти, се използва универсален модел, който пренебрегва съществените разлики между групи от населението. Значението на дадена точка от данните или това как изглежда клинично подходящата реакция могат да варират значително в зависимост от групите от населението, културата или социално-икономическия контекст. Можем да разгледаме примера с приписването към входни данни (например доходът на дадено лице) на етикети, които ги описват (например нисък, среден, висок), като се приема за даденост, че те са еднакви за всички подгрупи от данните. В действителност произходът или културата на дадено лице могат да променят реалното значение на тези числа. Когато моделите на ИИ не отчитат това, те рискуват да генерират резултати, които са подходящи за едни пациенти, но подвеждащи или вредни за други.

Пристрастие при обучението

Пристрастието при обучението произтича от решенията, взети при изграждането и оптимизирането на самия модел на ИИ, което може да засили съществуващите несъответствия в данните. Един пример е диференциалната поверителност – механизъм, използван в системите за ИИ, който гарантира, че чрез анализ на резултатите от системата не е възможно да се установи дали данните на конкретно лице са били включени в първоначалния набор от данни. Въпреки че се използва за защита на поверителността на пациентите в набори от данни в здравеопазването, в случая с редки заболявания, където случаят на всеки пациент до известна степен е уникален в контекста на дадена болница, дори ако данните са анонимизирани, не е много трудно да се разбере самоличността на лицето. Освен това е доказано, че диференциалната поверителност намалява влиянието на недостатъчно представените групи върху модела. По този начин, ако основните данни вече са пристрастни, такива мерки могат неволно да влошат тази пристрастност (Bagdasaryan & Shmatikov, 2019). За специалистите в областта на здравеопазването ключовият извод е, че пристрастията могат да възникнат или да бъдат усилени не само чрез данните, но и чрез техническите решения, взети по време на разработването на модела – решения, които може да не са видими или прозрачни за крайните потребители. 

Пристрастие при оценяването

Пристрастние при оценяването възниква, когато референтните данни, използвани за дадена задача, не отразяват популация от потребители. Референтните данни са стандартизирани набори от данни, използвани за измерване на качеството на даден модел, което позволява количествено сравнение на моделите. В здравеопазването определени групи често са недостатъчно представени в референтните набори от данни, или защото липсват в тях (например бременни жени, поради етични ограничения), или защото са неправилно или неподходящо категоризирани в групи (например категориите „смесена етническа принадлежност“ или „други“). 

Основните причини за това могат да включват социални и технически или правни/етични причини, като например структурни бариери за получаване на здравни грижи, технически пречки за събирането или дигитализирането на съответните здравни данни, индивидуални и структурни ограничения по отношение на съгласието за споделяне на данни, както и правни или етични ограничения за споделяне на данни, които възпрепятстват достъпа до данни, наред с други (Arora et al., 2023). 

Когато системите за ИИ се калибрират спрямо такива референтни данни, те могат да дават неефективни резултати при лица от недостатъчно представени групи, без това да бъде забелязано по време на разработването, което означава, че дадена система може да изглежда, че работи добре при тестване, докато в реалната клинична употреба систематично не отговаря на нуждите на конкретни групи пациенти.

Пристрастие при внедряването

Пристрастие при внедряването възниква, когато има несъответствие между това, за което е проектиран даден ИИ модел, и начина, по който той се използва на практика. Това може да доведе до вреди, особено когато се съчетае с определени човешки когнитивни тенденции като пристрастието към потвърждение (склонността да се отдава по-голямо значение на информация, която потвърждава съществуващите убеждения) и пристрастието към автоматизацията (склонността към прекомерно доверие в автоматизирани препоръки или решения). В резултат на това система, която е работила добре в първоначалния си контекст на разработване, може да даде несправедливи или неточни резултати, когато се прилага в различна клинична среда или при различна група пациенти.

Видове пристрастия накратко

След като вече сте се запознали с различните видове пристрастия и механизмите, стоящи зад пристрастни системи с ИИ, Модул 3 ще приложи това знание към клиничната практика, като разгледа конкретните пристрастия, свързани с пола и расовия произход, които са документирани в областта на биомедицинския ИИ, с особен акцент върху сърдечно-съдовите заболявания, диабета и депресията.

Следва: Модул 3

Източници 

Arora, A., Alderman, J. E., Palmer, J., Ganapathi, S., Laws, E., McCradden, M. D., Oakden-Rayner, L., Pfohl, S. R., Ghassemi, M., McKay, F., Treanor, D., Rostamzadeh, N., Mateen, B., Gath, J., Adebajo, A. O., Kuku, S., Matin, R., Heller, K., Sapey, E., … Liu, X. (2023). Значението на стандартите за здравни набори от данни в приложения, базирани на изкуствен интелект. Nature Medicine, 29(11), 2929–2938. https://doi.org/10.1038/s41591-023-02608-w

Bagdasaryan, E., & Shmatikov, V. (2019). Диференциалната поверителност оказва неравномерно въздействие върху точността на моделите (arXiv:1905.12101). arXiv. https://doi.org/10.48550/arXiv.1905.12101

Calderone, K. L. (1990). Влиянието на пола върху честотата на прилагане на обезболяващи и седативни медикаменти при следоперативни пациенти. Sex Roles, 23(11), 713–725. https://doi.org/10.1007/BF00289259

Florisson, S., Aagesen, E.K., Bertelsen, A.S., Nielsen, L.P., & Rosholm, J.U. (2021). Недостатъчно ли са представени възрастните хора в клиничните изпитвания? Обобщаващ преглед на систематични прегледи. Basic & Clinical Pharmacology & Toxicology, 128(2), 213–223. https://doi.org/10.1111/bcpt.13536

Friedman, B., & Nissenbaum, H. (1996). Пристрастия в компютърните системи. ACM Transactions on Information Systems, 14(3), 330–347. https://doi.org/10.1145/230538.230561

Guo, L. N., Lee, M. S., Kassamali, B., Mita, C., & Nambudiri, V. E. (2021). „Пристрастия навътре, пристрастия навън“: недостатъчно докладване и недостатъчно представяне на разнообразни типове кожа в изследванията по машинно обучение за откриване на рак на кожата – обзорен преглед. Journal of the American Academy of Dermatology, S0190-9622(21)02086-7. https://doi.org/10.1016/j.jaad.2021.06.884

Hoffman, K. M., Trawalter, S., Axt, J. R., & Oliver, M. N. (2016). Расови предубеждения при оценката на болката, препоръките за лечение и погрешните вярвания за биологичните различия между чернокожи и белокожи хора. Proceedings of the National Academy of Sciences, 113(16), 4296–4301. https://doi.org/10.1073/pnas.1516047113

Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Анализ на расовите пристрастия в алгоритъм, използван за управление на здравето на населението. Science, 366(6464), 447–453.  https://doi.org/10.1126/science.aax2342 

Suresh, H., & Guttag, J. (2021). Рамка за разбиране на източниците на вреда през целия жизнен цикъл на машинното обучение. Equity and Access in Algorithms, Mechanisms, and Optimization, EAAMO ’21, 1–9. https://doi.org/10.1145/3465416.3483305