Studie odhalila rasové předsudky algoritmu třídícího pacienty amerického zdravotnictví

Kdyby byl systém nastaven správně, výrazně by se zvýšilo procento Afroameričanů, kterým přiznává potřebu zdravotní péče. Těm se dlouhodobě dostává méně péče než bílým Američanům.

Nová vědecká studie publikovaná v časopisu Science potvrdila, že současný algoritmus pro vyhodnocování potřeb lékařské péče v Americe diskriminuje Afroameričany. V poslední době vzniklo mnoho studií, které jasně prokazují, že nástroje využívající strojové učení mnohdy přejímají předsudky společnosti, která je stvořila. Ať už jde o profilování skrze technologie využívající systém rozpoznávání tváře (facial recognition), genderovou nevyváženost v rámci automatizovaných výběrových řízení či právě upírání péče potřebným na základě jejich etnika, neustále se naráží na stejný problém. Znamená to, že téma aplikace a užívání strojového učení je v současné době naprosto zásadní.

I technologie užitá v americkém programu Affordable Care Act má v sobě zakořeněné předsudky systému, který ji vytvořil. Ten totiž v současnosti využívá prediktivní model poskytování zdravotní péče. Jinými slovy, algoritmus předpovídá, nakolik bude daný člověk potřebovat lékařskou péči, na základě jeho dosavadní anamnézy. Čím více se v minulosti léčil (respektive čím více peněz do něj systém v minulosti investoval), tím pravděpodobnější je, že ho systém vyhodnotí jako rizikový případ a bude ho léčit i nadále. Tento předpoklad v jistých ohledech odpovídá realitě, avšak studie ukazuje, nakolik jsou Afroameričané z tohoto procesu vyčleněni.

Jak píše Ruha Benjami v recenzi původního článku, „černí pacienti se stejnými výsledky rizika jsou na tom ve většině případů mnohem hůř než bílí“. A to zkrátka proto, že se afroamerickým pacientům dlouhodobě dostává méně péče než Američanům bílé pleti. Systém tedy tato vstupní data přejímá a dále s nimi pracuje. Tím potvrzuje systémovou nerovnost, která je v americkém zdravotnictví dlouhodobě zakořeněna. Studie ukazuje, že kdyby byl systém správně kalibrovaný a bral v potaz skuteřný zdravotní stav pacientů v jeho databázích, podíl ošetřených Afroameričanů by se ze současných 17,7 procenta zvýšil na 46,5 procenta celkového počtu ošetřených.

V debatách o možnostech strojového učení se nejčastěji mluví o nástrahách technologií rozeznávajících tváře. Kongresmanka Alexandria Ocasio-Cortez je vůči policejnímu využívání těchto technologií velmi kritická a Bernie Sanders plánuje v případě svého zvolení prezidentem jejich využívání policií plošně zakázat. U strojového učení nicméně nejde jen o rozpoznávání obličejů – stejné nástrahy číhají v jakémkoli strojovém vyhodnocování databází. Zmiňovaná vědecká studie tak jasně ukazuje, jak snadné je pro algoritmický nástroj přejmout všechny předsudky společnosti, která ho stvořila.

 

Čtěte dále