Nová vědecká studie publikovaná v časopisu Science potvrdila, že současný algoritmus pro vyhodnocování potřeb lékařské péče v Americe diskriminuje Afroameričany. V poslední době vzniklo mnoho studií, které jasně prokazují, že nástroje využívající strojové učení mnohdy přejímají předsudky společnosti, která je stvořila. Ať už jde o profilování skrze technologie využívající systém rozpoznávání tváře (facial recognition), genderovou nevyváženost v rámci automatizovaných výběrových řízení či právě upírání péče potřebným na základě jejich etnika, neustále se naráží na stejný problém. Znamená to, že téma aplikace a užívání strojového učení je v současné době naprosto zásadní.
I technologie užitá v americkém programu Affordable Care Act má v sobě zakořeněné předsudky systému, který ji vytvořil. Ten totiž v současnosti využívá prediktivní model poskytování zdravotní péče. Jinými slovy, algoritmus předpovídá, nakolik bude daný člověk potřebovat lékařskou péči, na základě jeho dosavadní anamnézy. Čím více se v minulosti léčil (respektive čím více peněz do něj systém v minulosti investoval), tím pravděpodobnější je, že ho systém vyhodnotí jako rizikový případ a bude ho léčit i nadále. Tento předpoklad v jistých ohledech odpovídá realitě, avšak studie ukazuje, nakolik jsou Afroameričané z tohoto procesu vyčleněni.
Jak píše Ruha Benjami v recenzi původního článku, „černí pacienti se stejnými výsledky rizika jsou na tom ve většině případů mnohem hůř než bílí“. A to zkrátka proto, že se afroamerickým pacientům dlouhodobě dostává méně péče než Američanům bílé pleti. Systém tedy tato vstupní data přejímá a dále s nimi pracuje. Tím potvrzuje systémovou nerovnost, která je v americkém zdravotnictví dlouhodobě zakořeněna. Studie ukazuje, že kdyby byl systém správně kalibrovaný a bral v potaz skuteřný zdravotní stav pacientů v jeho databázích, podíl ošetřených Afroameričanů by se ze současných 17,7 procenta zvýšil na 46,5 procenta celkového počtu ošetřených.
V debatách o možnostech strojového učení se nejčastěji mluví o nástrahách technologií rozeznávajících tváře. Kongresmanka Alexandria Ocasio-Cortez je vůči policejnímu využívání těchto technologií velmi kritická a Bernie Sanders plánuje v případě svého zvolení prezidentem jejich využívání policií plošně zakázat. U strojového učení nicméně nejde jen o rozpoznávání obličejů – stejné nástrahy číhají v jakémkoli strojovém vyhodnocování databází. Zmiňovaná vědecká studie tak jasně ukazuje, jak snadné je pro algoritmický nástroj přejmout všechny předsudky společnosti, která ho stvořila.