Foto Tayeb Mezahdia, pexels.com
Rozpoznávání obličejů je jednou z oblastí, které jsou jako dělané pro uplatnění tzv. strojového učení. Poté co selhaly pokusy vytvořit automatizované systémy, které by byly předem naprogramovány pro každý myslitelný případ svého využití, strojové učení se jeví jako cesta daleko slibnější. Původní pokusy byly vhodné ještě tak pro slavnou partii šachů, ve které počítač porazil člověka, ale ukázaly se jako nepoužitelné pro jakékoli komplexnější úkoly.
Svobodná společnost stojí a padá s právem na soukromí – můžeme se v mezích zákona kdekoli pohybovat, cokoli dělat, s kýmkoli se stýkat, aniž by o tom existoval záznam.
Strojové učení spočívá v tom, že se počítačové systémy podobné neuronovým vrstvám v mozku probírají obrovským množstvím dat, samostatně si z nich dovozují vzorce a pravidla té které oblasti. Ty pak podobně samostatně využívají k řešení zadaných úkolů. Tyto systémy nacházejí uplatnění při vývoji samořídících aut, která musejí umět rozpoznat značku nebo jiné účastníky silničního provozu. Používají se také v medicíně, kde v oblasti diagnostiky již mnohdy dosahují spolehlivějších a rychlejších výsledků než lidé. Nebo v personalistice, kde dokážou podle klasického životopisu, ale například i podle melodie nebo rytmu hlasu či používání různých slov odhadnout osobnost kandidáta a posoudit, zda je vhodný pro danou pozici. Za revoluční je považována zejména jejich schopnost velmi rychle odhalit a uplatnit vzorce, které jsou pro člověka kvůli jeho omezené kognitivní výbavě v zásadě nerozpoznatelné.
Všudypřítomná kontrola
Právě tato schopnost se využívá i při strojovém rozpoznávání obličejů. Automatizované systémy si v tomto případě podle polohy markantních bodů, jako jsou oči, nos a ústa, k sobě navzájem vytvoří jedinečnou obličejovou mapu, kterou pak již jen porovnávají s dostupnými daty o identifikovaných obličejích. Výsledkem může být přiřazení člověka nějaké obecnější kategorii, jež se vyznačuje specifickými obličejovými rysy, jako je pohlaví či rasa. Využít se dá ale i k identifikaci konkrétního jedince, což zároveň umožňuje bleskově ho propojit se všemi informacemi, které o něm jsou v digitální podobě dostupné.
Jako v podstatě všechny technologie i rozpoznávání obličejů může být velmi přínosné, ale nese s sebou také řadu závažných pochybností a problémů. Mohlo by být spolehlivým a jednoduchým způsobem prokazování identity, kdykoli to člověk potřebuje, například ve styku s úřady či bankou, a to případně i na dálku. Podobnou službu dosud poskytoval otisk prstů, který však měl oproti automatizovanému rozpoznání obličeje tu výhodu, že mohl vždy být použit pouze vědomě – otisk prstu vám totiž nikdo na dálku bez vašeho vědomí nesejme (byť násilně ano). A zde jsme právě už u otázek, které využití technologie vzbuzuje: může být totiž využita bez našeho vědomí k účelům, s nimiž nejsme srozuměni.
Je nasnadě, že se zvažuje a místy už i testuje využití této technologie v oblasti bezpečnosti. Představa, že by nám spolehlivě a bez větší námahy spojené s pátráním a sledováním mohla pomoci pochytat všechny hledané zlosyny, zní lákavě. Jenže znamenala by zároveň i to, že bychom museli být kontrole a identifikaci za tímto účelem vystaveni všichni. Kdyby se to omezilo na prostory, na kterých je v tomto ohledu prozatím konsenzus, jako jsou státní hranice či letiště, zřejmě by to ještě problém nebyl a koneckonců se to již s novými pasy s uloženými biometrickými údaji vlastně děje. Potíž spočívá v tom, že se uvažuje o využití takových systémů na mnoha dalších místech – na nádražích, náměstích, v nákupních centrech, ale i v oblastech se zvýšeným výskytem kriminality či na demonstracích. Uvažuje se dokonce i o přenosném použití této technologie, jak s ním již experimentovaly Google Glasses nebo jak ji též ve formě brýlí využívá čínský represivní aparát. V okamžiku, kdy půjde o funkční, široce dostupnou technologii, jejíž použití nebude nijak regulováno, se zkrátka fantazii úřadů i soukromých subjektů meze nekladou.
Zneužitelná kontrola
Je zřejmé, že důsledky by byly fatální. Svobodná společnost stojí a padá s právem na soukromí – můžeme se v mezích zákona kdekoli pohybovat, cokoli dělat, s kýmkoli se stýkat, aniž by o tom existoval záznam. Argument, že kdo nepáchá nic špatného, nemá co skrývat, nemůže obstát. V okamžiku, kdy personalizovaný záznam existuje, je cokoli z něj proti člověku využitelné či zneužitelné, a pokud ne dnes, může se tak stát podle jinak nastavených pravidel v budoucnu. Anebo prostě zlovolně v rozporu s pravidly. Již pouhá hypotetická možnost takového zneužití může výrazně proměnit chování jedinců i společenské dynamiky směrem k nesvobodě. Není ostatně náhoda, že se technologie těší zatím největšímu zájmu v autoritářských státech, jako je Čína nebo Spojené arabské emiráty, a bývají odmítány v demokratických zemích, naposledy v San Francisku, či velmi kontroverzně diskutovány, jako třeba v Německu.
Druhý, konkrétnější problém spočívá v tom, že je rozpoznávání obličejů spolehlivé jen zdánlivě. Jak vyplývá třeba z interpelace k této technologii v americkém Kongresu a je už delší dobu známo z různých jiných případů, algoritmy ve skutečnosti nejsou žádnou neutrální, spravedlivou instancí, jak by se možná mohlo zdát. Jsou vždy ovlivněny tím, kdo je naprogramuje a specifickými představami o světě, které tím do nich vtělí. Ovlivňuje je i to, z jakých souborů dat si algoritmus vytváří svá rozhodovací pravidla. Ze zmíněné interpelace vyplývá, že vzhledem k tomu, že vývojáři odpovídajících algoritmů jsou bílí muži, kteří zároveň převládají v databázích obličejů, na nichž se systémy učí, jsou velmi spolehlivé při rozpoznávání této konkrétní skupiny obyvatel. Jsou však nespolehlivé u všech ostatních skupin, například u žen či lidí jiné rasy. U těch pak často dochází k falešně pozitivní identifikaci, když si je systém kvůli své nedokonalosti splete se zločincem. To zatím v západní realitě obvykle vede „jen“ k nedorozuměním, která by měla být v rámci právního státu vysvětlitelná, řešitelná a kompenzovatelná. Nicméně i naše systémy trpí v tomto ohledu selháními a excesy. V krajních situacích může taková chyba vést k uvěznění, či dokonce ke ztrátám na životech, například když takto neprávem podezíraný zazmatkuje a policie selže či ho považuje za tak nebezpečného delikventa, že ho zneškodní.
Diskriminační kontrola
A to zatím mluvíme pouze o možnosti využít systémy rozpoznávání obličejů pouze k identifikaci lidí, kteří se již něčeho dopustili. Ovšem jestliže algoritmy umí dobře objevovat skryté vzorce, platí také, že se čím dál tím více začínají na jejich základě využívat k prognózám, které se tak mohou jevit velmi spolehlivě. Než se nadějeme, může nás nějaká kamera, které si ani nevšimneme, označit za potenciálně problematického či nebezpečného. A to jen proto, že na základě naší identifikace budeme spadat do skupiny lidí, u kterých je statisticky vyšší pravděpodobnost, že udělají něco, co je zakázáno či považováno za nezáhodné. Rychle se můžeme ocitnout v situaci, kdy už se nebude sankcionovat porušení pravidel, ale pouze vysoká statistická pravděpodobnost, že se ho někdo dopustí.
I kdybychom odhlédli od vyloženě dystopických scénářů, nepomohou nám podobné automatizované systémy v prevenci kriminality bez nežádoucích vedlejších efektů. Stávající justiční systémy se totiž dopouštějí systémových nespravedlností, když často v důsledku různých podvědomých předsudků měří lidem s různým socioekonomickým, etnickým či rasovým původem jiným metrem. O americkém justičním systému je například známo, že diskriminuje Afroameričany – chová se k nim často tvrději pouze na základě jejich barvy pleti. Tato nespravedlnost je pak obsažena v datech, s jejichž pomocí se algoritmy určené pro tzv. predictive policing učí rozpoznávat a uplatňovat pravidla. Ta jsou proto „cinknutá“ a současné nespravedlnosti budou pouze dál reprodukovat, či dokonce zesilovat. Použití takových systémů tedy není nebezpečné jen tím, že ohrožuje princip presumpce neviny, ale i proto, že by na tom lidé, kteří jsou už teď diskriminováni, byli ještě hůř.
V dnešní situaci, kdy se moc všeho druhu koncentruje u korporátních aktérů a v mnoha případech překračuje moc států, nesmíme opomíjet skutečnost, že většinu systémů k automatizovanému rozpoznávání obličejů nevyvíjejí státy, ale právě obří technologické firmy jako IBM nebo Google. Mají v tomto ohledu obrovskou komparativní výhodu, protože disponují digitálními daty, která jsou k tomu potřeba. Nástroje i otázku jejich přesného nastavení tak v ruce drží aktéři, kteří na rozdíl od přinejmenším demokratických států nepodléhají jakékoli kontrole a požadavku transparentnosti. Musíme se proto mít na pozoru nejen před tím, že je budou dávat k dispozici státům, ale i před tím, že je mohou oni sami využívat pro svůj hlavní účel – tedy maximalizaci zisku prostřednictvím co největší infiltrace do našich životů a manipulace s nimi.
Korporátní kontrola
Automatizované rozpoznávání obličejů je tedy něco, co je třeba velmi bedlivě sledovat, promýšlet a regulovat. Pro Česko to platí o to víc, že se ve zdejší společenské atmosféře zneužívá téma bezpečnosti. Mnozí by jistě přivítali její co nejširší využití. Poměrně čerstvá zkušenost totalitního uspořádání u nás vedla sice k upevnění mnoha různých přesvědčení, ale paradoxně nezvýšila naši citlivost k obecným, přenositelným rysům takových režimů. Jak jinak si vysvětlit naprostou absenci debaty o digitálních datech, o tom, co se nimi děje nebo kdo nad nimi má moc. Nebezpečí nadto primárně větříme ze strany státu. To se dá vzhledem k popsaným úskalím technologie a v kontextu aktuálních politických tendencí, které mohou skončit všelijak, pochopit. Jenže to bychom nesměli jako hlavní nebezpečí ze strany státu vnímat zejména zásahy vůči svobodám podnikatelským či těm prokazatelně pro všechny škodlivým (například kouření) nebo diskriminačním (třeba dvojí odměňování žen a mužů). A také by nesměl stát (či nadnárodní sdružení států) zůstávat nakonec jediným relevantním aktérem, který má v globalizovaném digitálním kapitalismu šanci alespoň něco zmoct. Pro českou debatu je totiž typické, že velký byznys, který při vývoji debatovaných, ale v podstatě i všech dalších klíčových technologií hraje prim, z ničeho nekalého nepodezíráme. Ba právě naopak: co vzniklo z podnikatelské aktivity, je pro nás zpravidla svaté jako ona sama. Tyto postoje bychom tváří v tvář rychlým technologickým změnám poháněným technologickými giganty s totalitními nároky měli rychle přehodnotit.
Autorka je politoložka.