Zbraně matematického ničení

Možná jste už slyšeli o velkých datech a o tom, jak algoritmy, které je využívají, přinášejí nové poznatky o spotřebitelském chování, politice a sociálních médiích. Algoritmy jsou dnes skutečně všudypřítomné. Řídí naše feedy na sociálních sítích a určují, jaké reklamy se nám zobrazují. A také ovlivňují lidské životy mnoha dalšími způsoby – často rozhodují o tom, k jakým pracovním místům a školám máme přístup.

Můžete si myslet, že rozhodování o náboru nebo přijetí by bylo mnohem spravedlivější, kdyby se opíralo o objektivní výpočty, a ne o něčí subjektivní dojem. Vždyť algoritmy přece hodnotí všechny podle stejných kritérií, že? Jak ale uvidíte v tomto shrnutí, skutečnost je podstatně složitější.

Dozvíte se například, proč manipulace s facebookovými feedy může zvýšit volební účast, jak algoritmus používaný k hodnocení amerických univerzit přispěl k růstu školného o 500 procent a proč na Floridě řidiči s bezchybným záznamem platí vyšší pojistné než ti, kteří řídili pod vlivem alkoholu.

Internet v mnoha ohledech podporuje demokracii. Je to veřejná platforma, která dává prostor nezávislým hlasům. Stejná platforma je však zároveň otevřená mocným propagačním strojům, jež dokážou veřejnou debatu manipulovat.

Výzkumy ukázaly, že sociální sítě a vyhledávače jsou obzvlášť zranitelné vůči algoritmům, které mohou ovlivňovat rozhodování nic netušících uživatelů. Výzkumníci Robert Epstein a Ronald Robertson to doložili experimentem, v němž požádali nerozhodnuté voliče ve Spojených státech a v Indii, aby si vyhledali informace o několika různých politických kandidátech. Zajímavé je, že voliči byli instruováni, aby použili konkrétní vyhledávač, aniž tušili, že je naprogramován algoritmem, který upřednostňuje jednoho kandidáta před ostatními. Výsledkem bylo, že se účastníci posunuli zhruba o 20 procent směrem k volbě kandidáta, kterého algoritmus zvýhodňoval.

Podobná studie proběhla na Facebooku těsně před volbami v roce 2012. Solomon Messing z Pew Research Center navrhl speciální algoritmus, který pro dva miliony uživatelů sestavoval zpravodajský kanál tak, aby upřednostňoval politické zprávy před ostatními příspěvky. Facebook mezi účastníky provedl průzkum před volbami i po nich a výsledky ukázaly, že k volbám přišla zhruba o 3 procenta vyšší část uživatelů, než se očekávalo před tím, než byl algoritmus upraven tak, aby zvýhodňoval politický obsah.

I když nemůžeme s jistotou říci, zda jsou konkrétní algoritmy vyhledávačů nebo sociálních sítí záměrně navrženy tak, aby uživatele ovlivňovaly, je zřejmé, že prostor pro zneužití je obrovský. Stejně tak je jasné, že si politické kampaně tuto moc dobře uvědomují.

Před volbami v roce 2012 měl Barack Obama tým datových analytiků, kteří vedli rozhovory s tisíci voličů. Jejich odpovědi pak spojili s demografickými a spotřebitelskými daty a vytvořili matematické profily voličů. Tyto profily následně použili k vyhledání podobných lidí v celostátních databázích. Na základě těchto profilů mohli předpokládat, že lidé s podobnými zájmy a zázemím budou mít i podobné politické postoje.

Jakmile byly lidé se srovnatelnými charakteristikami seskupeni, analytici mohli vytvářet algoritmy, které zajistily, že tyto skupiny uvidí konkrétní reklamy šité na míru jejich vkusu. Například ti, u nichž se projevoval zájem o životní prostředí, byli cíleni reklamami zdůrazňujícími Obamovu ekologickou politiku.

Predikce budoucích zločinů zní jako něco z vědeckofantastických příběhů Philipa K. Dicka, ale ve skutečnosti už je součástí dnešní reality. Policie využívá algoritmy k vytipování potenciálních pachatelů. Tento software však rozhodně není dokonalý a v praxi vedl k nerovnoměrnému dohledu ve městech a k nespravedlivému označování některých lidí.

Jak k tomu dochází? Algoritmy se spoléhají na historická data, aby určily, kde je nejpravděpodobnější, že dojde ke zločinu. A právě policie rozhoduje o tom, která data se do algoritmu dostanou. Část problému spočívá v tom, že se policejní složky obvykle zaměřují na specifické druhy trestné činnosti, například na tzv. „obtěžující delikty“, kam patří bezdomovectví nebo některé drogové přestupky. Protože se tyto delikty typicky vyskytují v chudších čtvrtích, analýza se nakonec zcela zkreslí ve prospěch sledování těchto částí města.

Výsledkem je, že policie posílá většinu hlídek do ulic chudých čtvrtí, což v jejich obyvatelích posiluje pocit, že jsou nespravedlivě terčem. Zároveň to vede k zanedbávání bohatších oblastí, které se tak stávají zranitelnějšími vůči jiné trestné činnosti.

Podobné zabudované předsudky zkreslují i data, která policie používá k predikci potenciálně násilných zločinů, a v důsledku toho jsou jako nebezpeční označováni i zcela nevinní lidé. V roce 2009 získalo chicagské policejní oddělení grant na vývoj nového softwaru pro predikci kriminality. Peníze využilo k vytvoření algoritmu, který sestavil seznam 400 osob, u nichž hrozilo, že se zapletou do vraždy.

Na seznamu se ocitl i dvaadvacetiletý Robert McDaniel, který se rázem dostal do středu policejní pozornosti. Jednoho dne v roce 2013 ho dokonce doma navštívil policista, aby mu dal najevo, že je pod dohledem. McDaniel však nikdy nebyl z ničeho obviněn. Algoritmus ho označil jako problémového pouze na základě toho, koho sleduje na sociálních sítích, a skutečnosti, že v jeho okolí žijí lidé s trestní minulostí. Jinými slovy, k tomu, abyste byli označeni za potenciálně nebezpečné, často stačí vyrůstat v chudé čtvrti.

Abychom byli spravedliví, algoritmy pro predikci kriminality jsou navrženy s cílem chránit veřejnost. Velmi snadno však mohou životy lidí zhoršit – a to i ve srovnání se situací před jejich zavedením. Jak uvidíme v další části, podobný problém trápí i pojišťovací průmysl.