„Stavíme digitální chudobince, algoritmy ničí náš vztah k potřebným,“ říká politoložka Eubanks

Ve vaší knize Automating Inequality (česky Automatizovaná nerovnost) popisujete tři příklady systémů, které pomocí algoritmů automatizují systém sociálního zabezpečení, a podle vás tak zvyšují společenské nerovnosti. V čem konkrétně je problém?

V roce 2006 proběhl ve státě Indiana pokus automatizovat a privatizovat všechny systémy pro vyhodnocování žádostí o sociální podporu ve státě Indiana – tedy pro programy jako Medicaid, potravinové dávky nebo pomoc v hmotné nouzi. Guvernér podepsal smlouvu za 1.4 miliardy dolarů s konsorciem technologických firem na dodávku systému, který měl zvýšit efektivitu posuzování a zlepšit úspěšnost odhalování podvodníků. Místo toho v prvních třech letech provozu nového systému ztratilo přístup k podpoře na milion lidí. Mohlo za to guvernérovo přesvědčení, že chyba je v osobním vztahu mezi lidmi v nouzi a sociálními pracovníky, kteří jejich žádosti posuzovali – podle něj to svádělo k podvádění.

Nový systém byl proto od začátku navržen tak, aby tahle pouta zpřetrhal. 1500 místních sociálních pracovníků tak bylo přesunuto do soukromých call center, takže pokaždé, když žadatel o podporu zavolal s nějakým dotazem, mluvil s novým člověkem a už nebyl nikdo, kdo by se o konkrétní případ staral od začátku do konce. Dřív měli sociální pracovníci na starost skupiny rodin, pod novým systémem měli zodpovědnost jen za seznam úkolů, který jim přidělil počítač. Oficiální důvod pro odmítnutí toho milionu žádostí bylo: nedostatečná součinnost při posuzování nárokovosti. To přitom znamenalo jen to, že někdo prostě udělal chybu – mohl to být žadatel nebo sociální pracovník, mohlo se něco stát při skenování dokumentů. Ale protože lidé v nouzi už neměli se sociálními pracovníky přímý a osobní vztah, zůstali na to sami. To mělo velmi hmatatelné dopady na lidské životy. V Automating Inequality píšu o šestileté dívce s mozkovou obrnou, které odmítli dávky, nebo o mladé Afroameričance, které pozastavili podporu z programu Medicaid, protože kvůli rakovině vaječníků promeškala recertifikační schůzku.

Máte představu, kolik takových systémů je po celých Spojených státech a celosvětově v provozu?

Nevím přesně, ale hádám, že to budou stovky, možná tisíce. V knize také píšu o elektronickém registru lidí bez domova, který zavedli v Los Angeles. Z pilotního projektu v jednom, dvou městech se rychle rozšířil a dnes jsou podobné systémy v Americe i Kanadě běžnou praxí. Rapidně jich přibývá a každý měsíc se rozrůstají.

V rozhovoru pro Open Mind TV zmiňujete, že se tyhle systémy začaly objevovat už v 70. letech. To mě zaujalo, protože automatizaci si většinou spojujeme až s nedávnou minulostí. Jak přesně šel jejich vývoj a jak moc se od té doby změnily?

Dnes se opravdu o využívání rozhodovacích algoritmů dost mluví. Z toho mám radost, ale mám pocit, že spousta z nich zůstává na velmi abstraktní úrovní a orientuje se na budoucnost. To mě dost frustruje. Sociální problematice se věnuji už přes 15 let, do komunit, ve kterých jsem pracovala, tahle automatizovaná budoucnost už přišla a ovlivňuje je velmi hlubokým způsobem. Svojí knihou chci poukázat na reálné zážitky skutečných lidí a zasadit je do historické perspektivy. Překvapilo mě při výzkumu, že automatizace se začíná v americkém systému sociálního zabezpečení používat už na konci 60. let. To je doba, kdy je v Americe hnutí za sociální spravedlnost velmi aktivní a úspěšné. V tomhle období se podařilo zrušit desítky let stará pravidla, která bránila většině lidí s odlišnou barvou pleti nebo nesezdaným ženám pobírat dávky. Kromě toho se aktivistům poprvé v americké historii podařilo prosadit, aby chudí lidé na podpoře měli stejná práva jako všichni ostatní. Poprvé se o sociální podpoře mluví jako o něčem, na co má člověk nárok a ne jako o charitě. To byla pro Spojené státy, které mají v odpírání základních lidských práv chudým lidem dlouhou tradici, velká změna.

Jenže s tímhle rozšiřováním sociálního státu a definice lidských práv samozřejmě řada lidí nesouhlasila. Profesionálové ze střední třídy a ekonomické elity byly nervózní a začaly tlačit na politiky, aby množství lidí, kteří na podporu dosáhnou, omezili. Politici to už ale kvůli síle hnutí za sociální práva nemohli zvrátit. Agentury už nemohly rozhodovat na základě diskriminačních pravidel, ale přesto chtěly nějak omezit množství těch, co budou dávky pobírat. A to je chvíle, kdy se automatizační systémy začínají po celých Spojených státech objevovat. Federální, státní i oblastní správa se snažila přístup do systému sociálního zabezpečení ztížit. Jako záminky k tomu používala rétoriku boje proti podvodům, zefektivňování systému, nebo sledovala, kde se příjemci podpory pohybují a jak utrácejí. A v tom pokračují i dnešní systémy.

Kritizujete představu chudoby jako individuálního selhání. Jak to s automatizací sociálního státu souvisí?

V Automating Inequality používám metaforu digitálního chudobince. To slovo jsem si vybrala kvůli jeho historickému kontextu. V 19. století jsme se jako národ rozhodli, že předtím, než lidé dostanou nějakou veřejnou podporu, musí proběhnout jakási morální diagnóza. Že je potřeba oddělit ty chudé, kteří si ji zaslouží, a ty, co ne. Chudobinec tuhle představu uskutečňuje. Chudobince byly v zásadě vězení pro chudé, ve kterých byly podmínky tak hrozné, aby každý, kdo měl nějakou jinou možnost, o veřejnou pomoc nežádal. A já tvrdím, že systémy, které vídáme dnes, představují spíš evoluci než revoluci, a že s fyzickými chudobinci mají hodně společného.

Jednou z ideologií, kterou si tyhle systémy nesou, je přesvědčení, že je potřeba hlavně zjistit, jestli je chudoba vaše vlastní chyba, místo toho, aby jednoduše poskytly univerzální sociální polštář všem. A to je politická volba. Zatímco jinde by například nedostatečná zdravotní péče byla porušením základních lidských práv, ve Spojených státech se na ni díváme jako na problém systémového řízení. A na tom se podle mě velmi silně podílí zakořeněná myšlenka, že chudoba je něco, co se týká jen malé, nejspíš patologické menšiny. Ale to není pravda. 51 % všech Američanů se někdy za svůj produktivní život ocitne pod prahem chudoby a dvě třetiny z nich budou po nějakou dobu pobírat veřejné dávky. Takže chudoba a veřejná podpora jsou už teď otázky týkající se většiny obyvatel, i když o nich tak nepřemýšlíme. Pořád se bavíme jen o individuálních volbách, jenže chudoba je mnohem častěji způsobená strukturálními změnami v ekonomice.

V OpenMind TV jste také mluvila o tom, jak vašeho manžela zranili a napadli a pojišťovna vám přestala vyplácet peníze, protože vás označila jako potenciální podvodníky. Všechno se vyřešilo, protože jste - cituji – „byli v pozici, kdy jste si mohli dovolit odporovat”. Z toho mi vychází, že to bude trochu problém mocenských nerovností. Jak to udělat, aby takové systémy mocenské vztahy neutvrzovaly?

To je skvělá otázka. Mému manželovi odmítli proplácet péči, protože ze systému zmizel začátek plnění, někdo omylem smazal pár čísel. My jsme se proti tomu mohli ohradit, protože tyhle systémy skoro 20 let zkoumám a taky jsme měli kolem sebe dobrou komunitu a přátele. Díky ekonomickému postavení jsme nemuseli přestat platit mému muži péči a celou dobu jsme předpokládali, že to prostě byla jen chyba. Zásadní taky je, že se nám to stalo najednou, z ničeho nic. Ale když jsem se bavila s lidmi z marginalizovaných skupin, tak ti jsou kontrolováni prakticky neustále. Jsou v kontaktu s několika různými systémy najednou, je to pro ně každodenní záležitost. Jakoby se systém všechny ty chudé pracující lidi, lidi s postižením, psychickými problémy a malými dětmi, snažil vytlačit.

V Automating Inequality jsem se snažila lidi přimět k tomu, aby přemýšleli nad tím, jak sociální kontrola probíhá i skrze systém sociálního zabezpečení. A protože automatizované, algoritmizované nástroje ovlivňují život nás všech, vidím potenciál pro všeobecnou solidaritu, spojenectví. Jsou to systémy, které nahrazují lidskou empatii, a musíme se ptát, co to pro nás jako pro kulturu znamená.

Patří do ní i transparentnost nebo participatorní design, kdy se na vývoji systémů podílí i komunity samotné?

Ano a teď je skvělá příležitost, abych přiblížila další dva případy, o kterých v knize mluvím. V případě Indiany je ten příběh totiž jednoduchý – je tam guvernér, který chce omezit přístup lidí k sociálním dávkám, jsou tam soukromé firmy bez odpovědnosti a skončí to špatně jak pro lidi na podpoře tak daňové poplatníky. Když se ale budeme bavit o Los Angeles nebo okrese Allegheny v Pensylvánii, tak tam to všechno začalo se skutečně čistými úmysly. A systémy v nich naplňovaly všechny parametry, které by si progresivní kritici mohli přát. Jsou transparentní, principy jejich fungování jsou veřejně a  na jejich návrhu se podíleli lidé, co je pak používali. A mně zajímá: jak to, že i když návrháři udělají všechno, co po nich můžeme chtít, tak se systém pak stejně zdá nebezpečný?

V Alleghany používají nástroj schopný na základě statistického modelu odhadnout, které děti se stanou oběťmi zneužívání nebo budou zanedbávány. A i když je to nástroj transparentní, vytvořený ve spolupráci s veřejností, jeho samotný základ vede k nerovnostem. A na ty musíme dávat pozor, protože transparentnost a participatorní design je nedokážou vyřešit. Problematické je třeba datové centrum, které okres nechal postavit v roce 1999, je v něm přes 1 miliardu záznamů, 800 na každého obyvatele. Jenže se do něj dostanou jen data lidí, kteří využívají veřejné služby, jako je třeba podpora při odvykání od drog, zdravotní péče skrze Medicaid nebo přídavky na děti. Když si někdo pomůže ze soukromých zdrojů, v databázi není. Takže algoritmus posuzující, jestli budete svoje dítě zanedbávat, má přístup jen k datům lidí, kteří někdy na podpoře už byli. To je problém ze dvou důvodů. Zaprvé si myslím, že tím profilujeme chudé rodiny a systém tak zaměňuje rodičovství ve špatných podmínkách za špatné rodičovství. Chudé rodiny pak víc kontroluje. Vzniká tak smyčka, ze které se jde těžko vymanit. Je to podobné jako problémy okolo algoritmizace policejní práce. Systém může identifikovat nedostatky tam, kde žádné nejsou.

Na druhé straně, když má databáze data jen od chudých pracujících, tak jí chybí data o střední třídě. Výzkumy například ukazují, že bydlení mimo centrum a špatná péče o děti jdou často ruku v ruce, ale v modelu se takové případy neobjeví. Chudé rodiny totiž často bydlí v hustě obydlených oblastech. Systém tak může být falešně pozitivní, protože nemá o některých komunitách vůbec žádné informace. Takže i když postavíme systémy, které jsou matematicky správné, objektivní a neutrální, pořád mohou nerovnosti zvyšovat. A roli v tom hraje omílaný mýtus o nefunkčních chudých rodinách, na kterém je systém postavený.

Tohle jsou, řekněme, třídní předsudky. Ale co ty rasové? Objevují se v těchto systémech nějak?

Rozhodně. Politici často jejich zavádění zdůvodňují kromě efektivity také tím, že prý omezí rasovou diskriminaci, protože rozhodnutí nebudou dělat jednotliví sociální pracovníci. Jenže systémy jsou postavené na nedostatečném pochopení toho, jak předsudky fungují. Představa, že takto s rasismem zatočíme počítá s tím, že předsudky jsou individuální záležitost - třeba že sociální pracovník někomu odmítne přiznat dávky kvůli jiné barvě pleti. Jenže ony jsou ve skutečnosti strukturální, vetkané do systémů samotných. V případě systému v Alleghany je to krásně vidět. Nejenom sbírá pouze data o chudých rodinách a tím pádem je víc kontroluje, ale taky se zaměřuje jen na moment rozhodnutí - jestli nějakou rodinu zkontrolovat, nebo ne. Výzkumy ukazují, že většina takzvané rasové disproporcionality - to, že tyto nástroje mají horší dopady na rodiny s odlišnou barvou pleti, hlavně ty afroamerické - se do systému dostává už když rodinu někdo nahlásí. Ať už to je váš soused nebo dětská pečovatelka. A to už není problém, se kterým nám mohou pomoci počítače. Ten vyřeší jenom hluboké kulturní přehodnocení toho, jak přemýšlíme o rodině, jaké stereotypy ve Spojených státech stále udržujeme. Představa, že afroamerické rodiny jsou nefunkční a patologické, je v americké kultuře hluboce zakořeněná už od dob otroctví. To nemůže vyřešit žádný algoritmus.

Líbí se mí váš bonmot o tom, že „všichni byste měli dávat pozor, protože pro vás si přijdou příště”. Můžete ho vysvětlit? Jaký vliv mohou mít tyto systémy na celou společnost?

Není to můj postřeh. Když jsem před mnoha lety pracovala v komunitní technologické laboratoři ve svém rodném městě, seznámila jsem se s jednou úžasnou ženou. Bavili jsme se o nové elektronické kartě, na které jsou nahrané vaše dávky a vy s ní můžete platit v obchodě jako s normální platební kartou. Říkala jsem jí, že to zní skvěle, že je to pohodlnější než papírové poukázky a lidé se v potravinách nemusí stydět. Řekla mi „Jo, je to dobré, ale můj sociální pracovník kontroluje, kolik utrácím a kde se pohybuju.” Asi jsem se tvářila dost vyděšeně, protože se začala smát a dodala: „Měli byste dávat pozor na to, co se děje nám, protože vy jste na řadě další.” Tyhle nástroje se totiž často nejdřív zkouší tam, kde se neočekává moc velký respekt k lidským právům. Hodně často se testují v oblastech, kde jsou lidé opravdu marginalizovaní a zranitelní – nejen v sociálně vyloučených komunitách, ale i ve válce, mezi migranty. Jenže tyhle digitální experimenty nakonec pocítí i střední třída – třeba když se začnou týkat věcí jako je podpora v nezaměstnanosti nebo invalidní důchod. Jako Američané bychom si na tyhle změny měli dávat pozor, protože i když o nich často mluvíme jako o vylepšeních státní správy, ve skutečnosti v nich jsou zakódovaná politická a morální rozhodnutí.

Není to také trochu ideologický problém jejích tvůrců? Když to trochu přeženu, většina technologických nástrojů vzniká v Sillicon Valley, pod rukama bílých mužů z vyšší střední třídy.

To rozhodně nepomáhá. Datová vědkyně Cathy O’Neil napsala skvělou knihu Weapons of Math Distraction, kde používá termín technologický solucionismus. To je představa, že všechny problémy může vyřešit nějaký nový nástroj, nové technologické řešení. Pojí se s ním taky přesvědčení, že politické problémy jsou jen důsledkem toho, že správní lidé nemají ve správný čas a na správném místě dost informací. Jenže tak to není. Dobrý příklad je Los Angeles, o kterém jsem už mluvila. Zavedli tu systém, který propojuje lidi bez domova a volná místa k bydlení. Koncept je to dobrý, jenže v Los Angeles je 58 000 bezdomovců a 75 % je úplně bez střechy nad hlavou - žijí v autech nebo stanech na ulici. A město nemá dostatek prostředků, aby takovou krizi bydlení zvládlo. Není to věc, kterou vyřeší nějaká systémová záplata. Abychom to vyřešili, musíme postavit nové domy nebo využít staré. Bydlení je základní lidské právo a nejde u něj spoléhat jen na volný trh. A s tím nám žádná technologie nepomůže, protože je to hodnotový problém.

Moje poslední otázka je optimistická: máte nějaký příklad dobré integrace technologie do sociální práce?

Jsem ráda, že končíme pozitivně, protože vím, že vše, o čem píšu, může často znít pěkně depresivně. Jsem ale optimistická, myslím si, že se nám může podařit nástroje, o kterých jsme v tomto rozhovoru mluvili, předělat tak, aby prosazovaly sociální spravedlnost. Bude to náročné, ale dá se to zvládnout. Příkladem projektu, který funguje podle mých představ, je aplikace mRelief, která funguje v Chicagu a vytvořila ji místní neziskovka.

Když moje rodina žádala o příspěvky na jídlo, nejhorší na tom bylo množství velmi citlivých informací, které státu musela odevzdat a vědomí, že vám stejně nakonec žádost mohou zamítnout. Nemáte žádnou kontrolu nad tím, co se s vašimi daty děje. mRelief vám umožňuje předem vyzkoušet, jestli vůbec na nějakou podporu dosáhnete, ještě předtím, než státu všechny svoje data dáte. Pokud systém zjistí, že nárok máte, pomůže vám s opravdovou žádostí skutečný člověk. mRelief používá podobnou technologii jako ostatní systémy, o kterých jsme se bavili, ale mění perspektivu - je postavený na myšlence, že každý by měl dostat maximum podpory, na kterou má podle zákona nárok. Když navrhujeme systémy pro sociální zabezpečení, neměly by stát jen na požadavku efektivity nebo nutnosti bojovat s podvodníky. Jejich design by měl mít základ ve víře ve spravedlnosti, rovnost a sebeurčení.

Virginia Eubanks - Automating Inequality |foto: St. Martin’s Press