jtiblog

A Jogtudományi Intézet blogoldala

Kódolt egyenlőtlenségek? Diszkrimináció az algoritmusok korában

2021. május 03. 22:20
Körtvélyesi Zsolt
tudományos segédmunkatárs, TK JTI

Számos vita és félreértés övezi azt a kérdést, hogy mi számít mesterséges intelligenciának vagy akár okos robotnak (lásd például az Európai Bizottság meghatározását), mint ahogy az is gyakran előfordul, hogy misztifikáljuk a jelenséget. Ebből kiindulva alább inkább algoritmusokra vagy kódokra utalok, és úgy tárgyalom a felmerülő kérdéseket, hogy azok egyszerre alkalmazhatóak szofisztikált, önállóan tanuló programokra (deep learning), és olyan egyszerűbb programokra is, amelyek nem nevezhetők mesterséges intelligenciának.

Az áttekintésből látható, hogy az egyre összetettebb algoritmusok nem annyira új kérdéseket vetnek fel, mint inkább régóta velünk lévő dilemmákat helyeznek új megvilágításba, ugyanakkor valóban új megoldásokat tesznek szükségessé. Az egyik kapcsolódó jelenség, hogy az emberi hibák hatását az algoritmusok hajlamosak olyan mértékben felnagyítani, amikor azok növelik az egyenlőtlenségeket. Az algoritmusok használata ugyanakkor alkalmat ad arra is, hogy jobban megértsük, mit értünk jogellenes megkülönböztetés alatt, illetve hogyan tehetünk ellene, sőt, az optimista megközelítések szerint kifejezetten abba az irányba hatnak, hogy az egyenlőség szempontját hatékonyabban érvényesítsük a gyakorlatban.

Az algoritmusok jelen vannak olyan területeken, mint a határátlépés engedélyezése, a letartóztatás és a szabadlábra helyezés, az állami támogatásokra vagy a banki hitelekre való jogosultság megállapítása, a munkaerő-felvétel, vagy éppen az iskolai jegyek megállapítása a járvány alatti iskolabezárások után (utóbbira lásd a brit vitákat). Az algoritmusok elterjedése olyan módon alakíthatja át a munkaerőpiacot és az egyenlőtlenségeket, hogy új szociálpolitikai intézkedésekre lehet szükség. Az algoritmusok közvetlenül is befolyásolják a demokráciák működését, a szólásszabadság határait, mint ahogy ezt a technológiai óriáscégeket érő kritikákból ismerjük. A hírfolyamok torzításait egyre nehezebb számon tartani, a hamis hírek terjedéséért viselt felelősséget egyre nehezebb követni, ahogy egyre inkább algoritmusok döntik el, mit olvasunk. Új egyenlőtlenséghez vezet, hogy valaki jó minőségű, válogatott (gyakran fizetős) vagy ömlesztett, ellenőrizetlen (és ingyenes) híreket követ, vagy hogy kritikus olvasással képes ellensúlyozni szofisztikált algoritmusok manipulatív hatását.

Vannak életek, amelyeket még közvetlenebbül befolyásolhat az algoritmus működése, például ha egy programon múlik, hogy valaki szabadon vagy rács mögött tölti el a következő éveit. Ez az írás büntetőjogi és rendészeti példákból kiindulva vizsgálja, milyen egyenlőségi dilemmákat vet fel az algoritmusok tömeges használata.

Részrehajlás a büntetőjogi és a rendészeti munkában

Egy gyakran tárgyalt amerikai példa jól mutatja a részrehajló rendészeti és bűnügyi algoritmusok által felvetett kérdéseket. Az Egyesült Államokban a bűnözői visszaesés valószínűségét megbecslő, bírói döntésekhez használt COMPAS algoritmus 70%-os biztonsággal végezte el a számítást. Ugyanakkor fekete elkövetők esetében közel kétszer akkora valószínűséggel tévedett az érintett hátrányára (tévesen jelezve, hogy az illető a „nagyon veszélyes” kategóriába esik), és fehér elkövetők esetében közel kétszer akkora valószínűséggel tévedett a másik irányba (tévese jelezve, hogy az illető a „nem veszélyes” csoportba tartozik). Egy ilyen algoritmus széleskörű használata önmagát erősítheti, hiszen részben a diszkriminatív döntések eredménye az lesz, hogy több fekete elkövető és hosszabb ideig lesz rács mögött, megerősítve azt a képet, hogy ők egyben veszélyesebbek is.

Ebben a konkrét esetben az algoritmus nem közvetlen rasszt kódolt, hanem közvetítő jegyeken keresztül valósított meg rassz-alapú diszkriminációt. A dilemmát még nehezebb feloldani, ha végigzongorázzuk ezeket a kevésbé gyanús besorolási tényezőket, mint például a családi háttér, lakóhely, vagyoni helyzet, foglalkoztatottság, iskolázottság, amelyek önmagukban nem feltétlenül gyanúsak, de diszkriminációhoz vezethetnek. A statisztikai alapon dolgozó kód könnyen kategorizálja ezeket a tulajdonságokat mint a visszaesés valószínűségét befolyásoló tényezőket. Ez ahhoz vezethet, hogy a szegényebbeket, a kevésbé iskolázottakat stb. immár közvetlenül és szisztematikus módon kezeli hátrányosabban a rendszer. Hasonló következtetésekre jutott egy amerikai egészségügyi algoritmust vizsgáló tanulmány: az algoritmus az egészségügyi kiadások alapján rangsorol betegeket, és ennek révén sorolja szisztematikusan hátrébb az afroamerikaiakat. Az algoritmusok működése így elvezet a diszkrimináció egyik alapkérdéséhez, az egyéniesítés hiányához, a kollektív, csoporthoz tartozás alapján hozott döntés kérdéséhez, illetve a nem megfelelő egyéniesítéshez.

Hasonlóan zárt működésű programok segítik a bankokat hitelnyújtáskor, mint ahogy számos rendészeti döntésben is szerepet játszanak. Példa rá a határellenőrzés, és hogy számos szerv kezdett el arcfelismerő programokat használni. Utóbbira reagálva több helyen döntöttek az arcfelismerő szoftverek ilyen célú használatának tiltásáról, az Amnesty International más szervezetekkel együtt New Yorkban kampányt is indított hasonló tiltást követelve. Az egyik közkeletű példája az összetett algoritmusok részrehajlásának éppen az arcfelismerő algoritmusok működése során tapasztalt probléma, hogy ezek a programok nehezebben azonosítják a sötétebb bőrszínt. Ez egyrészt jelenthet diszkriminációt abban az értelemben, hogy bőrszíntől függően valaki ugyanazért a pénzért rosszabbul használható applikációt kap. Ugyanakkor a rendészet területén alkalmazott arcfelismerés jelenthet alkalmi személyes előnyt (nehezebb egy feltételezett elkövető nyomára akadni), mint ahogy súlyos hátrányt is. Nem bőrszínnel összefüggő, de hasonló téveséről számoltak be a Capitolium 2021. január 6-ai ostromát követő nyomozások során: beszámolók szerint több esetben előfordult, hogy hibás azonosítás miatt tévedésből állítottak elő embereket.

Egy hozzánk közelebbi példa a hazai igazoltatási gyakorlatban észlelt diszkrimináció és az ehhez kapcsolódó vita, amely részben éppen az eredményességi szempont körül forgott. Mérő László egy 2009-es írásában amellett érvelt, hogy ha a rendőrök száz igazoltatásból nagyobb arányban találnak szabálytalanságot roma igazoltatottak esetén, mint ha nem romákat igazoltatnának, akkor racionális és indokolt, ha inkább romákat állítanak meg – igen széles körben legitimálva az etnikai profilalkotást. Félretéve azt a kérdést, hogy hogyan (milyen megbízhatóan és milyen felhatalmazással) végzik el a rendőrök az etnikai azonosítást, a meglátás a rendőri munka céljának korlátozott és ezért téves felfogásán alapszik. Annak csak egyik eleme a konkrét elkövetők azonosítása, ugyanilyen fontos a lakosság bizalmának megszerzése és megőrzése, annak közvetítése, hogy tisztességes, egyenlő módon járnak el, és eljárásukban statisztikai alapon igazolhatónak tűnő etnikai megkülönböztetés sem jelenik meg munkájuk során. (Itthon végzett, erre vonatkozó kutatás alapján ráadásul cáfolhatjuk a kiinduló állítás alapfeltevését: a rendőrök által romaként azonosítottak esetén nem volt magasabb a „találati arány”.) Hasonlóan szükséges biztosítani, hogy a szofisztikált algoritmusok – amelyek a profilalkotásban egyre fontosabb szerepet kapnak – ebben az értelemben felelős eszközök maradnak.

A fenti példáktól elrugaszkodva, tegyük fel, hogy az algoritmusból annak árán törölhető a részrehajlás, hogy közben csökken a megbízhatósága. Az algoritmusok használata arra kényszerít minket, hogy ilyen esetekben mérlegeljük, hogy milyen mértékű „félrehordás” tolerálható, egyáltalán van-e az ilyen rendszerszintű megkülönböztetésnek elfogadható szintje. Ráadásul a büntető igazságszolgáltatás és a rassz vizsgálata egy egyértelműbb területnek tűnik: számos olyan kérdés van, ahol a megkülönböztetés jogellenességét sokkal nehezebb eldönteni. Elfogadható-e, ha hitelkihelyezési algoritmusok túlbiztosítanak, és túlzott hátránnyal sújtják az idősebbeket és a szegényebbeket? Jogellenes megkülönböztetés-e, ha a szakértelmet vagy a hosszabb távú munkavállalást igénylő munkakör betöltéséhez az algoritmusok külön büntetik a pályájuk elején álló, vagy éppen végéhez közelítő jelölteket? Az algoritmusok egyenlőségi vizsgálatához részletekbe menően tisztázni kell, milyen megkülönböztetés és milyen mértékben engedhető meg.

Az antidiszkriminációs jogban szokás elkülöníteni azt, amikor van megkülönböztetési szándék (például valaki kifejezetten rasszista megfontolásból részesít másokat hátrányban), illetve azt, amikor diszkriminatív szándék nélkül áll elő egy csoportot hátrányosan érintő hatás (például a délután négyre szervezett munkahelyi megbeszéléseken az iskolások szülei kisebb eséllyel tudnak részt venni). Könnyen belátható, hogy az algoritmusok működésében a diszkriminációs megközelítésnek az a vonulata releváns igazán, amely nem a diszkriminációs szándékot vizsgálja, hanem a diszkriminatív hatásból indul ki. A szándékkal ellentétben a hatás ugyanis világosan megjelenik a statisztikákban, amelyek alapján a programok következtetéseket vonnak le új helyzetekre nézve. Éppen ezért fontos az alapul szolgáló adatok minősége: előfordul, hogy nem maga az algoritmus logikája, hanem az adatbázis részrehajló, amelyen a kód fut.

A begyűjtött adatok minősége

Az algoritmusok gyakran elképesztő méretű adattömeggel dolgoznak. Az első kérdés ezért az lehet, milyen módon gyűjtötték össze ezeket az adatokat, ami egyszerre vet fel adatvédelmi és tágabb kérdéseket, például, hogy az adatok összetétele mennyiben reprezentatív, mennyiben tükrözi a társadalom vagy akár (világszerte alkalmazott algoritmusok esetén) az emberiség sokféleségét. Egyre inkább előfordul, hogy az adatok nem állami szereplőknél, hanem olyan vállalatoknál (Google, Facebook) gyűlnek össze, ahol sem a társadalmi felügyelet, sem a hozzáférés nem biztosított. A koronavírus járvány időszaka mutatott rá arra, hogy esetenként az állam milyen módon kiszolgáltatott annak, milyen mértékben és módon engednek hozzáférést ezek a vállalatok a kormányzati döntéshozatalt nagyban segítő adatokhoz. Ugyanakkor mindennemű adatéhség, így az állami is, hagyományos adatvédelmi problémákat is felvet.

Az algoritmusok által felvetett diszkriminációs problémák gyakran már az adatmintában jelen vannak, az algoritmus pedig ezt termeli újra a működése során. Más megfogalmazásban: nem az algoritmusok működése előítéletes, hanem az algoritmusok a működésük során tanulják meg tőlünk a társadalomban elterjedt előítéleteket. Például amikor a „tehetség” vagy a „boldog” szavakat inkább a fehér többséggel társítják a programok, vagy amikor egy (dél-)koreai csevegőrobot (chat bot) gyűlöletbeszédbe kezdett, s ezért gyorsan leállították.

(Újra)tervezés

Gyakran felmerülő kritika szerint a diszkrimináció tilalma a rendészet számos területén nem kérhető számon, mivel a munka olyan megérzésekre épít, amelyek esetenként ugyan minősülhetnek diszkriminatívnak (például mert az áldozat szerint „indiai kinézetű” volt az elkövető), de ennek hiánya ellehetetlenítené az érdemi munkavégzést. A diszkrimináció tilalma számos esetben nem zárja ki, esetenként pedig igényli az elkövetők és az áldozatok hovatartozásának azonosítását (ellenkező esetben például nehéz lenne diszkriminatív mintázatokat, gyakorlatot, hatást és közvetett diszkriminációt bizonyítani). Az algoritmusok használata és a tömeges adatgyűjtés (big data) gyakorlata valójában új lehetőséget teremt arra, hogy a korábban rejtve maradó gyakorlati lépéseket nyilvánosan megvitatva döntse el egy politikai közösség, hogy mi megengedhető, és mi számít jogellenes megkülönböztetésnek.

Ezzel függ össze az a törekvés is, hogy a rendszereket tervezők körében biztosítsák a sokféleséget, vagyis a társadalom sokszínűségét. Egy egyszerű példával élve: ha az arcfelismerés hatékonyságát magukon tesztelő programozók valamennyien világos bőrűek, az könnyebben vezet el a fentebb érintett problémához, a sötét bőr nehezebb felismeréséhez (vagy, ahogy egy dokumentált esetben történt, az emberek majmokkal való azonosításához), mint ha a tesztelés eleve diverz környezetben zajlana. Ha igaz az, hogy az algoritmusok használata felerősítheti a rendszerben egyébként is jelenlévő implicit részrehajlásokat, akár csak a standardizálás révén, akkor indokolt különös figyelmet fordítani arra, hogy tudatosítva ezeket a nem kívánt diszkriminatív hatásokat, fellépjünk ellenük. Ezt szolgálhatja a tervezett követés, felügyelet, átláthatóság és jogorvoslat.

Ezen szempontokat érvényesítik a 2021. április 21-én közzétett európai szabályozási javaslatok, amelyeknek része a határozott törekvés az egyenlőségi megfontolások érvényesítésére. Egy londoni kutatócsoport, a JUST AI átfogó egyenlőségi elvárásokat fogalmazott meg a mesterséges intelligencia működése kapcsán, amely magában foglalja a rasszalapú („faji”), a gazdasági és a környezeti egyenlőségen túl azt a törekvést, hogy a mesterséges intelligencia társadalmi hatásait megismerve mérjük fel, azok vajon számot tarthatnak-e a közbizalomra és akár állami támogatásra.

Milyen egyenlőséget?

Az írás zárásaként azt fogom érzékeltetni, hogy az általános egyenlőségre törekvés nem feltétlenül igazít el abban a kérdésben, hogy pontosan mit várunk el az algoritmusoktól, amikor a diszkrimináció hiányát kérjük számon rajtuk. A kódok használata részben éppen ezzel teremt alkalmat arra, hogy újra átgondoljuk a jogellenes és az elfogadható megkülönböztetés határait. Az egyik fontos változás, hogy az adatbőség és az eleve ezekre épített algoritmusok könnyebbé tehetik a rendszerszinten regisztrálható egyenlőtlenségek felismerését és az azokkal szembeni fellépést. Cass Sunstein ezt a jelenséget „új átláthatóságnak” hívja. Például egyértelművé tehetjük, hogy a célunk a diszkriminatív hatás kiszűrése, akár az emberi döntések eredményeként előállt egyenlőtlenségek algoritmikus kiigazításával, vagy hogy a kisebbségeket hátrányosan érintő trendeket akarjuk eltörölni úgy, hogy ragaszkodunk a lakosságarányos büntetéskiszabáshoz. Az alábbi táblázatban ezt Kleinberg és szerzőtársai adatain keresztül mutatom be.

 

 

Előzetes letartóztatás elrendelésének aránya

Bűnelkövetés változása az emberi döntéshez képest

 

Afroamerikaiak

Hispán lakosság

Kisebbségi átlag

Emberi döntés (bíró)

31%

25%

29%

(0%) – összehasonlítási alap

Algoritmus 1: ugyanazon bűnelkövetési szintet tartva

19%

 

14%

 

17%

0%

Algoritmus 2: ugyanazon fogva tartási számot tartva

32%

24%

29%

-24,68%

Algoritmus 3: a kisebbségi arányokat tartva

31%

25%

29%

-24,64%

Algoritmus 4: a kisebbségi arányok kiegyenlítésével

26%

26%

26%

-23,02%

Kisebbséghez tartozás és előzetes letartóztatási gyakorlatok összehasonlítása

Forrás: Jon Kleinberg, Himabindu Lakkaraju, Jure Leskovec, Jens Ludwig és Sendhil Mullainathan, Human Decisions and Machine Predictions, Quarterly Journal of Economics 133, no. 1 (2018): 237–93, Table VII (a kisebbségek arányát egész számokra kerekítve).

A táblázatból leolvasható, hogy attól függően, milyen célt fogalmazunk meg, az egyenlőség és az eredményesség eltérően alakul. Mindez azért kíván új és pontosabb szabályozást, mert az, hogy milyen hatással jár az egyik vagy másik algoritmus alkalmazása, sokkal pontosabban becsülhető, mint emberi döntések esetén. Az emberi döntésekkel egyező bűnelkövetési szintet megcélozva az algoritmusok jelentősen csökkentik a fogva tartás arányát, ennyivel kevesebb ember szabadságát vesszük el, és ennyivel kevesebb terhet rovunk az államra (Algoritmus 1). Ha az a célunk, hogy a fogva tartási arányt szinten tartva a lehető legnagyobb mértékben növeljük az eredményességet, vagyis a bűnelkövetést csökkentsük, akkor negyedével csökkenthető az elkövetett bűncselekmények száma (Algoritmus 2). Érdemben nincs változás ez utóbbi szempont szerint, ha egyúttal azt kérjük kódolni, hogy a bírói döntésekre jellemző kisebbségi arányokat tartsa a program (Algoritmus 3). Amennyiben a kisebbségekhez tartozókat arányosan sújtó előzetes letartóztatási gyakorlat kialakítása a célunk, a program a bűnelkövetési ráta kisebb csökkenése mellett ezt is elvégzi (Algoritmus 4).

Jól látható, hogy a szabályozás kialakításánál kompromisszumra kényszerülünk, hiszen nem tudjuk a legkisebb bűnelkövetési rátát érvényesíteni teljes (paritásos) egyenlőség mellett. A példa azt mutatja, hogy a kódok biztosította „új átláthatóság” mellett nem elég általánosan megfogalmazni az egyenlőségi célokat (ne diszkrimináljon a rendszer), hanem konkrét választ kell adnunk, pontosan milyen szempont szerint mért egyenlőséget kívánunk elérni, és például a bűnelkövetés 1%-os növekedése elfogadható ár-e azért, hogy cserében a különböző kisebbségekhez tartozó vádlottak egyenlő esélyekkel szabadlábon védekezhetnek.

A fentiek azt is illusztrálják, hogy fontos választóvonal húzódik az aritmetizálható és a programok nyelvére le nem fordítható döntési elemek között. Kérdés, hogy a diszkrimináció melyik körbe tartozik: az azonos helyzetben lévő csoportok, egyének összevetését vagy a szükségességi-arányossági teszt alkalmazását a jövőben számítógépekre tudjuk-e bízni.

Egy következő bejegyzésben azt fogom vizsgálni, hogy milyen dilemmákat és felelősségi kérdéseket vet fel az algoritmusok használata a jogi döntéshozatalban.

_____________________________________________

Készült a Mesterséges Intelligencia Nemzeti Laboratórium keretében az Innovációs és Technológiai Minisztérium, valamint a Nemzeti Kutatási, Fejlesztési és Innovációs Hivatal támogatásával.

_____________________________________________

Az írás a szerző véleményét tartalmazza, és nem értelmezhető a TK hivatalos állásfoglalásaként.

Címkefelhő

alapjogok európai bíróság európai bizottság tagállami mozgástér ttip diszkrimináció európai központi bank fogyasztóvédelem tisztességtelen szerződési feltétel jogállamiság belső piac alkotmánybíróság európai parlament előzetes döntéshozatali eljárás gazdasági és monetáris unió demokrácia kúria állami támogatás jogegységi határozat versenyjog uniós értékek eu alapjogi charta szociális jog irányelvek átültetése euró kásler-ítélet eusz 7. cikke arányosság elve választás nemzeti érdek oroszország közös kereskedelempolitika european convention of human rights brexit fizetésképtelenségi rendelet nemzeti bíróságok ultra vires aktus német alkotmánybíróság kötelezettségszegési eljárás európai parlamenti választások európai bizottság elnöke adatvédelem wto bankunió magyarország energiapolitika devizakölcsön fogyatékosok jogai btk alkotmányjog fővárosi közgyűlés közös kül- és biztonságpolitika strasbourgi bíróság szankció ukrán válság migráció szolidaritás egységes piac russia ukraine crisis compliance fundamental rights eu sanctions bevándorlás európai integráció környezetvédelem fenntartható fejlődés menekültkérdés ceta polgári kezdeményezés trump nafta tpp ecthr prison conditions surrogacy human trafficking human rights közigazgatás panpsychism personhood syngamy environment civil törvény irányelvek legitimáció kikényszerítés szociális deficit letelepedés szabadsága kiskereskedelmi különadó központi bankok európai rendszere hatáskör-átruházás elsőbbség elve adatmegőrzési irányelv közerkölcs európai unió alapjogi ügynoksége magyar helsinki bizottság vesztegetés hálapénz vallásszabadság első alkotmánykiegészítés obamacare születésszabályozás hobby lobby büntetőjog jogos védelem áldozatvédelem külkapcsolatok hatáskörmegosztás tényleges életfogytiglan új btk. szabadságvesztés lojális együttműködés végrehajtás gazdasági szankciók állampolgárság nemzetközi magánjog családi jog öröklési jog uniós polgárság alapjogi charta személyek szabad mozgása európai jog európai emberi jogi egyezmény uniós jog sérthetetlensége uniós jog autonómiája infrastruktúrához való hozzáférés versenyképesség adózás gmo-szabályozás gmo-mentesség european neighbourhood policy ukraine uk report európai szomszédságpolitika brit jelentés excessive deficit exclusionarism protectionism national courts consumer protection single market retaliation hungary european court of justice autonomy of eu legal order inviolability of eu legal order european values article 7 teu rule of law democracy reklámadó verseny szabadsága halálbüntetés schuman-nyilatkozat alapító atyák juncker bizottság energiahatékonysági irányelv energiaunió eurasian economic union dcfta european central bank german constitutional court omt görögország pénzügyi válság államcsőd likviditás menekült fal dublin iii 1951-es genfi egyezmény strasbourgi esetjog európai bíróság elnöke lenaerts hatékony jogvédelem franciaország németország értékközösség érdekközösség ügynökprobléma közbeszerzés környezetvédelmi politika áruk szabad áramlása egészségvédelem ártatlanság vélelme törökország történelmi konfliktusok uniós válságkezelés európai tanács válság szíria lengyel alkotmánybíróság jogállamiság normakontroll eljárási alkotmányosság beruházásvédelem szabályozáshoz való jog jog és irodalom erdély konferencia law in literature law as literature lengyel alkotmánybíróság lengyelország jogállamiság-védelmi mechanizmus eu klímapolitika kvótakereskedelem kiotói jegyzőkönyv adójog európai politikai pártok; pártfinanszírozás európai politikai közösség politikai pártok kohéziós politika régió székelyföld mulhaupt ingatlanadó-követelés nyilvános meghallgatás kommunikáció datafication internet platformtársadalom adókövetelés fizetésképtelenségi eljárás sokszínű európa kisebbségek sokféleség fizetésképtelenség; jogharmonizáció; csődjog; többségi demokrácia; olaszország népszavazás common commercial policy egyenlő bánásmód emberi méltóság ebh szülő nők helyzete peschka jogelmélet parlament véleménynyilvánítás szabadsága média országgyűlés sajtószabadság muršić european court of human rights dajkaterhesség egyesült királyság közigazgatási perrendtartás általános közigazgatási rendtartás egyesülési jog velencei bizottság civil felsőoktatás lex ceu közjogtudomány zaklatás szegregáció

Archívum