jtiblog

Blogsite of the Institute for Legal Studies

AI-Driven Healthcare Technologies and Algorithmic Gender Bias: A Need for Data Feminism - An Overview of Pin Lean Lau’s Seminar Talk at TK MILAB

2022. March 28. 12:19
Márton Vida
BA student, CEU

Pin Lean Lau held the final talk of the Artificial Intelligence National Laboratory (MILAB) online seminar series in 2021. She is a researcher at the Brunel University of London, and holds a PhD in Law from Central European University. She introduced an ongoing project of hers concerning the regulation of AI bias in healthcare. Her main goal was to explore how AI bias may occur in healthcare technologies, and how such biases may be avoided through better regulation and data science.

Dr Lau started her talk by outlining the main topic and aims of her ongoing research project. Her primary interest is the emergence and regulation of gender-based algorithmic discrimination in healthcare technologies. Her principal aims are to (1) understand the relationship between AI bias and the quality of healthcare discriminated patients receive, (2) detect the impact of algorithmic bias in healthcare on women’s rights, and (3) build a case for data feminism as a response to the issue.

If used properly, AI technologies can lead to tremendous improvements in the efficiency and quality of healthcare. Dr Lau highlighted two examples for this. First, algorithms proved to be very efficient in predicting the risk, or diagnosing, certain diseases. In the case of breast cancer, for instance, algorithms proved to be 85% more reliable than human doctors. Second, algorithms can help prescribe personalized medicine to patients. By processing a huge amount of personal data, they can predict which medicine would be safe and most effective for a given patient.

Algorithmic bias occurs once these AI systems treat patients differently without any medical justification. These usually include discrimination based on gender, race or socio-economic background. Dr Lau argued that most often, such biases occur because the initial data fed to these algorithms is itself biased. This is due to two reasons. First, due to the long standing male-dominated nature of medicine, data on the male body is much more accurate and representative than on the female one. Second, the human labeling of medically relevant data (for instance, who counts as male, female or transgander) is often subjective, paving way for bias.

In the case of gender-based discrimination, such biases in AI-technologies in healthcare are already detectable. Dr Lau cited numerous studies showing how AI systems led to mistreatment or misdiagnosis in a disproportionately higher number of cases for female, than for male patients. This has devastating impacts. First, it augments past inequalities, as these algorithms make future decisions based on data which contain the very biases we aim to eliminate. Second, it unfairly lowers the overall quality of healthcare women receive. Third, it endangers the mental and physical well-being of women.

Dr Lau recommended two remedies for the outlined issue. First, there is a need to better regulate AI-systems used in healthcare. She cited attempts to this end from the European Union, the United Nations and the Federal Trade Commission. While she praised the direction these initiatives take, she highlighted unclarities and hardships in their enforcement and implementation. Second, she argued that there is a need for data feminism. Feminist data science aims to (1) fill in the gaps in data to make it more representatie, (2) eliminate bias in the data we already have, and (3) use data to detect and highlight unfair discrimination. Ultimately, as elsewhere in this technological field, solutions to social problems lie beyond legal regulation, and genuine changes are necessary in how technology actors conduct themselves, and in how they view their responsibility towards society and the individual.

During the discussion, some participants argued that while Dr Lau gave a compelling justification for combating AI bias, it was unclear whether it is possible to achieve this end. Dr Lau responded that there are at least some obvious steps we can already take. For instance, while it is true that machine learnt biases are hard to regulate, we can start by eliminating biases contained in the initial data.

__________________________________________________________

It was supported by the Ministry of Innovation and Technology NRDI Office within the framework of the FK_21 Young Researcher Excellence Program (138965) and the Artificial Intelligence National Laboratory Program.

__________________________________________________________

The views expressed above belong to the author and do not necessarily represent the views of the Centre for Social Sciences.

Tagcloud

alapjogok európai bíróság európai bizottság tagállami mozgástér ttip európai parlament belső piac fogyasztóvédelem tisztességtelen szerződési feltétel jogállamiság diszkrimináció európai központi bank alkotmánybíróság gazdasági és monetáris unió versenyjog kúria állami támogatás uniós értékek demokrácia jogegységi határozat előzetes döntéshozatali eljárás közös kereskedelempolitika euró nemzeti érdek eu alapjogi charta brexit arányosság elve szociális jog irányelvek átültetése european convention of human rights kásler-ítélet fizetésképtelenségi rendelet választás oroszország eusz 7. cikke egységes piac európai bizottság elnöke human trafficking human rights környezetvédelem adatvédelem fenntartható fejlődés ultra vires aktus bevándorlás ceta német alkotmánybíróság btk közös kül- és biztonságpolitika trump közigazgatás wto nafta migráció nemzeti bíróságok russia tpp menekültkérdés fundamental rights panpsychism szolidaritás ukraine crisis bankunió strasbourgi bíróság personhood polgári kezdeményezés magyarország szankció syngamy kötelezettségszegési eljárás environment eu sanctions energiapolitika civil törvény compliance devizakölcsön ecthr európai integráció ukrán válság alkotmányjog prison conditions fővárosi közgyűlés európai parlamenti választások fogyatékosok jogai surrogacy közbeszerzés felsőoktatás normakontroll kiotói jegyzőkönyv national courts internet verseny szabadsága magyar helsinki bizottság ebh államcsőd állampolgárság lex ceu eljárási alkotmányosság versenyképesség adójog consumer protection platformtársadalom halálbüntetés vesztegetés szülő nők helyzete likviditás külkapcsolatok european court of human rights nemzetközi magánjog közjogtudomány adózás európai politikai pártok; single market adókövetelés hálapénz peschka menekült hatáskörmegosztás dajkaterhesség környezetvédelmi politika családi jog zaklatás gmo-szabályozás pártfinanszírozás retaliation adatmegőrzési irányelv fizetésképtelenségi eljárás schuman-nyilatkozat jogelmélet fal egyesült királyság áruk szabad áramlása öröklési jog szegregáció beruházásvédelem gmo-mentesség központi bankok európai rendszere európai politikai közösség hungary közerkölcs sokszínű európa alapító atyák vallásszabadság dublin iii egészségvédelem uniós polgárság irányelvek szabályozáshoz való jog european neighbourhood policy hatáskör-átruházás politikai pártok european court of justice kisebbségek juncker bizottság első alkotmánykiegészítés 1951-es genfi egyezmény közigazgatási perrendtartás ártatlanság vélelme jog és irodalom elsőbbség elve kohéziós politika sokféleség energiahatékonysági irányelv obamacare strasbourgi esetjog tényleges életfogytiglan általános közigazgatási rendtartás alapjogi charta legitimáció erdély ukraine régió fizetésképtelenség; energiaunió születésszabályozás parlament európai bíróság elnöke új btk. törökország kikényszerítés konferencia székelyföld autonomy of eu legal order jogharmonizáció; eurasian economic union hobby lobby véleménynyilvánítás szabadsága lenaerts történelmi konfliktusok személyek szabad mozgása law in literature uk report inviolability of eu legal order csődjog; dcfta büntetőjog média hatékony jogvédelem szabadságvesztés uniós válságkezelés európai jog szociális deficit law as literature európai szomszédságpolitika mulhaupt european values többségi demokrácia; jogos védelem országgyűlés franciaország lojális együttműködés európai tanács európai emberi jogi egyezmény letelepedés szabadsága lengyel alkotmánybíróság brit jelentés olaszország european central bank áldozatvédelem sajtószabadság németország végrehajtás válság lengyelország ingatlanadó-követelés article 7 teu népszavazás german constitutional court értékközösség egyesülési jog szíria uniós jog sérthetetlensége kiskereskedelmi különadó jogállamiság-védelmi mechanizmus excessive deficit nyilvános meghallgatás rule of law common commercial policy omt érdekközösség velencei bizottság lengyel alkotmánybíróság uniós jog autonómiája eu klímapolitika exclusionarism kommunikáció democracy európai unió alapjogi ügynoksége egyenlő bánásmód görögország muršić ügynökprobléma gazdasági szankciók civil jogállamiság infrastruktúrához való hozzáférés kvótakereskedelem protectionism datafication reklámadó emberi méltóság pénzügyi válság