AI-algoritmen ondanks representatieve input toch met raciale bias
Op het online tech-magazine The Register verscheen op 1 mei 20022 een interessant artikel over Artificial Intelligence(AI) met de titel: “AI models still racist, even with more balanced training”. In dit artikel gaat men in op een recente publicatie van een internationale onderzoeksgroep. Dit team analyseerde hoe nauwkeurig algoritmen waren bij het voorspellen van verschillende cognitieve gedragingen en gezondheidsmetingen van hersen-fMRI-scans. Het betrof zaken zoals geheugen, stemming en zelfs grijpkracht bij verschillende etnische/raciale subgroepen in de populatie. In dit onderzoek kwam naar voren dat er bij de uitkomsten van de algoritmen sprake was van raciale bias(vooroordelen). Zelfs als die algoritmen getraind waren op gegevens die representatiever zijn voor verschillende etnische groepen. De onderzoeksgroep denkt dat veel dieper gekeken moet worden in de data-voorverwerking en in de wijze waarop de data verkregen zijn. Daarbij gaat het vooral om de validiteit van de voorbewerking van de gegevens van niet-Europese populaties.
Onderzoek
Het team voerde een reeks experimenten uit met twee datasets met tienduizenden fMRI-scans van de hersenen van mensen, waaronder gegevens van het Human Connectome Project en de Adolescent Brain Cognitive Development. Om te onderzoeken hoe raciale ongelijkheden de prestaties van de voorspellende modellen beïnvloedden, probeerden ze de impact die andere variabelen, zoals leeftijd of geslacht, op de nauwkeurigheid zouden kunnen hebben, te minimaliseren. Toen ze voorspellende modellen trainden op gegevens die werden gedomineerd door blanke Amerikanen (White-Americans), waren voorspellingsfouten buiten de steekproef over het algemeen hoger voor Afro-Amerikanen (AA) dan voor WA. Dat zou geen wenkbrauwen moeten doen fronsen, maar het interessante was dat die fouten niet verdwenen. Zelfs niet toen ze algoritmen trainden op datasets die steekproeven bevatten met een gelijke representatie van WA als AA, of van alleen AA’s. Het was voor hen reden om te kijken naar onderliggende oorzaken van die voorspellingsfouten.
Diep zoeken naar oorzaken
De onderzoekgroep vraagt zich dan ook terecht af of de onderliggende data van de verschillende raciale subgroepen wel geschikt waren om met AI te beoordelen. Het roept de vraag op van de validiteit van de voorbewerking van de gegevens van niet-Europese populaties binnen hun onderzoeksmodel.
De onderzoekers stelden bijvoorbeeld dat tijdens de voorbewerking van de data het bijvoorbeeld regel was om hersengebieden van individuen te beschrijven met een standaard hersensjabloon, zodat individuele hersenen vergelijkbaar kunnen zijn. Maar deze hersensjablonen zijn meestal gemaakt van de blanke bevolking. Zo kunnen ook vragenlijsten die voorgelegd worden aan meerdere etnische groepen uitsluitend gebaseerd en gevalideerd zijn op mensen van blanke(Caucasische) afkomst. Het volstaat dus bij gebruik van AI niet om representatieve groepen op te stellen. Je moet ook kijken of de onderzoeksafspraken en de meetmethodieken wel adequaat gevalideerd zijn voor te onderzoeken subgroepen. Anders speelt bias een sterk verstorende rol.
Studie NIST over bias bij AI
Interessant is dat nog geen maand daarvoor, op 15 maart 2022, het National Institute for Standards and Technology(NIST) van de V.S. een uitgebreid artikel publiceerde. De titel luidde: “Towards a Standard for Identifying and Managing Bias in Artificial Intelligence”. Het stuk beschrijft hoe en waar ze bijdragen aan schadelijke uitkomsten van algoritmen. De studie beschrijft de uitdaging om vooringenomenheid in kunstmatige intelligentietoepassingen aan te pakken. Men geeft daarbij voorbeelden van hoe en waarom zo iets het vertrouwen van het publiek kan aantasten. De auteurs identificeren drie categorieën vooroordelen/vooringenomenheid(=bias) in AI. Ten eerste systemische, ten tweede statistische en tenslotte de menselijke bias. Al met al is deze publicatie van het NIST een opsomming van de mogelijkheden van onjuiste/onterechte uitkomsten van AI-toepassingen. En geeft men een weg aan om deze te voorkomen. Je bewust zijn dat bias een rol speelt bij AI is altijd noodzakelijk.
Waarom is het opsporen van bias bij AI zo belangrijk?
Onjuiste/onterechte uitkomsten van AI-algoritmen hebben een niet mis te verstane betekenis voor de samenleving. De Nederlandse Wetenschappelijk Raad voor het Regeringsbeleid(WRR) maakt zich grote zorgen over AI bij big-data-toepassingen. De algoritmen bij AI kunnen leiden tot een toename van sociale stratificatie. Makkelijk kan een cumulatief nadeel (discriminatie en oneerlijke behandeling) ontstaan voor bepaalde groepen uit de maatschappij. Meestal gaat het om de sociaal zwakkere groepen in de samenleving. Big Data-analyses kunnen leiden tot een toename van sociale stratificatie door de bias te reproduceren en te versterken die in elke dataset zit. Zonder correctie vertaalt zich dit op termijn in discriminatie en oneerlijke behandeling van bepaalde groepen in de maatschappij.
In dit kader leek het mij zinnig u van beide hierboven genoemde publicaties op de hoogte te brengen.
W.J. Jongejan, 3 mei 2022
Afbeelding van Gordon Johnson via Pixabay
Recente reacties