Content uploaded by Rijk Mercuur
Author content
All content in this area was uploaded by Rijk Mercuur on Oct 21, 2024
Content may be subject to copyright.
Dit artikel verscheen origineel in het vaktijdschrift AG Connect als
Mercuur, R., en Aldewereld, H. 2024. “Wat is er mis met discriminatie?” AG Connect, editie 2. Zie
https://www.agconnect.nl/maatschappij/artificial-intelligence/wat-is-er-mis-met-onderscheid.
Wat is er mis met discriminatie?
Rijk Mercuur, Huib Aldewereld
Onderscheid? Ja, dat is de bedoeling.
Ik kijk Fred glunderend aan. Hij begrijpt wat ik begrijp. Algoritmes maken onderscheid. De
zelflerende algoritmes waar Fred - een bevriende data scientist – mee werkt, maken
onderscheid tussen voorspellende variabelen en niet-voorspellende variabelen. Zo gebruikte
het algoritme van de Belastingdienst in de beruchte toeslagenaffaire de variabele
‘fraudeverleden’ om onderscheid te maken tussen aanvragers met een hoog risico op fraude en
een laag risico.i Een zelflerend algoritme vindt zo’n verband doordat in de data blijkt dat mensen
met een fraudeverleden vaker fraude plegen. Fred voorspelt, maakt onderscheid. Maar is dit
onderscheid onrechtmatig? Oftewel: discrimineert Fred?
Amnesty veroordeelt de Freds van de Nederlandse Belastingdienst en wil de inzet verbieden
van zelflerende algoritmen met impact op de maatschappij. ii In een rapport over de
toeslagenaffaire stelt Amnesty dat de Nederlandse Belastingdienst het recht om gelijk
behandeld te worden heeft geschonden omdat hij onderscheid maakt op nationaliteit.iii Amnesty
heeft terecht kritiek op de toeslagenaffaire, maar mist de nuance: (1) onderscheid maken, zelfs
op een gevoelige variabele als nationaliteit, is niet altijd discriminatie, maar een cruciaal
onderdeel van mensen en algoritmes; (2) nationaliteit was (wellicht) relevant om fraude op te
sporen, maar werd niet proportioneel ingezet. Niet elk onderscheid (zelfs op nationaliteit) is dus
discriminatie. Wat de toeslagenaffaire dus discriminatie maakt, was het gebrek aan
proportionaliteit: het onderscheid op nationaliteit was te invasief vergeleken met wat het
oplevert.
Geef technofoben als Amnesty vrij spel en ze verbieden met de botte bijl alle zelflerende
algoritmes. Geef de technofielen vrij spel en de toeslagenaffaire is pas het begin van een
discriminatiedystopie. Met de toeslagenaffaire als leerschool wil ik Fred helpen een middenweg
te vinden: wanneer wordt onderscheid discriminatie? Juist door dit beter te begrijpen kunnen we
de vinger op de zere plek leggen en discriminatie succesvol tegengaan.
Niet elk onderscheid is discriminatie: ook niet op nationaliteit of economische status
In de toeslagenaffaire gebruikte de Belastingdienst een risicomodel met tientallen factoren om
fraudulente van niet-fraudulente aanvragen te onderscheiden. Het algoritme maakte dus
onderscheid in aanvragen op tientallen factoren, maar slechts twee vormen van onderscheid
zijn ook discriminatie volgens Amnesty: het onderscheid op nationaliteit en economische status.
Als je een niet-Nederlandse nationaliteit hebt of lagere economische status, werd het risico op
fraude hoger ingeschat. In het geval van nationaliteit, keurt Amnesty het direct onderscheid
maken op nationaliteit af. In het geval van economische status, gaat het (mogelijk) iv niet over
dat het problematisch is direct onderscheid te maken op economische status, maar dat
economische status een proxyv is voor nationaliteit. Dat wil zeggen, als je onderscheid maakt
op economische status maak je ook indirect onderscheid op nationaliteit. Dit artikel komt later
terug op het belang van indirect onderscheid, voor nu is het belangrijk dat Amnesty beiden
vormen van onderscheid veroordeelt: direct op nationaliteit, en (in)direct via economische
status. Dit is discriminatie en in strijd met de grondwet.
Artikel 1 van onze grondwet vertelt ons dat mensen met verschillende nationaliteiten gelijk
moeten worden behandeld in gelijke gevallen. Dus: Amnesty heeft gelijk. Case closed. Toch?
Het blijkt minder simpel: onderscheid maken op nationaliteit (direct of via economische status) is
niet per definitie discriminatie. Twee voorbeelden:
1. De Nederlandse nationaliteit (d.w.z. een Nederlands paspoort) geeft het recht om in
Nederland te wonen, de Ethiopische nationaliteit geeft dit recht (zonder
verblijfsvergunning) niet. Nationaliteit is rechtmatig onderscheidend voor legaal verblijf.
Sterker nog, de Rechtbank Den Haag oordeelde dat etniciteit (even grof gezegd:
iemands uiterlijk) rechtmatig mag worden gebruikt door de Marechaussee om iemands
nationaliteit te controleren; het hooggerechtshof maakte deze uitspraak in 2023
ongedaan.vi Echter, het recht was dus onduidelijk over of iemands uiterlijk mag worden
gebruikt om onderscheid te maken in uitzonderlijke gevallen.
2. Bij het verstrekken van een hypotheek maken we onderscheid op economische status
(d.w.z. inkomen). Mensen met een hoger inkomen krijgen een hogere hypotheek dan
mensen met een lager inkomen. Even de vele belastingregelingen daargelaten is het
gemeengoed dat inkomen terecht onderscheidend is voor een hypotheek. Ook hier is
inkomen net zo goed een proxy voor nationaliteit. We geven dus systematisch een
lagere hypotheek aan niet-Nederlandse nationaliteiten. We maken bij een
hypotheekaanvraag een rechtmatig (indirect) onderscheid op nationaliteit.
Dus, wanneer is onderscheid op nationaliteit en/of economische status wel discriminatie?
Discriminatie hangt af van relevantie, morele relevantie en proportionaliteit.
Relevantie. Rechtmatig onderscheid vereist ten eerste dat het onderscheid relevant is. De
veroordeling van Amnesty kan berusten op de stelling dat inkomen en nationaliteit niet relevant
zijn in de betekenis dat ze de kans niet verhogen op een onjuiste aanvraag. In zo’n geval valt de
discriminatie van de Belastingdienst in de hoek van het ongegronde ‘vrouwen kunnen niet
autorijden’vii en 'mannen kunnen niet multitasken’’viii. Discriminatie is in dit geval het “hebben
van een mening op basis van bewijs dat u anders niet toereikend zou vinden.” ix M.a.w., als een
man niet kan autorijden is het er één, als een vrouw niet kan autorijden, falen ze allemaal. Deze
vorm van discriminatie gaat over een foute representatie van de wereld zoals deze op dit
moment is. De statistische beschrijving van de wereld wijkt af van de realiteit of is onvoldoende
bewezen.
In het geval van de toeslagenaffaire stelt het AP vast dat tot oktober 2018 nationaliteit werd
gebruikt en pas hierna werd verwijderd omdat deze toen geen voorspellende waarde meer
hadx; nationaliteit was dus relevant. Het rapport van Amnesty vermijdt dit pijnlijke onderwerp:
Amnesty laat in het midden of de data van de Belastingdienst onderschrijven dat nationaliteit en
economische status goede voorspellers zijn voor fraude. Begrijpelijk, vaststellen dat er een
correlatie is tussen een onjuiste aanvraag en nationaliteit is pijnlijk. Het is makkelijker om te
stellen dat de ontwerpers van het risico-systeem bij de Belastingdienst vooringenomen zijn.xi
Het is belangrijk om te vermelden dat het onderzoeken of nationaliteit correleert met fraude niet
waardevrij is. Als men intentioneel en uitsluitend opzoek gaat naar een direct verband moet hier
een goede reden voor zijn. Echter, zelflerende algoritmes zoals die worden gebruikt voor
risicoprofilering, vinden automatisch verbanden tussen variabelen die, nou eenmaal, verband
hebben. Het is dus (in principe) niet mogelijk om het verband tussen nationaliteit en fraude niet
te willen vinden, als dit verband wel in de data zit. Een naïeve oplossing is om de variabele
nationaliteit uit de dataset te halen, echter via andere variabele (per proxy) zal het verband
tussen nationaliteit en fraude toch naar boven komen, bijvoorbeeld via de proxyvariabele ‘aantal
kinderen’ of ‘inkomen’. Er kan dus niet zomaar worden gezegd dat de Belastingdienst
vooringenomen is als het zelflerende algoritme vaststelt dat er een correlatie is.
Sterker, het benoemen dat er wel een correlatie is kan het debat juist helpen door scherp te
stellen dat we ondanks de correlatie het immoreel vinden om de variabel mee te nemen. Zo zal
ook een rechter, ook als nationaliteit bewezen voorspellend is voor een onderscheid, het
gebruik van nationaliteit om onderscheid te maken in de meeste gevallen afkeuren. Dit punt is
des te belangrijker bij zelflerende algoritmes omdat een variabele (en zeker combinaties van
variabelen) altijd in zekere mate zullen correleren met gevoelige variabelen als nationaliteit.
Oftewel, we zullen duidelijker dan Amnesty doet moeten kunnen uitleggen waarom iets
discriminatie is ondanks dat er een verband is.
Kortom, alhoewel relevantie (m.a.w,, een correlatief verband) een noodzakelijke voorwaarde is
voor een rechtmatig onderscheidend is relevantie hiervoor niet afdoende.. Het is dan ook niet
nodig, en afleidend, om dit verband niet te noemen. In plaats daarvan kunnen we focussen op
echte argumenten voor discriminatie: morele relevantie en proportionaliteit.
Morele relevantie. De terechte kritiek is dat nationaliteit niet relevant moeten zijn voor
fraudedetectie; dat is onredelijk. Met andere woorden, nationaliteit is niet moreel relevant voor
fraudedetectie. Wat Amnesty eigenlijk veroordeelt, is dat we niet willen dat individuen de dupe
worden van een niet-beïnvloedbare factor die hen verbindt aan een groep mensen. De
mogelijkheid om factoren te kunnen beïnvloeden is cruciaal voor een rechtmatig onderscheid.xii
Nederlanderschap is niet (of beperkt) beïnvloedbaar en daarmee niet moreel relevant voor
fraudedetectie.xiii Dus: concluderen dat nationaliteit relevant is voor onjuiste aanvragen is nog
geen discriminatie (relevantie), maar nationaliteit gebruiken om een wereld te creëren waarin
nationaliteit wordt meegenomen voor fraudedetectie terwijl mensen hierop geen invloed
hebben, is dat wel.
Proportionaliteit. Hoe zit het dan met de hypotheekaanvraag en het onderscheid maken op
nationaliteit door de douane? We accepteren een bepaalde mate van ongelijkheid in onze
samenleving als deze in verhouding staat tot het doel. Dit heet proportionaliteit. We vinden
blijkbaar het weigeren van niet-Nederlanders om hier te wonen en werken in verhouding staan
met het doel; en het weigeren van een hypotheek aan lage inkomens in verhouding staan met
het doel: de zekerheid van het afbetalen van de hypotheek. Het gaat hier dus niet alleen omdat
deze variabele relevant of gevoelig is; het gaat hier om proportionaliteit.
Proportionaliteit is de hoofdreden van het AP om het gebruik van nationaliteit in de
toeslagenaffaire af te keuren. Proportionaliteit gaat om een afweging tussen de gevolgen voor
het individu en degene die het onderscheid wil maken.xiv Een onderscheid kan een
gerechtvaardigd belang hebben dat proportioneel is aan de inbreuk die wordt gedaan op het
individu; bijvoorbeeld fraudebestrijding is zo’n gerechtvaardigd belang.
xviii
xv De conclusie van het
AP in het geval van de toeslagenaffaire is genuanceerd: het gebruik van nationaliteit als
onderdeel van een individueel proces voor het toekennen van toeslag is proportioneelxvi; het
gebruik van nationaliteit voor het inschatten van het risico op een onjuiste aanvraag had netter
gekund; en voor het gebruik van nationaliteit voor de aanpak van georganiseerde fraude was
niet genoeg grondslag: de inbreuk op het individu stond niet in verhouding met het doel.xvii De
conclusie van het AP is dus niet: nationaliteit is niet relevant, of mag nooit gebruikt worden,
maar de redenen van de belastingdienst zijn niet zwaar genoeg om nationaliteit te gebruiken.
Het gaat om een waarde-afweging: je weegt bijvoorbeeld gelijkheid af tegen veiligheid. Dus,
een in eerste opzicht moreel irrelevante variabele kan worden gebruikt voor onderscheid als de
negatieve effecten van ongelijkheid in verhouding zijn met wat het opbrengt.xix
Conclusie en naar Eerlijke Algoritmes
Wanneer wordt onderscheid discriminatie, Fred? Ten eerste is er overduidelijk sprake van
discriminatie als een variabel aantoonbaar irrelevant is voor het onderscheid. Ten tweede is er
mogelijk sprake van discriminatie als een variabel moreel niet relevant is. Echter, soms zijn
moreel irrelevante variabelen toch te verdedigen. Ten derde stel je daarom de vraag: is het
onderscheid proportioneel? In het geval van de toeslagenaffaire was het gebruik van
nationaliteit niet proportioneel aan het belang van fraude-opsporing. Uiteindelijk Fred, zijn dit
lastige beslissingen. Voor welke correlaties afdoende bewijs is, wat moreel relevant is en wat
proportioneel is, zijn afwegingen die we als samenleving moeten maken.
Het is makkelijk om discriminatie te roepen zo gauw gevoelige variabelen een rol spelen of om
te claimen dat alle discriminatie uit een algoritme moet worden verwijderd. Maar, zelflerende
algoritmes zijn ontworpen om relevant onderscheid te makenxx Door het gesprek te openen over
hoe een verband statistisch klopt, maar toch onrechtmatig wordt gebruikt komen we tot de kern
van discriminatie. Dat gesprek vraagt om kennis van ethiek en techniek. Als onderzoeker bij de
Hogeschool Utrecht doe ik hier onderzoek naar en probeer zo, samen met financiële bedrijven,
handvaten te bieden om met discriminatie en algoritmes om te gaan. Wil je meedoen? Ik hoor
altijd graag over hoe dit probleem leeft in de praktijk.
i Zoals later in het stuk beschreven weten we niet in detail de variabelen die de belastingdienst gebruikte.
Fraudeverleden lijkt aannemelijk en werd in ieder geval gebruikt door Nederlandse Gemeente voor aanvragen van
een bijstandsuitkering. Lighthouse reports, Argos en NRC reconstrueerde het algoritme dat Nederlandse gemeenten
gebruikten, en soms nog gebruiken, om fraudescores te berekenen. Zie
https://fraudescorekaart.lighthousereports.nl/#/scorekaart
ii Amnesty International schreef het rapport Xenophobe machines. Discriminatie door ongereguleerd gebruik van
algoritmen in het Nederlandse toeslagenschandaal. (2021). p.23 Zie:
https://www.amnesty.org/en/documents/eur35/4686/2021/nl/
iii Idem
iv In het geval van economische status is het onduidelijk of Amnesty het onderscheid op economische status zelf
veroordeelt of slechts het feit dat dit een proxy is voor nationaliteit. ‘Dat [RM: het discriminerende algoritme en
overheidsoptreden] trof mensen met een lagere economische status vaker en harder. Deze groep mensen
behoorden vaak tot een etnische minderheid. Het toeslagenschandaal moet daarom worden beschouwd als
intersectionele discriminatie.’, Xenophone Machines (2021), p. 6iv
v Een proxy, of proxy variabele, is een variabel die niet op zichzelf relevant is, maar staat voor een andere relevante
variabele. Een goede proxy correleert met de variabel waarin we geïnteresseerd zijn. Bijvoorbeeld, inkomen
correleert met migratieachtergrond; inkomen is dus een proxy voor migratieachtergrond. (Zie:
https://www.cpb.nl/inkomensongelijkheid-naar-migratieachtergrond).
vi In september 2021 oordeelde de rechtbank dat etniciteit mag worden gebruikt door de Koninklijke Marechaussee
als indicator om iemands nationaliteit te controleren. vi Rond februari 2023 werd deze uitspraak ongerechtshof
ongedaan gemaakt. Lees hier meer: https://nos.nl/artikel/2463761-hof-verbiedt-etnisch-profileren-marechaussee-bij-
controles
vii Mannen veroorzaken heftigere ongelukken, begaan meer verkeersovertredingen en rijden vaker met alcohol op.
Vrouwen veroorzaken dan weer vaker niet-schadelijke ongelukken. Zie bijvoorbeeld: Sorenson, S. B. (2011). Gender
disparities in injury mortality: Consistent, persistent, and larger than you’d think. American Journal of Public Health,
101(SUPPL. 1), 353–358. https://doi.org/10.2105/AJPH.2010.300029 OF https://www.malmanlaw.com/malman-law-
injury-blog/who-causes-more-car-accidents-men-or-women/
viiiLees hier meer over in een blog van Chris Janssen https://www.uu.nl/organisatie/faculteit-sociale-
wetenschappen/kunnen-vrouwen-beter-multitasken-dan-mannen
ix P.18, What's Wrong with Speciesism? (2015)
xHet AP stelt vast “dat Toeslagen tot oktober 2018 gebruik heeft gemaakt van de nationaliteit van aanvragers voor de
indicator Nederlanderschap/niet-Nederlanderschap in het risico-classificatiemodel. Bij de training van het model bleek
dat deze indicator geen voorspellende waarde meer [nadruk toegevoegd] had. Als gevolg daarvan is deze indicator
verwijderd.” P. 43, Autoriteit Persoonsgegevens. (2020). Belastingdienst/Toeslagen: De verwerking van de
nationaliteit van aanvragers van kinderopvangtoeslag. Zie
https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/onderzoek_belastingdienst_kinderopvangtoeslag.p
df
xi “Het gebruik van nationaliteit in risicoprofilering onthult de veronderstelling van de ontwerper, ontwikkelaar en/of
gebruiker van het risicoscoringssysteem dat mensen met bepaalde nationaliteiten meer geneigd zouden zijn om
fraude of strafbare feiten te plegen dan mensen met andere nationaliteiten.”, Xenophone Machines (2021)
xii Zie bijvoorbeeld dit paper over het concept Actionable Recourse: Ustun, Berk, Alexander Spangher, and Yang Liu.
2019. “Actionable Recourse in Linear Classification.” FAT* 2019 - Proceedings of the 2019 Conference on Fairness,
Accountability, and Transparency, 10–19. https://doi.org/10.1145/3287560.3287566.
xiii Naast de mogelijkheid om een factor te beïnvloeden zijn er andere ethische aspecten die mee worden genomen: is
er een causaal verband of alleen een correlatie tussen de gevoelige variabele en de classificatie; en staat het
aanpassen van de variabel in verhouding met het doel (hierover later meer).
xiv Om precies te zijn neemt het AP daarin het volgende mee: de gevolgen voor de betrokkene, mate van inperking,
negatieve gevolgen en of de betrokkene de inmenging kan verwachten. Autoriteit Persoonsgegevens. Zie:
Normuitleg grondslag ‘gerechtvaardigd belang.’ , Autoriteit Persoonsgegeven, Geraadpleegd 2023,
https://autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/normuitleg_gerechtvaardigd_belang.pdf
xv Naast fraude noemt de AP als andere ethische belangen: een gezond leven beschermen, grensoverschrijdend
gedrag beperken of onrechtmatig gedrag tegen gaan.
xvi Dit komt omdat nationaliteit (samen met verblijfsvergunning en inschrijving in een gemeente) een officieel criteria is
voor een aanvraag.
xvii “De AP concludeert dat de inbreuk op de belangen van de betrokken personen niet onevenredig is in verhouding
tot het met de verwerking te dienen doel.”, Belastingdienst/Toeslagen (2021)
xviii “Ten aanzien van de twee beschreven casussen had een dergelijke verwerking alleen mogen plaatsvinden als er
sprake was geweest van een zeer zwaarwegende reden. Nu is geconcludeerd dat dit ontbreekt kan de verwerking
van nationaliteit als uiterst onbehoorlijk worden aangemerkt”, Belastingdienst/Toeslagen (2021)
xix Let wel, de gevolgen van nationaliteit direct gebruiken zijn vaak groot en staan in de regel niet in verhouding tot het
doel. Echter, nationaliteit heeft via proxy invloed op tal van andere variabelen: inkomen, postcode of aantal
kinderen.’ Vooral bij deze indirecte invloeden zal de proportionaliteits-afweging complexer worden.
xx Data zijn niet neutraal. Bij het noteren en verzamelen van data kan een vooringenomenheid of beperking ontstaan,
dit heeft een invloed op de daarop getrainde zelflerende algoritmes.