Het gebruik van algoritmes door overheden leidt te vaak tot discriminatie en andere mensenrechtelijke knelpunten: biedt het Impact Assessment Mensenrechten en Algoritmes een oplossing?

De overheid past in toenemende mate algoritmes bij besluitvorming toe

Waar beslissingen voorheen volledig door mensen werden genomen, gebeurt dit tegenwoordig steeds vaker (deels) geautomatiseerd: met gebruikmaking van algoritmes. Ook overheidsorganen maken gebruik van algoritmische besluitvorming. Zo gebruiken gemeenten algoritmes bij vergunningsaanvragen, regelt DUO de studiefinanciering met behulp van algoritmes en handelt de Belastingdienst veel aangiftes af door algoritmes toe te passen.

Het gebruik van algoritmes bij bestuurlijke besluitvorming kan meerdere mensenrechtelijke knelpunten opleveren.

Algoritmes kunnen bijvoorbeeld ongerechtvaardigd onderscheid maken, zodat het gebruik van algoritmes leidt tot discriminatie en strijdig is met het recht op gelijke behandeling.

Het gebruik van algoritmes kan ook op gespannen voet staan met het recht op privacy en het recht op de bescherming van persoonsgegevens.

Verder brengt het gebruik van algoritmes mogelijk risico’s mee voor het recht op een eerlijk proces (zie ABRvS 17 mei 2017, ECLI:NL:RVS:2017:1259 inzake de PAS).

Gezien de potentiële risico’s van de inzet van algoritmes, gaat steeds meer maatschappelijke en juridische aandacht uit naar regulering hiervan, ook vanuit ‘Europa’. De Algemene Verordening Gegevensbescherming (AVG) kent een specifiek op algoritmes gerichte bepaling ter waarborging van mensenrechten. In april 2022 heeft de Europese Commissie een voorstel voor een specifieke, op algoritmes gerichte, verordening gepresenteerd: de Artificial Intelligence Act (AI-verordening). Verder wordt het gebruik van algoritmes door de overheid op dit moment gereguleerd door het algemene (nationale) staats- en bestuursrecht, in het bijzonder de algemene beginselen van behoorlijk bestuur, en mensen- en grondrechten (bijv. ABRvS 18 juli 2018, ECLI:NL:RVS:2018:2454).

Op decentraal overheidsniveau neemt ook de aandacht voor een verantwoorde inzet van algoritmes toe. De gemeente Amsterdam heeft bijvoorbeeld contractvoorwaarden opgesteld voor algoritmen die zij bij leveranciers inkopen. In deze contractvoorwaarden staat welke informatie op het gebied van algoritmes de gemeente van de leveranciers nodig heeft. Daardoor verkrijgt de gemeente inzicht in het proces dat tijdens het ontwikkelen en toepassen van het algoritme gevolgd is. Verder hebben meerdere gemeenten een algoritmeregister (bijv. Amsterdam, Den Haag, Rotterdam en Utrecht). Hierin staat welke algoritmes de betreffende gemeente gebruikt bij gemeentelijke dienstverlening en wat de bedoeling en werking van deze algoritmes is. Dit beoogt bij te dragen aan de transparantie en uitlegbaarheid van de algoritmes, en zo het vertrouwen te vergroten in de dienstverlening waarbij algoritmes worden gebruikt.

Het doel van IAMA

Ondanks de toenemende regulering blijft er onvrede over het gebruik door de overheid van algoritmes in besluitvorming bestaan. Er worden bij algoritmische besluitvorming nog steeds strijdigheden met belangrijke normen zoals de algemene beginselen van behoorlijk bestuur en mensen- en grondrechten geconstateerd. Zie bijvoorbeeld dit rapport van de lokale Rekenkamer van Rotterdam uit 2021 over onder meer gebrekkige transparantie van en ongewenste discriminatie door het algoritme dat gebruikt werd bij bijstandsfraudebestrijding.

Het IAMA is bedoeld als een instrument voor overheidsorganen die bij hun besluitvormingsprocessen gebruikmaken van een algoritme. Het doel van het IAMA is dat het overheidsorgaan al in een vroege fase van het besluitvormingstraject aandacht besteedt aan de gevolgen van een specifiek algoritmegebruik voor mensenrechten. Het IAMA bevat hiertoe een groot aantal vragen waarop het overheidsorgaan een antwoord moet formuleren. Het IAMA beoogt zo een waarborgfunctie te vervullen voorafgaand aan de inzet van algoritmes (waaronder ook de ontwikkeling, inkoop en aanpassing daarvan wordt verstaan) bij het nemen van een overheidsbesluit. Maar ook wanneer een algoritme al in bepaalde besluitvorming wordt gebruikt kan het IAMA nog steeds van nut zijn, als instrument voor reflectie.

Het IAMA beoogt te voorkomen dat het overheidsorgaan een algoritme inzet, zonder de consequenties daarvan goed te hebben doorgrond en gewogen. Zo stelt het overheidsorgaan met behulp van het IAMA bijvoorbeeld vast wat de risico’s zijn van een specifiek algoritme. Het gaat om risico’s op grondrechteninbreuken, maar ook op onzorgvuldigheid en inefficiëntie.

Het IAMA dient te worden doorlopen door degenen die vanuit overheidsorganen verantwoordelijk zijn voor de ontwikkeling en/of de inzet van een algoritmisch systeem. Overheidsorganen kunnen het IAMA – op dit moment nog – op vrijwillige basis doorlopen.

De inhoud van het IAMA

Het IAMA bestaat uit vier delen.

In de eerste drie delen komen de eerste drie fasen van een traject rondom algoritmegebruik aan de orde. Kort gezegd zien de vragen in deel 1 op de voorbereidingsfase: wat is de aanleiding en wat zijn de beoogde effecten van de inzet van het algoritme?

In deel 2 gaat het om de vormgeving van het in te zetten algoritme: welke data worden ingezet en wat voor algoritme wordt gebruikt?

Deel 3 ziet op de vormgeving van de implementatie en toezichtfase.

Tot slot besteedt het IAMA in deel 4 aandacht aan het vaststellen van de risico’s op het maken van inbreuk op grondrechten en zo ja, of deze inbreuk eventueel gerechtvaardigd is. Als dat niet het geval is, geeft het IAMA aan dat de inzet van het algoritme mogelijk problematisch is.

De motie die overheidsorganen verplicht het IAMA toe te passen

Op 5 april 2022 is door een grote meerderheid van de Tweede Kamer een motie aangenomen, die tot doel heeft misbruik van algoritmes te voorkomen (Kamerstukken II 2021-22, 26643, 835). De Tweede Kamer verzoekt met de motie de regering om het IAMA verplicht te stellen voorafgaand aan het gebruik van algoritmen wanneer algoritmen worden ingezet om evaluaties van of beslissingen over mensen te maken. Verder verzoekt de Tweede Kamer de regering om verplicht te maken waar mogelijk de uitkomsten van het IAMA openbaar te maken.

Het doel van de motie is ‘misbruik van algoritmes’ helpen voorkomen. De motie legt niet uit wat daarmee precies wordt bedoeld en een nadere toelichting bij de motie ontbreekt. Ook het IAMA heeft het niet over ‘misbruik van algoritmes’. Wij nemen aan dat wordt bedoeld om te voorkomen dat met de inzet van algoritmes mensenrechten in de knel komen.

Er zijn relevante verschillen in de reikwijdte van het IAMA zelf en de verplichting die de Tweede Kamer daarvan nu voorschrijft.

Ten eerste stelt de motie voor het IAMA alleen te verplichten voorafgaand aan het gebruik van algoritmes. Het IAMA kan echter ook dienen als instrument voor reflectie wanneer een algoritme al wordt ingezet.

Ten tweede beperkt de motie de voorgestelde verplichting nadrukkelijk tot het gebruik van algoritmes bij het maken van beslissingen over of evaluaties van ‘mensen’. Het IAMA is daarentegen – terecht – ook toepasbaar wanneer mensenrechten van rechtspersonen in het geding zijn (zie p. 17 van het IAMA: het is bij het gebruik van algoritmes van belang dat ‘burgers en rechtspersonen kunnen weten waar ze aan toe zijn en zo nodig hun handelen kunnen afstemmen op de verwachte gevolgen’).

De gevolgen van de in de motie voorgestelde verplichting tot toepassing van het IAMA

De motie leidt er uiteindelijk toe dat overheidsorganen het IAMA moeten gaan uitvoeren en – waar mogelijk – de uitgevoerde assessments moeten openbaar maken. Verplichte toepassing van het IAMA betekent niet dat zij daarmee extra verantwoordelijkheden krijgen ter waarborging van mensenrechten of het maken van zorgvuldige beslissingen. Deze verplichtingen hebben overheidsorganen reeds op grond van het staats- en bestuursrecht waarvan de mensenrechten deel uitmaken.

Toch kunnen verplichte toepassing van het IAMA en de openbaarmaking van de resultaten daarvan belangrijke, gunstige effecten hebben. Dit zorgt namelijk voor:

• Meer houvast voor overheden bij het voldoen aan de (mensenrechtelijke) verplichtingen die op hen rusten. De verplichting tot het uitvoeren van het IAMA bevestigt de verantwoordelijkheid die de overheid heeft voor de mensenrechtelijke gevolgen van de inzet van een algoritme. Het IAMA vult deze verantwoordelijkheden op een praktische wijze verder in. Het helpt overheden zo aan hun verplichtingen te voldoen. Daarmee stimuleert het IAMA dat overheidsorganen een kritische positie innemen als zij een algoritme willen inzetten, zij daarbij de juiste vragen stellen en een eigen afweging maken, en niet bijvoorbeeld louter afgaan op en richting burgers verwijzen naar de uitleg van de ontwerper van het algoritme.
• Een bewustere, prominentere rol voor mensenrechten bij het gebruik van algoritmes. Het IAMA maakt de risico’s van het gebruik van specifieke algoritmes inzichtelijker. Het IAMA besteedt bijvoorbeeld uitgebreid aandacht aan het achterhalen van biases die in data besloten liggen. Het wegnemen of voorkomen van biases kan leiden tot algoritmes die ‘beter zijn’ vanuit mensenrechtelijk perspectief. Hierover merken wij wel op dat het achterhalen van de biases in data lastig kan zijn. Van tevoren kan namelijk lang niet altijd goed beoordeeld worden welke biases er (potentieel) zijn.
• Een vergrote inzichtelijkheid en controleerbaarheid van gebruikte algoritmes voor burgers. De motie verzoekt de uitkomsten van het IAMA verplicht openbaar te maken. Het IAMA beoogt bestuurlijke besluitvorming inzichtelijker te maken door de input van het algoritme en de throughput van een project expliciet te maken. Ook waarborgt het IAMA dat de overheid uitlegt wat het algoritme doet, hoe het algoritme dit doet en op basis van welke data het algoritme dit doet. Zo beoogt het IAMA een transparanter algoritmisch proces, dat nu nog vaker een black-box Hierdoor zou minder snel een ongelijkwaardige procespositie van de burger jegens het overheidsorgaan moeten ontstaan.
  Wij menen dat het IAMA inderdaad aan een gelijkwaardigere procespositie kan bijdragen, met dien verstande dat voor een goed begrip van de vaak complexe algoritmes de burger nog steeds externe deskundigheid zal moeten inschakelen. Dit is kostbaar en daarmee blijft mogelijk een drempel voor de burger bestaan om in een gelijkwaardige procespositie met de overheid te komen.
• Verdere invulling van het zorgvuldigheidsbeginsel. In de toekomst kan de situatie voordoen dat het uitvoeren van een IAMA verplicht is gesteld, maar er in de praktijk geen IAMA is uitgevoerd. Ook is het denkbaar dat na de uitvoering van het IAMA duidelijk is geworden dat risicobeheersing noodzakelijk is, maar dat het overheidsorgaan hiertegen niet afdoende maatregelen heeft genomen. In dat geval is het denkbaar dat dit een sterke aanwijzing is voor een schending van in ieder geval het zorgvuldigheidsbeginsel (artikel 3:2 Algemene wet bestuursrecht). Het IAMA kan daarmee ook in rechterlijke procedures een belangrijk instrument worden ter beoordeling van de rechtmatigheid van een algoritmische besluitvorming.

Conclusie

Het CRM vindt het noodzakelijk om een bindende, effectieve discriminatietoets in te stellen om foutief gebruik van algoritmes door overheden te voorkomen. De door ons besproken motie over het IAMA heeft de potentie om hieraan tegemoet te komen, en bovendien verder te gaan. Het IAMA kan bijdragen aan het voorkomen van discriminatie en andere mensenrechtelijke knelpunten.

De precieze, hopelijk positieve gevolgen van de verplichte toepassing en openbaarmaking van het IAMA, zoals in de motie voorgesteld, zijn echter afhankelijk van de verdere uitwerking daarvan door de regering. Daarvoor brengen wij graag een aantal (in de motie) onderbelichte punten onder de aandacht. Allereerst zijn sommige mensenrechten ook inroepbaar door rechtspersonen, maar is de motie beperkt tot het gebruik van algoritmes bij het maken van beslissingen over of evaluaties van ‘mensen’.

Daarnaast is voor een daadwerkelijke waarborging van mensenrechten van belang dat de mensenrechtelijke gevolgen van het inzetten van een algoritme ook na de toepassing ervan worden gemonitord blijven. Het IAMA kan bij beide punten een belangrijke waarborgfunctie vervullen. Wij moedigen de regering aan om ook hiernaar te kijken bij de verdere uitwerking van de motie.