VNG introduceert modelbepalingen voor gemeenten bij de inkoop van AI: 3x transparantie als oplossing voor black box-besluiten?

Variërend van het inzetten van een chatbot door de gemeente Dongen voor het beantwoorden van veel gestelde vragen en het voorspellen van de verkeersdrukte in de binnenstad van de gemeente Nijmegen, tot het aanpakken van het afvalprobleem door de gemeente Amsterdam en het opsporen van bijstandsfraude door de gemeente Nissewaard. De mogelijkheden van het gebruik van AI lijken eindeloos!

Dit gebruik van AI gaat lang niet altijd goed. Het voorbeeld van de gemeente Nissewaard waarbij AI wordt ingezet bij het opsporen van bijstandsfraude, doet direct denken aan het inmiddels beruchte Systeem Risico Indicatie (SyRI). De SyRI-wetgeving werd eerder dit jaar door de rechtbank Den Haag in strijd geacht met artikel 8, tweede lid, EVRM, omdat zij niet voldoet aan fundamentele beginselen inzake gegevensbescherming als transparantie, het doelbindingsbeginsel en het beginsel van dataminimalisatie (zie uitgebreider ook onze noot bij deze uitspraak in O&A 2020/28). Overigens moet opgemerkt worden dat de gemeente Nissewaard benadrukt dat zij met de inzet van haar AI wél aan deze fundamentele beginselen voldoet en de vergelijking met SyRI wat dat betreft dus onterecht is. Dat moet natuurlijk uiteindelijk nog maar worden bezien. De wetgever heeft de SyRI-wetgeving destijds ook uitdrukkelijk getoetst aan de eisen van artikel 8 EVRM en het daarmee niet in strijd geacht. Toch oordeelde de rechter anders.

Het kan lastig voor gemeenten zijn om (vooraf) geheel te overzien wat voor impact de inzet van AI heeft en welke waarborgen hierbij in acht dienen te worden genomen. Voorkomen dient te worden dat iedere gemeente zelf het wiel rondom de inkoop en inzet van AI moet uitvinden. Om gemeenten te ondersteunen in het verantwoord gebruik van AI, heeft de gemeente Amsterdam een set aan modelbepalingen (inkoopvoorwaarden) voor AI en algoritmen ontwikkeld, inclusief toelichting, die via de VNG voor alle gemeente beschikbaar komt. Dit is een interessante ontwikkeling, nu recentelijk ook in een position paper van 14 Europese lidstaten, waaronder Nederland, wordt bepleit dat de Europese Commissie door middel van het implementeren van soft law moet werken aan een door ontwikkelaars vrijwillig te gebruiken ‘EU trustworthy label’ voor AI. Ook dit moet het voor gebruikers van AI, waaronder gemeenten, duidelijk maken dat bepaalde algoritmische toepassingen betrouwbaar zijn.

In dit blogbericht bespreken wij de VNG modelbepalingen en gaan wij nader in op de waarborgen die deze bepalingen bieden voor een voor de bestuursrechtelijke praktijk zeer relevant aspect van AI: transparantie.

Contractuele modelbepalingen

De modelbepalingen bevatten negen artikelen:

1. Artikel 1 regelt onder meer dat de inkoopvoorwaarden van toepassing zijn wanneer een opdrachtnemer een algoritmische toepassing levert die door een gemeente wordt gebruikt bij het nemen of voorbereiden van een besluit. Interessant hier is dat ‘besluiten’ in de inkoopwaarden zowel bestuursrechtelijk als privaatrechtelijk en/of feitelijk van aard kunnen zijn.
2. In artikel 2 wordt overeengekomen dat de aan het algoritme ten grondslag liggende data zo worden geanalyseerd, gestructureerd en/of bewerkt dat sociaal geconstrueerde vertekening, onnauwkeurigheden, fouten, vergissingen en ongewenste vooringenomenheid zoveel als redelijkerwijs mogelijk worden voorkomen.
3. Artikel 3 bepaalt dat alle rechten met betrekking tot de door de gemeente voor de uitvoer van de overeenkomst geleverde data én de in het kader van de uitvoering van de overeenkomst gecreëerde data toekomen aan de gemeente. De opdrachtnemer heeft niet het recht deze data te gebruiken voor andere doeleinden en moet deze data op eerste verzoek van de gemeente vernietigen en/of moet overgaan tot afgifte van de data.
4. Conform artikel 4 is de algoritmische toepassing ontwikkeld en functioneert zij in overeenstemming met de wet- en regelgeving. Zij moet bovendien geschikt zijn voor het beoogde doel van de toepassing.
5. Artikel 5 ziet op de transparantie over de algoritmische toepassing. Hierbij wordt onderscheid gemaakt tussen een drietal vormen van transparantie. Allereerst dient de gemeente te allen tijde op individueel niveau de mogelijkheid te hebben om de werking van de algoritmische toepassing uit te leggen (transparantie = uitlegbaarheid). De opdrachtnemer is verplicht om zijn volledige medewerking hieraan te geven, bijvoorbeeld door het verstrekken van de benodigde informatie aan de gemeente. Een burger krijgt zo de gelegenheid om de uitkomst van een toepassing (in een juridische procedure) aan de orde te stellen. Ten tweede moet een opdrachtnemer op eerste verzoek van de gemeente procedurele transparantie verschaffen. Dit betreft het verstrekken van algemene informatie over het doel van de algoritmische toepassing, een beschrijving van alle overwegingen die hebben geleid tot een specifiek algoritme en de in dat kader gebruikte data. Hiermee moet een gemeente het gebruik van het algoritme kunnen verantwoorden en de werking van het algoritme in algemeenheid kunnen toelichten aan een burger. Deze vorm van transparantie ziet op de methodiek van het verkrijgen, selecteren en bewerken van data, niet op de data zelf. Ten slotte dient de opdrachtnemer op eerste verzoek van de gemeente technische transparantie verschaffen. Hiermee kan een gemeente een audit uitvoeren doordat zij de broncode en technische specificaties die gebruikt zijn bij de ontwikkeling van de algoritmische toepassing kan opvragen. Deze transparantie dient er wél voor te zorgen dat een gemeente inzicht krijgt in alle data die is gebruikt bij het ontwikkelen en toepassen van het algoritme. De gemeente zal hierbij verstrekte bedrijfsvertrouwelijke informatie geheimhouden of kan een onafhankelijke derde inschakelen die namens haar de audit zal uitvoeren.
6. De opdrachtnemer dient conform artikel 6 een gangbare en up-to-date risicomanagementstrategie te hanteren die passend is voor de aard van de algoritmische toepassing. De belangrijkste risico’s van de toepassing moeten worden geïdentificeerd en passende maatregelen moeten worden getroffen teneinde deze risico’s beheersbaar te maken.
7. Artikel 7 stelt dat indien de opdrachtnemer de algoritmische toepassing aanbiedt of hieraan beheer en onderhoud verricht, zij er gedurende de looptijd voor in moet staan dat het algoritme aan de in artikel 4 van de modelbepalingen genoemde voorwaarden blijft voldoen.
8. In artikel 8 is geregeld dat de gemeente maximaal één keer per kalenderjaar een audit of andersoortige controle mag uitvoeren waarin wordt beoordeeld of opdrachtnemer alle overeengekomen voorwaarden naleeft. Opdrachtnemer is verplicht hieraan mee te werken. Er kan voor gekozen worden om de audit (gedeeltelijk) te laten uitvoeren door een derde onafhankelijke auditor.
9. Tot slot worden er in artikel 9 afspraken gemaakt over de kosten voor de werkzaamheden die voortvloeien uit de hierboven genoemde voorwaarden.

Uiteraard betreffen dit slechts modelbepalingen, partijen kunnen altijd contractueel afwijken van bovenstaande artikelen. Niettemin dwingen deze modelbepalingen een gemeente van tevoren na te denken over de voorgenomen inzet en vormgeving van AI en algoritmen. Dat stukje bewustwording op zich is al een meerwaarde van het gebruik van de modelbepalingen.

3x transparantie: een oplossing voor black box-besluiten?

De transparantie van algoritmen is in de praktijk vaak een heikel punt. Zo voldeed de SyRI-wetgeving naar het oordeel van de rechtbank in het licht van artikel 8, tweede lid, EVRM niet aan het transparantiebeginsel omdat hier op geen enkele manier werd voorzien in informatie over de objectieve feitelijke gegevens welke gerechtvaardigd tot de conclusie kunnen leiden dat er sprake is van een verhoogd risico op fraude.

Al eerder is in de (bestuursrechtelijke) rechtspraak uitgemaakt dat een burger het recht heeft om te weten hóe een geautomatiseerd overheidsbesluit (d.m.v. AI genomen) tot stand is gekomen. Bovendien moet zij de uitkomst van het besluit ook kunnen controleren. Zo niet, dan belemmert dit belanghebbenden in het aanwenden van rechtsmiddelen tegen deze “black box”-besluiten (vgl. ABRvS 17 mei 2017, ECLI:NL:RVS:2017:1259, r.o. 14.3 en HR 17 augustus 2018, ECLI:NL:HR:2018:1316, r.o. 2.3.3).

Een ander aspect van deze black box betreft het grote aantal gegevens, gebruikt in de algoritmen om een besluit te nemen, die ontleend zijn aan diverse andere bronnen. Dit maakt het voor een burger erg bewerkelijk om inzage te krijgen in alle gegevens waarop een besluit is gebaseerd. Zie in dit kader ook de Afdeling advisering in haar ‘Ongevraagde advies over de effecten van de digitalisering voor de rechtsstatelijke verhoudingen’ van 31 augustus 2018 (Kamerstukken II 2017/18, 26643, 557).

Artikel 5 van de modelbepalingen vereist van de opdrachtnemer zoals gezegd een drietal vormen van transparantie: ‘transparantie = uitlegbaarheid’, ‘procedurele transparantie’ en ‘technische transparantie’. Indien de gemeente openheid heeft gekregen over de input en werking van het algoritme, kan zij deze transparantie ook ‘doorgeven’ aan burgers die geconfronteerd worden met geautomatiseerde besluitvorming of AI. Levert deze modelbepaling – mits nagevolgd – dan een oplossing voor de hierboven omschreven dreiging van black box-besluiten? Dit lijkt het geval te zijn.

De ‘procedurele transparantie’ zoals omschreven in artikel 5 en bijhorende toelichting vereist dat een gemeente in zijn algemeenheid aan een burger de werking van de algoritmische toepassing moet kunnen toelichten. Bovendien vereist ‘transparantie = uitlegbaarheid’ volgens de toelichting dat de gemeente óók op individueel niveau aan een burger uitleg moet kunnen geven waarom een algoritme tot een bepaalde beslissing of uitkomst komt. Duidelijk wordt dan hóe een geautomatiseerd overheidsbesluit tot stand is gekomen. Ook de bewerkelijkheid om als burger inzage te krijgen in het grote aantal gegevens, ontleend aan diverse andere bronnen, die gebruikt zijn in de algoritmen om een besluit te nemen, lijkt met de combinatie van ‘technische transparantie’ en ‘procedurele transparantie’ uit artikel 5 te worden weggenomen. De gemeente heeft namelijk inzicht in alle data die is gebruikt bij de ontwikkeling en het toepassen van het algoritme en kan bovendien aantonen welke methodiek is gebruikt bij het verkrijgen, het selecteren en het bewerken van de data. Dit voorkomt dat een burger zelf moet gaan speuren naar deze data. Zodoende kan een burger de uitkomst van het door middel van AI genomen besluit ook controleren en krijgt hij de gelegenheid om dit (in een juridische procedure) aan de orde te stellen. Het valt op dat volgens de toelichting op de modelbepalingen (bij algoritmische toepassingen met verschillende lagen, ook wel deap learning genoemd) niet van de opdrachtnemer (en dus ook niet van de gemeente in haar relatie met de burger) wordt vereist dat zij kan uitleggen waarom een algoritmische toepassing komt tot een bepaalde uitkomst, maar wel wat de belangrijkste factoren zijn op basis waarvan een algoritmische toepassing tot een bepaalde uitkomst komt. Dit omdat vaak niet precies te achterhalen zal zijn waarom een algoritme tot een bepaalde uitkomst is gekomen, maar wel wat de belangrijkste factoren zijn die hebben geleid tot een bepaalde uitkomst. Wat dat betreft bieden de modelbepalingen dus geen 100% transparantie, maar wel het best mogelijke alternatief. Ons is niet helemaal duidelijk hoe dit zich verhoudt ten opzichte van de eerdere opmerking in de toelichting bij ‘transparantie = uitlegbaarheid’ waar wordt gesteld dat wél op individueel niveau dient te worden uitgelegd waarom een AI tot een bepaalde beslissing of uitkomst komt.

Indien de drie genoemde vormen van transparantie bij de inzet van een algoritmische toepassing in acht worden genomen door een gemeente, lijkt dit de dreiging van ‘black box’-besluiten zoals omschreven door de Afdeling dus (grotendeels) weg te nemen. Dit is een positieve ontwikkeling en komt de rechtsbescherming tegen geautomatiseerde besluiten en AI ten goede.

Tot slot: het doelbindingsbeginsel en dataminimalisatie

De SyRI-wetgeving werd in de uitspraak van de rechtbank Den Haag tevens in strijd geacht met artikel 8, tweede lid, EVRM, omdat zij niet voldoet aan het doelbindingsbeginsel en het beginsel van dataminimalisatie. De rechtbank oordeelde dat de doelomschrijving van de SyRI-wetgeving op zichzelf wel voldoende is bepaald, maar dat, mede gelet op de grote hoeveelheid gegevens die in aanmerking komen voor verwerking, dit toch in strijd is met de eerdergenoemde beginselen. Er was namelijk “nauwelijks een persoonsgegeven te bedenken (…) dat niet in aanmerking komt voor verwerking in SyRI”, aldus de rechtbank.

In de modelbepalingen zijn geen expliciete waarborgen opgenomen om de opdrachtnemer te verplichten om de algoritmische toepassingen te ontwikkelen conform het beginsel van dataminimalisering (zie ook artikel 5, eerste lid, onder c, AVG en het privacy by design begrip uit artikel 25 AVG). Dit was de bescherming van de privacy van burgers wel degelijk ten goede gekomen. Indien de hoeveelheid verzamelde data bij de inzet van de algoritmische toepassing te groot is, kan dit, in lijn met de SyRI-uitspraak, voor problemen zorgen. Weliswaar noemt artikel 4 van de modelbepalingen dat de algoritmische toepassing moet worden ontwikkeld in overeenstemming met wet- en regelgeving (en dus ook conform artikel 5, eerste lid, onder c AVG en artikel 25 AVG), maar hierbij mist nu juist dat stukje bewustwording van deze plicht die bij het transparantiebeginsel wel zo expliciet is opgenomen. Wij hadden dit, gelet op de bij veel gemeenten nog beperkte ervaring met AI en de daarmee samenhangende relatief grote onwetendheid rondom de techniek en bijhorende verplichtingen, wel een logische en noodzakelijke stap gevonden.