Civis Mundi Digitaal #135
Bespreking van Maxim Februari, Doe zelf normaal, menselijk recht in tijden van datasturing en natuurgeweld. Amsterdam, Prometheus, 2023.
In dit essay onderzoekt Maxim Februari de effecten van Informatie technologie (IT) en Artificiële Intelligentie (AI) op ons rechtssysteem. De overheid maakt in toenemende mate gebruik van computersystemen, niet alleen voor de automatische incasso van belastingen, maar ook voor het ondersteunen en uitvoeren van specifiek beleid. Nieuw is dat er steeds omvangrijkere databestanden (big data) worden aangelegd, waarbinnen met data-analysetechnieken patronen kunnen worden herkend, die geautomatiseerd beslissingen kunnen aansturen over steunaanvragen, sollicitaties, etc. In de nieuwe digitale wereld zijn wij als burgers ‘datasets’ geworden waaraan, met behulp van statistische analyses, voorspellingen ontleend kunnen worden. De vraag is wel welke voorspellingen worden gevonden en hoe die voorspellingen leiden tot beslissingen. En kunnen wij als burgers, die onbewust de data aanleveren, enige invloed uitoefenen op wat er met onze data gebeurt?
Daarnaast zijn er ook commerciële bedrijven die data over ons verzamelen en daarvan vanuit commerciële motieven gebruik maken om ons koopgedrag te sturen (data als het nieuwe goud). En ook de overheid maakt op zijn beurt weer graag gebruik van deze commerciële diensten terwijl vaak voor de overheid onduidelijk is hoe de data zijn verzameld en of het een juiste weergave is van de werkelijkheid.
Kortom, een veld met veel onduidelijkheden en gevaar van manipulatie, waar we ons niet alleen bewust van moeten zijn, maar waar we ons ook moeten afvragen hoe we de toepassingen van AI gaan reguleren. Het gaat Maxim Februari daarbij niet in de eerste plaats om nieuwe regels te bepleiten voor privacybescherming of transparantie in de algoritmes, maar meer om te overdenken wat de gevolgen voor ons rechtssysteem zijn. Dat systeem dan in den brede opgevat, dat wil zeggen de grondwet, de onafhankelijke rechter, de scheiding van de machten, maar ook het recht op informatie, vrijheid van meningsuiting, en persoonlijke integriteit. Allemaal elementen die in dienst staan van het beginsel dat de macht zich aan het recht dient te houden, dat ze bevraagd en gecontroleerd kan worden. Dat de burger beschermd wordt tegen machtsmisbruik en willekeur.
Technologie
Het is duidelijk dat een geautomatiseerd informatiesysteem (IT) of database veel efficiënter is dan de traditionele kaartenbak van de burgerlijke stand. Een IT-systeem kan veel effectiever een administratie bijhouden, automatisch rekeningen en brieven versturen. Ook is het makkelijker om verschillende bestanden te koppelen. Dat heeft geleid tot een enorme groei van toepassingen. Zo zou de huidige sociale wetgeving niet meer mogelijk zijn zonder die systemen. Daardoor is de politiek ook steeds overmoediger geworden en zijn er regelingen ontwikkeld die onbeheersbaar zijn geworden, waardoor de Belastingdienst op dit moment door de hoeven gaat.
De IT-technologie heeft zich ook in het dagelijkse leven gemengd. ‘Smart’ technologieën verbindt onze auto met verkeersgeleidingssystemen, onze smartwatch met medische bestanden, we betalen met onze mobiel, spreken elkaar op sociale media, en al die systemen kunnen onderling ook weer gegevens uitwisselen. We leven dus in een “genetwerkte” omgeving, waarbinnen de grens tussen de fysieke werkelijkheid en de digitale wereld is vervaagd. Alles is ‘hybride’ geworden, steden, scholen, media, en ook ons geld. Het wordt daardoor verleidelijk om politiek op te vatten als het managen van de samenleving aan de hand van een “dashboard” van alle maatschappelijke parameters.
Welke gevolgen heeft dit voor ons rechtssysteem? Wat betekent het als een systeem “etnisch profileert” of burgers aanmerkt als “fraude risicogevallen”? Zelfs als alle algoritmes geen bias bevatten dan kunnen bijvoorbeeld door koppeling van bestanden toch ongewenste kwalificaties optreden. Zo worden personeelsadvertenties op sociale media vooral naar mannen gestuurd en minder naar vrouwen. Dat is vreemd, want er werken ongeveer evenveel vrouwen als mannen. Maar het blijkt geen bewust effect. Sociale media hanteren alleen voor vrouwen een andere prioritering in de reclameboodschappen dan voor mannen, die zich alleen interesseren voor voetbal, auto’s en jobs. Het wordt natuurlijk nog vreemder als een man op grond van zijn koopgedrag als “vrouw” wordt geclassificeerd en dan ook geen personeelsadvertenties meer ontvangt. Leuke verhalen voor Maxim.
IT als gedragssturing
Naast de data-analyse is ook de vraag of we via IT-systemen het gedrag van de burger zouden willen sturen. Neem als voorbeeld de 30 km in de bebouwde kom. Nu alle nieuwe auto’s worden uitgerust met een elektronisch rijmanagementsysteem is het relatief eenvoudig om de 30 km binnen de bebouwde kom dwingend op te leggen. Dat ontneemt de burger wel de vrijheid om zijn eigen morele afweging te maken, want stel hij is met spoed op weg naar een ziekenhuis.
Het beperken van morele vrijheid is natuurlijk niet nieuw, want ook al het geval met sloten op deuren die moeten verhinderen dat inbrekers hun eigen morele code volgen om zich vervolgens over andermans bezit te ontfermen. Maar een ‘digitale’ controle in het verkeer is toch een graadje anders. Willen we die automatische controle? Het apparaat wordt het recht, recht wordt dwang.
Een ander voorbeeld is de coronapandemie.Om de quarantainemaatregelen praktisch vorm te geven, greep de overheid maar al te graag naar de nieuwe technische mogelijkheden van QR-codes en digitale apps. De wettekst wordt als het ware vertaald in de code van de app en wordt dus een werktuig zonder toelichting. De beheerder van de QR-app kan ook makkelijk allerlei nieuwe regels toevoegen, zonder dat er een politieke discussie aan te pas komt. Ook een gesprek van de burger met de politie of de Boa over de interpretatie van de wet wordt moeilijker: “the computer says no”. Probeer ook maar eens inzicht te krijgen in de verbanden die hebben geleid tot het kwalificeren van jouw persoon als “fraudegevoelig”. Die verbanden zitten diep in grote databestanden. Daar is niet of nauwelijks bij te komen. De uitvoerende ambtenaren kunnen er ook niets over zeggen.
Klimaat
Corona was één van de crises die ons recent overkwam, de opwarming van het klimaat is een volgende (vreemd aangeduid in de subtitel met de term ‘natuurgeweld’). In 1958 schreef Aldous Huxley al dat we in het begin van de twintigste eeuw in zoveel crisissituaties zouden geraken dat de overheid wel ingrijpende maatregelen moet nemen: “Permanente crisis rechtvaardigt permanente controle van alles en iedereen door de instanties van de centrale overheid”. Of zoals één van de opstellers van de US Nationale Security Act eind jaren veertig al verwoordde: “We zien een wereld tegemoet waarin discipline, organisatie en concentratie van gezag voorrang krijgen op vrijheid van het individu”.
Juist om reden dat onze CO2 uitstoot gevolgen heeft voor de natuur en het recht van onze nabestaanden op een leefbare planeet, en dus op de grondrechten van toekomstige generaties, moet er wat gebeuren. Maar zodra de klimaatsituatie wordt gezien als noodsituatie, dwingt de haast overheden tot bepaalde beleidskeuzes en wordt uitgeweken naar technocratische oplossingen die nadelig kunnen uitpakken voor de positie van het recht in de samenleving.
Juridische acties zoals de rechtszaak van Urgenda tegen de Staat der Nederlanden zijn van groot symbolische belang, omdat ze de urgentie laten zien van klimaatoptreden. Maar zulke rechtszaken zetten het recht in als beleidsinstrument en dat is eigenlijk niet de bedoeling. Ook als je overtuigd bent van de enorme uitdaging die de opwarming van de aarde biedt, wil dat nog niet zeggen dat je het verstandig vindt politieke vrijheden te onderdrukken en beslissingen in handen te geven van technocraten. We zullen de rechtsstaat nog hard nodig hebben. Juist in onzekere omstandigheden en dus ook juist voor het uitvoeren van het klimaatbeleid.
Smart democratie?
Er is dus dringend een democratisch gesprek nodig over het klimaatbeleid, maar de politiek is huiverig geworden om de discussie met de burger aan te gaan. De klimaatverandering is een hete aardappel die door alle partijen in de democratie zo snel aan elkaar wordt doorgegeven, zodat van een serieus gesprek niets terechtkomt. Klimaatverandering is een probleem van collectieve actie en vereist een collectieve oplossing, dus een sterk optreden van de overheid, maar de politici zijn te bang voor de populisten en de volgende verkiezingen. Afschuiven naar een ‘burgerberaad’ is ook geen oplossing want vervolgens wacht toch weer de besluitvorming binnen het parlement. Ook heeft een burgerforum het nadeel dat de discussie “bevroren” wordt en decennialang niet kan worden hernomen (zoals de Brexit en het Schotse referendum voor onafhankelijkheid). Ondertussen is de genetwerkte samenleving natuurlijk wel bezig met de politieke discussie. NGO’s en belangenorganisaties zitten aan tafel bij sectoroverleggen die moeten leiden tot “akkoorden” en “convenanten”. Helaas zijn die overleggen ook niet erg effectief en leiden vooral tot bescherming van gevestigde belangen.
Kunnen we dan IT-technologie zelf niet gebruiken voor ondersteuning van het democratisch proces? Maxim Februari noemt naast de triviale inzet van sociale media (Twitter, etc.) twee mogelijke andere toepassingen van AI: het destilleren van een persoonlijke ‘profiel’ uit persoonlijke data als hulp voor de kiezer (een soort van geautomatiseerde kieswijzer), en het simuleren van het democratisch proces. Het destilleren van een politiek standpunt uit persoonlijke data zoals postcode, beroep, inkomen, is wel mogelijk maar een echt politiek profiel is moeilijk door het gemis aan morele data.
Interessanter is het simuleren van het politieke deliberatieproces. Iedere burger kan dan namens zichzelf een ‘intelligent agent’ het politieke veld insturen, die met alle agents van de andere burgers het politieke proces van partijvorming, compromis, en besluitvorming naspeelt, waarbij de deliberatie geheel transparant en open is, controleerbaar voor alle burgers. Ieder ziet dan wat zijn agent doet en hoe de besluitvorming zich ontwikkelt op basis van de instructies (stemgedrag) dat hijzelf gespecificeerd heeft. Heel interessant. Het kan zeker veel burgers helpen om de impact van hun inbreng beter te zien.
Conclusie
Maxim Februari heeft een actueel en interessant essay geschreven over de impact van nieuwe AI-technologie. Nu de overheid steeds meer IT gaat inzetten ter ondersteuning van surveillance (camerabewaking en monitoring), resilience en justitie (rampbestrijding, politie, misdaad), beheer van stedelijke processen (smart cities, traffic control) en voor de uitvoering van sociale regelingen, is het de vraag hoe we het recht, de menselijke vrijheid en de democratische speelruimte veiligstellen. Hij bepleit dat we vóór we een politiek besluit nemen, eerst een ethische discussie gaan voeren over wat we willen bereiken en welke middelen we daarvoor willen inzetten. Dus niet beginnen met fraudebestrijding vanuit de postcode, maar alleen data-analyses inzetten waar dat gewenst is.
Helaas biedt het essay geen antwoord op de vraag hoe het klimaatprobleem politiek aan te pakken. Het waarschuwt wel voor overhaaste technocratische oplossingen, maar het zou wel verhelderend zijn geweest als hij liet zien hoe we deze wereldproblemen wél zonder dwang zouden kunnen oplossen.
Ook noemt hij AI-technieken als mogelijk middel om politieke processen meer transparant en zelflerend te maken, maar dat idee past minder in zijn voorkeur voor ‘belichaamde’ discussie en meningsvorming. Wel jammer, want van die ‘belichaamde’ discussie komt door het verval van de politieke partijen niet zoveel meer terecht, en dan blijven alleen de oppervlakkige discussies in de media over waarop de mensen hun stem bepalen. Alles beter dan dat.
Toch is het essay zeer de moeite waard en ook geestig in de vele voorbeelden. Of zoals hij schrijft aan het eind: “Het boek is uit en u wilt op de valreep nog snel een oplossing van mij: een antwoord op alle vragen. Is er geen app? Helaas, nee, geen app. Er is een politieke gemeenschap, een rechtsgemeenschap, die digitaal wakker moet worden”.