Een dystopische wereld: van bedenksel tot de werkelijkheid van nu? Deel 25B. De huidige werkelijkheid: toezicht op het individu en zijn gedrag?

Civis Mundi Digitaal #145

door Maarten Rutgers

In het voorafgaande deel 25A kwamen de elementen die een dystopie bepalen aan de orde. De relatie met de huidige werkelijkheid heb ik bezien aan de hand van het onderwerp intensieve controle. In het onderhavige deel bezie ik de controle van individuen en het gedrag van mensen in een surveillancesamenleving.

Toezicht op het individu

Tussen dit kenmerk en het hierboven beschreven kenmerk bestaat overlap. Net zoals de moderne staat via elektronische middelen toezicht houdt in algemene zin, is toezicht of bewaking van individuen evengoed mogelijk. In diverse romans werd dit zeer nadrukkelijk uitgewerkt. In de bespreking ervan (CM 125, 126 en 127) kwamen we al de nodige critici tegen, zoals bijvoorbeeld Suzie Allegre, Shosanna Zuboff, Miriam Rasch en nog meer.

In het verlengde van de bespreking in het vorige deel (25A) ligt de surveillance die opsporings- en inlichtingendiensten kunnen verrichten zonder te rade te gaan bij de tech companies. Het is het grensvlak tussen massa-surveillance en individuele surveillance. Er is dermate veel informatie te vinden op het openbaar toegankelijke deel van internet dat op die manier al bijna het gehele leven en het dagelijkse gedrag in kaart kan worden gebracht. Voor dit doel is specifieke software beschikbaar, die commercieel ontwikkeld en voor iedereen verkrijgbaar is. Met behulp hiervan – Open Source Intelligence of OSINT-tools, zoals het softwarepakket Maltego[1] – is alle online-informatie over iedere internetgebruiker te vinden[2].

Eindeloze controle

Een terrein waarop individueel gedrag intussen door de overheid, maar ook door de industrie, gemonitord wordt, is het verkeer. We zijn allang gewend aan digitale controle van ons parkeergedrag. Scanauto’s draaien in diverse gemeenten hun rondjes. De zogenaamde volgverkeerslichten in Nederland verzamelen informatie over weggebruikers. Ze kunnen verbinding maken met mobiele telefoons. Daarnaast beschikken ze in een aantal gevallen over een camera[3].

Autofabrikanten beschikken over steeds meer data die de door hen gefabriceerde nieuwere types auto’s hen automatisch sturen. Alles waarschijnlijk goed bedoeld en bedacht om verbeteringen te kunnen aanbrengen, maar desalniettemin zonder expliciete toestemming van de persoon die de auto gebruikt.

Sinds 2018 bestaat in de Europese Unie de verplichting om in nieuwe auto’s het zogenaamde eCall-systeem in te bouwen. Dit systeem waarschuwt automatisch en kosteloos de hulpdiensten via het noodnummer 112 in het geval van een ernstig ongeval. Via de telefoonlijn en een datalink krijgen de inzittenden contact met een medewerker van de meldkamer. Ook worden verschillende gegevens gemeld, zoals locatie, tijdstip, rijrichting en registratienummer van de auto[4].

De overheid monitort ook de individuele automobilist of voorzichtiger gezegd, bezit de mogelijkheden ertoe. In alle nieuwe auto’s zit vanaf juli 2024 een black box, waarin vele gegevens worden opgeslagen[5]. Het werkt zoals bij vliegtuigen. Na een concrete aanleiding kan de overheid beslag leggen op de box en de gegevens uitlezen. Ook de autofabrikant verkrijgt de data. Weliswaar anoniem, maar hoe lang nog? En schadeverzekeraars? Daarnaast bestaat sinds enige jaren een Europese verplichting om in nieuwe auto’s data van de CO2-emissies te verzamelen en aan de Europese Commissie te leveren. Recent verscheen het eerste rapport over de gegevens uit 2021[6]. Het is de bedoeling deze gegevens, die afwijkend zijn van de voorgeschreven testgegevens van de fabrikant, te gebruiken om tot betere maatregelen te komen om de CO2-emissie te beteugelen. En dit is waarschijnlijk nog maar het begin.

In haar toespraak[7] bij de Big Brother Awards in 2019 gaat Evelyn Austin, directeur van Bits of Freedom, in op wat zij noemt “de drang naar optimalisatie en eindeloos geloof in data”, die bijvoorbeeld “de digitale pilots van de politie, de macht van platforms, en de surveillancehonger van de overheid” kenmerken. Het beperkt steeds meer de bewegingsvrijheid van burgers. Zij betoogt dat “optimalisatiesystemen werken voor de dominante meerderheid en de rest opzijschuiven.” Het stelt haar niet gerust. Daarbij komt dat het steeds onduidelijker wordt wie de technologie optuigt, wie de controle heeft, en of de burger nog wel rechten heeft? De helderheid hieromtrent zit verstopt achter vele en toenemende rookgordijnen. Ook wijst[8] ze op het gebruik van data door telecomproviders. In deze data is ook de locatie waar we ons bevinden opgeslagen. Niet alleen wanneer we telefoneren, maar voortdurend wordt onze locatie vastgesteld en vastgelegd, Daarmee zijn onze verplaatsingen geregistreerd en kan gereconstrueerd worden welke route wij gegaan zijn. Dit overigens zonder onze toestemming. Het blijkt zelfs mogelijk deze data te kopen!

Recent kwam het bericht[9] dat de Nederlandse belastingdienst informatie van platforms verkrijgt over de inkomsten uit verkoop van gebruikers die hun spullen via dergelijke websites verkopen. Veel gebruikers hebben dit niet begrepen, ook omdat de platforms er niet veel duidelijkheid over geven. Het gaat daarbij niet alleen om financiën, maar de platforms moeten de belastingdienst allemaal persoonlijke gegevens verstrekken van de gebruikers. En waar blijft de privacy? En hoe veilig is het?

Op veel plaatsen wordt gewerkt met software die gezichtsherkenning mogelijk maakt. In CM 123 en 126 werd hier al aandacht aan besteed. Door steeds verfijndere software, maar vooral ook betere beeldkwaliteit neemt de nauwkeurigheid toe. Dit alles neemt niet weg dat er grote vraagtekens geplaatst moeten worden bij de privacy-effecten, maar ook de toelaatbaarheid in bijvoorbeeld criminaliteitsonderzoeken, waarbij bij wijze van spreken blindgevaren wordt op de resultaten van deze technologische ontwikkeling. Er bestaat voldoende aanleiding om je zorgen te maken[10].

Een andere vorm van toezicht is het gebruik maken van de door de gebruiker achtergelaten sporen op internet. Of nu gaat om zoeken, lezen of inkopen doen, van alles blijft een spoor achter. Platforms gebruiken deze gegevens om je steeds nauwkeuriger en gerichter van dienst te zijn. Hierdoor krijg je ook andersoortige gegevens niet meer te zien, tenzij je gebruik maakt van methoden om deze sporen niet na te laten. Bij aankoop via internet worden de sporen gebruikt om maatwerkaanbiedingen te doen of zelfs individuele prijzen aan te bieden. Er is sprake van gepersonaliseerde prijsstellingen. In hoeverre hierbij gebruik gemaakt wordt van informatie die hiervoor niet gebruikt zou mogen worden is onduidelijk. Deze ontwikkelingen leiden tot “gepersonaliseerde informatie die een ‘filterbubble’ om ons heen opwerpt, een soort digitale kerker voor ons denken.” Waar blijft onafhankelijk denken? Kunnen we “onder deze omstandigheden nog creatief zijn en ‘out of the box’ denken?”[11]

Werkgeverscontrole

Het wordt steeds gebruikelijker dat werkgevers hun werknemers proberen te controleren. Dit is weliswaar niet nieuw, maar de digitale ontwikkelingen leveren mogelijkheden tot controle die voordien niet mogelijk waren. Onderzoek[12] voor de Europese Commissie wijst uit dat er intensief gebruik van wordt gemaakt. Al eerder liet het Europese Parlement in 2020 een rapport[13] vervaardigen over deze problematiek. De opstellers schrijven er als volgt over: “Dit rapport geeft een diepgaand overzicht van de sociale, politieke en economische urgentie van het identificeren van wat wij de ’nieuwe surveillance werkplek’ noemen.” Het is een kritische bestandsopname over de huidige mogelijkheden en de invloed die het heeft op de verhoudingen in de werksituatie, op de medewerkers, alsmede een overzicht van de situatie in de verschillende landen. En niet het minst, wat moet er geregeld worden om de medewerker te beschermen.

https://www.nrc.nl/nieuws/2021/04/19/de-meeste-werknemers-deugen-vertrouw-ze-a4040342

De staat New York heeft het nodig gevonden in 2022 een wet[14] uit te vaardigen die bedrijven verplicht medewerkers schriftelijk duidelijk te maken dat het de werkgever is toegestaan “alle telefoongesprekken, e-mailcommunicatie en internettoegang of -gebruik "te allen tijde en met alle wettige middelen" te kunnen controleren.” Het is vooral bedoeld om werknemers te beschermen tegen al te opdringerige controle van hun activiteiten tijdens thuiswerken. Het feit dat dit nodig is, en het is al in meer staten het geval, betekent dat het toezicht op het individu is toegenomen. Het klinkt weliswaar logisch dat het bedrijf wil weten of je thuis wel aan het werk bent, maar getuigt niet van veel vertrouwen in de werknemer. Dat de wet nodig is, blijkt hieruit dat bedrijven in het geniep hun werknemers controleerden, bijvoorbeeld door via internetcontrole software aan te brengen zonder medeweten van de werknemer. Hierbij was ook software die de camera van de computer inschakelde, zonder dat betrokkene het kon merken. Deze situatie in de Verenigde Staten is zeer verontrustend. Daar wordt het tijd maatregelen te nemen om werknemers tegen hun werkgever in bescherming te nemen, laat een kritisch artikel zien[15].

Uit het eerdergenoemde onderzoek voor de Europese Commissie kwam naar voren dat deze vorm van toezicht zeer snel aan het toenemen is. Het gaf aanleiding tot een hele rits aan aanbevelingen, te veel om hier op te sommen.

Controle in het onderwijs

Ook onderwijsinstellingen maken meer en meer gebruik van digitale surveillance. Aan de Universiteit van Leiden, ook de universiteit van Utrecht gebruikte de apparatuur, leidde dit tot protest van de studenten. Los van het feit dat het beoogde doel op eenvoudiger wijze te bereiken was, bleken er twee grote problemen met de geïnstalleerde apparatuur. In de eerste plaats bleken de camera’s meer te kunnen registreren dan of de ruimte in gebruik was en hoeveel mensen in de ruimte aanwezig waren; ze bleken in staat allerlei fysieke gegevens van de aanwezigen te kunnen meten en opslaan. Marc Schuilenburg wijst in dit verband[16] op eerste wet van de surveillance: “de oorspronkelijke doelstelling van techniek wordt altijd verruimd door nieuwe functionaliteiten en de opkomst van nieuwe veiligheidsrisico’s.” Voor dit gebruik voor een ander en verder reikend doel dan oorspronkelijk beoogd en aangegeven bestaat een Engelse uitdrukking: “function creep”. Dit geeft de situatie minder neutraal weer dan het Nederlandse woord, functieverschuiving.

In de tweede plaats was de software zo lek als een mandje en kon iemand die dat wilde zeer gemakkelijk in het systeem binnendringen. Uiteindelijk heeft de universiteit op advies van de Universiteitsraad besloten de camera’s te verwijderen, nadat ze al eerder waren uitgeschakeld[17]. Dit laatste had ook de universiteit van Utrecht al gedaan.

In de Verenigde Staten wordt het gebruik van surveillance-apparatuur in scholen actief beïnvloed door de industrie. De diverse gewelddadige gebeurtenissen van de laatste jaren, hoewel klein in aantal, worden misbruikt om scholen over te halen de leerlingen te beschermen. Dat daarmee ook andere mogelijkheden, namelijk het registreren van het gedrag van de leerlingen, in beeld komen, wordt graag vergeten. Leerlingen voelen zich er in het algemeen niet plezierig onder, tevens bevordert het wantrouwen naar anderen en meer, blijkt uit een rapport van ACLU (American Civil Liberties Union)[18] uit 2023 met een zeer lange lijst literatuurverwijzingen. Ook het Center for Democracy & Technology deed hiernaar onderzoek en kritiseert deze ontwikkelingen[19].

https://neuralink.com/

Breinimplantaten

Een nog wat futuristisch ogende, maar steeds meer werkelijkheid wordende, manier om invloed uit te oefenen op menselijk gedrag is het implanteren van electroden en chips in het brein. Voor verschillende ziektebeelden wordt dit reeds gedaan. Deep Brain Stimulation (DBS) behoort intussen tot het medisch behandelarsenaal bij een handvol neurologische aandoeningen. Het meest bekend is de behandeling van de ziekte van Parkinson. Er zullen zeker meer neurologische ziektebeelden mee behandeld gaan worden. De nieuwste variant is het implanteren van een chip in het brein bij mensen met een tetraplegie ten gevolge van een hoge dwarslaesie. Hier lijkt zeker sprake van human enhancement, de voorbode van transhumanisme. In CM 124 werd aandacht besteed aan Cressmans Reality 2048^TM Watching big mother. In zijn roman is een chip in het brein de normaaltoestand met allerlei ongekende mogelijkheden voor internetgebruik, maar vooral ook voor controle door de staat. Aldaar werd reeds op de ontwikkelingen in de werkelijkheid gewezen. Intussen is het zover, er worden als experiment implantaten in het brein geplaatst door verschillende firma’s. Arts en (neuro)bioloog Ronald Siecker wijst[20] erop dat er natuurlijk voordelen te zien zijn in deze ontwikkeling. Immers mensen met een handicap, zoals een dwarslaesie of zelfs blindheid, kunnen zo weer beter functioneren. Maar is ook een nadelige kant. Het is de kant die Cressman al liet zien. Hij refereert aan een artikel[21] in The Guardian over digitale amnesie bij het outsourcen van je geheugenfuncties. In dit artikel wordt verwezen naar onderzoek waaruit zou blijken dat het gebruik van smartphones anatomisch zichtbare veranderingen in het brein teweegbrengt. Siecker spreekt zijn zorgen uit dat breinimplantaten voor andere doeleinden dan verminderen van handicaps wel eens bij gezonde mensen zou kunnen leiden tot het verminderen van vaardigheden. Anders gezegd, het leidt tot een handicap.

Neuralink, de firma van Elon Musk, heeft voor het eerst bij een patiënt met tetraplegie een chip in het brein geplaatst. Er heersen grote zorgen bij deze ontwikkeling. Hoewel de Amerikaanse waakhond, de Food- and Drugadminstration (FDA) het project heeft goedgekeurd, is het niet terug te vinden op de website ClinicalTrials.gov waar alle trials gemeld moeten worden. Hierdoor is voor anderen niet na te gaan hoe het onderzoeksprotocol eruitziet. Neuralink verschaft nauwelijks informatie[22]. In Nederland wordt nu door politici gesproken over de onwenselijkheid dat dit soort initiatieven zonder verdere controle door private en dus commerciële partijen, denk aan de Techreuzen, worden genomen. Het schrikbeeld is dat BigTech langs deze weg “toegang krijgt tot de hersenen.”[23] Toezicht en sturing worden mogelijk.

Duits onderzoek[24] laat zien dat veel mensen surveillance accepteren als het gaat om criminaliteit terugdringen. Zodra echter de mogelijkheid bestaat dat men zelf ook bewaakt gaat worden is men minder positief. Het bezwaar tegen het verzamelen van data is minder groot. Echter ook hier is het van belang of het om anderen gaat of over jezelf. Ook komt naar voren dat voor vele onderzochten volstrekt onduidelijk is wat privacy precies inhoudt. Eenieder heeft daar een eigen opvatting over.

Ethiek

In beide gevallen, collectief en individueel toezicht wordt er een groot beroep gedaan op kunstmatige intelligentie, bij voorkeur AI te noemen. Los van vele voorbeelden is er, zoals eerder aan de orde kwam, ook de vraag naar ethiek en AI. Steeds weer blijkt dat bij het gebruik van AI de ethische discussie pas na in gebruik name gevoerd wordt. In het artikel in CM 126 werd er dieper op ingegaan. Brent Mittelstadt, filosoof en ethicus, hoogleraar-onderzoeker data-ethiek aan de Universiteit van Oxford, is niet gerust op de ontwikkelingen. Hij waarschuwt[25]: “Het risico is dat complexe, lastige ethische debatten worden versimpeld om de concepten in kwestie berekenbaar en implementeerbaar te maken op een eenvoudige maar conceptueel oppervlakkige manier.” Voor je het weet gaat het alleen nog maar over het ontwerp en de eventuele missers erin. “Complexe normatieve vraagstukken kunnen niet opgelost worden met technische correcties of een goed ontwerp.” Mittelstadt raadt aan om zo concreet mogelijk te documenteren en daarbij niet alleen de principes te beschrijven, maar ook een aantal praktische vragen op voorhand te beantwoorden. Of dat tot een andere aanpak leidt blijft af te wachten.

De sociologe Anna Jobin – werkzaam als onderzoeker in het Alexander von Humboldt Instuut voor Internet en Samenleving te Berlijn – laat in een overzicht[26] zien dat ook de literatuur over ethiek en AI nog geen duidelijke richting aangeeft. Daarvoor zijn de verschillen in de diverse artikelen te groot. Ze wijst erop dat AI langzamerhand op steeds meer terreinen onderdeel van ons dagelijkse leven geworden is. Daarbij kan van uit ethische invalshoeken niet alleen naar de software gekeken worden. De gebruikscontext is minstens zo belangrijk. De samenleving als totaal is ermee gemoeid. Zij vraagt zich dan ook af in hoeverre de samenleving bij de ethische discussie betrokken wordt en welke wijze. Marleen Stikker, oprichter en directeur van Waag Futurelab, zegt hierover in een interview[27]: “We zijn overgeleverd aan de moraliteit van de programmeurs die in dienst zijn van grote technologiebedrijven.”

Een ander punt is hier dat AI weliswaar verbanden kan leggen, maar daarmee oorzaak- en gevolgrelaties nog niet zijn aangetoond[28]. Dit betekent dat er met voorzichtigheid met de resultaten van algoritmes moet worden omgegaan. Zonder verdere menselijke betekenisgeving zijn ze beperkt bruikbaar. Wanneer ze worden ingezet bij de controle op individuen klemt dit des te meer.

Conformisme

In vele landen worden de grondrechten van individuele burgers bedreigd, ingeperkt of (bijna) volledig afgeschaft. De achter ons liggende coronapandemie heeft hieraan bijgedragen. Hoewel in veel landen de beperkende maatregelen weer zijn afgeschaft, is globaal de situatie toch minder goed geworden dan voor de coronapandemie het geval was.

De organisatie CIVICUS[29] monitort deze ontwikkelingen wereldwijd. Uitgegaan wordt in deze onderzoekingen van vrijheid van meningsuiting, vrijheid van vergadering en vrijheid van vereniging en de mate waarin de staat deze fundamentele rechten beschermt. Zijn deze voldoende om uitspraken te doen over het politieke, juridische en sociale klimaat in een land? In hun laatste bericht uit december 2023 over deze ontwikkelingen is zichtbaar dat “het maatschappelijk middenveld te maken heeft met een steeds vijandigere omgeving. Er zijn nu 28 landen of gebieden met een gesloten burgerlijke ruimte[30], 50 met een onderdrukte burgerlijke ruimte en 40 met een belemmerde burgerlijke ruimte, wat betekent dat 118 van de 198 landen en gebieden te maken hebben met ernstige beperkingen van de fundamentele vrijheden. Ter vergelijking: 43 landen hebben een verminderde burgerlijke ruimte en slechts 37 hebben een open rating.” In Europa gaat het ook maar matig. “Bosnië en Herzegovina is in de categorie ’belemmerd’ geplaatst en Duitsland is van een ’open’ naar een ’beperkte’ rating gegaan. In de afgelopen zes jaar is de rating van 12 Europese landen verlaagd vanwege de verslechterende omstandigheden voor de burgerlijke ruimte.” Hierbij dient bedacht te worden dat hier slechts de Scandinavische landen, IJsland, Estland, Letland, Litouwen, Ierland, Portugal, Oostenrijk, Tsjechië, Zwitserland en Nederland als open samenlevingen te boek staan. Turkije wordt als onderdrukt beschreven, Rusland en Belarus als gesloten. De rest van de landen in Europa wordt als beperkt of belemmerd ingeschaald.

www.openmindsfoundation.org/blog/conformity/

Het ontbreken van een open samenleving betekent een vermindering van vrijheden. Dit uit zich op allerlei gebieden. Hiervan zijn er voorbeelden te over in de dystopische romans, maar dus ook in de werkelijkheid van vandaag de dag. Het leidt ook tot conformisme. De individuele burger gedraagt zich zoals ook anderen zich gedragen, want uit de band springen betekent gecorrigeerd worden door het andere individu, de groep of door de staat. Het gaat hierbij om meningsuitingen en gedrag.

Steeds weer wordt duidelijk dat er een spanningsveld bestaat tussen veiligheid en vrijheid. Wanneer de balans doorslaat naar veiligheid wordt de vrijheid, worden de grondrechten ingeperkt, en omgekeerd. Iedere samenleving moet zelf de balans vinden. Hier lijkt het erop dat in veel samenlevingen de balans verschuift richting veiligheid. In deze verschuiving en de erbij horende discussie speelt ook het algemeen belang versus het individuele belang een grote rol.

Een soortgelijke discussie kan gevoerd worden over de ontwikkelingen van de democratie. Bevordert of verhindert digitalisering democratie. Hierboven hebben we gezien hoe de EU probeert grip te krijgen op de digitalisering van de samenleving, waarbij de vraag blijft in hoeverre deze aanpak onderhevig is aan democratische controle. Matthias Quent, hoogleraar sociologie aan de Hochschule Magdeburg-Stendal, wijst in zijn bijdrage[31] op de risico’s voor de democratie door de opkomst van het Metaversum, zoals geïntroduceerd door Mark Zuckerberg. Niet verwonderlijk haakt Quent daarbij ook aan bij Snow Crash van Stephenson, de besproken in CM 122, die als eerste dit begrip gebruikte. Jan Rau, onderzoeker bij het Leibniz Instituut voor Media Research, ziet[32] in de digitale transformatie van de open samenleving voor- en vooral nadelen, wanneer het ons niet lukt op democratische wijze deze technologische verruiming van het politieke speelveld te reguleren. Wij zijn het die de democratische spelregels bepalen. Wij kunnen daarbij gebruik en misbruik maken van de digitale media.

Philippe Muray wees er al op (zie CM 136) dat een van de elementen van conformisme het verdwijnen van het denken is. Onafhankelijk denken wordt een last en een bedreiging voor de collectiviteit. Hij wijst op een ermee samenhangend fenomeen, het verdwijnen van een rijke taal. Zijn voorbeeld is de dunktaal van George Orwell. Ik gaf in het artikel over zijn werk de laatste ontwikkelingen hierin aan, de ontwikkeling van de taal op smartphones, sociale media, enz. Een taal volop afkortingen en symbolen, een taal die ook nog eens na het intypen van de eerste tekens aangevuld wordt door AI. Het voorkomt dat je goed nadenkt; ingewikkelde formuleringen worden niet meer gebruikt; het zorgt ervoor dat onafhankelijk denken lastig wordt. En dat laatste, zelfstandig en onafhankelijk denken, hebben we hard nodig wanneer we de democratie in stand willen houden.

In het volgende deel komen de resterende kenmerken van een dystopie aan de orde.

Noten