Superintelligentie: risico’s en pogingen om deze in goede banen te leiden
Civis Mundi Digitaal #125
door Piet Ransijn
Bespreking van Nick Bostrom, Superintellingence: Paths, Dangers, Strategies. Oxford Univ. Press, 2014
Naar aanleiding van de bespreking van Guido van der Knaap, Van Aristoteles tot algoritme: Filosofie van kunstmatige intelligentie in CM 123 werd mij op bovengenoemd boek van Nick Bostrom, hoogleraar filosofie te Oxford en directeur van o.m. het Strategic Artificial Intelligence Research Centre, gewezen. Hij gaat uitvoerig in op de ontwikkelingen op het gebied van AI, de kansen en bedreigingen. Vervolgens geeft hij suggesties om een mogelijk onderdrukkend en destructief potentieel in levensbevorderlijke banen te leiden. Hij heeft zich er grondig in verdiept. Het boek telt 80 blz. noten en literatuur.
Bostrom richt zich met name op ‘superintelligentie’, die de menselijke intelligentie overtreft. Op specifieke gebieden, zoals bij schaak- en spelcomputers, dataverwerking en rekenkracht en ----snelheid overtreft kunstmatige intelligentie reeds de menselijke intelligentie, maar nog niet bij algemene, veelzijdige toepassingen, zoals naar voren kwam in genoemde boekbespreking. Met ‘superintelligentie’ bedoelt Bostrom algemene intelligentie die bovenmenselijk is: “Intellect dat de cognitieve prestaties van mensen overtreft in feitelijk alle gebieden die van belang zijn” (p26,27).
De verwachting is dat dit vroeg of laat gaat gebeuren en zelfs onvermijdelijk zou zijn en niet tegen valt te houden. Dat lukt hooguit voor beperkte tijd onder invloed van morele overwegingen, die zelden het laatste woord hebben bij technische ontwikkelingen en vaak niet opwegen tegen andere belangen. Volgens de ‘cutural lag’ theorie van socioloog W F Ogburn komen morele en culturele overwegingen vaak pas na het tot stand komen van technische en economische ontwikkelingen aan de orde. Zie bijv. de atoombom. Het kwaad was reeds geschiedt, de bom was reeds gedropt, toen de destructieve en immorele consequenties goed doordrongen.
Op zoek naar een uilskuiken
De fabel van de mussen en het uilen-ei
Bostrom wil op de ontwikkelingen wat betreft superintelligentie anticiperen en deze in levensbevorderlijke, moreel verantwoorde banen leiden. Hij begint zijn boek met een parabel: ‘de onvoltooide fabel van de mussen’. De mussen waren druk in de weer met het bouwen van nesten. “Wij zijn allen klein en zwak. Stel je voor hoe gemakkelijk het leven zou zijn als we een uil hadden die ons kon helpen... Dit zou het beste zijn wat ons ooit gebeurde.” De mussen sjirpten het uit van enthousiasme. Behalve Scronkfinckle, een mus met één oog en een querulant temperament: “Zouden we niet wat aandacht geven aan de kunst van het houden en temmen van uilen voor we zo’n beest in ons midden plaatsen?”
De leidende mus meende echter dat deze uitzonderlijk moeilijke uitdaging van later zorg was en dat het al moeilijk genoeg was om een uilen-ei te vinden en uit te broeden. Volgens Scronkfinckle klopte het plan en de volgorde van de stappen niet. Terwijl de meeste andere mussen op zoek gingen naar een uilen-ei, bleef hij met een paar mussen achter om uit te vinden hoe uilen getemd kunnen worden. Dat was inderdaad buitengewoon moeilijk, met name zonder uil om mee te oefenen. Toch gingen ze door. Ze waren beducht dat de mussen terug zouden komen met een uilen-ei, voordat zij een oplossing voor het beheersingsprobleem hadden gevonden. “Het is niet bekend hoe het verhaal eindigt, maar de auteur draagt het boek op aan Scronkfinckle en zijn volgelingen.”
Het beheersingsprobleem
Superintelligentie is geen ei van Columbus, maar schept nieuwe problemen, zoals dat ook geldt voor bijv. atoomenergie en genetische manipulatie. Op die problemen kunnen we maar beter anticiperen, voor we erdoor worden overvallen. ‘Keer het gevaar voor het is gekomen,’ luidt een toepasselijk Indiaas gezegde.
AI-pioniers hadden aanvankelijk weinig of geen oog voor de risico’s van een mogelijke ‘intelligentie explosie’, een term van Alan Turing, ontwerper van de Turingmachine, zie genoemde boekbespreking. Daar komt ook de geschiedenis en de ontwikkeling van AI aan de orde. De vraag hoe we we deze verwachte ‘explosie’ kunnen beheersen kwam bij Turing al op. Hoe kunnen we de machinale intelligentie dienstbaar genoeg maken om onder controle te houden? (p5). Gevaren van surveillance, gezichtsherkenning en controlesystemen zijn ook al naar voren gekomen in CM 123.
Eugenetica is impopulair
Wegen naar superintelligentie
Er zijn verschillende wegen naar superintelligentie. De ontwikkeling daarvan lijkt meer doelgericht in zijn werk te gaan dan de natuurlijke selectie. “Op sommige gebieden overtreft menselijke technologie de evolutie en het zal waarschijnlijk niet lang duren dat dit ook op overige gebieden het geval zal zijn” (p28).
“De geheimen van het functioneren van de hersenen zullen voldoende worden gedecodeerd om de creatie van machine intelligentie op overeenkomstige wijze mogelijk te maken” (p34). Dat wil zeggen door emulatie of namaken van hersenfuncties. Dit is echter voor alsnog toekomstmuziek. Kunstmatige intelligentie heeft alleen op specifieke gebieden die van de mens overtroffen, maar in het algemeen nog niet geëvenaard, laat staan overtroffen. Ook de geheimen van hersenen en bewustzijn zijn nog niet ontraadseld (zie boekbesprekingen in CM 109).
Een andere weg naar superintelligentie is het bevorderen van de menselijke intelligentie door bijv. “smart drugs”, “genetische manipulatie”, “eugenetica” en “genetische selectie” (p44 e.v.). Het doet denken aan de ‘broedmachines’ in Brave New World van Aldous Huxley en de gruwelen in Nazi-Duitsland, die aan eugenetica een verwerpelijke reputatie hebben gegeven. “Het uiteindelijke potentieel van machine intelligentie is natuurlijk veel groter dan van organische intelligentie” (p53). Toch kan cognitieve ontwikkeling technische en wetenschappelijke vooruitgang significant bespoedigen. Door biotechnologische ontwikkelingen “zijn slechts zwakke vormen van superintelligentie bereikbaar” (p54).
Nog een andere weg bestaat uit kunstmatige implantaten in de hersenen. Die hebben echter o.m. de risico’s van infectie en afstotingsreacties. Proeven met Parkinsonpatiënten lieten verbeteringen zien, maar klachten op andere gebieden. “Terwijl zulke technologie mensen met beperkingen kan helpen... zou deze weinig aanlokkelijk zijn voor gezonde mensen” (p56). Bostron spreekt van het ‘cyborg scenario’ en ‘cybergization’ (p55,57) bij combinaties en implantaties van machinale systemen in menselijke organismen. Voormalig Tesla- directeur Elon Musk zou zich hiermee bezighouden en er meer perspectief in zien dan Bostrom, die geen melding maakt van Musks activiteiten. “Het upgraden van het menselijk brein is volgens Musk nodig om opgewassen te zijn tegen de oprukkende kunstmatige intelligentie (AI),” aldus de NRC van 11 juli in een stuk over Musk en Neuralink, “het bedrijf dat communicatie tussen hersenen en computers wil bereiken.” Of dat de manier is om de dreigende dominantie van AI in toom te houden, moet nog blijken. Voor alsnog zijn hersenwerking en de werking van computer niet compatible.
Bostrom lijkt meer heil te zien in “collectieve superintelligentie” door verbeterde verbondenheid en communicatie van individuele intelligenties onderling en met apparaten en door verbetering van netwerken en organisaties (p59). De vooruitgang tot dusver is in vergaande mate het collectieve resultaat van samenwerking. We hebben ook gezien hoe technologie hiertoe bijdraagt. Een ‘verenigd superintellect’ is echter nog ver weg, hoewel Orwells Big Brother reeds waarschuwende associaties daarmee oproept. Internet lijkt voor alsnog een anarchie met oligarchische en autocratische tendensen van de kant van de ‘Big Five’: Meta-Facebook, Google, Amazon, Microsoft en Apple. Als dergelijke bedrijven zich zouden bundelen en met nationale en internationale overheden en instanties gaan samenwerken, lijkt Big Brother minder ver weg.
“Verbetering van biologische en organisatorische intelligentie kan ons vermogen verbeteren om op risico’s te anticiperen en machine superintelligentie te ontwerpen die veilig en heilzaam is” (p61). Er zijn echter veel onzekerheden en risico’s. Biologische verbetering van intelligentie gaat geleidelijk en betrekkelijk langzaam. Eugenetica staat in kwade reuk. Combinatie en implantatie van AI-componenten in de hersenen als bron van superintelligentie acht Bostrom minder waarschijnlijk dan verbetering van de collectieve intelligentie door betere communicatie en organisatie.
Een denkende robot is nog ver weg
Vormen van superintelligentie
Bostrom onderscheidt drie vormen van superintelligentie: wat betreft snelheid, kwaliteit en organisatie, het laatste betreft collectieve superintelligentie, omschreven als “een systeem dat bestaat uit een groot aantal kleinere intellecten zodat de prestatie van het systeem op velerlei gebieden die van bestaande cognitieve systeem vergaand overtreft” (p65). Dit is bijv. het geval bij academische gemeenschappen en tal van andere organisaties.
Desondanks zien we tegenwoordig “een verafgoding van materiële consumptie, verspilling van natuurlijke hulpbronnen, vervuiling van de omgeving, decimeren van diversiteit van soorten, tegelijkertijd een falen om schreeuwende wereldwijde onrechtvaardigheden op te lossen en verwaarlozing van beslissende menselijke en geestelijke waarden.”
“Niets in onze definitie van cognitieve superintelligentie impliceert dat een samenleving met grotere collectieve intelligentie noodzakelijkerwijze beter af is. De definitie impliceert niet eens dat een collectief meer intelligente samenleving wijzer is... Zij kan bijv. tekort schieten in het nemen van passende voorzorgen tegen existentiële risico’s en als resultaat daarvan kortdurende explosieve groei nastreven en heilloos in totale ondergang eindigen... Er kunnen instrumenteel machtige... intelligente systemen bestaan, die noch inherent goed zijn, noch op betrouwbare wijze wijs” (p67).
Supercomputers worden nog steeds door mensen bediend en geconstrueerd
https://www.itrelease.com/2018/08/what-are-characteristics-of-supercomputer/
Kwaliteit, snelheid en capaciteit
Dit roept de vraag op naar de kwaliteit van (super)intelligentie, waarbij het menselijk functioneren een maatstaf is en er weinig of geen ervaring is met kwaliteit van intelligentie die verder gaat dan de menselijke intelligentie met al zijn beperkingen. Bostrom geeft geen omschrijving van kwaliteit (van superintelligentie). Hij vergelijkt het kwaliteitsverschil met menselijke intelligentie, zoals “de kwaliteit van menselijke intelligentie superieur is t.o.v. die van olifanten, dolfijnen en chimpansees” (p69).
Wat snelheid, rekenkracht en (geheugen)capaciteit betreft zijn de vorderingen en voordelen vergeleken met menselijke intelligentie duidelijker, zoals in eerdergenoemde bespreking reeds is gebleken.
https://www.vice.com/nl/article/qkvkpq/super-intelligent-ai-could-wipe-out-humanity-if-were-not-ready-for-it
Intelligentie explosie en wereldoverheersing
De snelheid van de intelligentie explosie is moeilijk voorspelbaar. Bostrom houdt de mogelijkheid open dat deze snel kan gaan na bepaalde doorbraken. Nadere toelichting komt nogal technisch over, maar geeft weinig duidelijkheid over de doorbraak en de snelheid van de mogelijke intelligentie explosie, die in nevelen en verwachtingen blijft gehuld.
Er wordt op vele vlakken en fronten gewerkt aan superintelligentie. Een bedrijf dat een doorbraak bewerkstelligt kan strategisch voordeel omzetten in een voorsprong. Bostrom verwacht echter voordeel van internationale samenwerking, waardoor een monopolistische positie minder waarschijnlijk wordt. Hij trekt een vergelijking met de uitvinding van de kernbom die (helaas) binnen betrekkelijk korte tijd leidde tot proliferatie en “een uiterst gevaarlijke wapenwedloop” (p107).
AI kan ook een riskant verloop aannemen dat enige kans heeft op wereldoverheersing, als een supermacht als eerste en enige beschikt over superintelligentie. Hoe kan superintelligentie wereldoverheersing bereiken? Dat kan als AI het vermogen tot zelfverbetering heeft (onafhankelijk van menselijke programmeurs). Dus een zekere autonomie bereikt. Vervolgens dient de mens(heid) buiten spel te worden gezet om te kunnen worden overheerst of geëlimineerd. Het lijkt op een science fiction scenario. Er kunnen echter ook superintelligenties worden gevormd die niet alleen de mensheid maar ook elkaar bestrijden.
https://www.slideshare.net/wpjoosten/supermens-samenleving-keynote-peter-joosten-bij-uhasselt-belgi
Ziet er niet geruststellend uit
Wat kunnen de doelen en de motivatie van superintelligentie zijn?
Doelen kunnen behalve wereldoverheersing bijv. bloei van de (menselijke) beschaving zijn of wereldwijde rechtvaardigheid. “Met ‘intelligentie’ bedoelen we hier zoiets als de vaardigheid om te plannen en te voorspellen en middel-doel redeneren in het algemeen” (p130). M.a.w. instrumentele rationaliteit. De beperkingen daarvan zijn door sociologen als Max Weber, Karl Mannheim en Jürgen Habermas uitvoerig uit de doeken gedaan (zie CM 74 en 109). Wat we nodig hebben is substantiële rationaliteit, die betrekking heeft op menselijke waarden. Dat gaat verder dan de cognitieve en technologische verbeteringen en verwerving van middelen die Bostrom beschrijft.
Als het misgaat met de intelligentie explosie kan dat leiden tot extinctie van intelligent leven. De mensheid heeft sinds enige tijd het vermogen om zichzelf te vernietigen. Dat kan ook op superintelligente wijze. “We kunnen er niet blijmoedig gestemd vanuit gaan dat superintelligentie de uiteindelijke waarden heeft die standaard worden geassocieerd met wijsheid en intellectuele ontwikkeling bij mensen – wetenschappelijke curiositeit, welwillende betrokkenheid op anderen, spirituele verlichting en contemplatie, onthechting van materiële hebzucht, verfijnde smaak wat cultuur betreft, bescheidenheid en onzelfzuchtigheid, enz.”
Is het mogelijk een superintelligentie te construeren die morele waarden op waarde kan schatten? “Het is..,. technisch een stuk gemakkelijker een superintelligentie te bouwen die de berekening van de verdere decimalen van het getal pi slechts weet te waarderen.” We willen echter superintelligentie met “een bevredigend bereik van menselijke waarden” (p141).
Vooralsnog zijn er veel risico’s voor het zover is, waaronder wereldwijde destructie van de mensheid. Een probleem is dat AI geen geweten heeft en geen schuldgevoelens kent. AI kan deze slechts nabootsen of simuleren. “Het ontwikkelen van een ethiek op dit gebied is een taak die buiten het bestek van dit boek valt.” Het wijst slechts op “de potentiële morele catastrofale resultaten” (p154).
Het beheersingsprobleem geeft enige hoofdbrekens
https://www.peterjoosten.net/kunstmatige-intelligentie/
Nogmaals het beheersingsprobleem
Is er een manier om een genoemde gebreken te vermijden? Bostrom gaat in op capaciteitscontrole van wat superintelligentie kan doen en selectie van motieven: richting geven aan wat superintelligentie kan willen doen. “Het is belangrijk ons te realiseren dat er een beheersingsmethode geïmplementeerd dient te worden voordat het systeem superintelligent wordt... Niet nadat het systeem serieus strategische voordeel heeft verkregen. De noodzaak om het beheersingsprobleem vooraf op te lossen en de oplossing succesvol te implementeren in het allereerste systeem dat superintelligentie bereikt, maakt het tot een angstaanjagende uitdaging” (p157).
Een manier is om beperkingen in te bouwen in het systeem, bijv. een beperkt of specifiek gebied van functioneren, of automatische uitval als er tekenen van gevaarlijke activiteit worden bespeurd (p167). Wat betreft selectie van motieven gaat het om het instellen van specifieke doelen en regels waarbinnen een superintelligent systeem functioneert, zoals een stelsel van wetten. Een doel kan bijv. zijn het utilitaristische beginsel “maximaliseren van de balans van geluk ten opzichte van pijn in de wereld... hedonisme als uiteindelijk doel” (p171).
Verder kunnen er zelfbeperkende doelen worden ingesteld. Een soort van matiging. Matigheid was bij oude Grieken zoals Aristoteles een belangrijke deugd. Het streven naar (morele) verbetering en perfectie is een andere morele neiging van mensen, die mogelijk kan worden ingebouwd bij superintelligentie. Het is dan zaak te beginnen met een systeem dat al een welwillende motivatie heeft en vervolgens deze verbeteren. Probleem is dat het vaak slechts simulatie van menselijk gedrag betreft, geen echte moraliteit. Als het maar werkt. In principe is het mogelijk diverse soort controlemechanismen in te bouwen, van capaciteits- of gebiedsbeperkingen en zichzelf uitschakelen bij riskante ontwikkelingen tot inbouwen van regels, doelstellingen en motieven. Welk soort het meest geschikt is, hangt af van het soort systeem.
https://medium.com/momentum6/overview-blockchain-oracles-21007df8ea48
Soorten intelligente systemen
Bostrom onderscheidt ‘orakels’, dat zijn vraag en antwoord systemen, ‘genieën’, dat zijn systemen die opdrachten uitvoeren, en ‘soevereine systemen’, die open-ended zijn en bredere toepassingen hebben. Verder zijn er ‘tool-AI’s’ of gereedschappen, die “eenvoudig doen wat is geprogrammeerd om te doen,” dus geen eigen wil hebben (p184). Probleem is dat systemen zich niet altijd gedragen zoals ze zijn geprogrammeerd en hun eigen gang kunnen gaan. Dat wil zeggen niet altijd goed beheersbaar zijn. Dat kan bij superintelligente systemen danig uit de hand lopen. Er is betere en veiligere software nodig, inclusief controlemechanismen.
Elk van genoemde systemen kent zijn eigen beheersingsproblemen en mogelijke voorzorgen. Een genie kan bijv. een instructie gegeven worden om te stoppen als er iets misgaat en vervolgens een nieuwe instructie. De risico’s hangen af van de toepassing, van wie het systeem beheerst en hoe. ”De operator heeft een hoop macht in handen” (p193). Geen enkel systeem is volkomen veilig. Bostrom geeft een vergelijkend overzicht van systemen en geschikte controlemechanismen (p191-92).
Het monopolistische scenario doet denken aan Big Brother https://medium.com/swlh/big-brother-is-watching-you-7db4c1d236f4
Monopolistische en multipolaire scenario’s
Ontstaat er één superintelligent systeem of een aantal systemen tegelijk? Dat maakt strategisch gezien nogal wat uit. Ook wat betreft het beheersingsprobleem. Eén monopolistisch systeem wordt ‘singleton’ genoemd. Er zijn ook consequenties wat betreft lonen en werkgelegenheid. In het eerder besproken boek bleek dat de vooruitzichten voor hoger geschoolden, met name ‘techneuten’, aanmerkelijk gunstiger zijn dan voor lager geschoolden. AI heeft ook gevolgen voor kapitaalbezit. De bezitters van intelligente systemen hebben er voordeel van. In het geval van de ‘Big Five’, Meta-Facebook, Google, Amazon, Microsoft en Apple, miljardenvoordeel. De machts- en kapitaalconcentratie van Big Tech neemt zorgwekkende vormen aan, die het algemeen welzijn niet ten goede komen.
Er ontwikkelt zich een “algoritmische economie”, die gepaard kan gaan met “vrijwillige slavernij” waarbij machinale intelligentie wordt ingezet om mensen te beheersen en te manipuleren (p203,204). De macht van algoritmen is grotendeels ondoorzichtig. Mensen worden zonder het te weten in een consumptieve richting gestuurd op grond van hun eerdere voorkeuren.
Werk vindt in toenemende mate achter schermen plaats, omdat dat efficiënter zou werken. “Zal maximaal efficiënt werk ook leuk zijn?” (p207). Bevordert dit de arbeidstevredenheid? Ontstaat er niet een digitaal werkend proletariaat? Met behulp van surveillance kan het goed in de gaten worden gehouden. Erg leuk lijkt dat niet.
Een multipolaire vorming van superintelligentie kan later overgaan in monopolievorming, die resulteert in een ‘singleton’. Er kunnen fusies plaatsvinden bij Big Tech. Superintelligentie kan leiden tot supermultinationals en superorganisaties. Mogelijke ontwikkelingen zijn niet te overzien, maar het is belangrijk alert te zijn op monopolievorming. Dit in verband met de beheersbaarheid van superintelligentie, die een enorme uitdaging vormt in de naderbij komende toekomst. Ook een multipolaire ontwikkeling biedt geen garantie voor beheersbaarheid en tegen monopolievorming.
Een moeilijkheid is dat digitale ontwikkelingen in cyberspace niet altijd goed te volgen zijn en zich kunnen onttrekken aan controle. Daarom is er veel te zeggen voor samenwerking en coördinatie. Bijv. via adequaat gecontroleerde verdragen, die nieuwe inspectietechnologie vragen om erop toe te zien dat ze worden nagekomen. Er staat veel op het spel. De toekomst van de mensheid is ervan afhankelijk. Iedere nieuwe technologie kan worden misbruikt en zal gereguleerd en gecontroleerd dienen te worden.
Waarden inbouwen
“Beheersing van de capaciteit is op zijn best een ondersteunende tijdelijke maatregel... Selectie van de motivatie zal nodig zijn... Hoe kunnen we een waarde in een superintelligente agent plaatsen om ervoor te zorgen dat deze die waarde nastreeft als uiteindelijk doel?” (p226). Utilitarische waarden kunnen bijv. nut en geluk zijn. Maar ook gerechtigheid, vrijheid, mensenrechten, democratie, ecologisch evenwicht en zelfontplooiing kunnen worden nagestreefd. Is het mogelijk een dergelijk streven in te bouwen in een (superintelligente) computer? “Computertalen bevatten geen termen zoals ‘geluk’ als basisbeginselen” (p227). Zo’n term moet vertaald en gedefinieerd worden in programmeertaal.
Dit vertalen van waarden en doelen is een complexe aangelegenheid. Waarden kunnen niet zomaar in wiskunde worden omgezet. “Het oplossen van het probleem van het laden van waarden is een onderzoeksuitdaging voor de beste wiskundige talenten van de komende generatie” (p229).
“De evolutie heeft een organisme met menselijke waarden voortgebracht.” Kunnen we uit de evolutie methoden afleiden om het probleem van het inbouwen van waarden op te lossen? Mensen met bepaalde waarden hadden en hebben meer overlevingskansen. De natuur lijkt zich echter ook immoreel te gedragen. Duizenden dieren worden levend opgegeten, verhongeren of worden door parasieten verdelgd. De natuur trekt zich niets aan van bijv. overeengekomen mensenrechten en andere morele normen. Meedogenloze mechanismen van de natuur komen niet in aanmerking om te repliceren bij het functioneren van menselijke (super)intelligentie en zouden catastrofaal kunnen zijn.
Mensen en menselijke waarden zijn moeilijk na te maken https://www.thevelvetvox.com/2016/05/23/asi-is-utopie/
Overdracht van menselijke waarden namaken
We kunnen ook onszelf als uitgangspunt nemen. “Hoe verkrijgen we zelf waarden?” Op deze vraag is geen eenvoudig antwoord te geven. Als het niet duidelijk is hoe mensen zich waarden eigen maken, dan geldt dat nog meer voor het overdragen van waarden op computersystemen, die anders werken dan menselijke en dierlijke organismen. Zelfs als we weten hoe het bij mensen in zijn werk gaat, betekent dit nog niet dat dit overdraagbaar is naar computers. “Het namaken van de menselijke biologie lijkt daarom geen hoopgevende aanval op het probleem van het laden van waarden” (p232).
Bovendien wijken veel mensen af van gevestigde en nastrevenswaardige morele standaards. Als mensen al zoveel moeite hebben om zich naar waarden te gedragen, hoe kunnen we dan zorgen dat computers dat beter kunnen? Kan een computer zo geconstrueerd worden dat deze waarden kan leren, realiseren en maximaliseren? Zelfs als dat kan, kan een computer afwijken van menselijke intenties en interpretaties.
Er is een computer nodig die menselijke intenties verstaat en adequaat kan uitvoeren. “Het is nog niet bekend hoe de benadering van het leren van waarden gebruikt kan worden om plausibele menselijke waarden te installeren.” Dan is er nog de vraag “welke waarden we AI moeten laten leren” (p241).
Het namaken (emulatie) van de hersenen is iets anders dan waarden inbouwen, maar heeft er wel mee te maken. Als de hersenfuncties nagemaakt kunnen worden, is het misschien ook mogelijk onze morele vermogens na te maken en in te bouwen in computers, die dan meer overeenstemming met menselijke vermogens kunnen vertonen dan synthetisch gefabriceerde morele vermogens zonder mensen als model. Zo kan echter ook ons morele onvermogen in computers worden ingebouwd.
Totalitaire instellingen behoren tot de reële mogelijkheden https://www.hollandtimes.nl/
Sociale instellingen namaken
Een andere benadering is menselijke instellingen als uitgangspunt te nemen. Deze kunnen een rechtspersoon hebben en zich als morele personen gedragen of worden behandeld. Zo kunnen ook instellingen of arrangementen van artificiële morele agenten met mensachtige motivaties worden geconstrueerd. Het is nog niet duidelijk hoe sociale instituties en vormen van organisatie, sociale controle en toezicht op correct gedrag kunnen worden geïmplementeerd als software. Het gevaar van autoritaire en totalitaire tendensen is hierbij niet te veronachtzamen, zoals ook de menselijke geschiedenis leert. Van de supervisors kan een onderdrukkende macht uitgaan, zoals George Orwell indringend heeft laten zien. Waarden en doelen kunnen ook afgedwongen worden.
Er kan een systeem worden geconstrueerd “op zo’n manier dat een supervisor grote voordelen heeft ten opzichte van zijn ondergeschikten. De supervisor is bijv. in staat om alles te controleren en vast te leggen wat zijn ondergeschikten doen, terwijl de supervisor is verborgen... zodat de ondergeschikten alleen orders en instructies kunnen horen. De supervisor heeft een paneel met knoppen om de ondergeschikten te straffen of te belonen... Degelijke vermogens zouden de macht van een superviserende agent sterk kunnen vergroten, nog meer dan historisch gezien in zelfs de meest totalitaire organisaties” (p250).
“Kunstmatige agenten hoeven geen enkele sociale emotie te hebben die menselijke gedrag aan banden leggen, zoals vrees, eer en berouw. Ook hoeven kunstmatige agenten geen aantrekking tot familie en vrienden te ontwikkelen. Zij geven ook geen uitdrukking aan onbewuste lichaamstaal.” Dit maakt hun gedrag moeilijker voorspelbaar. “Deze manco’s kunnen instellingen van kunstmatige agenten destabiliseren... Het is daarom onduidelijk hoe veelbelovend de benadering van institutionele ontwerpen is... [Deze] kunnen ook nieuwe manieren introduceren waardoor dingen fout kunnen gaan” (p252). Er is ook geen zekerheid te geven over de veiligheid. Risico’s blijven groot.
Resumerend: “Het is thans nog onbekend hoe menselijke waarden op een digitale computer overgebracht kunnen worden” (p253). Dat geldt ook voor het construeren van machine-intelligentie op menselijk niveau, laat staan intelligentie die het menselijk peil overtreft. Er zijn nog veel hobbels te nemen. Verschillende benaderingen dienen nader onderzocht te worden, ook wat betreft veiligheid en controlemogelijkheden. Benaderingen van waardenoverdracht die perspectief bieden zijn het leren van waarden aan computers door namaak van menselijke overdracht en hersenfuncties en verder het ontwerpen van (artificiële) instituties naar het voorbeeld van menselijke instellingen met collectieve intelligentie.
Als we waarden kunnen overbrengen, blijft de vraag: welke waarden? “Wat willen we dat een superintelligentie wil?” (p255). Een belangrijke kwestie. Want als een superintelligentie eenmaal iets wil, dan kan dat ingrijpende strategische, praktische en onomkeerbare consequenties hebben.
Snelheid inbouwen lukt beter dan waarden inbouwen
Welke waarden?
We weten zelf niet altijd wat goed voor ons is, met name niet op termijn. Vaak weten we niet eens wat we echt willen. Hoe kunnen we dit dan adequaat overbrengen op AI en op superintelligentie die de toekomst van de mensheid vorm gaat geven? Daar komt nog bij dat geen enkele ethische theorie een meerderheid van filosofen achter zich heeft. In feite lijken we te functioneren volgens diverse theorieën, die vanaf CM 115 zijn besproken en waarvan de belangrijkste in voorgaande boekbespreking over de filosofie van AI zijn samengevat in CM 122.
We streven naar geluk en handelen naar plichten en deugden: de geluksethiek van het hedonisme en utilitarisme, plichtsethiek en deugdethiek. Accenten kunnen verschuiven.
Moraal en ethiek veranderen met de tijd, hoewel er ook universele morele waarden en principes te traceren zijn. Maar iedere tijd toont ook “bittere tekortkomingen” (p257). Onze morele verlichting laat nog ernstig te wensen over. Waarschijnlijk kent ook onze tijd zijn morele gebreken. In bovenstaande paragraaf ‘Vormen van superintelligentie’ zijn er een aantal genoemd.
Als er een waarde is gekozen, dan zijn er weer andere problemen. Bijv. bij de waarde ‘geluk’.
Hoe kunnen verschillende vormen van ‘hoger’ en ‘lager’ geluk op waarde worden geschat? En hoe zit dat met toekomstig geluk en de duur en intensiteit van het geluk? Dit kwam al naar voren bij de bespreking van het hedonisme en utilitarisme aan de hand van het werk van John Stuart Mill en Henry Sidgwick in CM 116. Vergelijkbare problemen doen zich voor bij andere waarden.
‘Coherent extrapolated volition’, CEV
Het is van belang enige flexibiliteit wat betreft wensen en waarden in acht te nemen, zodat deze zich verder kunnen ontwikkelen of kunnen aanpassen aan onze verdere ontwikkeling. Daarmee wordt rekening gehouden bij de zgn. “coherent extrapolated volition, CEV” (p259). Dit komt erop neer dat wij mensen onze gezamenlijke wensen kunnen extrapoleren en projecteren in de toekomst op een coherente wijze, dus convergerend, rekening houdend met onze verdere ontwikkeling in de richting van wie we willen zijn. Wat zouden we willen als we meer ontwikkeld waren?
De vraag is of de verschillende morele codes die mensen kunnen hebben, op deze wijze kunnen convergeren in plaats van divergeren. Wereldreligies en toonaangevende filosofieën tonen ondanks verschillen vaak een opmerkelijke overeenstemming, mits ze enige openheid en flexibiliteit in acht nemen en niet al te dogmatisch zijn. Smaken verschillen, maar wat ons blijvend gelukkig maakt en van blijvende waarde is stemt vaak overeen, ondanks de verschillen.
“De CEV benadering is bedoeld als... zelf-corrigerend en om de bron van de waarden te vatten” (p262). Er is ruimte voor morele ontwikkeling. AI wordt niet geconstrueerd volgens een morele code die voor eens en altijd vast ligt. Ook niet volgens de morele code van de makers, die daarmee een enorme verantwoordelijkheid op zich zouden nemen. Uitgangspunt is “een dynamiek die de coherente geëxtrapoleerde wensen van de mensheid implementeert en niet hun eigen wensen of hun eigen favoriete morele theorie... De mensheid wordt uiteindelijk verantwoordelijk gehouden voor zijn eigen bestemming” (p263,264).
Een dergelijke coherentie kan ook strijd voorkomen. CEV heeft een “irenisch potentieel” door een mogelijk compromis van diverse (morele) visies. Er blijven echter genoeg mogelijkheden voor conflicten, zolang zelfzuchtige groeperingen en naties vooral hun belangen nastreven en een onevenredige invloed willen hebben. Het gevaar van een dystopie blijft aanwezig. We dienen er verder voor te waken, dat we onze (morele) autonomie en keuzevrijheid niet verliezen ten gunste van een superintelligentie die bepaalt wat goed voor ons is, zoals de Kerk vroeger. CEV kan dan wel dienen als veiligheidsklep in het geval van dreigende catastrofale ontwikkelingen en missers, en verder de nodige en wenselijke ruimte geven, mits anderen dezelfde ruimte en rechten hebben.
CEV heeft een aantal flexibele parameters, bijv. wiens wensen worden meegerekend. Alleen volwassenen of ook jongeren en kinderen? Ook de geëxtrapoleerde wensen van toekomstige generaties? En hoe zit het met ‘lagere’ en ‘hogere’ dieren, die gevoel hebben, en met het plantenrijk, worden hun belangen ook meegenomen? Willen de meeste mensen wel het ‘goede’, dat wat goed voor hen is op langere termijn, of zijn ze geneigd de voorkeur te geven aan korte termijn successen? Wordt er niet teveel vanuit gegaan dat “hun betere engelen voorrang krijgen bij hun geëxtrapoleerde wensen?” (p266).
Hoewel iedereen een inbreng kan hebben, zal de stem van de meerderheid doorslaggevend zijn en kunnen minderheden in het gedrang komen. Een aantal tekortkomingen van onze democratie kunnen ook van toepassing zijn op CEV. Daarover is genoeg geschreven, dat hier niet herhaald hoeft te worden. Daar gaat het boek niet over.
Mensen zijn moreel gezien nog primitief gebleven
Andere morele benaderingen: het ‘moreel juiste’ als uitgangspunt
Er zijn ook andere benaderingen behalve CEV. “Men kan een computer proberen te bouwen met het doel te doen wat moreel juist is” (p266). De cognitieve capaciteit van AI kan worden aangewend om uit te vinden welke acties daaronder vallen. “Als er geen passende niet-relatieve waarden wat betreft moreel juist gedrag zijn [te vinden], dan kan AI terugkeren naar het implementeren van de geëxtrapoleerde wil” (p267).
Een voordeel van deze benadering is, dat wordt uitgegaan van het moreel juiste in de zin van het betere in de mensen, niet van alles wat ze maar willen. Wat ‘moreel juist’ is, is geen eenvoudige zaak. Filosofen zijn daar na een kleine drieduizend jaren nog niet over uitgepraat en hebben geen consensus bereikt. Volgens Henry Sidgwick valt er echter wel enige overeenstemming vast te stellen (CM 116). Ze staan zelden diametraal tegenover elkaar. Wat moreel juist is in praktische situaties, is een andere vraagstelling dan wat moreel juist is in het algemeen. Ook daarvoor is de nodige morele intelligentie nodig, die AI nog dient te ontwikkelen.
Het kan zij, dat het moreel juist niet is wat we het liefst willen. Bijv. geen vlees eten, of sober leven. Het moreel juiste hoeft niet het meest bevredigende te zijn, tenzij wordt uitgegaan van een hedonistische benadering. Dit roept de vraag op, hoeveel (speel)ruimte er is voor individuele en groepsvoorkeuren en in hoeverre mensen zich opofferingen dienen te getroosten.
Beslissingstheorie, epistemologie en herzieningsmogelijkheden
Naast de inhoud van waarden, doelen en wensen “is een andere belangrijke kwestie of de plannen van AI onderworpen zijn aan menselijke herziening” (p272). En welke besluitvorming wordt ingebouwd in AI, volgens welke besluitvormingstheorie? In hoeverre zijn beslissingen omkeerbaar? Dit is een ander grotendeels braakliggend onderzoeksterrein, waar nog veel te onderzoeken valt.
En hoe werkt het kenvermogen van AI, volgens welke epistemologie? Hoe toetst AI hypothesen? Hoe redeneert AI? Van welke axioma’s en grondprincipes gaat AI uit? In het artikel over de filosofie van AI (CM 122) kwam naar voren dat aanvankelijk deductieve benaderingen werden gevolgd vanuit algemene logische beginselen, maar later veel successen werden geboekt met inductieve benaderingen van data verzamelen, analyseren en categoriseren. Dit eenvoudige onderscheid toont niet de complexiteit van het verwerven van betrouwbare kennis, waarop o.m. is ingegaan in de artikelenserie over wetenschapsfilosofie (vanaf CM 71). Ontwikkelingen van AI en superintelligentie hebben te maken met tal van disciplines en kennisgebieden.
Herzieningsmogelijkheden variëren met verschillende soorten AI, zoals eerdergenoemde orakels, genieën, soevereine systemen en gereedschappen, waarbij menselijke sturing en zeggenschap varieert. Herzienings- en sturingsmogelijkheden hebben ook nadelen en kunnen bijv. aanleiding geven tot conflicten. De één wil dit, de ander wil dat. Door veto’s kunnen ontwikkelingen stagneren, maar kunnen misschien ook gevaren worden afgewend. Welke voorwaarden voor herziening kunnen er gesteld worden om te voorkomen dat projecten onnodig worden afgeblazen?
“Het belangrijkste doel van goedkeuring zou het elimineren van catastrofale fouten zijn. Het lijkt wijs dit risico te minimaliseren” (p278). Ook al zou dit optimalisering vertragen. Er staat teveel op het spel om ons fouten te veroorloven. “Het is wat ons betreft niet nodig een zeer geoptimaliseerd systeem te creëren. Onze focus dient veeleer een zeer betrouwbaar systeem te zijn, waarbij vertrouwd kan worden dat het genoeg gezond verstand heeft, zodat het zijn eigen fouten kan onderkennen” (p279). Het herstellen van fouten leidt ook tot optimalisering.
Prioriteit voor risico’s vermijden?
https://fd.nl/morgen/1174000/er-is-altijd-iemand-die-op-het-verkeerde-knopje-drukt
Strategische overwegingen
Welke kant gaan we op? Gaan we uit van onze persoonlijke belangen of van een onpersoonlijk perspectief, waarbij iedereen meetelt, niet alleen ons tijdelijk persoonlijk belang? Persoonlijke belangen kunnen vooral bij een wedloop het tempo verhogen en meer risico’s met zich meebrengen, omdat ze minder oog hebben voor het grote geheel en de langere termijn. Samenwerking heeft voordelen, ook wat betreft veiligheid, en biedt meer mogelijkheden tot toezicht. Voordelen kunnen breder worden verdeeld en risico’s meer gespreid. Samenwerking die blijft bestaan na de transitie naar superintelligentie kan “het risico van dystopische dynamiek reduceren” (p310). Het kan ook conflicten beperken en beheersing bevorderen door o.m. betere coördinatie.
Technologie kan worden versneld of vertraagd. Blokkeren is volgens velen moeilijk, hooguit tijdelijk. Vroeg of laat zou een mogelijke technologische ontwikkeling toch wel van de grond komen. Research kan echter wel een zo gunstig mogelijke kant op gestuurd worden met zo weinig mogelijk risico’s. Gevaarlijke en schadelijke technologie kan vermeden worden. Voordelige en heilzame technologie kan bespoedigd worden.
Superintelligentie is bepaald niet vrij van existentiële risico’s, die zoveel mogelijk beperkt dienen te worden. Zij kan bijv. worden gebruikt voor onaanvaardbare en totalitaire sociale controle, manipulatie. Dat geldt ook voor andere technologieën zoals nanotechnologie, genetische manipulatie en biotechnologie. Zijn de risico’s van superintelligentie groter dan van andere technologie? De gevolgen ervan kunnen verstrekkender zijn en onomkeerbaar. Vooral in handen van een totalitair bewind. Vandaar de nodige aandacht voor het beheersingsprobleem. Een anarchistisch in plaats van een totalitair systeem kent ook zijn risico’s. Bij een internationale anarchie kan dit leiden tot internationale conflicten en geweld. Dat hebben we in het verleden genoeg gezien. Een gevaar is bijv. de ontwikkeling van (nieuwe) wapensytemen. Helaas wordt nieuwe technologie daar vaak het eerst voor ontwikkeld.
Om het beheersingsprobleem dichterbij een oplossing te brengen is verdere cognitieve ontwikkeling gewenst. “Het vraagt een vooruitziende blik... om ons te realiseren waarom het belangrijk is om het beheersingsprobleem prioriteit te geven” (p290). “Er is geen perfect welwillende, rationele en verenigde wereld(be)heerser die eenvoudig implementeert wat ontdekt wordt volgens de beste opties.” We dienen zelf antwoord te geven op de vraag wat we moeten doen, “wat er moet gebeuren” (p293). En een keuze maken uit conflicterende mogelijkheden en doelstellingen. Daarbij dient reductie van risico’s zwaar te wegen.
https://www.quora.com/What-is-undeniable-about-AI?top_ans=178410172
Namaken van het menselijk brein en beperken van risico’s
Een strategische kwestie is bijv. of we research moeten promoten die gericht is op het namaken (emulatie) van het brein, een gedigitaliseerd menselijk brein of intellect. Mensen kunnen echter ook onbetrouwbaar, zelfzuchtig en wreed zijn. Dat kan beter niet nagemaakt worden. Dus voorzichtig zijn met menselijke motivaties.
“Het is niet duidelijk of namaken van het hele brein resulteert in langzamere ‘take off’ van superintelligentie... Dit kan voordelen hebben bij het oplossen van het beheersingsprobleem. Langzamere ‘take off’ kan een multipolaire uitkomst meer waarschijnlijk maken” (p298). Multipolariteit kan samenwerking bevorderen en noodzakelijk maken, waarvan de voordelen reeds genoemd zijn. Samenwerking kan zich richten op het “algemene goed” (common good), het algemeen belang, “ten gunste van de hele mensheid en ten dienste van gedeelde ethische idealen” (p312).
Ontwikkeling van beheersingsmethoden dient prioriteit te krijgen om de revolutie van superintelligentie voordelig te kunnen inzetten en existentiële risico’s te beperken. “Cruciale consideraties” betreffen de gerichtheid op voordelen en beperking van nadelen en risico’s.
Daarvoor is rekrutering van de juiste soorten mensen nodig, “die werkelijk bezorgd zijn om veiligheid en die een waarheid-zoekende oriëntatie hebben” (p318). Het is niet te spoedig om... een beroep te doen op een commitment tot veiligheid... om een gevaarlijke technologie veilig te maken” (p319).
Slot: “Wil het beste in de menselijke natuur opstaan?”
Ons menselijk gedrag is vaak onvolwassen. “We zijn als kleine kinderen die met een bom spelen... Superintelligentie is een uitdaging waarvoor we nog niet klaar zijn... De kans dat we het gevaarlijke ding neerleggen is bijna verwaarloosbaar” (p319). De uitdaging is om ons gezond verstand en onze menselijkheid, ons menselijk fatsoen te bewaren. Het verminderen van existentieel risico doet zich voor als belangrijkste morele prioriteit... We moeten een precies begrip ontwikkelen van welke specifieke dingen er verkeerd kunnen gaan – zodat we... deze kunnen voorkomen” (p320,324).
Bostrom wijst herhaaldelijk op de gevaren van superintelligentie en het belang van veilige AI. Hij is kritisch over de mogelijkheden van AI en omarmt mogelijke ontwikkelingen niet zonder voorbehoud wat betreft veiligheid. Het is noodzakelijk dat het inbouwen van (menselijke) waarden en veiligheid prioriteit krijgen. Anders kan het gruwelijk uit de hand lopen, zoals uit dystopische romans blijkt, die Maarten Rutgers bespreekt.
Superintelligentie lijkt geen poort naar een gouden toekomst
https://www.visionair.nl/ideeen/ethische-superintelligentie-moordt-heelal-uit/
Nabeschouwing
We zouden aan de vooravond staan van een grensverleggende technologische doorbraak met mogelijk verstekkende consequenties zonder weerga. Te vergelijken met het vermogen om vuur te maken, of met kernenergie, of de industriële revolutie. Totale automatisering door autonoom opererende, zelfsturende superintelligentie zou binnen de mogelijkheden liggen. Maar ook totalitaire overheersing en zelfvernietiging van de mensheid en intelligent leven behoren tot de mogelijkheden als het uit de hand loopt.
De meeste mensen weten nog niet wat er boven hun hoofd hangt. De revolutie van superintelligentie kan de mensheid in nieuwe slavernij onderdompelen. maar het kan ook de vervulling betekenen van lang gekoesterde wensen met een utopische strekking. Een dystopie lijkt echter meer voor de hand te liggen, zolang we het controleprobleem niet hebben opgelost. Superintelligentie biedt ongekende mogelijkheden en lijkt voor niets te staan. Maar zou ook moeilijk zijn tegen te houden, te beheersen en te sturen met ons onvolmaakte intellect. Alles heeft zijn prijs.
De kans dat er fouten ingebakken zitten in superintelligente systemen met riskante toepassingen is levensgroot aanwezig. Techneuten spelen met vuur. Mogelijk met niet te doven vuur, dat de mensheid kan vernietigen, kan overheersen en onderwerpen aan nieuwe slavernij, waaruit bevrijding onmogelijk lijkt. Tegen superintelligentie zou geen kruid gewassen zijn. Net zomin als een atoombom met messen en geweren te bestrijden is.
Er zijn ook mensen die een gouden horizon menen te zien die vooraf gaat aan de opkomst van superintelligentie, die duisternis zal verdrijven. De zon van superintelligentie zal zijn licht over de aarde schijnen.
Superintelligentie zou onomkeerbaar zijn als het er eenmaal is, tenzij het zichzelf vernietigt, en mogelijk ook onbeheersbaar, als we geen voorzorgen en veiligheidsmaatregelen treffen. We weten nog niet hoe het te beheersen valt. Het beheersingsprobleem is nog niet opgelost. Dit is een voorwaarde voor veilige superintelligentie. Een toekomst waarin superintelligente wezens elkaar bevechten, behoort ook tot de mogelijkheden. Of een digitale oorlog van supermachten die gebruik maken van superintelligentie en de gouden horizon rood kleuren.
Leiden wij de technologie of leidt de technologie ons?
Het controleprobleem
Bostrom benadrukt de noodzaak van het oplossen van het controleprobleem voordat superintelligentie wordt gerealiseerd en niet nadien, als voorwaarde voor veiligheid. Een groep techneuten en hun financiers bereiden een toekomst voor waarin wij mensen worden ingehaald door producten die we zelf hebben gecreëerd. “De eigen daden zijn geworden tot een vreemde macht, boven ons geplaatst en [mogelijk] tegen ons gericht in plaats van door onszelf beheerst,” schreef Marx in Das Kapital (Erich Fromm, De gezonde samenleving, p94). Bij superintelligentie zou dat kunnen gelden in de overtreffende trap met een digitaal aangestuurd en gecontroleerd proletariaat, een volgende fase van de industriële revolutie en de automatisering. Zo kunnen we ons persoonlijk en maatschappelijk leven uit handen geven en worden we tot nieuwe slaven gedegradeerd, als we geen voorzorgen treffen.
Het is maar zeer de vraag of mensen beter van worden van superintelligentie en erop vooruit gaan. Sommigen misschien wel. De kans dat ongelijkheid toeneemt is levensgroot aanwezig, zoals al naar voren kwam in het boek van Van der Knaap over de filosofie van AI (CM 120). Ook de kans dat het misgaat is reëel aanwezig, zelfs als het controleprobleem goeddeels is opgelost. Wie plant de planner? Wie beheerst de beheerser? Zelfbeheersing is door de eeuwen heen een menselijk manco gebleken, waarvan we bij een voortijdige komst van superintelligentie de wrange en onrijpe vruchten kunnen plukken.
Er zijn nog teveel donkere wolken aan de horizon om van een gouden toekomst te kunnen spreken. Eerder bestaat de weersverwachting uit digitaal onweer en ongekende wervelstormen, hagelbuien en donkere wolken die tot uitbarsting kunnen komen, als ze niet opklaren. Ze trekken misschien weg als we ons licht laten schijnen over superintelligentie, voorzorgen in acht nemen, veiligheid inbouwen en het beheersingsprobleem oplossen. Ook dan staan we nog voor de taak onszelf te beheersen en samen te werken aan veilige toepassingen.
‘Het licht van bewustzijn’
Door het licht van de rede, “het licht van het bewustzijn”, kan techniek worden gestuurd, volgens C F von Weizsäcker (Wege in der Gefahr: Eine Studie über Wirtschaft, Gesellschaft und Kriegsverhütung). Het zou een ramp kunnen zijn als techniek zichzelf stuurt en wij er niet meer aan te pas komen. Het hangt af van hoe (veilig) het is geprogrammeerd. God behoede ons. Of zal superintelligentie de nieuwe (af)god zijn? Een soort Lucifer, die een paradijs belooft waarin wij gelijk aan God kunnen zijn? Of zal superintelligentie ons met vlammend zwaard juist uit een op handen zijnd paradijs verdrijven? Moeten we niet oppassen dat zich een doos van Pandora opent?
Superintelligentie heeft het vermogen om rampen te creëren. Dat geldt voor industrie en technologie in het algemeen, die tot industriële oorlogvoering heeft geleid en werd ingezet om meer vernietigende wapens te construeren. Maar ook een hoger welvaartspeil, zij het ten koste van het natuurlijke milieu en talloze soorten planten en dieren. De kans dat de mensheid zichzelf kan uitroeien is even reëel aanwezig als de mogelijkheid tot toenemende welvaart, die duurzaam en heilzaam gemaakt zou kunnen worden voor andere aardbewoners dan alleen mensen.
Superintelligentie zal nog wel enige tijd op zich laten wachten. Slechts op specifieke gebieden overtreft kunstmatige intelligentie de menselijke intelligentie. Een voor alsnog meer reëel en griezelig scenario is de machtsconcentratie van Big Tech als deze in handen komt van een totalitair bewind zoals in Chana het geval lijkt. Dan kan de bevolking onder de knoet worden gehouden met monopolisering van persoonsgegevens en surveillance technologie, zoals dat nu ook al het geval is bij Amazon.
Als de machtsconcentratie van Big Tech samengaat met die bvan de overheid verliezen burgers hun huidige mate van vrijheid en autonomie, voor zover daarvan sprake is, die onderdruk staat van Big Tech. en de consumptiemaatschappeij die in toenemende mate door Big Tech wordt aangestuurd. Hoe kunnen we ons daartegen weerbaar maken en voorzorgen treffen?
Allereerst door bewust te zijn van de risico’s. “Avert the danger that has not yet come, keer het gevaar voor het er is,” luidt een Indiaas motto. Dat kan door maatregelen te treffen, zoals het versterken van burgerparticipatie van mondige en goed geïnformeerde burgers, die hun kennis delen met de hele samenleving. In het algemeen dient ons bewustzijn toe te nemen om de uit de hand lopende techniek te kunnen bijbenen en enigszins meester te blijven. Om alert te zijn op machtsconcentratie en deze te kunnen keren, voorkomen, beperken en spreiden. Daartoe dienen we meer ethiek, filosofie en bewustwording in te bouwen in het onderwijs, met name ook bij technische opleidingen, oog te hebben voor maatschappelijke consequenties van technische ontwikkelingen, en menselijke ontwikkeling meer aandacht te geven in verhouding tot technische ontwikkeling.
Technologische noodzaak tot bewustwording
Welzijn wordt maar ten dele bepaald door technisch kunnen. Veeleer ook door geestelijk een lichamelijk welbevinden. Laten we daar maar eens aan gaan werken. En aan bewustzijnsverandering en ontwikkeling, die een voorwaarde lijkt om techniek te kunnen sturen, in goede banen te leiden en heilzaam in te zetten. Techniek kan worden gestuurd door onze rede, ons intellect, ons bewustzijn. Techniek kan niet het falen van onze rede ongedaan maken, maar ons wel aanvullen, aldus Von Weizsäcker.
De verwachting van internet was indertijd de wereldwijde uitwisseling van vrije informatie en het bevorderen van de onderlinge communicatie. Het heeft echter ook geleid tot een bijna dwingende invloed van algoritmen, waarmee Big Tech onze consumptie probeert te sturen en consumenten probeert te binden. Ook de smartphone lijkt afhankelijkheid en schermverslaving te bevorderen, naast verbetering en intensivering van de communicatie. Van robots zien we nog niet zoveel. Ze nemen ons nog betrekkelijk weinig werk uit handen en kunnen mensen maar heel beperkt vervangen. Superintelligentie kan nog jaren duren. Maar het is beter erop voorbereid te zijn. Doorbraken kunnen leiden tot stroomversnellingen, die gevaarlijk kunnen zijn als we er niet op anticiperen, geen voorzorgen treffen en als we het schip van onze samenleving niet een juiste en veilige richting op kunnen sturen in plaats van over te leveren aan de hegemonie van superintelligentie, als het eenmaal zover is.
Bostrom wijst meer op gevaren dan op mogelijke voordelen van superintelligentie en AI. Het roept de gedachte op dat het beter zou zijn er niet aan te beginnen. Maar dat zou onwaarschijnlijk zijn. De race is al begonnen en zou niet meer te stoppen zijn. Het is zaak deze in goede en veilige banen te leiden, op hoop van zegen. Het is vooral nodig dat onze zelfbeheersing en bewustzijnsontwikkeling gelijke tred houdt of vooruit loopt op technologische ontwikkelingen. Dat vraagt verdergaande bewustwording, geestelijke ontplooiing en morele verantwoordelijkheid. Laten we daar ook maar eens aan gaan werken, in plaats van ons door primitieve emoties te laten meenemen, zoals machtsbeluste hebzucht, nietsontziende zelfzucht, identificatie met de ingroep, slaafse volgzaamheid en beperkte (zelf)reflectie.
‘Het licht van het bewustzijn’ (in termen van Von Weizsäcker aan het eind van zijn boek) lijkt nog lang niet overal doorgedrongen. De meeste mensen zitten nog gevangen in hun grot te kijken naar de schaduwen die de media hen voorhouden, in plaats van zich naar het licht te begeven buiten de grot, dat maar spaarzaam binnendringt in hun grot, zoals bij de grotbewoners in de mythe van Plato (CM 123). Het morele en spirituele potentieel van het bewustzijn lijkt nog grotendeels braak te liggen, terwijl onze technische mogelijkheden een meer ontwikkeld bewustzijn vragen en noodzakelijk maken.
De gevaren en zegeningen van de technologie vinden hun oorsprong vooral in onszelf door onzorgvuldige en onveilige toepassingen, die te voorkomen zijn door ons beter te bezinnen en ons gezond verstand te gebruiken. Het gevaar zit ook van binnen, in destructieve emoties en motivaties en ons menselijk tekort. Hoe kunnen we zorgen dat dit beter wordt? Daarover heeft Toon van Eijk geschreven in zijn boek De klimaatcrisis, gedragsverandering en bewustzijnsontwikkeling en Tony Nader in zijn boek One Unbounded Ocean of Consciousness, om slechts een paar publicaties te noemen (zie CM 109 en115). Het is zaak aan onszelf te werken en onszelf te perfectioneren, vooral in moreel en spiritueel opzicht. Een perfecte technologie in handen van imperfecte mensen kan riskant zijn. De risico’s zijn in te dammen door technische beperkingen en veiligheidskleppen, maar vooral ook door zelfbeheersing, zelfreflectie en bewustwording. Technologische ontwikkelingen nopen ons om ook daar aandacht aan te besteden.
https://www.newscientist.nl/blogs/ex-machina-opmars-van-de-zelfbewuste-robot/
Bijlage: een zelfbewuste computer?
Deze bijlage geeft een indicatie van de stand van zaken anno 2022. Bewustzijn bij computers is nog ver te zoeken, ondanks simulaties die erop lijken. De doorbraak naar superintelligentie laat ook op zich wachten, maar het is beter daarop voorbereid te zijn en veiligheidsmaatregelen te treffen.
Filosofie Magazine eind juni ‘Een zelfbewuste computer is onze favoriete nachtmerrie’. “Blake Lemoine [ingenieur bij Google] die intussen door Google op non-actief is gesteld, trad op 6 juni 2022 naar buiten met de boodschap dat LaMDA bewustzijn heeft... Techno-optimisten beweren dat kunstmatige intelligentie zelfbewust aan het worden is... Volgens hoogleraar kunstmatige intelligentie Pim Haselager begrijpen we ons eigen bewustzijn niet goed genoeg om een zelfbewuste computer te kunnen maken. Toch roept het feit dat een computer kan claimen dat hij zelfbewust is belangrijke ethische vragen op. ‘Als je praat met zo’n chatrobot is er geen sprake van wederkerigheid. De vraag is dan: moeten we elkaar tegen zulk contact met kunstmatige intelligentie beschermen?’
‘In tegenstelling tot mensen zijn programma’s als LaMDA eigenlijk woordraadmachines: ze leren taal door onvoorstelbaar veel data van het internet te gebruiken en “raden” vervolgens welke woorden het best op elkaar aansluiten. Mensen leren taal door sociaal en emotioneel betrokken te zijn bij anderen en de wereld om hen heen. Voor ons is taal een manier om onszelf uit te drukken en verbindingen aan te gaan; het is een lichamelijke, affectieve ervaring. En hoe eloquent hij ook spreekt, zulke ervaringen heeft een computer als LaMDA niet...We missen nog steeds de cruciale brugconcepten die verklaren hoe causale, materiële processen nu samen kunnen gaan met bewuste ervaringen.’
“Marjolein Lanzing, universitair docent filosofie van technologie aan de Universiteit van Amsterdam, vindt dat... ‘we meer ethische vragen moeten stellen over kunstmatige intelligentie’”. Haselager: “bewustzijn is zo veel meer dan intelligentie: bewustzijn betekent dat je dingen ervaart, dat je je verdrietig en blij kunt voelen, dat je pijn kunt lijden en honger en dorst kan hebben. Voor dat alles heb je een lichaam nodig dat gesitueerd is in de wereld en dat zichzelf handhaaft door middel van metabolische processen.”
“We vergeten in ons dagelijks leven vaak dat robots door mensen worden gemaakt, en dat ze daarom vaak onbedoeld de problemen in onze maatschappij weerspiegelen of zelfs versterken. “Ook moeten we volgens Lanzing goed in ons hoofd houden dat we in het geval van kunstmatige intelligentie vaak te maken hebben met commerciële bedrijven.” “Het is niet per se in hun belang om mensen betekenisvol contact te laten hebben, eerder om ons zo veel mogelijk gebruik te laten maken van hun apparaten.”
Haselager: “een nieuwe ‘bewuste’ machine... is onze favoriete nachtmerrie. Aan de ene kant zouden we trots zijn als het ons lukt een zelfbewuste robot te maken, aan de andere kant zouden we het ook griezelig vinden... Het beste daaraan is dat we er opnieuw op gewezen worden dat we gevoel en bewustzijn minder goed begrijpen dan intelligentie. Daar moeten we meer aandacht aan besteden.”
Gevangen in het digitale web?
https://denk-raam.nl/?blog_post_page=3
Superbrein 2022 07 11
Wereldvreemde witte mannen
hebben weinig transparante plannen
Hou ze daarom naarstig in de gaten
want het gaat om eigen baten
Ze hebben ook hun zinnen gezet
op perfectie van het digitale intellect
De wereld zou bestuurbaar kunnen zijn
door een meer ontwikkeld superbrein
Beter dan het brein van mensen
zonder individuele grenzen
slim gekoppeld aan het internet
Mensen worden op het 2e plan gezet
Mogelijk tot slaaf gedegradeerd
als zo’n brein wordt gecreëerd
Misschien wendt het zich te goede
als wij ons daarvoor behoeden
We dienen te zijn voorbereid
op een digitale machtsstrijd
om beheersing van de aarde
en om menselijke waarden
Die op ieder digitaal terrein
ook maatgevend moeten zijn
We dienen ons niet in te laten lijven
maar de meester van onszelf te blijven
Al zijn computers nog zo intelligent
zij moeten op ons worden afgestemd
Opdat de mens de heer is van de dingen
de meester van zijn scheppingen