‘Je hebt toch hersens in je hoofd?’ Een boze agent spreekt vermanend vier fietsers toe die op de snelweg door een tunnel in Amsterdam rijden. De levensgevaarlijke situatie is gefilmd door een cameraploeg van AT5, in 2014.

Een van de afgestapte fietsers erkent het gevaar van de actie maar neemt geen verantwoordelijkheid. ‘Het is de schuld van Apple’, zegt hij, zwaaiend met zijn iPhone. Blijkbaar is de autoriteit van het digitale navigatiesysteem zo groot dat de vier fietsers blindelings de aanwijzingen van het apparaat volgen.

‘Maar je kunt zelf ook nadenken?’, reageert de stomverbaasde agent. ‘Je ziet toch wel dat je hier niet kunt fietsen?’

‘Onze omgeving is steeds meer een digitoop geworden, waarin we omringd worden door allerlei technologieën’, zegt Daan Weggemans. De universitair docent en onderzoeker aan het Institute for Security and Global Affairs promoveert vandaag op een proefschrift met de titel Computer Says No (inderdaad vernoemd naar de beroemde sketch uit de Britse comedyserie Little Britain).

‘Technologie biedt ons allerlei kansen om complexe processen efficiënt in te richten. Tegelijkertijd doet het van alles met ons. Je ziet allerlei nieuw gedrag ontstaan. Bijvoorbeeld dat mensen apps en digitale systemen veel autoriteit toedichten. Waarom nemen we deze dingen zo serieus? Dat wilde ik uitzoeken.’

Misplaatst vertrouwen

Met gps de mist in gaan, is een heel goed voorbeeld van misplaatst vertrouwen in technologie. Weggemans geeft in zijn proefschrift nog een aantal bizarre voorbeelden. Zo kwam een Belgische vrouw die naar Brussel wilde rijden, een uur van haar woonplaats, terecht in Kroatië. Terwijl alle verkeersborden die ze onderweg tegenkwam het tegendeel aantoonden, bleef ze er volledig op vertrouwen dat haar navigatiesysteem correct was.

Ook op een moment van crisis kan het vertrouwen in technologie groot zijn, schrijft Weggemans. Dat blijkt onder meer uit een experiment van het Georgia Institute of Technology. Een groep mensen werd in een ontvangstruimte geplaatst. Plots ging het alarm af en ontstond er rook in de gangen. In de ruimte was aangegeven waar de nooduitgang was. Maar er verscheen ook een niet erg betrouwbaar uitziende robot, die leek op een stofzuiger, met een scherm met daarop de tekst ‘Emergency Guide Robot’. Iedereen volgde de robot, ook als het apparaat opzichtig de fout in ging.

Weggemans: ‘Het laat zien dat we de fouten in de technologie vaak helemaal niet meer opmerken. Het is belangrijk om dat volgzame gedrag en het uitschakelen van ons beoordelingsvermogen goed te begrijpen. Dat heeft te maken met autoriteit: bepaalde mensen hebben dat, maar je ziet er ook steeds meer sporen van terug bij machines. Het blijft vaak iets dat niet helemaal tastbaar is. Ik omschrijf het als de capaciteit om iets gedaan te krijgen van een ander.’

Informatie

Belangrijk is dat autoriteit samenhangt met ervaren ongelijkheid. ‘Dat komt vaak voort uit een verschil in toegang tot kennis. Experts beschikken over informatie waarvan je zelf denkt: ik weet hier niets van.’

Aan de andere kant is er een ongelijkheid als het gaat om toegang tot formele macht. ‘Denk aan personen die gezaghebbende posities bekleden: rechters, ministers en officieren in het leger. Er is vaak vertrouwen en respect voor de mensen die deze ambten bekleden, waardoor het gevoel ontstaat dat je eigen oordeel er eigenlijk niet toe doet en dat je maar naar ze moet luisteren.

‘Ook in interacties met machines kunnen we die ongelijkheid ervaren. Die systemen lijken heel veel te weten. Er zit een complexe wereld van algoritmes en data achter, dat moet wel kloppen. Zo is er een autoriteitsrelatie tussen ons en de digitale systemen ontstaan. Het idee: the computer knows.’

Daarnaast is de maatschappij enorm complex geworden terwijl de invloed van instanties die burgers richting kunnen geven sterk is afgenomen. Geloof bood bijvoorbeeld antwoorden op levensvragen. ‘De invloed van religie is minder groot geworden. Die vragen zijn er echter nog steeds.’

Technologie lijkt in dat ontstane gat te zijn gesprongen. ‘Machines geven ons antwoorden op vragen over onveiligheid, over risico’s, maar ook over wie we zijn en wat we moeten doen. Dat versterkt de basis voor het gezag van computers.’

De opkomst van AI maakt alles nog ingewikkelder. ‘Technologieën waren lang best statisch. Als je gps meldt dat je links moet afslaan en je doet dat niet, dan berekent de computer een nieuwe route, zonder op onze “ongehoorzame” reactie te reageren. AI doet dat wel: dit werkt bij jou kennelijk niet, dan verander ik de aanpak. Dat maakt het nog effectiever en nog moeilijker om “nee” tegen te zeggen. Daarmee moeten we ook leren omgaan.’

Hoe ingrijpend het onterecht geloof in systemen kan zijn, bleek in Nederland bij de toeslagenaffaire. In Groot-Brittannië speelt nog steeds de afwikkeling van het even absurde als tragische Post Office-schandaal. In een periode van meer dan tien jaar werden 3.500 postkantoorhouders vervolgd omdat ze geld zouden hebben verduisterd. Een deel van hen belandde in de gevangenis.

De kantoorhouders waren echter onschuldig. In de boekhoudsoftware van Fujitsu die de postkantoren gebruikten, zaten bugs, waardoor het leek dat er geld verdween. Het duurde decennia voordat het tot een oplossing kwam. Talloze levens werden geruïneerd door de fouten in een programma. Er zijn minstens vier zelfmoorden aan het schandaal gelinkt.

Rechtzetten

‘Als er iets misgaat, is het erg lastig om recht te zetten’, zegt Weggemans. ‘Ik vind de no fly-lists van vliegtuigmaatschappijen ook een goed voorbeeld. Na 11 september zijn er databases aangelegd met mensen die mogelijk geassocieerd worden met terrorisme. Die mogen het vliegtuig niet in. Het probleem met die lijsten is dat er ook namen op staan die daar niet horen.’

Van die lijst komen, is enorm lastig en leidt tot bizarre incidenten. ‘Het meest extreme voorbeeld is een situatie waar een meisje van drie jaar uit een vliegtuig werd gehaald omdat ze op zo’n lijst stond. Er is in Canada zelfs een organisatie die kinderen uit die databases probeert te krijgen: No Fly List Kids.’

‘Nee’ durven zeggen tegen een systeem kan van levensbelang zijn. Zo wist de Rus Stanislav Petrov in 1983 een nucleaire holocaust te voorkomen. Hij moest vanuit een bunker in de buurt Moskou Amerikaanse nucleaire langeafstandsraketten detecteren. Toen het alarm afging en het leek dat er een aanval was begonnen, besloot Petrov dat het om een systeemfout ging. Als hij dat niet had gedaan, hadden de Russen als tegenreactie hun raketten afgevuurd en was er weinig over gebleven van het leven op aarde. Petrov had gelukkig gelijk.

Weggemans: ‘Petrov wist wat het systeem kon, en ook wat het niet kon. Hij was niet zeker van zijn zaak, maar voelde zich door die kennis wel gesterkt in het maken van zijn keuze.’

Een beter begrip van technologie, kan dus een groot verschil maken. ‘Goede training en opleiding zijn altijd belangrijk. Verder is het essentieel om een organisatiecultuur te creëren waarin mensen weten dat ze “nee” kunnen en mogen zeggen tegen een machine.

‘De maatschappij digitaliseert steeds meer, maar we zijn nog niet in staat om het vroegtijdig te erkennen dat er ergens iets fout is gegaan met de technologie. Onze samenleving is daar helemaal nog niet op ingericht. Daar is echt een wereld te winnen.’

Daan Weggemans, Computer Says No, Understanding Digital Authority. Promotie donderdag 13 februari