Een student aan de Vrije Universiteit is erin geslaagd om aannemelijk te maken dat ze is gediscrimineerd door antispieksoftware Proctorio, zo meldt het College voor de Rechten van de Mens. In de coronapandemie zetten verschillende universiteiten – waaronder ook de Leidse – Proctorio in om fraude bij online thuistentamens te voorkomen. Tijdens zo’n tentamen houdt het programma studenten via hun webcams in de gaten. Naast de webcam monitort de applicatie ook het scherm, de microfoon, het internetverkeer, en de muis- en toetsenbordactiviteit van de student. Signaleert de software ‘verdachte momenten’, dan worden de bijbehorende beelden doorgestuurd naar de docent en de examencommissie, die vervolgens mogen vaststellen of er inderdaad gespiekt is.

De klacht van de student van de VU luidt dat de gezichtsherkenningsalgoritmes van Proctorio er niet in slaagden om haar gezicht te detecteren, vermoedelijk vanwege haar donkere huidskleur. Tot vijf keer toe werd haar zo de toegang tot haar tentamens belemmerd. Het College voor de Rechten van de Mens oordeelt nu dat de student voldoende feiten heeft aangedragen voor een vermoeden van ‘algoritmische discriminatie’. De universiteit krijgt tien weken om te bewijzen dat daarvan geen sprake is geweest.

Een belangrijke mijlpaal, noemt het College voor de Rechten van de Mens dit oordeel terecht. Of mensen nou worden gediscrimineerd door elkaar, door de overheid, of door een algoritme – discriminatie is in elk van die gevallen een schending van het fundamentele principe dat alle mensen gelijkwaardig zijn aan elkaar, en verdient in elk van die gevallen onze aandacht, afkeuring, en actie.

En toch knaagt er iets bij mij. Stel, het lukt Proctorio om de racistische bias uit zijn algoritmes te halen en voortaan wél elk studentengezicht als zodanig te herkennen, is er dan geen probleem meer? Is het echt enkel discriminatie wat er verkeerd is aan Proctorio? Ben ik de enige die zich er überhaupt ongemakkelijk bij voelt wanneer de controlerende blik van de docent, de universiteit, en de bedrijven die zij in de arm neemt doordringt tot in de studentenkamer?

Dit raakt aan een grotere vraag die vaker bij me opkomt als ik lees wat rechters, ethici, en commentatoren te zeggen hebben bij de introductie van nieuwe technologische controletoepassingen – van cameratoezicht op straat tot corona-apps en gedigitaliseerde identiteitsbewijzen. Altijd zijn ze scherp op eventuele vooroordelen die in de algoritmes zijn ingebakken, en mogelijke discriminatie die met de toepassingen gepaard gaat. Maar vergeten we niet te reflecteren op de vraag of de mensheid eigenlijk in het geheel wel gebaat is bij de uitbouw van al die controlemiddelen?

Al te vaak zie ik goedbedoelende politici en ethische commissies meebuigen wanneer er weer een plan ligt om online spionagebevoegdheden uit te breiden of nieuwe surveillancetechnieken te lanceren. Meestal zeggen ze ‘ja, mits’; op z’n best is het ‘nee, tenzij’.

Waarom niet gewoon eens een keer ‘nee’?

Nee, omdat het naïef is om te denken dat zulke middelen nooit in verkeerde handen kunnen vallen, of gebruikt kunnen worden voor doelen die nu nog niet voorzien zijn. Nee, omdat we niet willen leven in een onontkoombaar panopticon, zoals Michel Foucault het ooit omschreef, waarin ons gedrag altijd door een spiedend oog kan worden bezien en zo nodig door een autoriteit kan worden gecorrigeerd, met als resultaat dat we uiteindelijk al uit eigen beweging perfect in de pas gaan lopen.

Nee, omdat de voordelen van al die technologische handigheidjes – ietsje snellere paspoortchecks, ietsje kleiner gezondheidsrisico, ietsje minder fraude – zo’n groot privacy-offer onder de streep gewoon niet waard zijn.

Zo’n harde ‘nee’ was wél te horen bij de introductie van de zogeheten classroom scanners hier op de Leidse universiteit. Het protest van studenten tijdens ‘cameragate’ kwam voor mij als een aangename verrassing. Ik had het niet verwacht van een generatie die is opgegroeid met beveiligingscamera’s op elke straathoek; met ouders die te allen tijde inzicht hebben in je schoolrooster, huiswerk, en cijfers via Magister, en je exacte locatie constant live kunnen volgen via een tracker app op je telefoon; met uitsmijters die eerst je groene vaccinatievinkje willen zien voordat je de club in mag.

‘Cameragate’ daargelaten, heb ik tot nu toe van de jeugd nog maar weinig verzet gezien tegen het steeds verder uitdijende controle- en surveillancecircus. Misschien dat ik volgend jaar maar eens Foucault ga lezen met mijn studenten. Tot slot een tentamen via Proctorio. Wie niet op komt dagen, krijgt een 10.

Josette Daemen is promovendus aan het Instituut Politieke Wetenschap