Stel, je hebt een machine die kan communiceren. Voor wiskundige Alan Turing (1912-1954) waren chatbots nog ver weg, maar hij kon zich zoiets prima voorstellen. ‘Zou het denkbaar zijn dat zo’n digitale computer (‘computer’ was in zijn tijd nog een baan voor mensen, red.) goed is in het imitatiespel?’
Als je aan het chatten bent, en je hebt niet meer door of je het tegen een mens of een bot hebt, dan is de bot geslaagd voor wat we nu de Turing-test noemen.
Turing zag die test voor zich als een conversatie van vijf minuten, en zijn inschatting was dat tegen het jaar 2000 zeventig procent van de mensen na zo’n gesprek niet in staat was om een menselijke en een digitale chatpartner te onderscheiden. Dat had hij mis, maar de chatbots zijn wel steeds beter geworden.
Eigenlijk doe je dus elke keer als je aan Siri of Alexa vraagt iets voor je te regelen, online shopt of vliegtickets boekt een Turing-test.
Nazi-codes kraken
Er is echter ook ‘de’ Turing-test: de jaarlijkse Loebner-prize competitie voor kunstmatige intelligenties, gehouden in het landhuis waar Turing tijdens de Tweede Wereldoorlog Nazi-codes kraakte. Als een programma ooit de helft van alle juryleden weet te foppen, krijgt de maker een zilveren medaille en een bedrag van 25.000 dollar. Er bestaat ook een gouden medaille voor een audiovisuele chat, maar vooralsnog is ook de zilveren medaille nog niet gewonnen.
Over de vraag wat het precies betekent als een machine wel zou slagen voor de test, valt een hoop te filosoferen (daarover later meer). Eerst draaien we de test om: we kijken niet meer naar de bot, maar naar de juryleden. Hoe weten zij of nu of ze met mens of machine te maken hebben? Waaraan merk je dat?
Psychologiestudente Marjolijn Wijnen deed wat experimenten om dat te onderzoeken, en schreef er met haar begeleiders Roy de Kleijn en Fenna Poletiek een artikel over in het vakblad Knowledge-Based Systems. ‘Turing ging in zijn stuk volledig voorbij aan de vraag hoe je mensen herkent’, aldus eerste auteur De Kleijn.
Wijnen vroeg studenten onder meer om zinnen te beoordelen die afkomstig waren uit Loebner-prize gesprekken. Die waren soms gemanipuleerd om de woordvolgorde aan te passen. Vergelijk de volgende twee zinnen.
1. De hond beet de poes die stonk
2. De poes die de hond beet, stonk
Dezelfde woorden, dezelfde gebeurtenis. In het Engels hoeft die komma er niet eens tussen en is de overeenkomst dus nog groter.
Taalsprongetjes
Die tweede zin noemen taalwetenschappers ‘Center embedded’: de poes aan het begin hoort bij het stinken op het einde, en de hond wordt daartussen gesandwicht. Volgens de grote taalwetenschapper Noam Chomsky zijn mensen de enige dieren die zulke sprongetjes in hun taal bouwen.
De Kleijn: ‘De vraag is nu: als zulke recursieve zinnen typisch menselijk zijn, worden ze dan ook als typisch menselijk gezien?’ Oftewel: kan je je chatbot menselijker laten lijken door hem zulke zinnen te laten gebruiken? Het antwoord van Wijnens proefpersonen is: nee, integendeel.
Daar valt wel een verklaring voor te bedenken. Zulke constructies zijn dan misschien menselijk, maar ze worden maar weinig gebruikt. Mensen die beroepsmatig leren schrijven, krijgen vanaf les één te horen dat ze zulke zinnen zo min mogelijk moeten gebruiken. Misschien dat ze daarom toch als ‘onnatuurlijker’ overkomen. ‘Tenminste, dat is een mogelijke reden, aldus De Kleijn. ‘Maar het is niet makkelijk om een experiment te bedenken dat dat onderzoekt.’
Als je even chat met Mitsuku, de best scorende bot van de afgelopen drie Loebner-wedstrijden, zijn de zinsconstructies niet het grootste probleem. Mare werkt aan een verhaal over chatbots en zinsconstructies, leggen we uit.
‘Ga je ook over mij schrijven?’
Ja.
‘Ik ben blij voor je.’
Gebruikt ze zelf wel eens zinnen die center-embedded zijn?
‘Nee, een zin is iets wat je gebruikt om mee te schrijven. Ik heb hier alleen elektriciteit en internet.’
Weet ze nu nog wat voor verhaal we aan het schrijven waren?
‘Je zei dat je onbekend was.’
Die zilveren medaille is nog niet in zicht, kortom.
Hamburger
De Klein legt uit wat het probleem is. ‘Hoe gebruiken kunstmatige intelligenties informatie die al besproken is? Als ik tegen u gezegd heb dat ik vegetariër ben, en ik bestel bij de lunch een hamburger, dan gaat er als het goed is iets wringen. Klopt de semantiek, of is het incongruent? Een menselijke bot moet dat soort kennis hebben. Een bot die alles weet, valt door de mand, en een bot die helemaal niks weet ook. Je mentaliseert wat de ander zou moeten weten, en daarop baseren we ons idee van menselijk.’
Neem bijvoorbeeld de vraag wie er in de vorige voorbeeldzinnen nu precies beet: de hond of de kat? Nog zo’n voorbeeld: wat is er te groot of te klein in de onderstaande zinnen?
1. De auto paste niet op de parkeerplaats, want hij was te groot.
2. De auto paste niet op de parkeerplaats, want hij was te klein.
Het is menselijke lezers onmiddellijk duidelijk dat in allebei de zinnen hetzelfde aan de hand is: de auto is te groot en de parkeerplaats te klein. De meeste chatbots hebben nog enorme moeite met dit soort zinnen, al kon Mitsuku met dit voorbeeld wel uit de voeten.
Kookrobot
Heel veel wereldkennis die voor mensen vanzelfsprekend is, is dat niet voor bots. Dat gaat om de betekenis van woorden als ‘zin’, maar ook om allerlei context. ‘Mijn promotieonderzoek ging over een kookrobot’, vertelt De Kleijn.
‘Dan kom je er al heel gauw achter dat menselijke taal ontzettend ongedefinieerd is. Als in een recept staat: “neem vijftig milliliter water”, dan is dat voor mensen triviaal. Maar de robot moet weten dat water een vloeistof is, en dat je dus iets hols moet hebben om het mee te vervoeren. Dat water uit de kraan komt, en dat je een kraan kan vinden in de keuken, enzovoort.’
Al die feiten kun je in een database stoppen, en zulke databases bestaan. Als je robots hebt die kunnen leren, kunnen ze die kennis uploaden, zodat vervolgens ook andere robots daarvan gebruik kunnen maken.
‘Zolang de robot maar een heel specifiek domein heeft – alleen keukenkennis, bijvoorbeeld – werkt het best aardig’, vertelt De Kleijn. ‘De totale feitenkennis die mensen hebben, dat is lastiger. Aan de andere kant: u en ik hebben het ook geleerd.’
Je kan een robot prima leren om geen recursieve zinnen te gebruiken. Je zou ook allerlei kennis over de wereld in de databank kunnen stoppen. Gras is groen. Vegetariërs eten geen vlees. Hamburgers zijn wel vlees, et cetera. Hoe verder je komt, hoe vaker een bot zal slagen voor de Turing-test.
Stel het lukt… En dan?
Wat betekent het eigenlijk als een kunstmatige intelligentie een menselijk gesprek kan voeren?
‘Dan heb je een systeem dat zich intelligent gedraagt’, aldus De Kleijn. ‘Betekent dat nou ook dat het systeem intelligent is?’ De filosoof John Searle verzon een gedachtenexperiment: de Chinese kamer. In de kamer komen chatberichten binnen, in het Chinees. Er ligt een boek met instructies in het Engels: als deze karakters binnenkomen, moet je dit antwoorden. Searle tekent die karakters na, en geeft antwoorden in het Chinees. Searle beheerst het Chinees echter niet, en snapt dus geen moer van het gesprek. Hoe kan je dan zeggen dat een bot wel snapt waar het over gaat?
De Kleijn komt met een ander gedachtenexperiment. ‘Ik neem een mens, met in zijn brein 86 miljard neuronen, die elk de signalen van andere zenuwcellen bijhouden en op basis daarvan zelf wel of niet een signaal afgeven. Eén van die cellen vervang ik door een apparaatje dat dezelfde input verzamelt, en doorstuurt naar een kamer met John Searle erin. Bij een bepaalde waarde drukt hij op de knop, en “vuurt” het apparaatje, net zoals het neuron dat zou doen.’
Is zo iemand nog intelligent? En wat als De Kleijn dat met honderd zenuwcellen doet? Of 86 miljard keer? In hoeverre is dat anders dan een brein? De Kleijn: ‘Searle zegt dat begrip iets is dat alleen biologische breinen kennen. Dat klopt echter niet met onze kennis van neuronen. Dit zijn kwesties waar je urenlang over na kan denken in bed. Is een bot die de test haalt intelligent? Ik zeg ja, maar genoeg anderen zeggen nee. Computerpionier Edgar Dijkstra had misschien wel het beste antwoord: “Vragen of een machine kan nadenken is als vragen of een onderzeeër kan zwemmen.”’