Hoe krijg je een AI-bot zo ver om te denken dat het een blindedarmontsteking heeft óf niet snapt hoe programmeren werkt?

Maandag zitten twintig mensen in een zaaltje van het Pieter de la Courtgebouw in groepjes om computerschermen heen om over zulke vragen te discussiëren. Ze zijn vandaag naar het Living Lab gekomen voor de tweede bijeenkomst van PRAIA (Practical AI in Academia), een initiatief van onderzoekers, docenten en technici die willen ontdekken wat de meerwaarde is van kunstmatige intelligentie voor academisch onderwijs.

Medeoprichter Marc Cleiren, verbonden aan het Personal Development Centre van de faculteit Sociale Wetenschappen, noemt PRAIA ‘grassroots’: niet een top-down dictaat van de universiteit hoe AI gebruikt dient te worden, maar een ontdekking van de mogelijkheden van onderaf.

‘Spelen met AI’

Cleiren opent de bijeenkomst met het verhaal van Goethe over de tovenaarsleerling die met magie zijn werk makkelijker wil maken, maar daarbij per ongeluk de controle over zijn behekste bezem verliest. Aan het einde van de fabel komt de tovenaar zelf weer thuis, die de leerling waarschuwt dat bij het gebruiken van zo’n nieuwe spreuk hij eerst de meester moet raadplegen. ‘Maar’, vraagt Cleiren zich hardop af: ‘Zijn wij nu de meester of de leerling?’

Die vraag hoeft deze maandag niet beantwoord te worden. Het is vooral de bedoeling dat de aanwezigen, afkomstig van zo’n beetje alle faculteiten van de universiteit, ontdekken wat de mogelijkheden zijn. ‘Ervaring opdoen en spelen met AI’, aldus Cleiren.

Na de presentaties gaan de aanwezigen in groepjes zelf aan de slag om een AI-bot te ontwerpen die een nuttige toevoeging kan zijn op bestaand onderwijs. De organisatie heeft al een lijstje opgesteld met een aantal mogelijkheden: laat AI meeschrijven aan een syllabus, studenten helpen oefenen voor een tentamen of bereid een antwoordmodel voor.

Saaie voorstellen

ICT’er Julian van der Kraats, ook betrokken bij PRAIA, legt de aanwezigen nog kort uit hoe ze via online-platform Poe toegang hebben tot tientallen large language models, de technische naam voor AI’s die tekst genereren. Via Poe kunnen ze instructies opslaan en bijbehorende documenten uploaden waaruit de AI kan putten. Als iedereen vertrouwd lijkt met het systeem geeft Cleiren het startschot: moge de beste prompt winnen!

Een groepje probeert een hulpmiddel te maken waarmee studenten betere onderzoeksvragen kunnen bedenken. ‘Duizend pagina’s met saaie onderzoeksvoorstellen lezen is niet leuk’, zegt een van de leden van het groepje. ‘Als AI kan helpen om de student originelere voorstellen te doen, is het voor de docent ook leuker.’

'Domme student'

Een ander groepje wil dat AI zich voordoet als een ‘domme student’ die niet snapt hoe programmeren werkt. Informaticastudenten moeten dan zelf de rol van docent aannemen om de vragen van de ‘domme’ bot te beantwoorden.

Dat lijkt niet meteen te lukken. De AI vindt het moeilijk om zich dommer voor te doen dan hij eigenlijk is. Hij stelt zulke brede vragen dat de docent er eigenlijk geen antwoord op kan geven, of hij geeft bij de vraag al zo’n technische uitleg dat het antwoord er eigenlijk al staat. De academici buigen zich nogmaals over de prompt die ze gegeven hebben. Moet die aangepast worden om de bot minder te laten babbelen? Of zou een andere AI het misschien beter snappen?

Het winnende ontwerp van de middag komt uiteindelijk van het derde groepje, dat AI zich laat voordoen als virtuele patiënt, waarmee geneeskundestudenten kunnen oefenen. De gebruiker kan de bot vragen stellen over wat voor ‘klachten’ hij heeft en zo hopelijk tot een diagnose komen. En dat lukt, de medicus van het team stelt na een kort vraaggesprek correct een acute blindedarmontsteking vast.

Hoewel de bot die in één middag in elkaar is gezet alleen een ontstoken blindedarm kan simuleren, zou een AI-patiënt met meerdere mogelijke aandoeningen veel voordelen hebben. Op dit moment trainen geneeskundestudenten met door acteurs gespeelde simulatiepatiënten. En dat vergt tijd, geld, en veel voorbereiding. Een kant en klare AI die een aantal aandoeningen kan simuleren op elk moment van de dag zou zeker uitkomst bieden. De medicus is enthousiast: ‘Mag ik deze meteen gaan gebruiken?’

Ondanks de positieve sfeer van de middag is het gebruik van AI, in het onderwijs of daarbuiten, niet onomstreden. Critici wijzen erop dat het niet duidelijk is wat er met informatie gebeurt die je als gebruiker deelt met een AI, en dat de modellen getraind worden op auteursrechtelijk beschermde teksten die onrechtmatig verkregen zijn.

Zou je als universiteit wel moeten werken met zo’n hulpmiddel?

Auteursrecht

Cleiren: ‘We gebruiken voor deze oefeningen alleen bestanden die open source zijn, zonder auteursrecht, dingen die al openbaar beschikbaar zijn, en zeker geen persoonlijke informatie. Wat we ook niet willen is dat AI tentamens gaat beoordelen. De nieuwe AI act die pas is aangenomen door het Europees parlement klassificeert dat soort gebruik van AI als “hoog risico” en daar zijn we ons van bewust.’

Van der Kraats: ‘We werken als ISSC samen met SURF om te kijken hoe we deze technologie op een veilige manier aan gaan bieden, bijvoorbeeld door het model te draaien op onze eigen servers in plaats van die van het bedrijf OpenAI. Zodat we zeker weten waar de data staat en wat er mee gebeurt. En daar kunnen we dan honderd procent transparant over zijn naar onze eindgebruikers.

Hoop stroom

‘We gaan ook kijken of we een tool kunnen ontwikkelen waarmee je als gebruiker het juiste large language model kan kiezen. Daarin kunnen we ook informatie geven over hoe ethisch verantwoord bepaalde modellen zijn en hoe duurzaam ze zijn. Iets als ChatGPT verbruikt namelijk best een hoop stroom, en grotere modellen nóg meer: ChatGPT 4 verbruikt al elf keer meer stroom dan ChatGPT 3.5.’

Wel rest de vraag waarom je als student nog aan de universiteit zou gaan studeren als je onderwijs wordt verzorgd door een AI-bot waar je voor een tientje per maand ook zelf toegang toe hebt. Van der Kraats: ‘Het gaat om die academische vaardigheden die je leert aan de universiteit. En AI kan daar een hulpmiddel voor zijn.’

Cleiren: ‘Er zijn nu al AI’s die je heel goed helpen om te studeren voor bijvoorbeeld een staatsexamen. Maar waar wij mee bezig zijn is om met behulp van AI tijd vrij te maken voor echt lesgeven door mensen met praktijkkennis. Er moet altijd nog een mens bij betrokken zijn die samen met de student de output van de bot bekijkt. AI is niet een onafhankelijke docent.’