Hoe AI het werk van docenten radicaal veranderde: ‘Analytisch nadenken lukt studenten niet meer’

De verbijstering is nog altijd van het gezicht van Bahareh Adbi (faculteit Elektrotechniek, Wiskunde en Informatica, EWI) af te lezen, terwijl ze op de AI-capriolen van haar bachelorstudenten elektrotechniek reflecteert.

Tijdens een tweedejaars projectvak begon het de universitair hoofddocent te dagen. “ChatGPT was net uitgebracht – volgens mij had ik zelf nog niet eens een account – en van de één op de andere dag waren de helft van rapporten heel netjes geschreven.” Grappend: “Ik kon ze opeens lezen zonder pijn te lijden.”

Op zich fijn, zou je zeggen, maar Abdi en haar collega’s raakten al snel in een onwerkbare situatie verzeild. Je kan het zo gek niet bedenken; studenten gebruiken AI-taalmodellen voor werkelijk alles.

“Als iemand nu op AI-gebruik wijs, krijg ik soms een door AI gegenereerde repliek tegengeworpen. Op zo’n moment praat ik rechtstreeks met ChatGPT, zonder dat de student zelf nadenkt.”

AI-afhankelijkheid is enorm

Veel docenten werden overrompeld door de razendsnelle opkomst van ChatGPT en consorten. Menig middelbare scholier laat generatieve AI inmiddels zijn huiswerk doen, menig student trekt dat door naar zijn studententijd.

Zo ook op de TU Delft, bleek uit een enquête van Teaching Academy-initiatief SPICE: bijna de helft van de EWI-respondenten gaf toe aan een vorm van AI-afhankelijkheid te lijden, bij Mechanical Engineering (ME) en Techniek, Bestuur en Management (TBM) was dat zelfs respectievelijk 80 en 85 procent. Een aantal AI-adepten die Delta onlangs interviewde, schetsten eenzelfde beeld.

Dat zet universitaire docenten voor het blok. Boven op hun reguliere, voldoende tijdrovende onderzoek- en nakijkwerk is een nieuwe worsteling gekomen. Constant controleren ze studenten op chatbotgebruik, wijzen ze hen op de voors en tegens, en bedenken ze nieuwe, AI-proof toetsmethoden. Hoe houden TU-onderwijzers stand in deze nieuwe realiteit?

Beter leesbare resultaten

“Veel van onze studenten hebben moeite met schrijven”, stelt bouwkundedocent Jurjen Zeinstra droogjes vast. In eerste instantie voerde enthousiasme over AI bij hem dan ook de boventoon. Studenten die onder zijn toezicht een opstel schrijven, leveren sinds de intrede van ChatGPT veel beter leesbare resultaten af.

‘Schrijven is natuurlijk altijd ook een vorm van denken’

“Fijn, want hoewel schrijfvaardigheid belangrijk is, vind ik het niet mijn taak om studenten constant op taal te verbeteren. Zelf vond ik AI ook meteen al interessant. Met twee PhD’ers heb ik een vak opgezet, waarin we experimenteerden met het ‘aan elkaar plakken’ van twee plattegronden met AI.” De modellen bleken daar toen nog niet helemaal toe in staat, maar dat is slechts een kwestie van tijd, denkt Zeinstra.

Toch werden de nadelen van wijdverspreid AI-gebruik hem ook al snel duidelijk. Zijn grootste grief: “Schrijven is natuurlijk altijd ook een vorm van denken. Je probeert iets onder woorden te brengen, en dan sleutel je aan de tekst om het langzaam beter te maken.” Dat denkproces valt nu vaak weg, stelt Zeinstra, omdat het makkelijker is om op AI terug te vallen.

Beter schrijven, minder nadenken

Het raakt aan een fundamentele kwestie, die op alle faculteiten lijkt te spelen: het kritisch denkvermogen van studenten holt achteruit. Ook docent elektrotechniek Adbi signaleert die ontwikkeling, vertelt ze in een kantoor in het lagere aanhangsel van het EWI-gebouw. Abdi is onderdeel van het onderwijsteam van de bachelor elektrotechniek, en doet haar verhaal met collega’s Seyedmahdi Izadkhast en Ilke Ercan aan haar zijde.

‘Hun’ jonge elektro-ingenieurs in spe waren er vroeg bij, gezien de plotsklaps prettig te lezen teksten. Maar de echte aardverschuiving zag Abdi pas het daaropvolgende collegejaar, toen ChatGPT ook programmeertaal Python in de vingers begon te krijgen.

‘Opeens huilde niemand meer’

“In het eerste kwartaal van het eerste jaar moeten onze studenten de basis van Python leren. Sommige opdrachten zijn zo moeilijk, dat er studenten zijn die in huilen uitbarsten.” Maar toen kwam ChatGPT. “Opeens huilde niemand meer, stelde niemand meer vragen, leverde iedereen braafjes alle opdrachten in, en waren de resultaten uitstekend.”

“Tot ze zonder AI een programmeertentamen moesten maken”, vult collega en universitair hoofddocent Ercan aan. “De cijfers waren dramatisch. Er ontstond een tweedeling: formatieve opdrachten gingen uitstekend, maar in het klaslokaal en tijdens de tentamens kelderden de prestaties.”

Programmeerkunsten gestut op drijfzand

Gevolg: de programmeerkunsten van de eerstejaars studenten zijn gestut op drijfzand. Abdi: “Ze coderen wel, en voeren de taak uit, maar daar blijft het bij. Kritisch zijn op hetgeen ChatGPT ze voorschotelt, lukt niet. Analytisch nadenken, een belangrijk deel van wat we ze hier proberen te leren, lukt niet.”

Toen dat besef indaalde, ging de afdeling elektrotechniek op standje alle hens aan dek. Dat AI niet te verbieden is, was duidelijk. En dus moesten de les- en toetsmethoden op de schop, om te voorkomen dat studenten fluitend door de bachelor heen wandelen.

Comprehensive, crucial, en enhancing

Eén methode: geschreven stukken controleren op typische AI-taal. Ercan wijst op een onderzoek van drie collega’s van Mechanical Engineering, in 2023 verschenen in vakblad Informatics, waarin ze samenvattingen van masterscripties onder de loep namen. Wat bleek: sinds de lancering van ChatGPT vielen woorden als comprehensive, crucial, en enhancing veel vaker, terwijl het gebruik van standaardtermen als using en the constant bleef.

“Sindsdien adviseren we docenten extra te letten op dit soort termen”, aldus elektrotechniek-hoofddocent Izadkhast. Bestaan er vermoedens van AI-gebruik, dan krijgen studenten een mondeling examen voor de kiezen. “Met vragen die wat dieper op de materie ingaan, controleren we dan of ze de gegeven antwoorden écht begrijpen.”

Schrijfopdrachten niet meer mee naar huis

Ook TBM-onderwijsadviseur Ofke Teekens probeert de AI-revolutie op zijn faculteit in goede banen te leiden. “Waarschijnlijk wordt op geen enkele plek op de campus meer geschreven dan bij ons. Dus we wisten meteen: hier moeten we iets mee.”

‘Docenten zijn vrij om te bepalen hoeveel AI-gebruik ze toestaan, binnen de regels van de examencommissie’

Al voordat de meeste studenten ChatGPT ontdekten, ging hij met zijn drie collega-onderwijsadviseurs op zoek naar manieren om chatbotfraude in de kiem te smoren. Relatief succesvol, stelt Teekens. “We proberen niet alleen naar het eindresultaat te kijken, maar ook tijdens opdrachten een vinger aan de pols te houden, door studenten te spreken over hun werk.”

Harde, faculteitsbrede regels over AI in onderwijs zijn er niet. “Docenten zijn vrij om te bepalen hoeveel AI-gebruik ze toestaan, binnen de regels van de examencommissie, die plagiaat expliciet verbieden. Maar wel met hulp en sturing vanuit ons en vanuit teaching support.” Zo moeten studenten in een verslag meestal vermelden waarvoor ze AI hebben gebruikt, en hoe. En: sommige schrijfopdrachten gaan niet meer mee naar huis, maar vinden onder toezicht in een toetsruimte plaats.

Kaartje naar oma

Kanttekening van onderwijsadviseur Teekens: veel studenten zien zelf ook wel in dat overmatig leunen op chatbots geen goed idee is. “Het zijn immers slimme mensen.” En lang niet alle vakken vergen zulke aanpassingen, benadrukt hij. “Als er alleen met een tentamen getoetst wordt, dan zal je de stof gewoon moeten kennen, met of zonder AI.”

‘Een AI-verbod is zinloos en onwenselijk. Alsof je dertig jaar geleden Google had verboden’

Overigens acht Teekens het volledig verbieden van AI een heilloze weg, omdat handhaving bijna onmogelijk is.

Bouwkundedocent Zeinstra gaat een stapje verder. “Een AI-verbod is zinloos en onwenselijk. Alsof je dertig jaar geleden Google had verboden.” Ook plaatst hij vraagtekens bij het schrijven van een opstel in de tentamenzaal, een praktijk waar ook masterstudenten architecture sinds kort aan moeten geloven. “Je dwingt studenten dan iets te doen wat ze normaal nooit doen, behalve als ze een kaartje naar hun oma sturen.”

Bovendien is er een groot juridisch schemergebied rondom AI-fraude, waar docenten én examencommissies in moeten opereren. Ja, sommige gevallen zijn klip-en-klaar – denk aan de UvA-student die per abuis de zin ‘thought for 4 seconds’ in haar verslag plakte. Maar bewijs maar eens dat een verdacht wollige en nette zin door AI geschreven is.

Elektrotechniekdocent Abdi: “Een collega probeerde dat een keer bij de examencommissie, en is toen flink in de problemen gekomen. Sommige studenten gaan hard tegen dit soort beschuldigingen in.” Ercan vult aan: “Reden voor mij om niet te straffen met lage cijfers, maar met extra werk. Dan vraag ik: kun je dit opnieuw opschrijven, maar dan in je eigen woorden, zonder AI?”

Klimaat en Big Tech

En dan zijn er de ethische haken en ogen van generatieve AI, waar wat onderwijsadviseur Teekens betreft meer aandacht voor moet komen. “Er gaan binnen de TU Delft ook stemmen op die zeggen: ‘omarm het gewoon, en geef iedereen een betaalde licentie.’” Voordeel daarvan, zegt de onderwijsadviseur, is dat je studenten verheft die zich geen betaalde versie kunnen veroorloven. “Maar dan ga je voorbij aan de gevolgen voor het klimaat, en de afhankelijkheid van Big Tech die AI creëert.”

‘Geven wij via AI mijn gegevens aan het Amerikaanse ministerie van Defensie?’

Ercan: “We maken ons elke dag zorgen. Om het onderwijs, maar nog veel meer om de maatschappelijke consequenties van AI. Geven wij via AI mijn gegevens aan het Amerikaanse ministerie van Defensie? Helpt AI onze studenten hun zelfmoord te plannen?”

Ook het hete hangijzer, de slinkende cognitieve vaardigheden van TU-studenten, is geenszins afgedaan. Teekens ziet wel dat docenten op zijn faculteit inmiddels redelijk wennen aan de nieuwe werkelijkheid. Maar over de hamvraag – AI indammen of juist volledig omarmen – is het laatste woord nog niet gezegd, denkt hij.

‘Misschien is een goede ingenieur in de toekomst wel vooral goed in prompts schrijven’ Abdi en haar collega’s bevinden zich nog niet in rustig vaarwater. “De ontwikkelingen zijn bijna onmogelijk bij te benen. Onze studenten zijn nu bijvoorbeeld veelal op Claude overgestapt, wat het nog moeilijker maakt om AI-gegenereerd werk te spotten. Maar we zullen ons hoe dan ook aanpassen. Misschien is een goede ingenieur in de toekomst wel vooral goed in prompts schrijven.”

Hulp nodig van universiteitsbestuur

Volgens EWI-collega Ercan is hulp van de hoogste universiteitsbestuurders nodig. “We moeten veel zelf doen en zelf uitvogelen. Docenten van verschillende faculteiten vinden best wel wat steun bij elkaar, maar campusbrede begeleiding of sturing is er nauwelijks. Sterker: door de bezuinigingen verliezen we juist broodnodige mankracht.”

Een lichtpuntje, weet Abdi: er is een AI-beleidsdocument in de maak. Rijkelijk laat, maar het zou evenwel “fijn zijn om te kunnen leunen op algemene richtlijnen, in plaats van alles zelf uit te moeten vogelen,” vindt ze. Wat er precies in het document staat, en of dat van waarde is voor Abdi en haar collega’s, is nog niet bekend.