Automatische beoordelaars zijn tools waarmee docenten automatisch code van studenten kunnen beoordelen en/of daar feedback op kunnen geven. Deze tools kunnen zo worden ingesteld dat ze uitgebreide en onmiddellijke feedback geven, waardoor studenten worden gestimuleerd om snel en efficiënt te leren. Automatische beoordelaars worden veel gebruikt bij opleidingen voor computerwetenschappen en engineering, evenals opleidingen voor statistiek en datawetenschappen. Ze kunnen echter ook gebruikt worden voor onderwerpen die niet gerelateerd zijn aan computerwetenschappen.
Het gebruik van een automatische beoordelaar bespaart tijd, voornamelijk bij grote klassen, en voorziet studenten idealiter van feedback in realtime in hun bestaande workflows, zodat ze zich kunnen voorbereiden op de volgende stappen in hun leertraject.
Het woord “automatisch” klinkt misschien alsof personalisering wordt weggehaald, wat nou juist de kern is van leren en van de communicatie tussen docent en student. Omdat automatische beoordelaars configuratie en aanpassing vereisen, kunnen ze worden gebruikt als een tool voor “debugging” of, met de juiste aanvullingen, om de integriteit van beoordelingen te behouden, compleet met feedbackloops. Hoewel een minimale binaire (goed/fout) automatische beoordelaar voor feedback handig kan zijn voor summatieve beoordeling, zoals eindexamens waarbij de studenten de toets niet in zijn geheel mogen zien en geen directe hints mogen krijgen over hoe ze problemen moeten oplossen, ontmoedigt dit type automatische beoordelaar het leren, voornamelijk in minder belangrijke opdrachten zoals laboratorium- of huiswerkopdrachten. In deze situaties kunnen studenten die niet over de informatie beschikken die nodig is voor de volgende stappen in het leertraject op goed geluk wijzigingen indienen, net zolang totdat de opdracht wordt goedgekeurd.
Maar wanneer er bij automatische beoordelingen ook feedback wordt gegeven, kunnen automatische beoordelaars gepersonaliseerd leren behouden en betrokkenheid van studenten verhogen. Het voordeel van onmiddellijke feedback is dat studenten op een intelligente manier aan code kunnen sleutelen en verbeteringen kunnen indienen vóór de inleverdatum van de opdracht, zonder afhankelijk te zijn op de constante betrokkenheid van de docent. Zo kunnen docenten zelfsturend leren bevorderen. Daarnaast kan een automatische beoordelaar met feedback het leren in eigen tempo ondersteunen.
Gepersonaliseerd leren draait om het aanpassen van de leerervaring voor elke student op basis van zijn/haar unieke vaardigheden en capaciteiten en andere contextuele factoren. Kortom, het is een manier om pedagogie van hoog niveau toe te passen in de interactie tussen student en docent.
Volgens een onderzoeksenquête van Education Week uit 2018 zien 1 op de 3 onderwijzers gepersonaliseerd leren als “een transformationele manier om het openbare onderwijs te verbeteren”. En 57% van de onderwijzers vindt dat digitale technologie een effectieve tool is die personalisering kan aanvullen.
In een daaropvolgende enquête van Education Week uit 2019 gaf 46% van de docenten aan optimistisch te zijn over gepersonaliseerd leren. 91% van de ondervraagden gaf aan op zijn minst enigszins overtuigd te zijn dat digitale tools het leertraject van studenten effectief kan personaliseren (p. 4). Gepersonaliseerd leren is een geaccepteerde pedagogische benadering om het leren van studenten te ondersteunen.
Door gepersonaliseerd leren in te voeren kunnen onderwijzers elke student ondersteunen in zijn/haar leertraject. Zo kan het verkleinen van de kloof tussen beter en slechter presterende studenten zorgen voor een populatie met meer gekwalificeerde, diverse studenten die vervolgens carrières in software-engineering opbouwen (Aravind & Balasangameshwara, 2019).
Wat zijn de uitdagingen van het invoeren van gepersonaliseerd leren met automatische beoordelaars?Het leren van softwareprogrammering aan studenten brengt unieke uitdagingen met zich mee op het gebied van beoordeling en feedback geven
- Het geven van doordachte, praktische feedback kan veel tijd kosten. Scott Smith, hoogleraar computerwetenschappen aan de Johns Hopkins-universiteit, zegt: “In vakken over programmeren geven we studenten vaak projecten waarbij ze programma's moeten schrijven om problemen op te lossen. Als docenten dit soort opdrachten beoordelen, moeten ze niet alleen de resultaten van het programma bekijken, maar ook de werkwijze van de student. Als de resultaten niet correct zijn of als het programma niet werkt, moeten we tijd besteden om honderden coderegels te controleren om het programma te debuggen en om doordachte feedback te geven.”
- Een binair systeem van goed/fout stimuleert het leren niet. Zonder doordachte feedback biedt een automatische beoordelaar, die bedoeld is om het leren te ondersteunen, niet de volgende stappen voor studenten. Studenten brengen mogelijk willekeurige wijzigingen aan en missen leermogelijkheden. Kevin Lin, Assistant Teaching Professor aan de universiteit van Washington zegt: “De resulterende ontwikkelingscyclus gestuurd door automatische beoordelaars doet zich voor als studenten op schijnbaar willekeurige wijze kleine aanpassingen in hun code aanbrengen, code aan de automatische beoordelaar voorleggen, en dit herhalen totdat hun programma alle gegeven tests doorstaat.”
- Een te grote afhankelijkheid van automatische beoordelaars kan het zelfgestuurd leren tegengaan. Hoewel automatische beoordelaars nuttig zijn bij het ondersteunen van beoordelingen, voornamelijk in grote klassen, kunnen automatische beoordelaars die slecht ontworpen zijn ervoor zorgen dat studenten meer tijd besteden aan het leren van de nuances van de automatische beoordelaar dan aan het leren van concepten. Volgens onderzoekers “gebruiken studenten automatische beoordelaars [mogelijk] in plaats van hun eigen zorgvuldige reflectie.” (Baniassad, Zamprogno, Hall, & Holmes, 2021).
Automatische beoordelaars zijn zonder twijfel nuttig voor de ondersteuning van beoordelingen op grote schaal in de computerwetenschappen. In combinatie met zinvolle en gepersonaliseerde feedback kunnen automatische beoordelaars een belangrijk onderdeel zijn van gepersonaliseerd leren op schaal.
Onderzoek erkent het wijdverbreide gebruik van automatische beoordelaars in vakken van computerwetenschappen om pragmatische redenen. Uit een onderzoek bleek dat wanneer er doordachte feedback wordt gegeven, de inzendingen van studenten met 96% verbeteren (Haldeman, et al., 2018). In een vervolgonderzoek verzamelde dezelfde onderzoeksgroep gegevens over vakken van twee semesters computerwetenschappen. In één semester werden er bij twee opdrachten hints en feedback gegeven. In het andere semester werden niet zulke handvatten gegeven. “De resultaten”, zeggen ze, “laten zien dat het percentage studenten dat de opdrachten succesvol heeft afgerond na een eerste onjuiste inzending drie keer hoger is” wanneer de studenten hints en feedback kregen (Haldeman, et al., 2021).
Suggesties om het leren met automatische beoordelaars te bevorderen zijn onder andere:- Het gebruik van tools zoals Gradescope om automatische beoordelaars te gebruiken (ongeacht de grootte van de klas) in combinatie met rubrieken en feedbackfuncties bespaart tijd bij het geven van cijfers, volgens docenten. Met Gradescope kunnen docenten een automatische beoordelaar maken die is ontworpen om een enkele inzending te beoordelen. Gradescope regelt de rest, en docenten hoeven zich geen zorgen te maken over een ontwerp dat alle inzendingen beheert. Snelle feedback stelt studenten vervolgens in staat om resultaten in hun workflow te ontvangen en de volgende stappen in hun leertraject te zetten.
- Het versnellen van feedbackloops verbetert de leerresultaten van studenten. Met Gradescope controleert de door de docent vooraf geüploade automatische beoordelaar voor code de ingezonden code van de student, slechts een paar seconden na de inzending. Hierdoor krijgen studenten in real time feedback over wat er mis is met hun code, zodat ze die meteen kunnen aanpassen. In een casestudy maakte Jillian Cannons, Assistant Professor Wiskunde en statistiek aan de Cal Poly Pomona-universiteit, gebruik van Gradescope om bijna onmiddellijke feedback te centraliseren. Dit moedigde studenten aan om de opdracht te bewerken totdat ze het juiste antwoord hadden. “Professor Cannons zag dat studenten meer verantwoordelijkheid namen over hun werk en over hun leertraject. In plaats van genoegen te nemen met een 7, pasten ze herhaaldelijk hun opdrachten aan totdat ze een 10 kregen. Deze zelfmotivatie leidde tot een betere beheersing van de concepten, en heeft een passie voor computerprogrammering aangewakkerd die er eerder niet was.”
- Ontwerp een automatische beoordelaar die niet slechts de code van studenten beoordeelt, maar ook de tests van studenten om er zeker van te zijn dat ze echt aan test-gestuurde ontwikkeling doen. Dit stimuleert studenten om goed na te denken over hoe ze hun code moeten testen, en om niet slechts te vertrouwen op de tests van anderen. Een goed ontworpen automatische beoordelaar met snelheidsbeperking en selectieve output in combinatie met goed ontworpen examens maakt het ook moeilijker voor studenten om enkel op een automatische beoordelaar te vertrouwen. In plaats daarvan gaan studenten zorgvuldiger te werk aan hun inzendingen.
- Het gebruik van tools zoals Gradescope om zowel automatische als handmatige beoordelingen toe te passen op dezelfde opdracht kan docenten helpen om studenten te voorzien van inline-opmerkingen en feedback. “Nadat ik te horen kreeg dat ik het volgende semester geen onderwijsassistenten zou hebben bij mijn vak Principles of Programming Languages, was ik gemotiveerd om een van de functies van Gradescope te gebruiken, het platform voor het automatisch beoordelen van programmeeropdrachten. Automatisch cijfers en feedback kunnen geven voor de ingezonden code van studenten is al lang een droom van docenten die lesgeven in programmeren. De docent stelt een beoordelingsschema op dat de basis vormt voor de analyse, en geeft cijfers voor en feedback op problemen die worden gevonden in de ingezonden programma's van studenten. De automatische beoordelaar was in dit geval echt de beste functie”, volgens Scott Smith.
- Het aanbieden van frequente beoordelingen verhoogt de transparantie en geeft de student handvatten om verder te leren. Door inzicht te krijgen in wat studenten wel of niet weten kunnen docenten gepersonaliseerde interventies uitvoeren. Door automatische beoordelaars besparen docenten tijd. Hierdoor kunnen studenten vaker coderen. Hoogleraar Debra Duke van de Virginia Commonwealth University gebruikt Gradescope “om tijd te besparen en delen van het beoordelings- en feedbackproces te automatiseren. Hierdoor kan Duke meer projecten opgeven en meer zinvolle, individuele feedback geven. Haar studenten krijgen nu 50 procent meer tijd om te oefenen met coderen dan voorheen.”
- Door de studenten binnen de automatische beoordelaar te wijzen op leermogelijkheden worden zij concreet begeleid. Anya E. Vostinar, Assistant Professor bij Computerwetenschappen aan het Carleton College, deelde met de automatische beoordelaar van Gradescope haar eigen tips die zulke leermogelijkheden bevorderen.
Gradescope transformeert beoordelen in leren, en maakt naast automatisch beoordelen op grote schaal ook gepersonaliseerd leren mogelijk. Het resultaat? Onderwijzers hebben tijd om les te geven.
Ga aan de slag met onze documentatie over automatische beoordeling. Of neem een kijkje op Gradescope's pagina over communautaire middelen, waar docenten hun automatische beoordelaars met elkaar delen.