DOOR ISOLDE BUYSSE. De KU Leuven experimenteert met een nieuwe scoringstechniek voor multiple choice-examens. De klassieke giscorrectie is out en de partiële scoring is in. We zullen de vlijtige student die niet durft te gokken niet langer discrimineren. Helaas, de perfecte evaluatiemethode bestaat echter niet. Er valt altijd wel iemand uit de boot. Daarom doe ik vandaag een warme oproep: “Gemengde examenvormen houden student en docent allebei content.”

Isolde Buysse

“Nieuw aan KU Leuven: punten, ook al weet je het antwoord niet”, zo kopte Het Nieuwsblad op zaterdag 15 april 2015. Een titel die duidelijk tot de verbeelding spreekt, niet in het minst bij Leuvense studenten die hopen om ‘op goed geluk’ een extra puntje mee te pikken. In navolging van de Gentse collega’s neemt ook onze universiteit deel aan de wedloop om het multiple choice-examen opnieuw uit te vinden. Wat is het huidige format? Waarom voldoet dit niet langer? Welke alternatieven zijn er beschikbaar? Waarom is de zoektocht naar de ideale evaluatiemethode onzinnig? Een kleine analyse door de ogen van een docent.

Giscorrectie schiet zijn doel voorbij

De term ‘giscorrectie’ gonst tijdens de examenperiode in de wandelgangen en de studenten spreken over dit fenomeen alsof het een voorbode van naderend onheil zou zijn. Maar wat houdt deze term nu precies in? De giscorrectie is een scoringstechniek die het eindresultaat op een test corrigeert voor het gokgedrag van studenten. Bij een fout antwoord wordt 1/(aantal antwoordopties-1) punt afgetrokken. Bij een opgave met vier antwoordopties zal de student bij een fout antwoord 1/3 van een punt verliezen. Een goed antwoord is 1 punt waard. Het antwoord op de vraag niet invullen, ‘blanco laten’, is een nuloperatie.

Ik heb studenten de giscorrectie weleens oneerlijk horen noemen. Het zou namelijk niet zozeer het kennisgehalte van de leerstof meten, maar wel het lef van de student en dat boezemt hen heel wat angst in. Durf je wel of niet te gokken? Onderzoek aan de universiteit Gent leert ons dat er weleens een kern van waarheid in deze bewering kan schuilen. Studenten die goed hebben gestudeerd zijn blijkbaar minder geneigd om te gokken dan hun collega’s die de stof minder goed onder de knie hebben. Met name meisjes die goed hebben geblokt zouden hierdoor worden benadeeld. Studenten betreden het examenlokaal met ongelijke kansen. Het lijkt er dus op dat de huidige maatregel zijn doel voorbij schiet.

Aan alternatieven geen gebrek

Een negatief antwoord bestraffen, het lijkt niet meer opportuun in het licht van deze bevindingen. We, de universitaire gemeenschap, gaan bijgevolg met z’n allen op zoek naar een nieuwe evaluatietechniek om de multiple choice-examens op een kwaliteitsvolle manier te scoren. Er is alvast geen gebrek aan alternatieven, maar het lijkt moeilijk om dé perfecte techniek te selecteren want iedere optie heeft duidelijke voor- en nadelen.

Een eerste mogelijkheid is het afschaffen van elke vorm van giscorrectie. Studenten die correct antwoorden krijgen een punt, zij die foutief of blanco antwoorden krijgen geen punt. Simpel en duidelijk. Helaas werkt deze mogelijkheid het gokken in de hand, wat een oneerlijk voordeel voor de ‘minder goede’ student kan inhouden.

Een tweede optie is het gebruik van de standard setting of ‘hogere cesuur’. Studenten worden niet langer bestraft bij het willekeurig kiezen. De punten liggen echter niet zomaar voor het rapen. De slaaggrens, ook wel cesuur genoemd, wordt hoger gelegd om te compenseren voor vragen die juist worden beantwoord door te gokken. In de praktijk zal je als student dus meer dan de helft van de vragen correct moeten beantwoorden om te slagen. Deze techniek is dit academiejaar de standaard geworden bij Universiteit Gent.

Onze universiteit kiest resoluut voor een derde mogelijkheid: de partiële scoring. Of wat ik zelf ook wel ‘de positieve giscorrectie’ durf te noemen. Studenten worden via deze techniek aangemoedigd om te gokken zodra ze een foutief antwoord kunnen uitsluiten. Wie een aantal foute antwoorden kan elimineren wordt vervolgens beloond met een corresponderend aandeel van de punten. Deze nieuwe vorm bevindt zich momenteel nog in een testfase maar wordt alvast positief onthaald door de betrokken studenten. Twee jaar lang zal men deze techniek uittesten aan verschillende faculteiten. Een positieve evaluatie zou vervolgens resulteren in een nieuwe standaard scoringstechniek voor multiple choice-examens aan de gehele KU Leuven.

Kwaliteitsgarantie?

Een nieuwe scoringstechniek, zoals de partiële scoring, vergt een aanpassing van de studenten, maar stelt ook professoren en docenten voor nieuwe uitdagingen. Het bewaken van de kwaliteit van onderwijs, examens, en evaluatiemethoden behoort immers tot de kerntaken van onze job. Een goed examen dient aan twee voorname kwaliteitsvereisten te voldoen. Het examen moet betrouwbaar zijn en het examen moet validiteit bezitten.

Een betrouwbaar examen zal per definitie gelijke prestaties steeds gelijk beoordelen en dit onafhankelijk van de beoordelaar. De betrouwbaarheid staat of valt vaak met de vraagstelling op het examen. Uiteraard stellen we onze vragen met veel zorg samen, maar ook wij kunnen weleens de mist ingaan. Het huidige multiple choice-systeem laat ons toe om met, vrij eenvoudige, statistische parameters na te gaan of het examen ook wel echt zo duidelijk is als we zelf denken. Vragen waar het overgrote deel van onze goede studenten het correcte antwoord op schuldig blijft, hebben statistisch gesproken een grotere kans om onduidelijk geformuleerd te zijn. De docent kan bijgevolg deze vraag schrappen uit het examen als het de meerderheid van de studenten ten goede komt. Het wordt echter heel wat moeilijker voor de docent om deze kwaliteitscontrole uit te voeren als hij niet langer met zekerheid kan uitmaken of studenten voor het juiste antwoord hebben gekozen op het examenformulier.

Een valide examen gaat na of een toets wel degelijk de vooropgestelde leerdoelen meet. Wat moet de student kennen en kunnen? Meten onze vragen die specifieke kennis of vaardigheden wel? Deze oefening is een zeer belangrijke kwaliteitstoets en wordt danig bemoeilijkt indien studenten de mogelijkheid krijgen om tussen meerderen antwoorden te twijfelen. Binnen het kader van de partiële scoring moeten we bijgevolg nadenken of het wenselijk of zelfs noodzakelijk is om een andere score toe te kennen aan ‘niet zo foute’ antwoordmogelijkheden en aan ‘erg foute’ antwoordmogelijkheden. Een kleine illustratie. Ik ben docent en wil de volgende vraag stellen op het examen. “Welk voorwerp gebruikt men gewoonlijk om soep te eten?” De antwoordmogelijkheden zijn de volgende: vork, lepel, mes, of baksteen. Een student elimineert de vork en de baksteen. Deze student twijfelt tussen de twee overgebleven opties, maar heeft duidelijk notie van het concept bestek. We zouden dus kunnen stellen dat het overgebleven foutieve antwoord, mes, ‘niet zo fout’ is. De student twijfelt maar kan het antwoord alvast in de juiste categorie, namelijk bestek, plaatsen. Een baksteen behoort helemaal niet tot de categorie bestek en zou bijgevolg een ‘erg fout’ antwoord kunnen zijn. Het is niet ondenkbaar dat zulke problematieken de docent voor een moreel dilemma plaatsen.

The bigger picture: discriminatie versus integratie

De weg naar een nieuwe scoringstechniek is nog lang en ze is duidelijk bezaaid met heel wat uitdagingen als we studenten én docenten tevreden willen stellen. Is het dan misschien beter om alle complexe scoringstechnieken gewoon achterwege te laten? Uiteraard niet. Ik voer helemaal geen betoog om het kind gelijk met het badwater weg te gooien.

De perfecte evaluatiemethode bestaat niet. Er valt altijd wel iemand uit de boot. Daarom pleit ik voor een combinatie van verschillende vraagvormen en evaluatietechnieken.

Ik ben echter wel van mening dat we ons niet mogen blindstaren op een futiele discussie als de zoektocht naar de ideale scoringstechniek of evaluatiemethode en tegelijkertijd de onderliggende problematiek uit het oog verliezen.

Men is over universiteitsgrenzen heen op zoek te zijn naar een nieuwe invulling voor de scoringstechniek bij multiple choice-examens omdat de huidige variant bepaalde groepen studenten discrimineert. Een probleem dat, helaas, niet zal worden verholpen door het installeren van een ‘nieuwe’ giscorrectie. De perfecte evaluatiemethode bestaat immers niet. De kans is aanzienlijk dat men ongewild andere groepen studenten zal discrimineren. Een examen bestaande uit essayvragen hindert de student met dyslexie. Een mondeling examen is de hel voor wie last heeft van plankenkoorts. Bepaalde methoden zullen steeds bepaalde studenten benadelen.

Laat ons echter niet vergeten wat de kern van de zaak is. Studenten stappen het examenlokaal binnen met ongelijke kansen. Gelijke onderwijskansen creëren stopt niet aan het eind van het laatste college. Ik pleit bijgevolg voor een examen waarbij het combineren van verschillende vraagvormen en evaluatietechnieken een brug slaat tussen de verschillende ‘discriminerende’ methoden. Een kwaliteitsvol examen voor de grootste gemene deler binnen de studentenpopulatie. Integratie in plaats van discriminatie, student en docent allebei content.