FAQ

Comparatief beoordelen is niet zinvol wanneer het gaat om heel gesloten en rechtlijnige taken. Denk aan gesloten vragen, invulvragen of multiple choice vragen. Comparatief beoordelen wordt interessant wanneer de competentie te complex is om in één of enkele aspecten goed te kunnen vatten. Denk aan, bijvoorbeeld, verschillende types schrijfopdrachten, reflectieverslagen, handelingsplannen, oplossingsstrategieën, stagefilmpjes, beeldende werken, presentaties, scripties of portfolio’s.

Bij een beperkt aantal producten is comparatief beoordelen minder efficiënt. Tot 10 of 12 producten is het perfect mogelijk om de producten handmatig te ordenen naargelang hun kwaliteit. Zodra er meer dan 12 producten zijn, wordt dit moeilijker en is het makkelijker ze één op één te vergelijken. Een maximum aantal producten is er niet.

Om de rangorde van producten met een goede zekerheid vast te kunnen stellen, zijn twee beoordelaars al voldoende. We weten echter dat beoordelaars sterk kunnen verschillen in wat ze waarderen in producten. Om te waarborgen dat alle aspecten van de competentie mee in rekening genomen wordt, is het beter met minimaal vier beoordelaars te werken.

Het aantal vergelijkingen per beoordelaar hangt af van verschillende factoren: het aantal producten, het aantal beoordelaars en hoe betrouwbaar je een assessment wil maken. Voor summatief assessment, waarbij de score een eindoordeel is over de competenties van studenten, is het goed te streven naar meer beoordelingen per product (richtlijn: 15 tot 20 beoordelingen per product). In een situatie met 20 producten en 5 beoordelaars, wil dit zeggen dat elk product 300 keer terug komt in een vergelijking (20 x 15). In totaal moeten er 150 vergelijkingen gemaakt worden om hiertoe te komen (300 : 2), want er zitten telkens twee producten in een vergelijking. Verdeeld over 5 beoordelaars, zijn dit 30 vergelijkingen per beoordelaar.

Voor formatieve doeleinden, maakt het aantal vergelijkingen per product minder veel uit. Hier hangt het wat van het doel van het assessment af. Wil je heel accuraat weten waar studenten zich op een rangorde bevinden om ze gericht feedback te kunnen geven, dan maak je best wat meer vergelijkingen. Wanneer je wil dat studenten leren van te vergelijken (peer assessment), dan kan je je het aantal vergelijkingen gewoon op de beoogde tijdsinvestering van studenten afstemmen.

Beoordelen is moeilijk, voor experts, maar zeker ook voor studenten. Comparatief beoordelen is voor studenten een gemakkelijke taak. Daarnaast krijgen ze veel voorbeelden van mindere en betere kwaliteit, waaruit ze heel wat kunnen leren. Samen met het geven en krijgen van feedback creëert comparatief beoordelen een boel leerkansen in een mum van tijd. En in de comparing-tool is zo’n peer assessment opgezet in een handomdraai!

In de comparing-tool is het uitgangspunt dat vergelijkingen willekeurig samengesteld worden. Slechts één element is niet willekeurig; elk product wordt immers even vaak vergeleken. Daardoor selecteert het algoritme voor een nieuw paar telkens het product dat het minst vergeleken werd.

Bij sommige toepassingen (bijvoorbeeld een peer assessment), willen gebruikers dat iedere beoordelaar alle producten heeft gezien. Het equal views algoritme zorgt ervoor dat elke beoordelaar elk product in minstens één paar heeft gezien.

Het uitgangspunt van comparatief beoordelen is dat je holistisch de beoordelingen maakt. Er worden dus geen rubrics of criteria gescoord. Dit zit niet in de comparing-tool. Hoe zorg je er dan voor dat beoordelaars naar de juiste dingen kijken? Geef hen zeker de taakdoelen/competentie mee. Rubrics en criteria zijn naar studenten toe vooral zinvol om feedback te structureren. Je kan in de comparing-tool dus beoordelaars vragen hun feedback volgens jouw rubrics of criteria te structureren.

Dat bepaal je als leraar of docent helemaal zelf. Je kan uiteraard de rangorde terugkoppelen, de score waartoe deze rangorde heeft geleid (als je die hebt berekend), en de feedback van alle beoordelaars. Maar of en wanneer je dit doet, kan je instellen in de comparing-tool. Daarnaast kan je ervoor kiezen dat leerlingen producten kunnen inkijken (met bijhorende feedback) die als beter of minder goed ingeschat werden dan hun eigen product.