Complexe beroepsproducten ‘live’ beoordelen in Avans Hogeschool

Marion Tillema (Avans Hogeschool, opleidingscoördinator Communication & Multimedia Design & onderzoeker lectoraat Brein & Leren)

 

Hoe beoordeel je de kwaliteit van een interactieve installatie voor een theaterfestival? Van een kunstzinnige infomercial voor een culturele instelling? Van een website voor een grote Nederlandse omroep? Van een mobiele applicatie om kinderen meer onderzoekend te laten kijken bij museumbezoek?

Dit zijn voorbeelden van opdrachten die studenten van de opleiding Communication & Multimedia Design (Avans Hogeschool, ’s-Hertogenbosch) uitvoeren. Voor alle werken geldt dat we te maken hebben met complexe constructen; de kwaliteit van het werk wordt bepaald door een samenspel van dimensies, zoals:

  • wordt de gebruiker geactiveerd, geïnformeerd of overtuigd?;
  • is het creatief concept consistent zichtbaar in de vormgeving?;
  • sluiten concept en uitwerking aan bij de kernwaarden van de opdrachtgever?;
  • voldoet de uitwerking aan de technische standaarden?

De kwaliteit van het werk is niet de optelsom van de kwaliteit van deze dimensies. Daarom is beoordeling met rubrics hier niet passend. Holistisch beoordelen met D-PAC biedt uitkomst. Maar hoe waarborgen we dan transparantie richting de student? En hoe organiseren we eigenlijk een ‘live’ beoordeling als de werken maar één dag staan opgesteld bij een expo? En hoe komen we uiteindelijk tot schoolcijfers? De werkwijze van onze opleiding wordt hieronder stapsgewijs omschreven.

Onderwijsfase: transparantie

Gedurende de zeven onderwijsweken van een lesblok (half semester) leren studenten over de gebruikersinteractie, techniek en vormgeving horend bij het ontwerpproduct dat centraal staat. Dit is ook de fase waarin we studenten een beeld moeten geven van de vereiste kwaliteit om te slagen. Voorheen werd dit ‘geborgd’ door de beschrijving van ‘voldoende’ in een rubric, waarbij we ons overigens de vraag kunnen stellen hoe informatief die korte beschrijving werkelijk is voor studenten.
Door in de lessen voorbeeldwerken, bijvoorbeeld van voorgaande jaren, te bespreken met studenten is het mogelijk om de transparantie van de aanstaande beoordeling te verhogen. Bij zo’n bespreking kunnen we ingaan op het samenspel van dimensies om de totale kwaliteit te analyseren. Als we studentwerken van uiteenlopende kwaliteit gebruiken, kunnen studenten zelf een mentale schaal van ‘kwaliteit’ construeren en valkuilen vermijden.

Beoordelingsdag: demo door studenten

We hebben vaak te maken met opdrachten die één dag geëxposeerd staan. We beginnen de beoordelingsdag met een demosessie. Studenten lichten hun werk toe. Alle beoordelaars zijn aanwezig en kunnen de ontworpen producten bekijken en testen. Voor studenten is het prettig om zelf hun werk te kunnen toelichten. Deze werkwijze past bovendien bij de beroepspraktijk waarvoor we opleiden.

Beoordelingsdag: betrouwbaar beoordelen met D-PAC

Minimaal vier beoordelaars beoordelen de werken door paarsgewijs te vergelijken met D-PAC. Ze zijn allemaal tegelijk ingeroosterd om dit te doen, maar doen dit onafhankelijk van elkaar. Deze beoordeling moet plaatsvinden op de dag van de expo, zodat beoordelaars nog eens naar de werken kunnen kijken. We behaalden altijd een betrouwbaarheid boven .70, vaak richting .80.

Beoordelingsdag: van rangorde naar schoolcijfers

De studentwerken worden in D-PAC, tijdens het vergelijken, meestal weergegeven door verwijzing met letters of gerepresenteerd door een icoon dat de studenten zelf ontwierpen. Behalve de studentwerken laden we in D-PAC ook het woord ‘voldoende’ als één van de te beoordelen werken. De voldoende verschijnt daarmee geregeld in te vergelijken paren, waarmee de facto de vraag wordt gesteld: is dit studentwerk beter of minder goed dan ‘voldoende’? Hierdoor is de ‘voldoende’ uiteindelijk één van de werken in de rangorde die D-PAC toont na het beoordelen: een indicatie van de cesuur. (De betrouwbaarheidsintervallen van omliggende werken maken het soms legitiem om de cesuur iets naar links of rechts te verschuiven.) Het beoordelaarsteam controleert nog wel of de plek van de cesuur recht doet aan wat studenten hebben geleerd en konden verwachten. Dit was steeds het geval.
We hebben nu de cesuur (schoolcijfer 5.5 op een schaal van 1-10) en slagen of zakken is dus betrouwbaar vastgesteld. Maar hoe bepalen we de precieze cijfers? Simpel: het beoordelaarsteam kent een cijfer toe aan een werk op ongeveer 2/3 van de rangorde. Er zijn nu twee schoolcijfers op de schaal vastgesteld, en de overige cijfers kunnen hieruit worden afgeleid.

Feedback

Tijdens fase 3 is er feedback genoteerd door alle beoordelaars. Nu wordt deze feedback samengebracht en consistent geformuleerd, zodat studenten een genuanceerde, maar heldere terugkoppeling ontvangen. Dit zorgt ervoor dat ze leerpunten kunnen vormen voor een volgend ontwerpproject.