“Iets” over digitaal toetsen

SURF Magazine 02 (juni 2010)

SURF magazine over digitaal toetsen. Klik om te lezen (PDF).

Een collega van me mag komende week bij een studiedag “iets” vertellen over digitaal toetsen. Doel is om docenten van een van onze opleidingen in drie kwartier tijd een eerste indruk te geven van de mogelijkheden van digitaal toetsen. Omdat ik in het verleden ook wel dit soort inleidingen verzorgd heb, vroeg hij mij of ik tips had.

Nou, er schoten me wel wat aandachtspunten te binnen.  Snel naar mijn collega gemaild en weer een klusje geklaard. Niet dus… Hij vond de aandachtspunten wel iets voor mijn blog. Nou, vooruit dan maar. Was toch al veel te lang stil hier.

Toetsen = leren

Bedenk dat digitaal toetsen niet alleen waardevol is voor summatief toetsen (voor een studiepunt) maar juist ook voor formatief toetsen (om te oefenen). Bij summatief toetsen luistert de organisatie, techniek en beveiliging veel nauwer dan bij formatief toetsen. Begin daarom wat mij betreft bij voorkeur met formatieve toetsen. Daar valt ook qua leeropbrengsten de meeste winst te behalen voor studenten.

Random vraagtrekking ≠ heilige graal

Wat veel “beginners” zien als hét voordeel van digitaal toetsen is dat je bij een toets random vragen kunt stellen uit een grote database, zodat alle studenten een unieke toets krijgen. Dit kan echter voor grote problemen zorgen als je de toets achteraf wilt analyseren. Het uitrekenen van de betrouwbaarheid van de toets is in zo’n geval bijvoorbeeld erg lastig. Een vuistregel is daarom: hoe meer van de toets afhangt, hoe behoudender je moet zijn met je vraagtypen én met randomiseren.  Vooral bij summatieve toetsen is dit van belang.

Medewerker toetsdesk

Zorg dat de ondersteuning en organisatie van digitale toetsing goed is geregeld. Bij Hogeschool Rotterdam hebben we daarvoor zogenoemde medewerkers toetsdesk. Zij zijn specialisten in het bedienen van de toetssoftware en ondersteunen het proces van digitaal toetsen van begin tot eind. Docenten kunnen zodoende focussen op datgene waarin ze goed zijn: het bedenken van toetsvragen voor hun vakgebied.

Omvang vragenbank?

Hoe groot moet een vragenbank zijn voordat je digitaal kunt gaan toetsen? Het ligt voor de hand om hiervoor een groeimodel te hanteren. Wil je summatief toetsen, dan heb je zoveel (nieuwe) vragen nodig als voor de eerstvolgende toets. Als je dat een paar toetsen volhoudt, dan groeit de vragenbank vanzelf. Er is geen noodzaak om gelijk met 500 vragen te beginnen. Overigens is er niet één regel die zegt hoe groot de ideale vragenbank is. Hangt van allerlei zaken af. Een grootste gemene deler in de adviezen die ik ken is om te streven naar ten minste 5 keer zoveel vragen als in een toets zitten. Voor formatieve toetsing speelt dit vraagstuk wellicht minder.

Keep it simple!

Met digitale toetsing zijn allerlei mooie vraagtypen mogelijk. Bedenk echter dat deze meestal (veel) lastiger zijn om te construeren. Geeft niet, maar dan moet de keuze voor een bepaald vraagtype wel echt iets toevoegen aan het nut van de vraag. Goed uitgangspunt lijkt mij dat docenten de werking van een vraagtype, inclusief beoordelingsalgoritmen zelf 100% moeten doorgronden voordat ze een vraagtype daadwerkelijk inzetten. Bedenk bijvoorbeeld maar eens wat de gokkans is van een meerkeuzevraag met één juist antwoord uit drie antwoordopties. Simpel, niet? En nu voor een multiple response-vraag met vier antwoordopties waarvan er twee moeten worden aangevinkt. Dat tweede is een stuk lastiger…

Test, test, test

Test de ontwikkelde vragen grondig! Dat is niet alleen een taak van de medewerker toetsdesk, maar vooral óók van de betrokken docenten. Zij moeten de vragen (ook na tussentijdse wijzigingen) volledig testen. Dat betekent dus niet alleen kijken of het goede antwoord de goede punten oplevert, maar juist ook of een fout of half goed antwoord wordt beoordeeld zoals bedoeld is. En of de feedback in alle gevallen klopt.

Feedback

Link naar blogpost van Eric Sheperd over verschillende soorten toetsfeedback (Engelstalig)Speaking of which: feedback. Het is slim om bij het invoeren van vragen in een vragenbank meteen rekening te houden met feedback. Liever meteen geregeld dan achteraf nog eens moeten doen. Dan komt het er namelijk nooit meer van. Voor een handig (Engelstalig) overzicht van verschillende vormen van feedback, klik op de afbeelding.

Vuistregels voor vraagconstructie

Het maken van toetsvragen is lastig, zelfs bij een vraagtype dat zo makkelijk lijkt als de meerkeuzevraag. Gelukkig zijn de belangrijkste vuistregels voor vraagconstructie door het bedrijf Teelen verwoord in een handig boekje “Toetsontwikkeling in de praktijk”. Een aanrader voor iedereen die toetsen en toetsvragen maakt. Alle constructieregels zijn ook gratis te vinden én te printen via  http://www.teelen.nl/goedetoetsen/ (zie de PDF’s aan de rechterkant van de site).

Zo, dat lijkt me wel voldoende “iets” voor een introductie in digitaal toetsen. Ik hoop dat de toehoorders van mijn collega er wat aan hebben.