Digitaal toetsen in 10 stappen

Vandaag mocht ik bij Dé Onderwijsdagen een sessie verzorgen: digitaal toetsen in 10 stappen. De presentatie die ik gegeven heb staat hieronder. Hoewel het soms lastig is om zonder de mondelinge toelichting gehoord te hebben chocola te maken van een presentatie, vallen er hopelijk toch voldoende puzzelstukjes op hun plaats om een idee te krijgen van wat ik heb willen overbrengen.



Overigens heb ik tijdens de presentatie een soort pecha kucha-methode toegepast. De sessies bij Dé Onderwijsdagen duren namelijk maar 50 minuten en daar gaat de tijd voor een introductie door de zaalvoorzitter en het stellen van vragen door het publiek nog vanaf. Ik had berekend dat ik voor mijn 54 slides netto ongeveer een half uur zou hebben. Ik heb daarom Powerpoint zo ingesteld dat gemiddeld na iedere 33 seconden automatisch de volgende slide werd getoond.

Moet zeggen, heb nog zelden zo ontspannen mijn verhaal kunnen doen. Geen gedoe met heen en weer klikken tussen dia’s en ook geen enkele stress hoeveel tijd ik nog over zou hebben. Was gewoon een kwestie van één keer op start klikken en daarna go with the flow. En gegarandeerd op tijd klaar, dus de zaalvoorzitter – wiens taak het is om de tijd te bewaken – had ook een makkie.

Pecha-kucha (in vrije stijl), wat mij betreft een aanbeveling. Ik weet in ieder geval dat ik het vaker zo ga doen als ik weer eens een presentatie mag houden.

“Iets” over digitaal toetsen

SURF Magazine 02 (juni 2010)

SURF magazine over digitaal toetsen. Klik om te lezen (PDF).

Een collega van me mag komende week bij een studiedag “iets” vertellen over digitaal toetsen. Doel is om docenten van een van onze opleidingen in drie kwartier tijd een eerste indruk te geven van de mogelijkheden van digitaal toetsen. Omdat ik in het verleden ook wel dit soort inleidingen verzorgd heb, vroeg hij mij of ik tips had.

Nou, er schoten me wel wat aandachtspunten te binnen.  Snel naar mijn collega gemaild en weer een klusje geklaard. Niet dus… Hij vond de aandachtspunten wel iets voor mijn blog. Nou, vooruit dan maar. Was toch al veel te lang stil hier.

Toetsen = leren

Bedenk dat digitaal toetsen niet alleen waardevol is voor summatief toetsen (voor een studiepunt) maar juist ook voor formatief toetsen (om te oefenen). Bij summatief toetsen luistert de organisatie, techniek en beveiliging veel nauwer dan bij formatief toetsen. Begin daarom wat mij betreft bij voorkeur met formatieve toetsen. Daar valt ook qua leeropbrengsten de meeste winst te behalen voor studenten.

Random vraagtrekking ≠ heilige graal

Wat veel “beginners” zien als hét voordeel van digitaal toetsen is dat je bij een toets random vragen kunt stellen uit een grote database, zodat alle studenten een unieke toets krijgen. Dit kan echter voor grote problemen zorgen als je de toets achteraf wilt analyseren. Het uitrekenen van de betrouwbaarheid van de toets is in zo’n geval bijvoorbeeld erg lastig. Een vuistregel is daarom: hoe meer van de toets afhangt, hoe behoudender je moet zijn met je vraagtypen én met randomiseren.  Vooral bij summatieve toetsen is dit van belang.

Medewerker toetsdesk

Zorg dat de ondersteuning en organisatie van digitale toetsing goed is geregeld. Bij Hogeschool Rotterdam hebben we daarvoor zogenoemde medewerkers toetsdesk. Zij zijn specialisten in het bedienen van de toetssoftware en ondersteunen het proces van digitaal toetsen van begin tot eind. Docenten kunnen zodoende focussen op datgene waarin ze goed zijn: het bedenken van toetsvragen voor hun vakgebied.

Omvang vragenbank?

Hoe groot moet een vragenbank zijn voordat je digitaal kunt gaan toetsen? Het ligt voor de hand om hiervoor een groeimodel te hanteren. Wil je summatief toetsen, dan heb je zoveel (nieuwe) vragen nodig als voor de eerstvolgende toets. Als je dat een paar toetsen volhoudt, dan groeit de vragenbank vanzelf. Er is geen noodzaak om gelijk met 500 vragen te beginnen. Overigens is er niet één regel die zegt hoe groot de ideale vragenbank is. Hangt van allerlei zaken af. Een grootste gemene deler in de adviezen die ik ken is om te streven naar ten minste 5 keer zoveel vragen als in een toets zitten. Voor formatieve toetsing speelt dit vraagstuk wellicht minder.

Keep it simple!

Met digitale toetsing zijn allerlei mooie vraagtypen mogelijk. Bedenk echter dat deze meestal (veel) lastiger zijn om te construeren. Geeft niet, maar dan moet de keuze voor een bepaald vraagtype wel echt iets toevoegen aan het nut van de vraag. Goed uitgangspunt lijkt mij dat docenten de werking van een vraagtype, inclusief beoordelingsalgoritmen zelf 100% moeten doorgronden voordat ze een vraagtype daadwerkelijk inzetten. Bedenk bijvoorbeeld maar eens wat de gokkans is van een meerkeuzevraag met één juist antwoord uit drie antwoordopties. Simpel, niet? En nu voor een multiple response-vraag met vier antwoordopties waarvan er twee moeten worden aangevinkt. Dat tweede is een stuk lastiger…

Test, test, test

Test de ontwikkelde vragen grondig! Dat is niet alleen een taak van de medewerker toetsdesk, maar vooral óók van de betrokken docenten. Zij moeten de vragen (ook na tussentijdse wijzigingen) volledig testen. Dat betekent dus niet alleen kijken of het goede antwoord de goede punten oplevert, maar juist ook of een fout of half goed antwoord wordt beoordeeld zoals bedoeld is. En of de feedback in alle gevallen klopt.

Feedback

Link naar blogpost van Eric Sheperd over verschillende soorten toetsfeedback (Engelstalig)Speaking of which: feedback. Het is slim om bij het invoeren van vragen in een vragenbank meteen rekening te houden met feedback. Liever meteen geregeld dan achteraf nog eens moeten doen. Dan komt het er namelijk nooit meer van. Voor een handig (Engelstalig) overzicht van verschillende vormen van feedback, klik op de afbeelding.

Vuistregels voor vraagconstructie

Het maken van toetsvragen is lastig, zelfs bij een vraagtype dat zo makkelijk lijkt als de meerkeuzevraag. Gelukkig zijn de belangrijkste vuistregels voor vraagconstructie door het bedrijf Teelen verwoord in een handig boekje “Toetsontwikkeling in de praktijk”. Een aanrader voor iedereen die toetsen en toetsvragen maakt. Alle constructieregels zijn ook gratis te vinden én te printen via  http://www.teelen.nl/goedetoetsen/ (zie de PDF’s aan de rechterkant van de site).

Zo, dat lijkt me wel voldoende “iets” voor een introductie in digitaal toetsen. Ik hoop dat de toehoorders van mijn collega er wat aan hebben.

Hogeschool Rotterdam beste onderwijswerkgever

Vorig jaar werkte ik voor een slechte werkgever. No longer! Dit jaar is Hogeschool Rotterdam namelijk verkozen tot de beste werkgever in het onderwijs. Van de laatste plaats in de categorie onderwijs in 2010 naar de eerste plaats in 2011. Het kan verkeren.

Logo Hogeschool RotterdamIk moet eerlijk zeggen dat ik niet echt verschil heb gemerkt, want ik ben eigenlijk al jaren erg tevreden met Hogeschool Rotterdam als werkgever. Maar goed, het is wel leuk dat anderen dat nu ook zien en erkennen.

Uiteraard ga ik de laatste paar werkweken van 2011 nog even extra hard genieten van mijn werk bij deze topwerkgever ;-)

Qstream nieuwe naam van SpacedEd

Logo QstreamIk dacht even dat ik nog niet goed wakker was vanmorgen. Ik ging naar de website van SpacedEd om wat vragen te beantwoorden, maar er klopte iets niet. Het duurde even tot ik door had wat er niet klopte, want de site zag er op zich nog hetzelfde uit. Wat bleek? De naam is anders geworden.

SpacedEd heet nu Qstream. Prima, maar meld dat dan even ergens op je homepage of inlogscherm. Op hun blog staat weliswaar uitgelegd waarom ze van naam gewijzigd zijn, maar dat staat wel redelijk verstopt voor de dagelijkse bezoeker.

Afijn, SpacedEd is nu dus Qstream. Met een nieuwe, minder radicale, slogan - Real-time learning for the mobile generation – maar nog altijd net zo nuttig. Persoonlijk vind ik het wel jammer dat er nu geen verwijzing meer naar het spacing effect in hun naam staat.

Gedoe op Yammer

Logo van YammerZo, dat was even een gedoe zeg afgelopen week op onze Yammer-omgeving. De sfeer werd voor het eerst wat minder prettig, zeg maar gerust chilly. Een van de Yammeraars-van-het-eerste-uur werd namelijk beticht van spammen door een aantal Yammeraars-van-een-nieuwer-uur. Vooral het automatisch doorzetten van berichten vanuit Twitter naar Yammer via de #yam-hashtag werd niet echt op prijs gesteld.

Digitale koffieautomaat

Laat me beginnen te zeggen dat ik zelf geen enkel probleem ervaar met Yammer. Ik vind het een zeer prettig extra kanaal om met collega’s en studenten ideeën, ervaringen en, toegegeven, soms ook futiliteiten te delen. Waar de gewone koffieautomaat niet verder reikt dan mijn dagelijkse collega’s, is het bereik van de digitale koffieautomaat die Yammer heet een stuk groter. Yammer stelt mij in staat om op een niet-intrusieve manier te communiceren met interessante personen die kilometers verwijderd zijn op andere locaties.

In dat niet-intrusieve karakter van Yammer schuilde afgelopen week het probleem. Een aantal Yammeraars ervaren dat namelijk helemaal niet zo. Zij vinden Yammer soms opdringerig. Ik snapte dat eerst niet goed, maar inmiddels denk ik te begrijpen waar dat vandaan komt. Deels is dit onwennigheid, deels enkele ongelukkige standaardinstellingen van Yammer.

Drie filters voor berichtenweergave

De eerste onwennigheid zit ‘m er waarschijnlijk in dat sommigen niet door hebben dat je je Yammer-tijdlijn kunt filteren. Er zijn drie varianten waar je uit kunt kiezen: top conversations, followed conversations en all conversations. Bij followed conversations zie je alleen berichten van mensen die je zelf volgt. Je hebt dan dus geen last van mensen die je niet volgt. Ongelukkig is echter dat ze er bij Yammer voor gekozen om de top conversations de standaard te maken. En tsja, als je dan niet door hebt dat er wat te kiezen valt qua weergave, dan kan ik me wel voorstellen dat je moe wordt van allerlei berichten waar je geen ja tegen hebt gezegd.

Yammer is géén e-mail

Een ander punt van mogelijke onwennigheid betreft de e-mailinstellingen. Ik weet niet meer wat daar precies de standaard van Yammer is, maar ik weet wel dat ik alle e‑mailnotificaties van Yammer meteen heb uitgezet. Anders ontvang je namelijk van ieder Yammer-wissewasje een mailtje. Ook iets waarvan ik me goed kan voorstellen dat je er uiteindelijk gek van wordt. Maar, ook dit heb je als gebruiker dus zelf in de hand. Yammer is iets anders dan e-mail. Zet dus gerust uit, die automatische mailberichten.

Tot zover mijn analyse van ons ‘gedoe’ op Yammer. Tot slot wil ik nog even melden dat alle #yam-tweets die werden doorgestuurd stuk voor stuk nuttige links bevatten over het onderwerp leren. Ook ik bekijk niet al die links, maar het waren in ieder geval dus absoluut géén onzintweets waar het om ging. Wat dat betreft wel jammer dat deze vorm van kennisdeling de aanleiding was voor dit bericht.

Ruzie met spaties

Waarschuwing: deze post is voor de nerds…

Bij het invoeren van tekst in Questionmark Perception loop ik met enige regelmaat – vaak genoeg om het irritant te vinden – tegen het probleem aan dat een spatie er weliswaar uitziet als een spatie, maar dat deze eigenlijk een vermomde HTML-entiteit is. Geeft op zich niet, totdat je opeens   tussen twee woorden ziet staan, in plaats van een normale spatie.

Grrr… daar gaat de leesbaarheid! Zie je wel?

Meestal merk je die gluiperige spatie-entiteiten pas op als je de betreffende tekst in een andere vorm tegenkomt dan op een beeldscherm. Bijvoorbeeld als je een toets print, in een coaching report of bij een export van toetsresultaten. Dan staan daar soms opeens van die  ’s in. Heel stiekem doen ze dat.

Ik heb stellig de indruk dat de   zijn kans ruikt op het moment dat je een eerder ingevoerde tekst bewerkt. Als je een zin voor het eerst typt, dan zijn spaties gewoon spaties. Wijzig je echter een deel van die zin, dan is de kans groot dat nieuwe spaties opeens een   zijn geworden.

Er zal hier vast een prima technische verklaring voor zijn, maar ik vind het wel irritant. Als ik een non-breaking space in mijn tekst wil, dan typ ik hem zelf wel in. Overigens is dit euvel niet exclusief voor Questionmark Perception. Ik had laatst een soortgelijke ruzie met spaties in een tool waarbij je online een toets kunt samenstellen en afnemen. Het speelt dus breder.

Ik ben trouwens benieuwd hoe deze post wordt weergegeven in e-mail, RSS-feeds of op mobiele apparaten. Misschien wordt iedere   die ik hier als tekst heb beoogd in te tikken daar wel op miraculeuze wijze vervangen door een spatie. Zodat deze tekst tamelijk onbegrijpelijk wordt. Is dat het geval? Dan weet je als nerd vast hoe je dat kunt oplossen ;-)

Taalgebruik een indicator voor succes bij toetsen?

Het aardige van digitaal toetsen is dat je allerlei zaken kunt onderzoeken die bij toetsen op papier niet of moeilijk mogelijk zijn. Een aardig voorbeeld hiervan is het kijken naar de taalkundige netheid waarmee studenten korte open vragen beantwoorden. Sally Jordan heeft hier als ‘zijpad’ van een onderzoek dat zij heeft gedaan naar gekeken.

De taalkundige netheid waarin zij geïnteresseerd was betrof het gebruik van hoofdletters en punten. Het bleek dat als studenten antwoordden in een alinea, deze alinea meestal netjes begon met een hoofdletter en eindigde met een punt. Waren de antwoorden korter, bijvoorbeeld een losse opmerking of een paar woorden, dan was dit veel minder het geval. Verder viel Sally nog het volgende op:

The other very interesting thing was that capital letters and full stops were both [sometimes significantly] associated with correct rather than incorrect responses.

Er lijkt dus een relatie te bestaan tussen de aandacht die iemand besteed aan de verzorging van taal en het succesvol beantwoorden van toetsvragen. Welke kant die relatie op werkt? Vast niet de kant waarbij je studenten kunt leren om voortaan netjes hoofdletters en punten te gebruiken en dat ze dan opeens alle toetsvragen goed hebben…

Wat dit precies zegt en wat we er aan hebben? Misschien niet veel, maar ik vind het wel geweldig dat iemand zoals Sally zich zo kan bezig houden met de fijnste details van (digitaal) toetsen. Ben je dat met me eens? Volg dan vooral haar blog: e-assessment (f)or learning.

Toetsing en toetsgestuurd leren: projectvoorstel besproken met WTR

Vanmorgen was een belangrijk en tegelijkertijd spannend moment in het proces om het projectvoorstel Toets- en vragenbank bedrijfsadministratie en bedrijfseconomie goedgekeurd te krijgen. Samen met Alexander Kremers van Saxion mocht ik het projectvoorstel bespreken met de Wetenschappelijk Technische Raad (WTR) van SURFfoundation.

Alexander en ik kregen in 45 minuten een flink aantal gezond kritische vragen te beantwoorden. Ook kregen we een aantal tips aangereikt. Een korte samenvatting:

  • Er was enige zorg dat we ons bij het ontwikkelen van de toetsvragen louter op correctieve feedback zouden richten. We hebben aangegeven dat andere vormen van feedback en feedforward zeker ook aandacht zullen krijgen.
     
  • We willen dat de vragen geschikt zijn voor mbo-, hbo- en universitaire studenten. Hoe gaan we dan om met het taalgebruik in de vragen? De vragen zullen voldoen aan de algemene richtlijnen die gelden voor vraagconstructie. Dus qua taalgebruik helder, precies en passend.
     
  • In het projectplan staat nergens beschreven wat we gaan doen met empirische gegevens die beschikbaar komen als de toetsvragen daadwerkelijk worden afgenomen. Is het niet wenselijk dat deze gegevens worden teruggevoerd in de toets- en vragenbank? Ja, ook wij vinden dit wenselijk. Zijn we ook van uitgegaan, maar het is niet expliciet benoemd in het plan. Excuses voor deze omissie.
     
  • Is het niet aan te raden om naast toetsexperts en werkveldvertegenwoordigers ook docenten en studenten in de reviewgroep (klankbordgroep) op te nemen? Jazeker! Goede tip, gaan we doen.
     
  • De projectleiding is niet als apart werkpakket met zijn eigen deliverables opgenomen. Is geen halszaak, maar we kregen desalnietemin het advies om dit voor een volgende keer wel te doen.

Hopelijk krijgen we de kans om daadwerkelijk iets met de ontvangen tips te doen. Op 14 december weten we daarover iets meer, want dan ontvangen we van de WTR hun conceptadvies. Dan weten we of ons projectvoorstel kans maakt om medio januari 2012 goedgekeurd te worden door het Platformbestuur ICT en Onderwijs.

Nog even wachten dus… Fingers crossed!

Strafpunten bij foute antwoorden? Niet doen

Via de door @manonbonefaas beheerde Scoop.it!-pagina Online toetsen werd ik geattendeerd op een recent onderzoek van Katherine Baldiga van Harvard University:

Gender Differences in Willingness to Guess and the Implications for Test Scores

In haar onderzoek heeft Katherine Baldiga onderzocht of er verschil is tussen mannen en vrouwen als het gaat om het overslaan van vragen in een toets. In situaties waarbij een fout antwoord onbestraft blijft – het foute antwoord levert ‘gewoon’ nul punten op – constateerde zij geen verschil tussen mannen en vrouwen. Niemand sloeg vragen over.

Veranderde zij echter de setting zodat deze leek op de bekende Amerikaanse SAT-toetsen, dan ontstonden er opeens wél verschillen tussen mannen en vrouwen. Bij de SAT-toets krijg je bij een fout antwoord een puntenaftrek van een kwart punt. Het bleek dat vrouwen in dit geval aanzienlijk minder vragen beantwoordden dan mannen. Zij sloegen meer vragen over.

Volgens Baldiga is dit verschil niet te verklaren door verschillen in zelfvertrouwen of kennis van de leerstof. De mate van risicoaversie – vrouwen zijn meestal minder bereid risico’s te nemen dan mannen – speelde wel een rol, maar kon het verschil nog niet volledig verklaren. Zij vermoedt daarom dat ‘competitiedrang’ ook een rol heeft gespeeld. Om toegelaten te worden tot de grote Amerikaanse universities moet je namelijk vaak tot de beste zoveel procent behoren van studenten die in dat jaar de SAT-toets hebben gemaakt. En mannen zijn dan blijkbaar meer bereid om te gokken in deze ‘toelatingsrace’ dan vrouwen.

Wat hebben we aan deze wetenschap voor onze toetspraktijk in Nederland? Hoewel wij geen SAT hebben, denk ik toch dat dit onderzoek relevant is. Het onderstreept namelijk dat je bij het ontwerpen van toetsen bij alle keuzes die je maakt goed moet nadenken over eventuele neveneffecten. In het voorbeeld van het geven van negatieve punten bij een fout antwoord, kun je dus verwachten dat vrouwen meer vragen zullen overslaan dan mannen. En dat lijkt mij ongewenst.

Dus, mocht je als toetsontwerper ooit overwegen om ‘strafpunten’ te geven voor foutieve antwoorden, dan is er wat mij betreft eigenlijk maar één advies: don’t do it!

N@tschool op de iPad en iPhone?

UPDATE: Zowel de ondersteuning van Google Chrome en Safari als de mobiele versie van N@tschool zijn inmiddels gerealiseerd. De browserondersteuning zit standaard in het pakket van N@tschool. Voor de mobiele toegang – de MobileApp - moet je onderwijsinstelling eerst een aanvullende licentie afsluiten. Die zit dus niet in het basispakket.


Het valt mij op dat mijn blog bijna dagelijks gevonden wordt door mensen die zoeken op “N@tschool op de iPad” of iets van dergelijke strekking. En omdat ik al drie keer iets over N@tschool heb geblogd, en daarbij volgens mij ook een keer het woord iPad heb laten vallen, kom ik kennelijk hoog in de zoekresultaten terecht.

Goed, voor deze mensen heb ik de volgende mededeling opgetekend over de planning van ThreeShips, de producent van N@tschool:

In maart 2012 wordt de eerste versie verwacht van een mobiele app voor N@tschool. Deze app wordt primair ontwikkeld voor de iPhone, maar werkt ook op de iPad.

Let wel, deze informatie heb ik uit de tweede hand, van collega’s van mij die contact hebben met ThreeShips. Mocht je dit lezen en zelf meer informatie hebben, laat het dan vooral weten.

Bonusmededeling: de ondersteuning van de browsers Google Chrome en Safari staat nog altijd gepland voor december 2011. Hoera!