Binnen de HvA is TestVision Online inmiddels een aantal jaar beschikbaar als het standaardprogramma voor digitale toetsen. Het programma ondersteunt de hele digitale toetscyclus. Op de site van leverancier Teelen kun je per fase van de toetscyclus bekijken welke functionaliteiten TVO biedt: https://www.testvision.nl/testvision/toetscyclus/.
Een van de belangrijke onderdelen van het programma zijn Toetsanalyse en Learning Analytics. In het benutten van deze functies ligt een van de mogelijke voordelen van digitaal toetsen. Het zijn echter taaie onderwerpen. Op verzoek van enkele docenten die hiermee aan de slag willen gaan heeft Martine Bos-Horstink van leverancier Teelen een workshop verzorgd voor de Faculteit Onderwijs & Opvoeding. Naar aanleiding daarvan gaan we in dit artikel dieper in op de mogelijkheden van toetsanalyse en learning analytics. De volledige hand-out van de workshop kun je onderaan dit artikel downloaden.
TVO biedt een rijke verzameling aan mogelijke vraagvormen waarmee toetsitems gemaakt worden. Daarmee kunnen vervolgens toetsen samengesteld worden. Zowel de wijze van beoordeling (scoringsregels, kansscore en cesuur) als de mogelijkheden in de toetsanalyse worden bepaald door de gekozen vraagvormen (gesloten of open, dichotoom of polytoom).
Na het beoordelen van de toets biedt TVO op basis van klassieke testtheorie alle gebruikelijke toets- en itemindices (zie figuur). Op basis daarvan kunnen de betrouwbaarheid en validiteit worden beoordeeld. Bij eventuele (zware) bevindingen door de docent of toetscommissie kunnen in het programma ook de resultaten (collectief of individueel) op vraagniveau nog op diverse manieren worden aangepast (bijv. door een extra antwoordalternatief alsnog goed te keuren).
Bron: Slides TVO-Workshop (Teelen)
Naast de reguliere toetsanalyse bestaat in TVO de mogelijkheid om diepgaandere analyses uit te voeren en rapporten te creëren om meer zicht te krijgen op de kwaliteit van de toetsen en/of het leerproces van (groepen of individuele) studenten. Deze functionaliteiten worden met ‘learning analytics’ aangeduid omdat ze gericht zijn op het beantwoorden van specifieke (vooraf bepaalde) probleemstellingen.
De werkwijze is als volgt. Binnen TestVision selecteer je één of twee dimensies waarmee je de geformuleerde vraag kunt beantwoorden. De dimensies waar je uit kunt kiezen zijn: Vragen, Toetsen, Kandidaten, Afnames of Resultaten. Al deze dimensies bevatten weer meerdere gegevens. Dit leidt tot een export van gegevens dit je vervolgens in Excel kunt opschonen, filteren en bewerken, en waarmee je (draai)tabellen en grafieken kunt (op)maken (zie figuur). Dat betekent dat je dus behoorlijk handig zult moeten zijn in Excel. Het voordeel is echter dat je met geëxporteerde data werkt, je kunt dus nooit per ongeluk de originele toetsdata in TVO wijzigen of verwijderen!
Bron: Gebruikersinstructie Learning Analytics (Teelen)
Al die mogelijkheden zijn natuurlijk prachtig, maar wat vinden onze docenten hier nou van? Om die vraag te beantwoorden is aan enkele aanwezige docenten gevraagd te reflecteren op de workshop aan de hand van de volgende vier vragen:
Stefan Glasbergen, docent bij de lerarenopleiding geschiedenis, gaf aan dat de workshop heel nuttig was, vooral hoe hij statistische analyses van zijn toetsen uit TestVision kan halen.
Martijn Dozy, docent bij Pedagogiek, zei hij dat hij de onderwerpen helder en passend vond. Hij weet nu concreet hoe analyseren in TVO werkt. Martijn vindt dat het belangrijk is om in de toekomst deze workshop op twee niveaus aan te bieden: voor docenten met weinig kennis en ervaring met toetsanalyse (BKE), en voor docenten met veel kennis (SKE) en ervaring met TVO.
Jos Calis, docent bij Pabo, heeft in de workshop geleerd om in TVO de statistische overzichten te lezen en te gebruiken, en om de toetsresultaten te interpreteren. Hij vond het een plezierige workshop: goed georganiseerd en met mensen die dezelfde behoefte hadden als hij. De onderwerpen die werden aangeboden kwamen in een logische volgorde aan bod. Jos ging enthousiast verder: “Het ging nadrukkelijk om belangrijke statische aspecten die er voor de beoordeling van de resultaten echt toe deden. Bovendien kregen we ook handzame materialen uitgereikt. Ik heb geleerd hoe ik de verschillende kolommen in zo’n overzicht moet interpreteren en kan gebruiken als het gaat om de waardering van de afgenomen toets. Wat de plaats wordt van het geleerde weet ik nu nog niet, het overleg met de toetscommissie en de vaksectie hebben nog niet plaatsgevonden.” Jos raadt alle collega’s die met TestVision werken aan om deze bijeenkomst bij te wonen. Feitelijk is het een ‘verplicht’ onderdeel om zo goed mogelijk mee te leren werken en zo veel mogelijk uit het programma te halen.
Daan van Dijk, docent bij de lerarenopleiding Geschiedenis, vindt dat de inhoud van de workshop relevant en duidelijk is. Hij weet nu wat er mogelijk is met TVO ‘buiten alleen maar toetsen’. Binnen de geschiedenissectie zijn ze bezig om bestaande toetsen kritisch onder de loep te nemen. Hij adviseert zijn collega’s om een kijkje in TVO te nemen en er zich in te verdiepen.
Voor meer informatie over TestVision Online en Digitaal Toetsen kun je verder lezen op:
Of neem contact op met Iman Abdullatif, functioneel beheerder van TestVision Online bij FOO.
Je hebt nog geen lijsten, maak er eerst een aan.