Ans biedt uitgebreide statistieken (inzichten/ insights) die een indicatie geven van de kwaliteit van je toetsen en wat je kunt doen om deze te verbeteren. Zie voor een uitgebreide toelichting de kennisitems op de website van Ans.
Assignment insights – Ans geeft uitgebreide informatie over statistieken ten aanzien van de kwaliteit van je toetsafname.
Question insights – Ans geeft uitgebreide informatie over statistieken ten aanzien de kwaliteit van je toetsvragen.
In dit artikel worden een paar metrieken besproken waarmee je als docent met relatief weinig inspanning veel winst kunt behalen.
De inzichten zijn goed bruikbaar als tenminste 25 en bij voorkeur minimaal 100 studenten een toetsvraag beantwoord hebben.
Inzichten op toetsniveau - de betrouwbaarheid
Ans geeft met behulp van de KR20/alpha waarde aan hoe het zit met de betrouwbaarheid van je toetsafname. De waarde ligt altijd tussen 0 en 1 en zegt iets over hoe consistent je meting is geweest. Anders geformuleerd: zou ik dezelfde waarde meten als de toets morgen onder dezelfde condities weer wordt afgenomen?
De streefwaarde voor betrouwbaarheid is 0,7 of hoger.
Let op: een hoge betrouwbaarheid is niet hetzelfde als een hoge validiteit (meet ik wat ik wil meten)?, een andere belangrijke indicator voor de kwaliteit van toetsen.
Inzichten op vraagniveau - de itemanalyse
In de praktijk bieden de inzichten per vraag het makkelijkste aanknopingspunt om structureel te kunnen werken aan toetskwaliteit. Deze vraag je als volgt op:
- Ga naar je toets
- Selecteer Inzichten
- Selecteer Vragen
- Klap het meerkeuzeoverzicht uit
Ans geeft je direct met behulp van een kleurencodering een indicatie van de kwaliteit van een toetsvraag. Maar je kunt hier ook eenvoudig je eigen interpretatie op loslaten.
P-waarde (moeilijkheidsgraad)
De P-waarde heeft een waarde van 0 tot 1 en zegt iets over hoe moeilijk je vraag is:
- P= 0: niemand heeft de vraag goed beantwoord
- P= 1: iedereen heeft de vraag goed beantwoord
Een gangbare streefwaarde is een P-waarde ≥ 0,5
Rit-waarde (het onderscheidend vermogen)
Deze waarde varieert van -1 tot 1 en zegt iets over het onderscheidend vermogen van je vraag. Anders gezegd, hoe goed weerspiegelt deze vraag het verschil tussen studenten die de toets in zijn geheel goed of juist slecht hebben gemaakt. Een negatieve rit-waarde is eigenlijk onwenselijk. Dit betekent namelijk dat de relatief goed scorende studenten deze vraag slechter hebben gemaakt dan de relatief slecht scorende studenten. Heel vaak is er dan sprake van een sleutelfout waarbij per abuis het verkeerde antwoord in Ans als goed staat aangegeven.
Een gangbare streefwaarde is een Rit-waarde > 0,25
A-waarde (kwaliteit van de afleiders)
Onder het meerkeuze overzicht vind je per antwoordalternatief de a-waarde. Deze waarde varieert van 0 tot 1 en geeft aan hoeveel studenten dit alternatief heeft gekozen.
Een gangbare streefwaarde is een a-waarde > 0,1.
De a-waarde van het juiste antwoordalternatief is gelijk aan de p-waarde
Door alleen te focussen op slechte afleiders kun je al meteen aan de slag met verbeteren van de kwaliteit van je toetsvragen.