Toets-item Analyse
Creëer en analyseer toetsen met de Authoring tool van Edu-SuiteAan de slag met Edu-Suite
De Authoring tool van Edu-Suite biedt de mogelijkheid om diverse soorten toetsen te creëren en uitgebreide analyses van toets-items uit te voeren.
De toets-item analyse (tia) is voor ontwikkelaars van toetsen, uitgevers en auteurs. Het doel is om inzicht te geven in de betrouwbaarheid, validiteit en onderscheidend vermogen van toetsen, toets-vragen en de theoretische kennis die nodig is om de toets goed te maken.
Hieronder vertellen we graag meer over de ins en outs van het analyseren van toetsen en toets-items met behulp van de Authoring tool van Edu-Suite.
Ins & outs van Edu-Suite’s toets-item analyse
Gevarieerde toets
Door gebruik te maken van de interactietypes en vraagsoorten in de Authoring tool van Edu-Suite kunnen diverse en kwalitatief hoogwaardige toetsen worden samengesteld. Dat kan een one-off zijn, maar ook kun je een toetsmatrijs samenstellen om zo jouw toetsvragen on-demand en in random volgorde naar een toets om te laten zetten door de eindgebruiker.
Kwaliteits-check
Met de toets-item analyse tool kun je op basis van een steekproef controleren hoe de kwaliteit is van de vragen.
Analyse op methode niveau
De toets-item analyse in Edu-Suite functioneert op basis van methodeniveau. Hierbij worden de resultaten van alle studenten die de betreffende toets hebben afgelegd, geanalyseerd binnen een set parameters die vooraf zijn vastgesteld. In de tia kan worden gekeken naar diverse variabelen, bijvoorbeeld:
- onderscheidend vermogen van een vraag: mate waarin de vraag goede kandidaten van de zwakke scheidt (rit-waarde en rir-waarde)
- moeilijkheid van de vraag (p-waarde) (hoe makkelijker de vraag, hoe lager de p-waarde)
- aantrekkelijkheid van de afleider (a-waarde)
- onderscheidend vermogen van een afleider (rar-waarde)
De resultaten van de tia worden in een overzichtelijke tabel weergegeven waarbij per item de verschillende waarden worden vermeld en slechte items of items die aandacht vereisen doormiddel van een kleur worden gemarkeerd. Rood (onvoldoende score), Oranje (matige score) en Groen (voldoende score). Je kan zo in een oogopslag zien waar de aandachtspunten en verbeteringen liggen.
Verbeteren m.b.v. tia
Om een tia uit te kunnen voeren zijn minstens 50 afnames van een toets nodig, bij voorkeur meer dan 100. De resultaten van de tia kun je gebruiken om de toets-vragen in een toets te verbeteren door:
- afleider aan te passen
- vraagstelling duidelijker te maken
- een sleutelfout te corrigeren.
- een slechte vraag kan uit de toets worden verwijderd en vervangen.
Toets-item analyse: verklarende lijst met begrippen
Aantal: Aantal uitwerkingen van de toets opgave binnen de analyse
Aantal: Het aantal leerlingen dat de meerkeuze optie heeft gekozen.
Antwoord / Afleider: Geeft aan of de keuze het correcte antwoord of een afleider is.
Discriminatie: De discriminatie index is het verschil tussen de gemiddelde itemscores van de bovenste 33% en de onderste 33% van de leerlingen. Gewenst is dat de discriminatie boven de 0.3 ligt.
Frequentie (%): Geeft aan hoe veel procent van de leerlingen de meerkeuze optie heeft gekozen.
Gemiddelde toetsscore: De gemiddelde toetsscore van de leerlingen die de meerkeuze optie hebben gekozen.
Item: Het volgnummer van de toets opgave
Item Alpha: Alpha zegt iets over de betrouwbaarheid van de toets. Bij een her-meting wordt (ongeveer) eenzelfde resultaat opgetekend. Alpha zegt dus iets over de mate waarin dit voor het desbetreffende item het geval is. Hierbij geld; hoe hoger, hoe beter.
Item Alpha rest: Alpha-rest is de betrouwbaarheid van een toets minus het betreffende item. Dus als een item uit een toets wordt verwijderd dan is de Alpha rest de betrouwbaarheid van de resterende toets.
Keuze Sequence: Het volgnummer van de meerkeuze optie.
Keuze: De meerkeuze optie.
P-Waarde: Het percentage van de leerlingen die dit item correct beantwoord heeft. Gewenst is dat de P-Waarde tussen de 0.3 en 0.7 ligt. Als de P-Waarde onder de 0.3 ligt is de vraag te moeilijk, en als de P-Waarde boven de 0.7 ligt is de vraag te makkelijk.
Q1 tm Q4: (kwartielen) Groep is opgedeeld in 4 kwartielen, best scorende groep in Q4 (25%) en slechts scorende is Q1 (25%) Gerelateerd aan de P-waarde
Rar: Afleider-rest correlate. Geeft aan hoe sterk het kiezen van dit antwoord correleert met de score op de toets. Gewenst: positief voor correcte antwoorden, negatief voor afleiders.
RIR: De RIR is een soortgelijke index als de RIT. Gaat het bij de RIT om de samenhang tussen een vraag en de hele toets, inclusief de vraag zelf, bij de RIR gaat het om de samenhang van de vraag en de rest van de toets, dat is de gehele toets minus de betreffende vraag.
RIT: De RIT waarde is de correlatie tussen de score van een opgave en de totaalscore van de toets (incl. de desbetreffende opgave) De RIT geeft aan in hoeverre men er met een opgave in geslaagd is te differentiëren tussen ’goede’ en ’slechte’ studenten / leerlingen. Onder “goed” verstaan we leerlingen / studenten die een hoge toets score hebben behaald en onder slecht verstaan we een lage toets score. De RIT is een discriminatie-index. Een hoge betekent dat veel kandidaten met een hoge toets score de vraag goed en veel kandidaten met een lage toets score de vraag fout hebben beantwoord. Verder betekent een hoge RIT dat de vraag relatief veel bijdraagt aan de betrouwbaarheid van de toets. Nog anders gezegd: een hoge RIT betekent dat een vraag een representatief onderdeel is van de totale toets.
SD: Standaard Deviatie is een maat voor de spreiding van de scores binnen een opgave. Hoe hoger de SD waarde; hoe groter de spreiding en, over het algemeen, hoe beter de kwaliteit van de opgave is.
TIA: toets-item analyse
Edu-Suite CMS inzetten?
Nieuwsgierig naar wat Edu-Suite en ons geavanceerde CMS voor jouw organisatie kan betekenen?
Neem telefonisch contact met ons op of stuur een mail. We vertellen je graag meer!