[discussie] Formatief versus summatief toetsen

Quayn is prima geschikt om cursisten te laten oefenen [formatief toetsen], maar de vraag is hoe ver je moet gaan met het inzetten van Quayn voor toetsen en examineren voor een cijfer [summatief toetsen].
Door: Allard Bijlsma

Wij ontwikkelen al ruim 20 jaar toetssystemen. In de begintijd werden toetsen lokaal afgenomen op een pc. In de loop van de jaren ’90 kregen instellingen netwerken en ontstonden server-client relaties. In het begin verliepen netwerktoetsen nog problematisch, zeker als grote geluids- en videobestanden werden gekoppeld aan WinToets. Dergelijke mogelijkheden had WinToets al in 1993, via de niet-gecomprimeerde formaten AVI en WAV. Tegenwoordig heeft vrijwel elke klant van ons een goede netwerkvoorziening. We zien dit terug in onze helpdeskvragen. Vrijwel nooit loopt een wintoets ergens dood op verbindings- of snelheidsproblemen.

Sinds 2011 rollen we Quayn uit, helemaal in de cloud en daarmee is de gebruiker afhankelijk van een continue internetverbinding. Je hoeft niet lang te Googlen om te zien dat er dagelijks grote problemen met internet zijn, in steeds weer andere delen van Nederland. Werkzaamheden vinden ’s nachts plaats en worden netjes aangekondigd, maar lopen nogal eens uit. Niet alle updates bij deze partijen verlopen succesvol. Als je via een kabel internet krijgt, ben je ook nog eens afhankelijk van het gebruik in de buurt van je gebouw. Is dat gebruik hoog, dan krijg je minder snelheid en performance. Internet via wifi heeft ook nog eens de neiging er even een paar secondes of langer eruit te lijken te liggen. Quayn communiceert met de cloudserver bij elke vraag. Het is dus niet fijn als internet dan even hapert, ook is dat maar een seconde. Bij een formatieve toets is dat allemaal niet zo erg, maar als er cijfers in het geding zijn, wordt het een heel ander verhaal. We merken dat aan het type vragen in onze helpdesk. Die gaan altijd over inloggen en de opslag van cijfers.

Welke stelregels zou je hierbij kunnen hanteren:

FORMATIEF

  • Formatief toetsen kan altijd via Quayn. Mocht de verbinding haperen, dan kan de cursist gewoon opnieuw beginnen of verder gaan. Zelfs een toets die je afbreekt, kun je later herstarten vanaf de plak waar je bent gebleven. De ontwikkeling binnen educatieve uitgeverijen is, dat toetsen plaatsmaken voor doorgaande leerlijnen. Quayn kan haarfijn aan docenten laten zien waar de hiaten zitten bij leerlingen en groepen. Adaptief afnemen, maakt dat elke leerling op het eigen niveau in Quayn een ‘toets’ krijgt aangeboden.
    Formatief: ja.
  • Formatief toetsen raden we aan via de Quayn iPad App, omdat die app een toets eerst geheel binnenhaalt en daarna niet meer afhankelijk is van wifi en internetverbinding. Een cijfer wordt pas online aangeboden, op het moment dat de kandidaat klaar is en er een goede internetverbinding is.
    Formatief via iPad: ja

SUMMATIEF

  • Summatief toetsen raden we in principe aan nooit uit te voeren als draadloos, dus via wifi, wordt gewerkt. Hoe goed je wifi ook hebt draaien, het blijft een verbinding die weinig vertrouwen geeft. Veel helpdeskvragen rond Quayn betreffen het gebruik via wifi. Beveiligde afname is ook alleen mogelijk als via een laptop eerst is ingelogd op het netwerk. Meestal bieden instellingen cursisten via een laptop alleen een internetverbinding aan. In dat geval is beveiligde afname eigenlijk niet mogelijk. Bedenk dat een update van een browser al voldoende kan zijn om een toetssessie te laten mislukken.
    Summatief via wifi: nee.
  • Summatief toetsen lijkt prima mogelijk via de Quayn iPad App, omdat die app een toets eerst geheel binnenhaalt en daarna niet meer afhankelijk is van wifi en internetverbinding. Een cijfer wordt online aangeboden, op het moment dat de kandidaat klaar is en er een goede internetverbinding is. Echter, het is via een iPad niet goed mogelijk beveiligd te toetsen. Een kandidaat kan altijd tijdens de toets even wat in Google opvragen.
    Summatief via iPad: nee
  • Summatief toetsen via een netwerk zou moeten kunnen, mits er een goede netwerk- en internetverbinding ligt. Instellingen die nog met Windows XP of Vista werken, hebben vrijwel altijd ook relatief trage pc’s, met weinig grafisch en intern geheugen. Er zijn ook instellingen die Windows 7 draaien op pc’s waar voorheen Vista op draaide. In al die gevallen raden wij af summatief te toetsen via een online verbinding. Zorg in ieder geval dat de browser geheel up-to-date is en dat er altijd een tweede browser beschikbaar is (dus bijvoorbeeld Chrome of Firefox naast IE9). Bij een modern netwerk, met relatief goede nieuwe pc’s met daarop Windows 7 of 8, mag er in principe geen probleem zijn. Afhankelijkheid van het internet blijft dan wel bestaan en daar heeft Quayn geen invloed op. Via de QuaynBrowser kan beveiligd worden afgenomen. Afhankelijkheid van de browser kan ondervangen worden, door er meerdere beschikbaar te stellen. De huidige problemen rond Silverlight in IE10 laten zien, dat zelfs de keuze voor één partij (in dit geval Microsoft) niet hoeft te betekenen dat één en ander gaat werken. Dit probleem doet zich inmiddels al bijna een jaar voor. Er zijn vergelijkbare problemen geweest rond Java en Flash (onder meer onder Chrome). HTML5 is nog geen uitgekristalliseerde standaard en wordt niet door alle browsers gelijkelijk geïnterpreteerd.
    Summatief via netwerk: eerst uitgebreid en grootschalig (minimaal 30-60 cursisten tegelijk in dezelfde toets) testen en dan een besluit nemen.

4inbalans

[ de verantwoordelijkheid voor een goede infrastructuur ligt bij de instelling. Bron: 4 in balans van Kennisnet ]

OPLOSSINGEN

  • [1] Zorg in alle gevallen voor een papieren uitdraai van een toets, mocht internet of het netwerk eruit liggen in de instelling. Nadeel hierbij is, dat het gebruik van itemtypes dan beter beperkt kan blijven tot een aantal. Bij belangrijke toetsen, tentamens en examens, kan dan altijd nog op papier een toets worden afgenomen. Mogelijk itemtypes die geschikt zijn voor papier: meerkeuze, matching, gatentekst, combobox, woord, getal, essay, open, ordening. Afbeeldingen worden mee afgedrukt bij elke vraag. Afdrukken vanuit Quayn is mogelijk via WinToets 4, vanaf versie 4.0.232 [zomer 2013].
  • [2] Download vanuit Quayn een project als SCORM-pakket en lees die in in WinToets 4 EXPERT of SUITE (dus niet: PRO). Neem daarna deze toets af via WTAfname in een netwerkomgeving. Dit kan volledig beveiligd via de ingebouwde secure afname-instelling. Alle gebruik wordt automatisch vastgelegd in een gebruikerslog. Via WTMonitor kan het proces real-time vanaf een docentenpc worden gevolgd. WinToets is gratis vanaf 1000 gebruikers per locatie. > 900 instellingen hebben al een licentie op deze uitgebreidere versie van WinToets 4.
  • [3] We zijn aan het experimenteren met mogelijkheden online toetsen offline af te nemen, zodat tijdens het toetsproces er geen internetverbinding nodig is. Mochten huidige klanten problemen hebben met afnames via Quayn, dan betreft het bijna altijd zaken als internetverbinding, -snelheid en de afhankelijkheid van de browser binnen de eigen instelling. Door internet in het toetsproces uit te schakelen en monitoring te bieden via QuaynMonitor (inclusief opslag van logs), zou summatief toetsen binnen een goed netwerk met grote groepen mogelijk moeten zijn. Er zitten nog wel wat haken en ogen aan deze oplossing, die wij de komende maanden allemaal gaan bekijken en gaan oplossen. Quayn-klanten die hierbij mee willen denken, kunnen zich bij ons melden.

Wij werken er de komende jaren aan, WinToets en Quayn verder in elkaar te laten overvloeien, zodat voor elke situatie de meest geschikte vorm van toetsing mogelijk blijft. Quayn draait ook steeds meer als technische oplossingen binnen portals van grote uitgeverijen en distributiepartijen. Tot op heden gaat het in 100% van deze gevallen om formatieve inzet van toetsen en leren via online werkboeken en adaptieve leervormen. Het thuis kunnen oefenen en leren, is de grote kracht van online pakketten als Quayn. Het is niet voor niets dat een begrip als ‘flipping the classroom’ overal wordt gehoord en dat RTTI zo’n succes is. Voor het binnen de instelling massaal kunnen afnemen van toetsen voor een cijfer, zal per instelling een andere oplossing de meest ideale zijn. Dergelijke besluiten moeten deel uitmaken van het leermiddelen- en toetsbeleid van een instelling.

Mogelijke vragen hierbij kunt u achterlaten via helpdesk[at]drp[punt]nl

quayn_html5_sleepvraag

[ elke afname binnen de iPad App vindt offline plaats, nadat de gehele toets is gedownload ]

Een gedachte over “[discussie] Formatief versus summatief toetsen

  1. Hoi Allard, Het lijkt erop dat je formatief toetsen hier gelijkstelt met diagnostisch toetsen. Maar goed, kniesoor die daarop let.
    Ik ben wel benieuwd want wij zijn met Quayn helemaal draadloos aan het draaien en wij verfoeien iPads. Wij zijn met Chromebooks bezig en natuurlijk geïnteresseerd in een beveiligde afname, zonder uitstapjes naar internet tijdens de toets.

    Groet,

    Michel Pijpers, Odulphus

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s