[discussie] Formatief versus summatief toetsen

Quayn is prima geschikt om cursisten te laten oefenen [formatief toetsen], maar de vraag is hoe ver je moet gaan met het inzetten van Quayn voor toetsen en examineren voor een cijfer [summatief toetsen].
Door: Allard Bijlsma

Wij ontwikkelen al ruim 20 jaar toetssystemen. In de begintijd werden toetsen lokaal afgenomen op een pc. In de loop van de jaren ’90 kregen instellingen netwerken en ontstonden server-client relaties. In het begin verliepen netwerktoetsen nog problematisch, zeker als grote geluids- en videobestanden werden gekoppeld aan WinToets. Dergelijke mogelijkheden had WinToets al in 1993, via de niet-gecomprimeerde formaten AVI en WAV. Tegenwoordig heeft vrijwel elke klant van ons een goede netwerkvoorziening. We zien dit terug in onze helpdeskvragen. Vrijwel nooit loopt een wintoets ergens dood op verbindings- of snelheidsproblemen.

Sinds 2011 rollen we Quayn uit, helemaal in de cloud en daarmee is de gebruiker afhankelijk van een continue internetverbinding. Je hoeft niet lang te Googlen om te zien dat er dagelijks grote problemen met internet zijn, in steeds weer andere delen van Nederland. Werkzaamheden vinden ’s nachts plaats en worden netjes aangekondigd, maar lopen nogal eens uit. Niet alle updates bij deze partijen verlopen succesvol. Als je via een kabel internet krijgt, ben je ook nog eens afhankelijk van het gebruik in de buurt van je gebouw. Is dat gebruik hoog, dan krijg je minder snelheid en performance. Internet via wifi heeft ook nog eens de neiging er even een paar secondes of langer eruit te lijken te liggen. Quayn communiceert met de cloudserver bij elke vraag. Het is dus niet fijn als internet dan even hapert, ook is dat maar een seconde. Bij een formatieve toets is dat allemaal niet zo erg, maar als er cijfers in het geding zijn, wordt het een heel ander verhaal. We merken dat aan het type vragen in onze helpdesk. Die gaan altijd over inloggen en de opslag van cijfers.

Welke stelregels zou je hierbij kunnen hanteren:

FORMATIEF

  • Formatief toetsen kan altijd via Quayn. Mocht de verbinding haperen, dan kan de cursist gewoon opnieuw beginnen of verder gaan. Zelfs een toets die je afbreekt, kun je later herstarten vanaf de plak waar je bent gebleven. De ontwikkeling binnen educatieve uitgeverijen is, dat toetsen plaatsmaken voor doorgaande leerlijnen. Quayn kan haarfijn aan docenten laten zien waar de hiaten zitten bij leerlingen en groepen. Adaptief afnemen, maakt dat elke leerling op het eigen niveau in Quayn een ‘toets’ krijgt aangeboden.
    Formatief: ja.
  • Formatief toetsen raden we aan via de Quayn iPad App, omdat die app een toets eerst geheel binnenhaalt en daarna niet meer afhankelijk is van wifi en internetverbinding. Een cijfer wordt pas online aangeboden, op het moment dat de kandidaat klaar is en er een goede internetverbinding is.
    Formatief via iPad: ja

SUMMATIEF

  • Summatief toetsen raden we in principe aan nooit uit te voeren als draadloos, dus via wifi, wordt gewerkt. Hoe goed je wifi ook hebt draaien, het blijft een verbinding die weinig vertrouwen geeft. Veel helpdeskvragen rond Quayn betreffen het gebruik via wifi. Beveiligde afname is ook alleen mogelijk als via een laptop eerst is ingelogd op het netwerk. Meestal bieden instellingen cursisten via een laptop alleen een internetverbinding aan. In dat geval is beveiligde afname eigenlijk niet mogelijk. Bedenk dat een update van een browser al voldoende kan zijn om een toetssessie te laten mislukken.
    Summatief via wifi: nee.
  • Summatief toetsen lijkt prima mogelijk via de Quayn iPad App, omdat die app een toets eerst geheel binnenhaalt en daarna niet meer afhankelijk is van wifi en internetverbinding. Een cijfer wordt online aangeboden, op het moment dat de kandidaat klaar is en er een goede internetverbinding is. Echter, het is via een iPad niet goed mogelijk beveiligd te toetsen. Een kandidaat kan altijd tijdens de toets even wat in Google opvragen.
    Summatief via iPad: nee
  • Summatief toetsen via een netwerk zou moeten kunnen, mits er een goede netwerk- en internetverbinding ligt. Instellingen die nog met Windows XP of Vista werken, hebben vrijwel altijd ook relatief trage pc’s, met weinig grafisch en intern geheugen. Er zijn ook instellingen die Windows 7 draaien op pc’s waar voorheen Vista op draaide. In al die gevallen raden wij af summatief te toetsen via een online verbinding. Zorg in ieder geval dat de browser geheel up-to-date is en dat er altijd een tweede browser beschikbaar is (dus bijvoorbeeld Chrome of Firefox naast IE9). Bij een modern netwerk, met relatief goede nieuwe pc’s met daarop Windows 7 of 8, mag er in principe geen probleem zijn. Afhankelijkheid van het internet blijft dan wel bestaan en daar heeft Quayn geen invloed op. Via de QuaynBrowser kan beveiligd worden afgenomen. Afhankelijkheid van de browser kan ondervangen worden, door er meerdere beschikbaar te stellen. De huidige problemen rond Silverlight in IE10 laten zien, dat zelfs de keuze voor één partij (in dit geval Microsoft) niet hoeft te betekenen dat één en ander gaat werken. Dit probleem doet zich inmiddels al bijna een jaar voor. Er zijn vergelijkbare problemen geweest rond Java en Flash (onder meer onder Chrome). HTML5 is nog geen uitgekristalliseerde standaard en wordt niet door alle browsers gelijkelijk geïnterpreteerd.
    Summatief via netwerk: eerst uitgebreid en grootschalig (minimaal 30-60 cursisten tegelijk in dezelfde toets) testen en dan een besluit nemen.

4inbalans

[ de verantwoordelijkheid voor een goede infrastructuur ligt bij de instelling. Bron: 4 in balans van Kennisnet ]

OPLOSSINGEN

  • [1] Zorg in alle gevallen voor een papieren uitdraai van een toets, mocht internet of het netwerk eruit liggen in de instelling. Nadeel hierbij is, dat het gebruik van itemtypes dan beter beperkt kan blijven tot een aantal. Bij belangrijke toetsen, tentamens en examens, kan dan altijd nog op papier een toets worden afgenomen. Mogelijk itemtypes die geschikt zijn voor papier: meerkeuze, matching, gatentekst, combobox, woord, getal, essay, open, ordening. Afbeeldingen worden mee afgedrukt bij elke vraag. Afdrukken vanuit Quayn is mogelijk via WinToets 4, vanaf versie 4.0.232 [zomer 2013].
  • [2] Download vanuit Quayn een project als SCORM-pakket en lees die in in WinToets 4 EXPERT of SUITE (dus niet: PRO). Neem daarna deze toets af via WTAfname in een netwerkomgeving. Dit kan volledig beveiligd via de ingebouwde secure afname-instelling. Alle gebruik wordt automatisch vastgelegd in een gebruikerslog. Via WTMonitor kan het proces real-time vanaf een docentenpc worden gevolgd. WinToets is gratis vanaf 1000 gebruikers per locatie. > 900 instellingen hebben al een licentie op deze uitgebreidere versie van WinToets 4.
  • [3] We zijn aan het experimenteren met mogelijkheden online toetsen offline af te nemen, zodat tijdens het toetsproces er geen internetverbinding nodig is. Mochten huidige klanten problemen hebben met afnames via Quayn, dan betreft het bijna altijd zaken als internetverbinding, -snelheid en de afhankelijkheid van de browser binnen de eigen instelling. Door internet in het toetsproces uit te schakelen en monitoring te bieden via QuaynMonitor (inclusief opslag van logs), zou summatief toetsen binnen een goed netwerk met grote groepen mogelijk moeten zijn. Er zitten nog wel wat haken en ogen aan deze oplossing, die wij de komende maanden allemaal gaan bekijken en gaan oplossen. Quayn-klanten die hierbij mee willen denken, kunnen zich bij ons melden.

Wij werken er de komende jaren aan, WinToets en Quayn verder in elkaar te laten overvloeien, zodat voor elke situatie de meest geschikte vorm van toetsing mogelijk blijft. Quayn draait ook steeds meer als technische oplossingen binnen portals van grote uitgeverijen en distributiepartijen. Tot op heden gaat het in 100% van deze gevallen om formatieve inzet van toetsen en leren via online werkboeken en adaptieve leervormen. Het thuis kunnen oefenen en leren, is de grote kracht van online pakketten als Quayn. Het is niet voor niets dat een begrip als ‘flipping the classroom’ overal wordt gehoord en dat RTTI zo’n succes is. Voor het binnen de instelling massaal kunnen afnemen van toetsen voor een cijfer, zal per instelling een andere oplossing de meest ideale zijn. Dergelijke besluiten moeten deel uitmaken van het leermiddelen- en toetsbeleid van een instelling.

Mogelijke vragen hierbij kunt u achterlaten via helpdesk[at]drp[punt]nl

quayn_html5_sleepvraag

[ elke afname binnen de iPad App vindt offline plaats, nadat de gehele toets is gedownload ]

Serie ‘summerschool’ bij DRP: mooie mogelijkheden in beeld gebracht

Vele tienduizenden docenten gebruiken onze producten WinToets en Quayn voor het maken en afnemen van hun digitale toetsen. Deze zomer hebben we in ons DRP-weblog een paar praktische mogelijkheden met deze programma’s geschetst. Tot op heden verschenen onderstaande artikelen:
Door: Allard Bijlsma

Klik een artikel aan als u hierover meer wilt lezen.

Nu verkrijgbaar: gratis itembanken met > 170.000 items voor Quayn-gebruikers

Binnen De Rode Planeet hebben we de afgelopen tien jaar […] hard gewerkt aan de opbouw van voorbeelditembanken bij diverse vakken.

Al deze itembanken hebben wij nu in Quayn geplaatst en die zijn vanaf nu gratis toegankelijk voor elke instelling die een licentie op Quayn afneemt of heeft van minimaal 1000 gebruikers [#]. De meeste itembanken zijn nooit eerder verspreid. We denken hiermee de grootste itembank ter wereld te kunnen aanbieden. Exclusief voor onze gebruikers van Quayn.
Door: Allard Bijlsma en Miriam van der Velde

Dit artikel is gepubliceerd in ons DRP-weblog. [ naar het artikel ]

Nieuw: WinToetsen direct uploaden naar Quayn

Tot voor kort moest je eerst een export maken in WinToets en de zip die zo ontstond, uploaden naar Quayn. Dat kan vanaf nu direct. De oude uploadmethode blijft wel bestaan, en is vooral handig bij batch-uploads (grote aantallen zip’s).
Door: Allard Bijlsma en Peter Hartman

Door deze nieuwe optie in WTMaak is het nog eenvoudiger om in WinToets te ontwikkelen en daarna online in Quayn op te slaan. Sinds WinToets versie 4.0.232 van deze maand, is hiervoor een online opslagoptie aanwezig in de versie EXPERT en SUITE. Na het kiezen van deze optie wordt eerst een package aangemaakt. Deze package wijkt af van de bekende Flash- en SCORM-packakages, doordat alleen de toets en de bronnen mee gaan. Daarna kan ingelogd worden in Quayn en aangegeven worden in welke map dit project moet komen. Die wordt daarna direct geupload en uitgepakt in die map. Voorlopig hebben we dit geschikt gemaakt voor het uploaden van projecten en nog niet voor itembanken. Uiteraard kunt u ook nog steeds eerst een reeks Quayn-packages aanmaken en die in één keer uploaden. Wilt u heel veel uploaden, dan gaat dit laatste sneller. Voordeel van de nieuwe export is dan nog steeds, dat de packages nu fors kleiner zijn en dus sneller te uploaden.

Quayn is de cloudopvolger van WinToets, maar in onze optiek zeker niet in alle gevallen de vervanger. Veel zaken rond ict gaan offline nu eenmaal veel sneller dan online. De komende jaren zullen we WinToets daarom naadloos gaan aansluiten op alle mogelijkheden van Quayn. Zo gaan we de mogelijkheden toetsen te genereren verder uitbreiden, hebben we recentelijk de batchverwerkingsmogelijkheden in WTAdmin uitgebreid, is er nu de scure ‘QuaynBrowser’ en QuaynMonitor, kennen we een nieuwe batchcontrole-optie en al veel meer waar beide pakketten nu al in bèta van profiteren. Eén en ander zal uitgebreid zichtbaar zijn in de komende WinToets 4.1, dit najaar. Daarin komt ook het nieuwe WTConverter voor het omzetten van toetsen vanuit Excel-sjablonen naar Quayn-packages, QTI-NL-packages en veel meer uitvoertypen.

WinToets 4.0 SUITE (de meest uitgebreide versie) is gratis vanaf een licentie van 1000 Quayn-gebruikers per locatie. Bij lagere aantallen geldt een gereduceerd licentiebedrag voor WinToets. Eén en ander is ook afhankelijk van of nu de versie PRO, EXPERT of SUITE heeft.

>> Overzicht van instellingen met WinToets 4
>> Formulier om een vraag bij ons hierover te stellen

quaynupload_600

[ optie in WTMaak om op te gaan slaap in de juiste itembank in Quayn ]

Nieuw: Quayn itembanken afdrukken naar papier

Quayn heeft nog geen eigen printoptie, voor het afdrukken naar papier. Dat kan sinds kort via ons pakket WinToets 4, vanaf versie 4.0.232.
Door: Allard Bijlsma en Peter Hartman

WinToets heeft een zeer uitgebreide afdrukwizard. Hierin kan onder meer worden geregeld:

  • Wat moet worden afgedrukt.
  • De vormgeving van deze afdruk.
  • Of open en gesloten vragen geclusterd moeten worden afgedrukt.
  • Of punten per vraag zichtbaar moeten worden of niet.
  • Of antwoordmodellen en metadata mee afgedrukt moet worden (voor toetsconstructeurs). N.B. Dit kan sinds kort ook rechtstreeks vanuit Quayn via de optie Itembanken | Redactie-export.
  • Diverse zaken voor de student: start- en slottekst, wel/niet naamvakken mee afdrukken, en veel meer.

Iedere instelling die Quayn én WinToets bezit kan vanaf nu rechtstreeks binnen ons pakket WinToets vanuit Quayn afdrukken. In Quayn klikt u daarvoor op de afdrukknop. Er wordt een package met beeldmateriaal aangemaakt, die wordt naar de pc gestuurd, WTMaak start automatisch, die importeert het project en strart direct de afdrukwizard. Dit alles in een fractie van een paar seconden. Met een simpele klik op OK kan daarna afgedrukt worden naar de eigen tekstverwerker (meestal Word) of de wizard kan worden doorlopen voor de tientallen instellingen. Benodigd is het koppelen van de extensie TSTp aan de file wtmaak40.exe. Dit gebeurt automatisch bij de installatie van WinToets 4.0.232 of hoger. U kunt dit ook zelf handmatig instellen in het Configuratiescherm van Windows, dat via de extensie TSTp wtmaak40.exe moet starten.

Elke instelling met een licentie van minimaal 1000 gebruikers in Quayn, kan gratis gebruik maken van WinToets. Voor alle andere gebruikers geldt een gereduceerd tarief. Meer dan 1200 onderwijsinstellingen hebben al een licentie op WinToets 4 lopen. Wilt u weten of uw instelling WinToets heeft [ klik dan hier ].

Op termijn zullen we gaan zien of een afdrukoptie ook in Quayn op zijn plek is. Voorlopig kunnen gebruikers van deze uitgebreide mogelijkheden al gebruik maken. WinToets draait op elke Windows pc.

quayn_afdrukken_knop

[ afdrukknop onder Itembanken | Selecteren en Arrangeren | in Quayn ]

quayn_afdrukken_via_wintoets_600

[ WinToets is volautomatisch gestart, heeft het project ingelezen en toont het eerste wizardscherm, voor het opgeven van instellingen in WTMaak. Geen instellingen nodig? Klik op Ok en de toets wordt direct omgezet naar drie Word-documenten ]

Quayn logische keuze ‘toetssysteem’ voor het onderwijs?

Groot geworden met WinToets, hebben we sinds anderhalf jaar ons cloudpakket Quayn in de lucht. De reacties zijn meer dan positief en het aantal gebruikers groeit snel. We bouwen er dagelijks nog aan door, maar inmiddels is het een volwaardig pakket voor online toetsen en examineren. Een overzicht van wat we al hebben en wat er snel komt dit najaar.
Door: Allard Bijlsma

Het is zomer 2013 en Quayn lijkt inmiddels het ideale platform te zijn voor elke onderwijsinstelling:

  • Compleet en volwaardig toets- en examensysteem in de cloud | gereed.
  • Analyses voor RTTI, OBIT, ERK Rekenen en voor eigen metadata, voor 26 te kiezen velden | gereed.
  • Voorzien van > 1 miljoen vragen van grote en kleine uitgeverijen | i.s.m. > tien grote uitgeverijen.
  • Geïntegreerd in Magister en andere administratiepakketten | verwacht.
  • Voorlezen via ReadSpeaker | via extra module | gereed.
  • Unicode wordt ondersteund voor bijvoorbeeld cyrillisch | gereed.
  • MathML wordt ondersteund voor formules, voor docent en cursist | binnen een maand.
  • Spraakafname en -analyse | via itslanguage-module | alleen in Quayn.
  • Adaptief toetsen via meerdere methodes | gereed.
  • Elke toets uit WinToets kan rechtstreeks opgeslagen worden in Quayn | gereed.
  • Secure browser ‘Quaynbrowser’ voor veilige afname op Windows-pc’s | gereed.
  • Afname mogelijk via tablets | iPad en Windows gereed.
  • HTML5-player voor afname op elk type device | gereed en najaar 2013 identiek aan Flashplayer.
  • Quayn heeft als eerste systeem een import en export voor IMS QTI 2.1 NL, de door de overheid geadviseerde uitwisselstandaard voor Nederland | gereed | alleen in Quayn.

Quayn is er dus al aardig klaar voor. Geen enkel ander systeem in de wereld heeft al deze mogelijkheden. Koppeling met itslanguage, kan vanaf 2015/2016 als pilot worden ingezet. Koppeling met RTTI en Magister volgen in 2015. Met een reeks van andere partijen zijn we aan het bouwen en koppelen.

Traditionele uitgeverijen ontwikkelen enkel nog itembanken in ons formaat WinToetsXML (te gebruiken in QuizPlanet, WinToets én Quayn). De eerste (ook grote!) uitgeverijen distribueren vanaf dit najaar enkel nog maar via Quayn. Veel van deze toetsen zullen al direct voor RTTI gemetadateerd zijn. Al deze toetsen kunnen direct binnen de instelling afgenomen worden. Geen enkele download en upload is meer nodig. Inplannen kan straks direct binnen Quayn, maar ook direct via Magister en op termijn ook andere elo-pakketten.

En het mooie is dat WinToets er gewoon naast gebruikt kan worden en dat ook afname via papier mogelijk blijft. Voor starters hebben we QuizPlanet, voor wie beveiliging wil de QuaynBrowser en hopelijk bevat het zo ook voor uw instelling (bijna) alles dat u wilt.

Wij kunnen Quayn nu al aansluiten en uw personeel opleiden in het digitaal gaan toetsen. Trek daar zeker een half jaar voor uit, voordat u grootschalig digitaal gaat toetsen.

>> Meer weten over Quayn
>> Aanbod trainingen bij Quayn

player_rekenmachine

[ Na de mogelijkheid vreemde tekens in te voeren (zie rechts),  kan onze HTML5-player nu ook overweg met formules op basis van MathML
én kent het nu een ingebouwde rekenmachine, die per vraag aan- en uitgezet kan worden ( zie links boven) ]

20jaarwintoets_600

[ Quayn is nu twee jaar uit, maar ons offline toetspakket WinToets al 20 jaar! ]

Nieuw: Quaynbrowser voor beveiligd browsen

Wil je een summatieve toets of examen afnemen vanaf een pc, dan wil je dat de cursist enkel binnen het toetsscherm kan werken en niet onderwijl het internet op kan.
Door: Allard Bijlsma en Peter Hartman

In ons pakket WinToets hebben we in het verleden een dergelijke beveiliging ingebouwd. De kennis die we hierbij hebben opgedaan, hebben we nu gebruikt om een beveiligde (lockdown)browser te bouwen, waarbinnen Quayn gebruikt kan worden. De beheerder geeft vooraf een URL op en na de start, kan enkel binnen die site een toets of examen worden afgenomen. Via een vooraf te maken blacklist en whitelist, kunnen url’s worden opgegeven die sowieso niet of wel bezocht mogen worden.

De eerste versie van de browser is gratis beschikbaar voor geregistreerde gebruikers van Quayn (met minimaal 1000 gebruikers/per locatie) en van WinToets 4 SUITE. De browser kan ook gebruikt worden om andere sites dan die van Quayn te bezoeken.  Op termijn gaan we de browser koppelen aan WTMonitor, zodat real time gezien kan worden waar binnen de instelling de browser is gestart en wat men bezoekt daarin. Via QuaynMonitor kan de browser op afstand gestart en gestopt worden, zodat een kandidaat dat zelfs niet meer mag doen. Deze aanpassingen zijn ook beschikbaar in WinToets 4.1, die in de loop van dit jaar uitkomt.

De Quaynbrowser werkt op elke Windows pc en binnen Windows netwerken. De browser is niet geschikt voor de MAC en voor tablets. Het heeft weinig zin de browser te gebruiken op laptops, die enkel een internetverbinding hebben. In dat geval is het moeilijk lokaal te monitoren hoe het gebruik realtime is.

>> Meer over de Quaynbrowser

Meer weten over de QuaynBrowser? U kunt ook een mailtje met uw vragen sturen naar info@drp.nl

quaynbrowser_naopstart02_600

[ zicht op het inlogvenster van Quayn binnen de Quaynbrowser ]