Digitaal examineren in de kijker

ICTO ondersteunt meerdere oplossingen bij het digitaal examineren van studenten. Van elke oplossing bestaat een korte omschrijving, de procedure en een overzicht van de documentatie en ondersteuning.

Maar wat betekent dat eigenlijk op de examenwerkvloer?

We laten docenten en ondersteuners getuigen over de Print & Scan oplossing en XToledo.

[holo_tabs]

[holo_tab title=”Print & Scan”]

Zelf aangekochte hardware en software en een samenwerking met de KU Leuven zorgt voor de ondersteuning bij het digitaliseren en verwerken van schriftelijke multiple choice vragen. Deze oplossing werd uitgewerkt als een Do-it-Yourself-oplossing voor docenten. Op een aantal campussen werd besloten ook personeel te voorzien voor deze ondersteuning.

[holo_accordions]
[holo_accordion_item title=”Getuigenis van Tine Casteele”]

Campus Brussel, Docent Handelswetenschappen en Bedrijfskunde


Het gebruik van de print & scan oplossing heeft zeker een aantal pluspunten. Zo geeft de raadgever duidelijk aan welke vragen moeilijk of makkelijk waren en welke alternatieven meer of minder worden gekozen dan het zelf aangegeven juiste antwoord. Dit is zeer handig om de kwaliteit van de vragen te controleren.

Print en scan raadgever
Figuur 1: De raadgever helpt onduidelijkheden op te lossen.

Er is ook de mogelijkheid om met meerdere reeksen (vragen door elkaar) te werken, terwijl je toch maar één verwerking van alle antwoordbladen samen doet op basis van een permutatiebestand. Vragen die problematisch blijken, kan je uitsluiten met een onmiddellijke en automatische herberekening van de punten. De toepassing kan daarenboven de verwerking zowel met als zonder giscorrectie doen. Natuurlijk is het downloaden van de Excel puntenlijst die je kan opladen in KU Loket ook zeer handig.

Toch moet je als docent rekening houden met enkele aandachtspunten.

Neem bijvoorbeeld voldoende tijd voor de verwerking en neem de documentatie al eens op voorhand door. Wie snel wil werken en het risico op fouten wil minimaliseren volgt best de handleidingen nauwkeurig en stap voor stap op. Zeker wanneer je met 2 vragenreeksen werkt, is het handig om op voorhand het filmpje over het maken van een permutatiebestand al eens te bekijken! Het is tenslotte ook belangrijk om bij het ontvangen van de antwoordbladen op het examen goed na te kijken of alles goed werd ingevuld, vooral het studentennummer.


[/holo_accordion_item]

[holo_accordion_item title=”Getuigenis van Isabelle Wellemans”]

Campus Terranova, Studiegebiedsecretariaat


Oefening baart Kunst!

Anderhalf jaar geleden ging ik voor het eerst met Print & Scan aan het werk. Wat me toen een zeer ingewikkeld en omslachtig proces leek, is nu een koud kunstje voor me geworden. Het geheim zit hem in de goede voorbereiding en aandacht voor enkele details.

Alvorens te starten met het echte werk check ik eerst of ik over alle nodige gegevens beschik. Aangezien ik als ondersteuner Print & Scan uitvoer, is het al een eerste vereiste om te weten welk antwoordenblad zal gebruikt worden, of de KU-Loketlijst reeds werd omgezet in een csv-bestand, of ik een sleutel ter beschikking heb en uiteraard is het ook belangrijk te weten of er al dan niet meerdere versies van een examen zijn. Wanneer ik dit gecheckt heb, ga ik aan de slag.

Ik start met het inscannen van het lege antwoordenblad, de sleutel en de antwoordbladen van de studenten. Nadien maak ik het reeksenbestand op. Deze bestanden sla ik allemaal op in de juiste verwerkingenmap. En dan begint het echte werk.

Als alle bestanden juist ingescand zijn, is het een eitje om alles in te laden in de Remark software. In eerste instantie maak ik een template op via het inladen van het blanco antwoordenblad waarin de juiste leesvelden worden aangeduid. Eens het sjabloon gemaakt en opgeslagen in de juiste verwerkingenmap, kan ik dan sleutel en antwoorden inladen. Om een vlotte verwerking in de KU-tool te garanderen, is het belangrijk te checken of het reeksnummer bij elke student klopt en of alle studentennummers correct werden ingevuld. Verder helpt remark me dan door daar waar verwarring is (zoals bv. bij dubbele antwoorden) groene velden te plaatsen. Op die manier hoef je niet elk antwoord te overlopen.

De Remark-software
Figuur 2: De Remark-software zorgt voor tijdsbesparing. Alle witte cellen hoef je niet meer te bekijken.

Vervolgens op naar de printenscan-tool. In eerste instantie maak ik een nieuw examen aan. De tool is zeer gebruiksvriendelijk en meldt stapsgewijs welke bestanden dienen ingeladen te worden. Eens alle bestanden netjes ingeladen zijn, kan de analyse starten. Ik voer steeds eerst de controle uit zodat ik zeker ben dat gegevens correct werden ingeladen. Is dit niet het geval, dan ga ik terug naar de remark-software om daar de nodige aanpassingen te doen en op te slaan waarna ik in de printenscan-tool het nodige opnieuw inlaad. Als de controletool aangeeft dat alles correct werd ingeladen, exporteer ik de kwaliteitsrapporten in pdf op en stuur deze – samen met de puntenlijst – naar de betreffende docent.

printenscan-tool
Figuur 3: De printenscan-tool zorgt voor uitgebreide kwaliteitsrapporten en de puntenlijst

Bij een vlot verloop, werk ik minder dan een uur aan de verwerking van een examen. Om het vlot verloop te garanderen, is het belangrijk om als docent toch de nodige aandacht te hebben voor de richtlijnen van print & scan. Met name, zorgen dat alle studenten zeker hun studentennummer invullen zodat er geen opzoekwerk meer hoeft te gebeuren achteraf.

Figuur 4: Het juiste studentennummer is essentieel voor een vlotte verwerking.

Verder is het ook belangrijk dat aan studenten meegegeven wordt dat ze bij het voortdurend fouten maken, beter een nieuw antwoordenblad vragen om de antwoorden opnieuw over te nemen. Verder merk ik ook vaak op dat studenten niet begrepen hebben dat er slechts 1 mogelijk antwoord is en ze dus meerdere antwoorden aanduiden zonder het foute antwoord te doorkruisen.

Mijn conclusie is, hoe vaker je de software en tools gebruikt, hoe vlotter de verwerking verloopt en hoe beter voorbereid je bent, hoe sneller alles loopt.

Een handige, enorm tijdbesparende toepassing!


[/holo_accordion_item]

[holo_accordion_item title=”Getuigenis van Steven Vermeiren”]

Campus HIG, Studiegebiedsecretariaat


De essentie is redelijk kort samen te vatten: “het is gewoon een kwestie van het veel te doen”.

Ik dacht dat het lang zou duren vooraleer ik er mee weg was. Toch gaat het nu zéér snel. Zeker in het begin vond ik het best wel moeilijk. Vooral omdat ik niet goed begreep welke handelingen ik verrichtte. Ook nu blijf ik me bij sommige aspecten wel wat vragen stellen: Waarom TIFF? Waarom een permutatiebestand? Waarom QSF? Waarom CSV? Maar ook zonder de antwoorden kan ik ondertussen problemen al zelf oplossen.

printenscan opladen
Figuur 5: Bij het opladen van bestanden in de printenscan-tool worden soms nogal wat technische termen gebruikt.

Aan de handleiding heb ik zéér veel gehad, het is een zéér goede handleiding. Ook was de ICTO-medewerker altijd bereikbaar voor vragen, zowel in het begin als nu nog bij eventuele problemen.

Wat de raadgever en de punten betreft, wordt voor het HIG gesuperviseerd door het opleidingshoofd, nu Ellen Van Houdenhove. Tegen volgend jaar zal alles nog eens grondig bekeken worden door de studiegebieddirecteur Tanja Nuelant en het opleidingshoofd Ellen Van Houdenove.


[/holo_accordion_item]

[holo_accordion_item title=”Getuigenis van Hans Vandenbogaerde”]

Campus Brussel, Docent Handelswetenschappen en Bedrijfskunde


Voor mij loont het de moeite om een multiple choice examen op te stellen als er meer dan 100 studenten het examen afleggen. Om representatief te zijn moet het examen dan over 40 of meer vragen bestaan. Toledo biedt de mogelijkheid voor een elektronisch meerkeuzevragenexamen, maar ik vind Toledo onvoldoende stabiel en bedrijfszeker om 100+ studenten er tegelijkertijd een examen mee te laten afleggen. Het is aangewezen om op papier te werken. Een antwoordformulier manueel verbeteren lijkt aangewezen, maar hiervan is aangetoond dat vergissingen nooit helemaal uit te sluiten zijn.

Om een en ander in goede banen te leiden, is Print & Scan voor mij een goede oplossing. Het is een complete oplossing die bestaat uit 3 delen: 1) scannen, 2) digitaliseren en 3) analyseren.

print en scan stappen
Figuur 6: De stappen in het printenscan-proces

Persoonlijk heb ik er al wat ervaring mee en dank de mensen van ICTO voor hun goede ondersteuning. Voor stappen 1) en 2) kom ik voor 1 examen doorgaans toe met 2 uur in het lokaal waar de scanner en de software ter beschikking is. Stap 3) past soms ook nog in dit tijdslot van 2 uur, maar als er moeilijkheden zijn, kan stap 3) ook nog achteraf thuis via het web gebeuren.

De eerste keren had ik vooral last van de scanner die het papier niet wou transporteren. Nu is dat geen probleem meer. Er worden wel soms meerdere bladen ineens getransporteerd. Het is dus belangrijk dat u het aantal te scannen antwoordbladen telt en vervolgens nakijkt of dat aantal overeenkomt met het aantal tiff-bestanden dat u in de folder vindt. Indien niet moet u nakijken wat nog niet gescand werd en dat vervolgens bijscannen.

Bij het digitaliseren (zeg maar het feitelijke verbeteren) waren er aanvankelijk weinig problemen. Het is mogelijk om met meerdere examenreeksen te werken. Hiervoor is een permutatiebestand nodig. Er zijn 2 manieren om dit te doen: een correcte en een foute manier. Voor mij – en voor mij niet alleen – was de foute manier de meest intuïtieve. De screencast die nu ter beschikking is, legt goed uit hoe het correct moet gebeuren.

De extra meerwaarde die print & scan biedt is zonder twijfel de analyse. Let wel, als gebruiker moet je daarbij minutieus de instructies uit de handleiding volgen. Het is de ingewikkeldste stap van de drie. Het is noodzakelijk dat u de puntenlijst uit KU Loket vooraf eerst door ICTO tot het juiste CSV-bestand laat omvormen. Als de bestanden in de juiste volgorde zijn opgeladen, kan het feest van de analyse beginnen. Eigenlijk is de analyse een must om na te gaan of er vragen zijn die objectief voor discussie vatbaar zijn. U kan deze vragen dan laten vallen of meerdere antwoorden goed aanrekenen.


[/holo_accordion_item]

[/holo_accordions]

[/holo_tab]

[holo_tab title=”XToledo”]

In overleg met docenten en ondersteuners werd een variant gebouwd van onze Toledo-leeromgeving die beter afgestemd is op het gebruik van opdrachten en toetsen in klassikaal georganiseerde examens in computerklassen op de campus. Deze variant wordt XToledo genoemd, of ook wel de Toledo-examenomgeving.

Tijdens de januari-zittijd van 2016-2017 werd XToledo gebruikt bij 47 examens met in totaal 1692 studenten. Alles samen goed voor de afname van ongeveer 2000 Toledo-assignments en 750 Toledo-toetsen. De meerderheid van deze examens werd afgenomen op Campus Dirk Martens, maar ook in Brussel, Schaarbeek, Gent en Sint-Niklaas wordt XToledo gebruikt.

[holo_accordions]
[holo_accordion_item title=”Getuigenis van Joris Van Puyebroeck”]

Campus HIG, Docent Gezinswetenschappen en Psychosociale Gerontologie


In het vak ‘Evidence Based Practice’ leren de studenten uit de Banaba “Psychosociale Gerontologie” een aantal basisoefeningen statistiek via MS Excel. Omdat een schriftelijke examenvorm niet toeliet om dit te toetsen, het examen sowieso open boek was en ik studenten wil aanmoedigen om vooral resultaatsgericht te werken, kwam ik vorig jaar op het idee om een digitaal examen af te nemen. Navraag leerde dat we bij Odisee wel wat expertise in huis hebben. Contact met medewerkers van de Cel ICTO liep heel vlot en correct. Natuurlijk ook digitaal via Skype, hoe kan het anders. De afstand tussen Brussel en Gent was van geen tel!

Wat me vooral opviel was de helderheid van het pakket van informatie en procedures om digitale examens af te nemen. Wat je vooraf moet weten en doen wordt heel duidelijk in een PowerPoint beschreven. Als je het aanvraagticket invult, krijg je snel toegang tot de aparte XToledo voor digitale examens. Aangezien XToledo werkt zoals de gewone Toledo, voelt alles snel vertrouwd aan.

XToledo startpagina
Figuur 7: De publieke startpagina van XToledo laat toe systeemmeldingen te voorzien bij onverwachte problemen.

Voor een digitaal examen moet je goed nadenken over het soort vragen die je wil stellen. Ik heb mijn gewone examenvragen ingedeeld in types van vragen (open casusvragen, digitaal bestand upload , etc.) . Uit deze sets kan ik versies kiezen voor nieuwe examens en kan ik uiteraard mijn sets aanvullen. Handig, op 1 digitale verzamelplek, terwijl ze anders verspreid zijn over verschillende documenten. Ik maakte een voorstel van examen en ICTO gaf me advies op maat. Toch wel nuttig voor de eerste keer.

XToledo toetsen
Figuur 8: Werken met toetsen is in XToledo net hetzelfde als in Toledo. Beide platformen gebruiken dezelfde infrastructuur.

Het examen in het PC-lokaal verliep vlekkeloos. Het XToledo-dashboard voor surveillanten is handig. Geen gedoe meer met kopies en kladpapier. De feedback op elke vraag kon ik wel digitaal geven. Een backup examen op papier zou ik graag vermijden in de toekomst. Ik zie de meerwaarde van digitale examens vooral daar waar een deel van de kerndoelstellingen met software toepassingen te maken hebben. De klassieke pen en paper vragen kan je ook nog stellen , maar je hebt zeker meer mogelijkheden op het vlak van PC-gebruik.


[/holo_accordion_item]
[holo_accordion_item title=”Getuigenis van Peter Denie”]

Campus Dirk Martens, Docent Bouw en Vastgoed, Ankerpersoon ICTO-Competentiecentrum


Het ging wel – alles is vrij vlot verlopen. Toch waren er ook wel een aantal uitdagingen.

“Paswoord vergeten” is bijvoorbeeld een nieuw obstakel dat er vroeger in onze pc-klassen niet was. Eén student verspeelde hierdoor ca. 30 min. examentijd. Hoewel we daarvoor wel een oplossing kunnen bedenken, blijft het toch een beetje krakkemikkig in een examenomgeving.

We waren erg blij dat in de examenopgave een strikte naamgeving voor de bestanden werd voorgeschreven. Anders ben je wel eventjes bezig om uit te vissen welk Toledo-bestand van welke student is omdat in de opdrachtbestanden die je download enkel het q-nummer wordt opgenomen 1.

Op basis van onze ervaringen met XToledo hebben we ook enkele verzoeken. Zo kan je het dashboard van XToledo nu alleen sorteren op Access en Started. We zouden dit ook graag willen kunnen filteren zodat de studentenlijst zelf overzichtelijker wordt. Ook zouden we eenvoudig momentopnames van het dashboard willen kunnen downloaden voor eventuele controle achteraf 2.

XToledo dashboard
Figuur 9: Het XToledo-dashboard wordt gebruikt om de toegang tot het examen voor studenten te regelen en hun activiteiten op te volgen.

Tot slot toch nog een kritische noot, maar eerder op het vlak van PC-infrastructuur. Waar xToledo een ‘clean’ platform biedt om het online-deel van het examen vorm te geven, is het lokale pc-gebruik eigenlijk alles behalve ‘clean’. Studenten loggen in met hun eigen account en zouden dus op de pc bestanden kunnen terugvinden uit de lessen en wanneer bestanden niet verwijderd worden na het examen, kunnen de studenten enkele weken nadien op de pc’s ook nog examenmateriaal terugvinden.

Het lijkt mij zinvol om daar toch even bij stil te staan 3.


Bij deze gewaardeerde getuigenis van Peter, willen we vanuit ICTO de volgende voetnoten toch even meegeven.

1. De “Assignment Name Converter” van Toledo is een waardevolle maar niet echt gekende tool in Toledo. Dit hulpmiddel is te vinden bij de Cursustools.

Uit Toledopedia:
Via de Assignment Name Convertor kan men de bestandsnamen aanpassen van de bestanden die men krijgt als men de doorgestuurde commentaren en attachments (bijlagen) bij een assignment (opdracht) downloadt. De nieuwe bestandsnamen bevatten na omzetting de voornaam en achternaam van de student alsook zijn gebruikersnaam.

2. Alle medewerkers van de hogeschool mogen suggesties, opmerkingen en verzoeken doorgeven die te maken hebben met het gebruik van Toledo (en andere ICTO-toepassingen) via ict-icto@odisee.be.

De Deelgroep Toledo van de Associatie KU Leuven bespreekt verzoeken die vanuit de verschillende instellingen worden aangebracht. Op basis van het draagvlak voor de gewenste aanpassingen, de roadmap van de softwareleverancier Blackboard, de beschikbare mankracht binnen het Toledo-team en de beleidsprioriteiten wordt permanent gepland en ontwikkeld. De leden van de Deelgroep Toledo hanteren daarbij een trello-bord om het overzicht te bewaren.

Toledo Requests
Figuur 10: De Deelgroep Toledo volgt verzoeken voor wijzigingen nauwgezet op.

3. Om vorderingen te maken op het vlak van Digitaal Examineren heeft ICTO ervoor gekozen de pilootprojecten met XToledo samen te laten starten met de besprekingen over de beveiliging en monitoring van de PC-lokalen die worden gebruikt tijdens examens. In overleg met de ICT-Servicedesk en ICT-Operations worden meerdere pistes momenteel onderzocht.

[/holo_accordion_item]

[holo_accordion_item title=”Getuigenis van Dirk Merckx”]

Technologiecampus Gent, Opleidingshoofd Ontwerp- en Productietechnologie

Ik heb een XToledo examen opgesteld voor het vak Functionele Veiligheid waaraan al een eerste groep heeft deelgenomen.

Blijkbaar had ik de lat iets te hoog gelegd en daarom heb ik ervoor gekozen om toch deelpunten toe te kennen, wat oorspronkelijk niet ingesteld was. Ik had eerst alle antwoorden en resultaten van de studenten die al hadden deelgenomen opgeslagen maar dit bleek niet nodig.

XToledo heeft alle punten van de reeds deelgenomen studenten correct herrekend naar de aangepaste situatie.

Blijkbaar is ook de onduidelijkheid omtrent het decimale teken heel goed aangepakt want bij gebruik van een punt waar een komma verwacht wordt, krijgt de student een foutmelding.

Kortom, alweer een heel positieve ervaring met het afnemen van een examen/toets via XToledo.

Heb je dus een promotor nodig om iemand over de streep te trekken voor het gebruik van XToledo, stuur ze maar door.

[/holo_accordion_item]

[/holo_accordions]

[/holo_tab]

[/holo_tabs]

Geef een reactie

Het e-mailadres wordt niet gepubliceerd.