Meerkeuzevragen, wat kan je ermee?

Update: een bewerking van dit bericht is verschenen in NVOX #5 mei 2021 

Meerkeuzevragen (multiple-choice vragen) bij het vak Natuurkunde worden niet door iedereen serieus genomen. Natuurkunde gaat immers om inzicht en berekeningen en die kan je niet in meerkeuzevragen vatten. Maar zoals vaak is er meer over te zeggen.

“Among the criticisms of multiple-choice tests is that—by exposing the correct answer as one of the alternatives—such tests engage recognition processes rather than the productive retrieval processes known to enhance later recall.” (Little, Bjork, Bjork, Angello (2012))

Wat iemand vindt van meerkeuzevragen is vaak heel persoonlijk. Ergens tussen “geweldig” en “dat gebruik ik nooit”. Een argument dat gebruikt wordt is dat de gok kans te groot is dus dat je nog niet goed weet of de leerling weet wat er bedoeld wordt. Ook wordt er gezegd dat de mogelijkheden van meerkeuzevragen te beperkt zijn en je het dus niet regelmatig kan gebruiken.

Elizabeth Bjork legt in deze video uit dat meerkeuzevragen, mits goed gemaakt, ook geschikt zijn om van te leren. (Bjork (2015))

“Educators should provide feedback when using multiple-choice tests.”

Meerkeuzevragen zijn vragen met meerdere antwoorden. Vaak 4 antwoorden, soms 3 of 5 maar ook nog wel meer of minder. De leerling leest de vraag, bekijkt de antwoorden en selecteert het juiste antwoord. Meerkeuzevragen hebben een groot voordeel bij het nakijken, je ziet snel of een antwoord goed is. Nadeel is dat een leerling een antwoord kan gokken. Bij vier antwoorden is de gokkans 25%. Hoe meer antwoordmogelijkheden, hoe lager de gokkans. Bij een complete toets is het van belang om alle vragen dezelfde gokkans te geven zodat je daar met de normering rekening kan houden (bij vier antwoorden is 25% goed een 1).

Wat je kan vragen bij meerkeuzevragen is beperkt. In RTTI termen zijn reproductievragen goed te doen (“weet je het”) en ook inzichtvragen zijn redelijk te maken (“begrijp je het”) maar de T1 en T2 vragen zijn vaak lastiger. Als een leerling veel moet rekenen dan wil je graag dat leerlingen ook de berekening laten zien.

Hoe kan je meerkeuzevragen inzetten?

Meerkeuzevragen hebben een positief effect op het leren. Roediger (2005) heeft onderzoek gedaan naar het effect van meerkeuzevragen en naast de positieve effecten blijken er ook negatieve effecten te onstaan. Leerlingen lezen de vraag, bekijken de alternatieven en komen op een bepaalde manier tot een antwoord. Op dat moment heeft de leerling de vraag gekoppeld aan een antwoord. Wat fijn is als het antwoord juist is en de leerling de juiste afwegingen heeft gemaakt. Maar als het antwoord onjuist is dan blijft de leerling zitten met de vraag die gekoppeld is aan een onjuist antwoord.

Een vervolgonderzoek (Andrew C. Butler And Henry L. Roediger III (2008)) geeft aan dat deze negatieve effecten voor een belangrijk deel kunnen worden gecompenseerd door het geven van feedback. In ieder geval de juiste antwoorden, maar liever meer uitgebreid met een inhoudelijke bespreking van alle alternatieven. Of als er genoeg tijd is de vragen bekijken in de context van de eerder behandelde leerstof.

In het artikel zeggen de schrijvers: “Educators should provide feedback when using multiple-choice tests.”

Hierna volgen een aantal mogelijkheden om meerkeuzevragen in te zetten.

Meerkeuzetoets

Een meerkeuzevragen toets heeft als voordeel dat de toets relatief snel na te kijken is. Een nadeel is echter dat afkijken relatief makkelijk is en het moeilijk is om verschillende versies te maken met dezelfde vragen. Vragen hebben een bepaalde opbouw die snel onlogisch wordt als bijvoorbeeld antwoorden door elkaar gegooid worden. De volgorde van vragen is vaak ook niet goed door elkaar te gooien omdat een logisch verband dan al snel chaotisch wordt.

In een toets horen de meerkeuzevragen hetzelfde aantal antwoordmogelijkheden te hebben zoals hierboven is beschreven.

Exit formulier

Met een exit formulier (exit ticket) stel je, op papier of digitaal, aan het einde van de les een paar vragen aan leerlingen om te kijken of ze de lesstof begrepen hebben. Als docent krijg je dan terugkoppeling over de les, maar je wil niet dat het heel veel tijd kost om te achterhalen hoe het in de les gegaan is. Een exit formulier kan veel verschillende vormen en doelen hebben (voorbeelden bij juffrouw Femke).

Eén of enkele meerkeuzevragen werken vaak goed als exit formulier omdat leerlingen relatief weinig tijd hebben om de vragen te maken. Als docent kan je snel zien of de leerlingen de stof begrepen hebben. Een exit formulier heeft dezelfde nadelen als een meerkeuzetoets (moeilijk meerdere versies te maken, kans op afkijken).

Herhalen

Reproductievragen zijn relatief eenvoudig te maken als meerkeuzevragen. Door regelmatig een serie meerkeuzevragen te laten oefenen neem je de leerlingen mee in het leerproces waarbij herhalen van belang is. Leerlingen krijgen inzicht welke stof ze nog niet beheersen.

Inzicht

Inzichtvragen zijn ook goed als meerkeuzevragen te maken. Het is voor leerlingen echter moeilijk om iets met deze vragen te doen. Ze weten het antwoord of weten het antwoord niet maar daar wordt verder niets geleerd. Inzichtvragen hebben om dezelfde redenen geen zin om als huiswerk op te geven. Om inzicht te ontwikkelen is het nodig dat je verwoordt wat je er van vindt en iemand anders moet daar dan op kunnen reageren.

Eén inzichtvraag op het bord en leerlingen laten stemmen kan een goede start zijn voor een discussie in de klas. Wie had a) en waarom dan? Wie had b) enz. Soms helpt het om na de discussie nogmaals te laten stemmen. De NVON heeft samen met Noordhoff Uitgevers en de rijksuniversiteit Groningen een boekje uitgegeven “Natuurkunde is leuker als je denkt.” In dit boekje staan 100 inzichtvragen verspreid over verschillende onderwerpen die zeer geschikt zijn voor discussie in de klas. Er bestaat ook een pdf versie van zodat je snel de juiste vraag op het bord kan zetten.

Inzicht (2)

Ook kunnen verschillende inzichtvragen bij elkaar gezet worden als een soort puzzel. Leerlingen zoeken dan de juiste antwoorden in groepjes, overleggen met elkaar en komen als het goed is tot de juiste antwoorden. Met de antwoorden kunnen leerlingen dan zelf controleren of ze de juiste antwoorden hebben gegeven. Tot slot is er dan toch nog feedback nodig om er voor te zorgen dat de leerlingen de juiste antwoorden ook om de juiste redenen gekozen hebben. (Bernard (2018))

Inzicht (3)

Inzicht betekent ook dat je soms wat langer moet nadenken. Niet direct het antwoord krijgen, maar de vraag even laten sudderen. Paul Hewitt maakte hiervoor de “Next time questions.” Meerkeuzevragen die hij wel deelde maar waarbij het antwoord later kwam. Een week later of de volgende les. Paul Hewitt maakte er ook tekeningen bij maar ook simpelere meerkeuzevragen kunnen op deze manier ingezet worden. Kijk hier voor de vragen van Paul Hewitt: https://www.arborsci.com/pages/next-time-questions

Determinatie

Goed geconstrueerde meerkeuzevragen kunnen ook gebruikt worden als determinatie gereedschap. Leerlingen krijgen een aantal meerkeuzevragen waarbij naast het goede antwoord de afleiders moeilijkheden of misconcepties bevatten. Deze vragen zijn moeilijker te maken, maar de antwoorden kunnen gebruikt worden om te kijken waar leerlingen zijn. Afhankelijk van de antwoorden is het dan mogelijk om leerlingen een ander vervolg te geven.

Adam Boxer schrijft hierover in een blogpost “Multiple choice vs. short answer? Which is better when?” (Boxer (2020)). En ook René Kneyber beschrijft dit op llearn.nl in een gratis minicursus diagnostische vragen (Kneyber (2020)). Na een beperkt aantal diagnostische vragen is te zien welke leerlingen bijvoorbeeld goed op weg zijn (en verder kunnen werken), welke leerlingen rekenvaardigheden missen (en een werkblad rekenen krijgen) en welke leerlingen behoefte hebben aan verlengde instructie. 

Meerkeuzevragen als leermiddel

Door meerkeuzevragen niet alleen te beantwoorden, maar ook serieus na te denken over de alternatieven, verhoogt het leerrendement. Blake Harvard beschrijft op zijn weblog een manier om de meerkeuzevragen beter te benutten: “Maximizing the Effectiveness of Multiple-Choice Qs” (Harvard (2018)).

Blake heeft een schema gemaakt waarmee hij studenten niet alleen het juiste antwoord laat kiezen, maar ook de alternatieven laat voorzien van commentaar. Hieronder mijn versie hiervan (of bekijk de versie van Blake Harvard in zijn bericht).

meerkeuzevragen-1.docxDownload

Meerkeuzevragen als leermiddel (2)

Blake Harvard komt ook nog met een andere manier om meer te leren van meerkeuzevragen: “Ranking Multiple-Choice Answers to Increase Cognition.” (Harvard (2020)) Naar aanleiding van een artikel van Binford and Gettys (1965) vraagt hij zich af welk antwoord gekozen wordt als de eerste keuze onjuist blijkt te zijn. Uiteindelijk blijkt dat in tweede instantie, met minder keuzes die over zijn, vaker een juist antwoord gegeven wordt. En dat is denk ik niet zo verwonderlijk. Maar Blake gaat verder en laat studenten een juist antwoord kiezen en vervolgens de overige antwoorden op volgorde zetten. Studenten moeten nu ook de alternatieven bekijken en daar een mening over hebben. De afleiders hebben op deze manier ook een functie bij het leren. 

Hieronder mijn versie hiervan (of bekijk de versie van Blake Harvard in zijn bericht).

meerkeuzevragen-2.docxDownload

Bronnen

Bernard (2018)
Leren leren: praten met elkaar
https://bernardblogt.wordpress.com/2018/01/21/leren-leren-praten-met-elkaar/

Binford and Gettys (1965)
Nonstationarity in paired-associate learning as indicated by a second guess procedure
https://www.sciencedirect.com/science/article/abs/pii/0022249665900246

Bjork (2015)
How Multiple Choice Testing Can Enhance Learning, Dr. Elizabeth Bjork
https://www.youtube.com/watch?v=wGbic5pLiGE

Boxer (2020)
Multiple choice vs short answer which is better when
https://www.carousel-learning.com/blog/multiple-choice-vs-short-answer-which-is-better-when

Andrew C. Butler And Henry L. Roediger III (2008)
Feedback enhances the positive effects and reduces the negative effect of multiple-choice testing, https://www.researchgate.net/publication/5359941_Feedback_enhances_the_positive_effects_and_reduces_the_negative_effect_of_multiple-choice_testing

Juffrouw Femke (2020)
Exit tickets
https://juffrouwfemke.com/2020/08/11/exit-tickets-66-formats/

Harvard (2018)
Maximizing the effectiveness of multiple-choice qs
https://theeffortfuleducator.com/2018/05/15/maximizing-the-effectiveness-of-multiple-choice-qs/

Harvard (2020)
Ranking Multiple-Choice Answers to Increase Cognition
https://theeffortfuleducator.com/2020/04/27/rmcatic/

Kneyber (2020)
Minicursus diagnostische vragen
https://platform.llearn.nl/courses/minicursus-diagnostische-vragen

Little, Bjork, Bjork, Angello (2012)
Multiple-Choice Tests Exonerated, at Least of Some Charges: Fostering Test-Induced Learning and Avoiding Test-Induced Forgetting
https://bjorklab.psych.ucla.edu/wp-content/uploads/sites/13/2016/07/Little_EBjork_RBjork_Angello_2012.pdf.

Henry L. Roediger III Elizabeth J. Marsh (2005)
The Positive and Negative Consequences of Multiple-Choice Testing
https://www.researchgate.net/publication/7517407_The_Positive_and_Negative_Consequences_of_Multiple-Choice_Testing

Woordzoekers

Woordzoekers zijn een beetje saaie puzzels. Er is een lijst met woorden en meestal een rechthoek of vierkant met letters en het is de bedoeling dat je de woorden vindt en wegstreept.

Woorden bekijken, opzoeken en wegstrepen kan goed gebruikt worden bij talen of nt2 waarbij leerlingen gewend raken aan een woordbeeld.

Via Facebook kwam ik een variant tegen waarbij een woordpuzzel gebruikt werd als introductie activiteit bij een nieuwe klas. De namen van alle leerlingen stonden in de woordpuzzel maar de namen werden niet gegeven. Leerlingen moeten elkaars naam vragen, die dan opzoeken en wegstrepen.

Een woordzoeker wordt interessanter als er een extra denkstap wordt toegevoegd. De woorden die je moet wegstrepen staan er niet letterlijk bij maar er staat iets anders. Bijvoorbeeld een Engels woord terwijl de Nederlandse vertaling moet worden weggestreept. Of de afkortingen van scheikundige elementen waarbij de gehele naam gezocht moet worden, of grootheden of eenheden bij Natuurkunde, of onderdelen in figuren die leerlingen moeten kennen. Het toevoegen van een extra denkstap maakt een woordpuzzel een goede en nuttige activiteit die in elke klas gedaan kan worden.

Het maken van een woordpuzzel is niet heel lastig. Online zijn hier veel programma’s voor te vinden (zoeken op crossword generator). Zelf gebruik ik al langere tijd: https://puzzlemaker.discoveryeducation.com/WordSearchSetupForm.asp. Liefst maak ik de lijstje eerst in Word en knip/plak ze dan in het juiste veld. Zo kan ik ze later nog hergebruiken of aanpassen als er een fout in zit. De puzzel knip/plak ik dan van het scherm en plaats het in Word of Powerpoint. Woordzoekers moet je wel een geschikt lettertype geven (in dit voorbeeld is Courier gebruikt).

Discovery Education heeft ook andere puzzel generatoren om te gebruiken (https://puzzlemaker.discoveryeducation.com/).

Leren leren, Escaperoom met multiple choice vragen?

Hoe open je een hangslot met multiple choice vragen?

Multiple choice vragen hebben vaak 4 antwoorden (abcd, of 1234). En een hangslot met cijfercode meestal een code van drie cijfers.

Om de koppeling te maken tussen de vragen en de code kan je de keuzes abcd vervangen door een getal. Door de getallen op te tellen krijg je dan een getal van 3 cijfers: de code van het slot. In onderstaand overzicht is het eerste antwoord het juiste antwoord, de andere zijn voor de afleiders. Het slot moet worden ingesteld op code 219.

Heb je meer sloten om te openen, dan heb je meer rijtjes vragen nodig. Die overigens ook best (deels?) uit dezelfde vragen kunnen bestaan.

Let er wel op dat de overige combinaties niet toevallig ook het goede getal kunnen vormen. En dat het eindantwoord niet boven de 999 uitkomt.

vraag 1:
antwoord 1: 19
antwoord 2: 20
antwoord 3: 24
antwoord 4: 45

vraag 2:
antwoord 1: 52
antwoord 2: 23
antwoord 3: 37
antwoord 4: 85

vraag 3:
antwoord 1: 51
antwoord 2: 71
antwoord 3: 85
antwoord 4: 8

vraag 4:
antwoord 1: 97
antwoord 2: 74
antwoord 3: 93
antwoord 4: 99

19 + 52 + 51 + 97 met als antwoord 219

Leren leren, Helpt een puzzel om overleg te starten?

Leerlingen aan het werk krijgen is stap één. En leerlingen over opgaven laten nadenken is stap twee. Leerlingen weten vaak wel min of meer of een gemaakte vraag goed beantwoord is. Soms ook is er twijfel. Het gaat mis als een leerling denkt dat het goed gegaan is en het antwoord toch onjuist blijkt te zijn.

Leerlingen die opgaven maken uit het boek, en vervolgens de uitwerkingen er naast leggen zien wel wat goed of fout is maar stoppen daar vaak ook met nadenken. In mijn ogen is het mooier als leerlingen een aantal vragen maken en kunnen controleren of deze vragen gezamenlijk allemaal goed zijn of juist niet. Als niet alles goed is moeten ze een afweging gaan maken welke vraag wel goed zal zijn, en welke vraag misschien niet goed is om daar nog eens langer over na te denken. En misschien met andere leerlingen eens over te praten.

Om te kijken of zoiets werkt hieronder een concept met vragen over serieschakelingen (3e klas) waarbij ze kunnen controleren of alle vragen goed zijn. Als dit werkt is het makkelijk uit te breiden naar parallel schakelingen, combinatie schakelingen, vermogen, energie, enz. Of willekeurig welk ander onderwerp.

Wat denk jij? Zou dit de leerlingen kunnen helpen?

Puzzel (.pdf)

Smartboard: Move to reveal (gordijn en vergrootglas)

In een vorig bericht beschreef ik de techniek “Move to reveal” waarbij teksten worden verstopt onder/achter een rechthoek. In dit bericht enkele voorbeelden van een andere manier om “Move to reveal” toe te passen. Gevolgd door een korte beschrijving hoe je zo’n Notebook bladzijde maakt (en een presentatie met een uitgebreidere beschrijving).

Puzzel gemaakt met Puzzlemaker. De oplossing komt tevoorschijn als het groene “gordijn” naar beneden getrokken wordt.

Er zijn verschillende manieren te bedenken om “de oplossing” te tonen.

Vergrootglas tekening komt uit de Gallerij.

Stukje van de woordenlijst van Alie Bosma (via de digischool na inloggen).

In het kort

Bovenstaande voorbeelden bestaan grofweg uit 3 lagen.

1. De onderste laag met de “opdracht”
2. Een middelste laag met “het gordijn”
3. En de bovenste laag met “de oplossing”

De opdracht op de onderste laag kan gewoon gemaakt worden zolang alles maar op de onderste laag staat. Voor de oplossing is het van belang dat deze laag helemaal vooraan staat. De teksten van de oplossing zijn niet zichtbaar omdat ze dezelfde kleur hebben als de achtergrond. “Het gordijn” is een rechthoek met een kleur waarop de oplossing goed te zien is. Dit “gordijn” schuift eigenlijk voor de opdracht langs, maar achter de oplossing. De rechthoeken zijn deels transparant (doorzichtig) gemaakt om de opdracht ook nog te kunnen zien.

In bovenstaande plaatjes de stappen die ik genomen heb. Plaatje 1 geeft een opdracht (onderste laag), een gordijn (middelste laag) en een oplossing (bovenste laag). Plaatje 2 heeft een oplossing in de kleur rood. In plaatje 3 is de oplossing over de opdracht gezet en niet meer te zien. Plaatje 4 geeft dan weer wat er gebeurt als het gordijn over de opdracht geschoven wordt. De oplossing wordt zichtbaar (maar de opdracht verdwijnt nu nog). Om de oplossing EN de opdracht te kunnen zien moet het gordijn gedeeltelijk doorzichtig gemaakt worden (vierde tab, eigenschappen) zie onderstaande plaatje.

Uitgebreide beschrijving

Een uitgebreidere beschrijving van bovenstaande voorbeelden (puzzel en vergrootglas) staat hieronder.

Presentatie kan gedownload worden bij Slideshare (of anders hier).

Het Notebook bestand van deze voorbeelden staat hier.

Succes met het maken van je eigen “Move to reveal” bladzijden!

Smartboard links (augustus 2009)

Puzzel

Met Puzzlemaker maak je snel een Word Search (woordzoeker) puzzel. Deze website bestaat alweer enkele jaren en blijft mijn favoriet omdat het een relatief simpele uitvoer heeft die je de mogelijkheid geeft om de puzzel op te nemen in Word, in Notebook, … Een alternatieve website Learning Planet geeft een mooie uitvoer op papier, maar de gegevens zijn er niet zo makkelijk af te halen (om de uitvoer te kunnen opslaan moet je je aanmelden). Een Word Search (woordzoeker) puzzel werkt goed op papier, maar kan ook op het Smartboard getoond worden. Laat leerlingen dan één voor één een woord aanstrepen met de markeerstift.

Woordzoeker puzzels kunnen bijvoorbeeld gebruikt worden:

• Om kernwoorden van een onderwerp te laten aanstrepen voor de lessen beginnen. Leerlingen hebben de namen dan in ieder geval al een keer gezien.
• Als overhoring. Leerlingen strepen de woorden aan die ze (her)kennen.
• Bij Frans: mannelijke en vrouwelijke woorden opnemen. Leerlingen strepen alleen 1 categorie aan.
• Bij Engels: regelmatig en onregelmatige werkwoorden opnemen. Leerlingen strepen alleen 1 categorie aan.
• Bij de start van een nieuwe klas. Neem alle namen van leerlingen op en laat de leerlingen hun eigen naam aanstrepen.
• Beroepen opnemen bij een keuzebegeleidingsactiviteit.

Woordzoekers maak je met een lijstje opgegeven woorden. Dit lijstje kan je bij de puzzel geven (“deze woorden moet je opzoeken”). Maar deze lijst is niet altijd nodig om de puzzel te maken (afhankelijk van het doel waarvoor je de woordzoeker gebruikt).