Ontwerpen van leersituaties

Instructie maakt leren efficiënter, effectiever en makkelijker, en bespaart daarmee tijd en geld. Het bestaat om een vastgesteld doel zo snel en goedkoop mogelijk te bereiken.

Instructional design is een systematisch, wetenschappelijk onderbouwd proces voor het ontwerpen van goede instructie.

Instructional development is gerelateerd en wordt afwisselend gedefinieerd als:

Kenmerken van instructional design
  1. Het is systematisch, specifiek, en er is aandacht voor details.
  2. Er wordt vooraf eerst bepaald of er sprake is van een instructieprobleem.
  3. Er wordt onderscheid gemaakt tussen ontwerpdocumenten en instructiematerialen; niet alles komt bij de lerenden terecht.
  4. Instructie moet voor alle leerlingen voldoende werken.
  5. De informatie die wordt gebruikt tijdens het ontwerpproces is accuraat en compleet.
  6. Instructie is gericht op het leerproces van individuele lerenden, niet op inhoud die moet worden behandeld.
  7. Meerdere wegen leiden naar Rome; zolang het eindproduct de leeropbrengsten binnen het gegeven tijdsbestek behaald is dat voldoende.

Soorten onderwijs


Onderwijsvorm Inhoud Lengte/duur
Specifieke training     alleen strikt noodzakelijke kennis en vaardigheden relevant voor de taak/het probleem minimale lengte om alle benodigde inhoud te behandelen
Formele educatie     brede algemene kennisbasis vooraf vastgesteld timeframe

Ontwerpmodel van Morrison

Het ontwerpmodel van Morrison et al. (2013) bestaat uit negen stappen:

  1. Instructieprobleem
  2. Context- en doelgroepanalyse
  3. Taakanalyse
  4. Leerdoelen
  5. Sequentiëring
  6. Instructiestrategieën
  7. Ontwerpen van lesmaterialen
  8. Produceren van lesmaterialen
  9. Evaluatie

Het model van Morrison is non-lineair, het is cyclisch. De volgorde waarin de stappen worden doorlopen staat niet vast, en stappen mogen worden overgeslagen. Tijdens het ontwerpproces ‘spring’ je heen-en-weer tussen stappen, en je kan op een willekeurig punt in het ontwerpproces ‘instappen’. Wel worden de analyses meestal vroeg in het proces uitgevoerd.


Daarnaast zijn er zes langlopende processen tijdens het ontwerpproces:

Vormen van formatieve evaluatie


Instructieprobleem

Het ontwikkelen van instructie begint altijd met een prestatieprobleem: er is een verschil (‘performance gap’) tussen verwachte uitkomsten en daadwerkelijk behaalde resultaten.

De eerste stap van het ontwerpproces is dan nagaan of er eigenlijk wel sprake is van een instructieprobleem. Hiervoor wordt gebruik gemaakt van drie soorten analyses:

Behoefteanalyse (‘needs assesment’)

De behoefteanalyse wordt gebruikt om het prestatieprobleem te identificeren, aan de hand van één of meer ‘needs’. Hierin zijn zes categorieën te onderscheiden:

Needs kunnen worden geprioriteerd op basis van verschillende eigenschappen, waaronder kosten, invloed, frequentie, of tijd. Een veelgebruikte manier is de Delphi method.

Verschil tussen een needs assesment en analysis

Een needs assesment wordt gebruikt om performance gaps te identificeren en te bepalen of deze opgelost kunnen worden door middel van instructie. Een needs analysis (of 'cause analysis') identificeert de oorzaak van het performance gap.

Taakuitvoeringsanalyse (‘performance assesment’)

De taakuitvoeringsanalyse bepaalt de oorzaak van het prestatieprobleem:

Oorzaak Interventie
Gebrek aan kennis of vaardigheden Training of instructie aanbieden.
Gebrek aan motivatie of incentive Verbeter motivatie of bied beloningen.
Omgevings­factoren Aanpassingen aan de omgeving of taak.
Management­factoren Aanpassingen aan managementprakijken, training of instructie aanbieden aan de manager, of aanwijzen van nieuwe manager.
Interpersoonlijke relaties Aanpassingen aan werkomgeving, aanbieden van coaching, mediëren, aanpassen van managementprakijken.

Instructie is alleen effectief als het prestatieprobleem veroorzaakt wordt door een gebrek aan kennis of vaardigheden; anders zal het enkel symptomen bestrijden.

In de praktijk liggen gebrek aan kennis en motivatie dichter bij elkaar dan in theorie. Soms kan verbeterde instructie dus ook een antwoord zijn op een gebrek aan motivatie.

Doelanalyse (‘goal analysis’)

Een doelanalyse wordt gebruikt om een duidelijker beeld te krijgen van de doelen die de instructie moet bereiken.

Een doelanalyse kan gebruikt worden om de focus van de needs assesment te verfijnen, of om prioriteiten te zetten. Daarnaast kan een doelanalyse ook dienen als korter alternatief voor een uitgebreide behoefteanalyse:

Een doelanalyse begint met een probleem, need of performance gap dat al geïdentificeerd is, en bepaalt vervolgens welk doel bereikt moet worden om dat probleem op te lossen. Dit gaat in zes stappen:

  1. Identificeer einddoel
  2. Stel tussendoelen
  3. Verfijn tussendoelen
  4. Zet ze op volgorde
  5. Verfijn weer
  6. Maak definitieve volgorde

Doelgroep en context

De kenmerken van de doelgroep en context zijn belangrijk en hebben invloed op het instappunt in de ontwerpcyclus, de selectie van inhoud, de keuzes van sequentiëring en leerdoelen, de diepgang en de keuze van instructiestrategieën.

Leerlingkenmerken (doelgroepanalyse)

Er zijn zeven soorten leerlingkenmerken:

Verschil tussen motivatie en houding

Houding is anders dan motivatie. Een leerling kan gemotiveerd en geïnteresseerd zijn, maar weinig zelfvertrouwen hebben en daarom minder goed leren/presteren.

Daar ga je anders mee om dan met ongemotiveerde leerlingen. Ongemotiveerde leerlingen geef je externe prikkels, voor onzekere leerlingen gebruik je strategieën om zelfvertrouwen te verbeteren.

Contextanalyse

Instructie vindt nooit plaats in een vacuüm. De context is het geheel aan factoren die invloed hebben op het leerproces, veelal randvoorwaardelijk, zoals locatie, tijdstip, budget, beschikbare voorzieningen/materialen.

Er zijn drie soorten contexten:

Belangrijk: één instructie kan plaatsvinden in verschillende contexten, bijvoorbeeld in het klaslokaal, thuis/in de bibliotheek (huiswerk), en op excursie.

Curriculumanalyse

Het curriculum betreft alle vooropgezette leerdoelen die leidend zijn voor het lesontwerp.

Er zijn twee typen curriculum:

Kerndoelen & referentiekader

Vanuit de overheid worden voor het primair onderwijs en de onderbouw van het voorgezet onderwijs eisen gesteld aan de inhoud van het curriculum, door middel van kerndoelen en (voor PO) het referentiekader voor taal en rekenen.

Kerndoelen gaan om aanbod (wat moet je eind jaar x gehad hebben?), referentiekader gaat om beheersing (wat moet je eind jaar x kunnen?)

Curriculumanalyse uitvoeren

Bij het uitvoeren van een curriculumanalyse kan je gebruikmaken van bronnen zoals:

Overige analyses uitvoeren

Bij het uitvoeren van de alle andere bovenstaande analyses (behoefte, taakuitvoering, doel, doelgroep, context) kan je gebruikmaken van bronnen zoals:

Houdt wel rekening met privacywetgeving en eventuele toestemmingen van ouders. Over het algemeen geldt: niet meer data verzamelen dan je nodig hebt.

Taakanalyse

De taakanalyse bepaalt welke inhoud de instructie moet behandelen om aan de geïdentificeerde behoeften te voldoen en is daarmee het meest kritieke onderdeel van het ontwerpproces.

Er zijn drie soorten inhoud, verder opgedeeld in zes inhoudsstructuren:

Kennisdomein   Inhoudstructuur Toelichting
Kennis
(cognitief)
Feiten Feitelijke informatie; bijvoorbeeld benamingen, symbolen, plaatsen, datums, definities, beschrijvingen.
Concepten Groeperingen/categorisaties van gerelateerde feiten (of andere concepten).
Principes en regels     Relaties tussen feiten of concepten; bijvoorbeeld wetmatigheden, oorzaak-gevolgrelaties, vuistregels.
Vaardigheid
(procedureel)
Procedures Geordende volgorde van stappen om tot een bepaald doel te komen (denkstappen of concrete handelingen).
Houding
(affectief)
Interpersoonlijk Sociale kennis (verbaal en non-verbaal).
Attitudes Houding tenopzichte van bepaald gedrag; bijvoorbeeld moraliteit, ethiek, voorzichtigheid.

In de taakanalyse zijn er twee belangrijke rollen:

In het onderwijs fungeert de instructieverantwoordelijke vaak als zowel instructional designer en inhoudsexpert.

Topicanalyse (cognitieve inhouden)

Een topicanalyse geeft inzicht in twee dingen:

Dit doe je als een iteratief proces, waarin je in samenwerking met de SME steeds een laag meer diepgang aanbrengt. Morrison et al. (2013) vergelijken dit met archeologie.

Procedurele analyse (procedurele inhouden)

Een procedurele analyse geeft inzicht in de stappen die nodig zijn om een bepaalde taak te volbrengen. Dit gaat om zowel observeerbare (fysieke) stappen, als onzichtbare (mentale) stappen.

De inhoudsexpert voert de taak uit, en vertelt daarbij realtime welke stappen hij neemt en wat hij denkt, en waarom. Het is uiterst belangrijk dat dit gebeurt in een “natuurlijke” context.

Alternatief, als het te duur of tijdrovend is om de taak daadwerkelijk uit te voeren, kan de inhoudsexpert alleen de stappen vertellen (zonder ze daadwerkelijk te doen).

De procedurele analyse geeft antwoord op de volgende vragen:

Expertise Reversal Effect

Experts hebben andere cognitieve schemas dan beginners en denken daardoor op een andere manier dan beginners (en volgen stappen dus mogelijk in een andere volgorde). Daarmee moet je rekening houden bij het ontwerpen van de instructie.

Daarnaast kan een experts ook moeite hebben met het verwoorden van wat ze precies doen, omdat ze een procedure zo ver geautomatiseerd hebben.

Procedures kunnen lineair, vertakt, of cyclisch zijn. Daarnaast volgen in de meeste procedures de stappen elkaar sequentieel op. Verder wordt er onderscheid gemaakt tussen twee soorten procedures:

Checklist voor procedurele analyse

Een procedurele analyse kan ook extra informatie geven over de structuur van de inhoud, als aanvulling op de topicanalyse.

Critical incident analyse (affectieve inhouden)

Een critical incident analyse geeft inzicht in processen die van keer tot keer verschillen, en wordt daarom veel gebruikt voor het analyseren van affectieve/interpersoonlijke vaardigheden.

Deze analyse gaat uit van episodische kennis: welke factoren zijn kenmerken voor het slagen of falen van een proces? Hiervoor worden heel veel casussen onderzocht voor patronen.

Let op: dit heeft niks te maken met critical incident needs. Ja, dat is iid fking verwarrend.

Leerdoelen

Leerdoelen vormen de basis voor het selecteren van instructiestrategieën en leeractiviteiten, en dienen daarnaast ook als basis van toetsing/evaluatie.

Leerdoeldomeinen

Er zijn drie leerdoeldomeinen: cognitief, psychomotorisch en affectief. Binnen de domeinen structureren we leerdoelen met behulp van een taxonomie: een hiërarchisch ordeningssysteem.

Leerdoeldomein Taxonomie Niveau Toelichting
Cognitief Bloom onthouden retrieval van specifieke informatie
begrijpen betekenis construeren uit informatie
toepassen een procedure uitvoeren
analyseren informatie opbreken en relaties beschrijven
evalueren beslissingen maken of voorspellingen doen
creëren uit informatie nieuwe kennis construeren
Psychomotorisch Heinich imitatie een geobserveerde handeling nadoen
manipulatie met begeleiding zelf uitvoeren
precisie met hogere precisie/accuratie uitvoeren
articulatie efficiënter en gecoördineerd uitvoeren
naturalisatie handeling is geautomatiseerd
Affectief Krathwohl ontvangen bereid zijn aandacht te geven
reageren bereid zijn te participeren/meedoen
waarderen waardes herkennen en accepteren of weigeren
organiseren waardes organiseren en prioritiseren
commitment consistent waardes toepassen in eigen gedrag
Kibler's indeling van spiergroepen

Bij psychomotorische leerdoelen kan je ook de taxonomie van Kibler gebruiken. Deze categoriseert benodigde spiergroepen.

Niveau Voorbeelden
Grove motoriek armen, benen, schouders, voeten
Fijne motoriek handen, vingers, hand-oogcoordinatie, hand-oorcoordinatie
Non-verbaal gezichtsuitdrukking, gebaren, lichaamstaal
Verbaal spraak produceren, geluid en gebaren coördineren

Relaties tussen leerdoeldomeinen

De leerdoeldomeinen zijn nauw met elkaar verbonden:

Leerdoelen formuleren

Leerdoelen opstellen gaat in vier stappen:

  1. Haal uit de taakanalyse de essentiële kennis, vaardigheden en attitudes.
  2. Groepeer deze in clusters per doel/need uit de behoefte-/doelanalyse.
  3. Schrijf per cluster een leerdoel.
  4. Schrijf aanvullende leerdoelen voor essentiële inhoud die nog niet in de leerdoelen staat.

Leerdoelen kunnen afwijken van de doelen geïdentificeerd in de behoefte- en doelanalyses:

Er zijn twee stijlen voor het opstellen van leerdoelen: Mager-style en Gronlund-style. Voor beide geldt: leerdoelen beschrijven leeropbrengsten, niet de processen/activiteiten om die te bereiken.

Mager-style (gedragsmatig)

Mager-style leerdoelen beantwoorden de vraag ‘welk gedrag kan een lerende vertonen om aan te tonen de kennis of vaardigheden aangeboden tijdens de instructie te beheersen?’, en zijn te gebruiken voor alle leerdoeldomeinen.

Mager-style leerdoelen bestaan uit vier onderdelen:

Onderdeel Toelichting
Actief werkwoord
(verplicht)
Beschrijft het gedrag dat de lerende moet vertonen; afhankelijk van het gekozen taxonomieniveau.
Onderwerp/inhoud (verplicht) Beschrijft de inhoud die het leerdoel behandelt (het instrument of de focus of van het gedrag).
Criterium
(optioneel)
Een norm waaraan de lerende moet voldoen; normering (60% goed), tijdslimiet, precisie, criteria.
Conditie
(optioneel)
Eventuele hulpmiddelen of handicaps die de lerende heeft tijdens het uitvoeren.
Leerdoelen in het psychomotorisch domein

In het psychomotorische domein ligt de nadruk vaak veel meer op het criterium en de conditie. Let wel op dat 100% beheersing voor beginners vaak onrealistisch is.

Leerdoelen in het affectieve domein

In het affectieve domein zijn leerdoelen moeilijker op te stellen, omdat attitudes/houdingen of interpersoonlijke vaardigheden minder makkelijk concreet meetbaar zijn.

Stel leerdoelen op in twee delen (vergelijkbaar met Gronlund-style):

Gronlund-style (cognitief)

Mager-style leerdoelen specificeren het gedrag dat de lerende moet vertonen, maar geven geen inzicht in het onderliggende intentie/reden, en zijn daarom soms een slecht handvat voor instructieverantwoordelijken en lerenden.

Gronlund-style is een alternatief voor het formuleren van leerdoelen voor het cognitieve domein, bestaand uit twee onderdelen:

Performance-contentmatrix

Met de PC-matrix breng je in kaart welke inhouds­structuren (‘content’) op welk cognitief niveau (‘performance’; recall of application) bij een leerdoel passen. Bijvoorbeeld:

Content Performance
Recall Application
Feiten x
Concepten
Principes/regels x
Procedures
Interpersoonlijk
Attitudes

Sequentiëring

Sequentiëring is het bepalen van de volgorde van de leerdoelen en inhoud van de instructie. De sequentiëring moet ervoor zorgen dat de lerende de leerdoelen op een zo efficiënt en effectief mogelijke manier kan bereiken.

Er zijn twee theoriën voor het sequentiëren: Posner & Strike (1976), en Reigeluth (1996).

Posner & Strike

Posner en Strike (1976) identificeren drie manieren om inhoud te sequentiëren: learner-related, world-related, en concept-related.

Je houdt altijd rekening met learner-related sequentiëren, en dat kan je vervolgens aanvullen met world-related of concept-related sequentiëren.

Learner-related sequentiëren gaat uit van de leerlingkenmerken uit de doelgroepanalyse. Je sequentiërt op:

Voor beginners is het belangrijk dat stof sequentieel (niet gelijktijdig!) wordt behandeld.

World-related sequentiëring wordt gebruikt voor inhoud zoals objecten, mensen, of gebeurtenissen, die een specifieke volgorde hebben in de wereld, vaak aansluitend bij de werkwijze van de doelgroep. Je sequetiërt op:

Concept-related sequentiëring sluit aan bij hoe we de wereld conceptueel organiseren, in begrippen. Je sequentiërt op:

Elaboratietheorie van Reigeluth

Elaboratietheorie wordt ook de zoomlensmethode genoemd. Er is sprake van een epitoom: de kern van de stof. Elaboraties bieden geleidelijk meer diepgang. Je kan hierin twee keuzes:

Het ‘zoomen’ verschilt per type expertise dat de lerende ontwikkelt:

Instructiestrategieën

Instructiestrategieën betreffen het strategisch inzetten van instructie­activiteiten, om leer­activiteiten bij de lerenden te bereiken. Met andere woorden: ze bepalen het didactisch handelen met als doel het bereiken van de leerdoelen.

Een instructiestrategie bestaat uit twee onderdelen:

Initiële presentatie

De initiële presentatie is de eerste kennismaking met nieuwe stof. Voorbeelden kunnen zijn: leertekst, video, uitleg door leerkracht, peer-instructie, tabellen/mindmaps, (rollen)spel.

De keuze voor een initiële presentatie hangt af van verschillende factoren, waaronder: mate van voorkennis, tijd, diepgang, de PC-matrix, en de te behandelen inhoud zelf.

Voorbeelden als initiële presentatie

Er zijn een aantal manieren waarop je voorbeelden kan inzetten als initiële presentatie:

Afbeeldingen als initiële presentatie

Bij het inzetten van afbeeldingen als initiële presentatie moet je rekening houden met de multimediaprincipes van Mayer (zie lesmateriaal ontwerpen). Daarnaast kunnen afbeeldingen verschillende functies hebben:

De functie van een afbeelding wordt niet zo zeer bepaald door de afbeelding zelf, maar door het doel waarmee de afbeelding gebruikt wordt.

Verwerkingsstrategieën

De strategieën die we hier bespreken zijn gebaseerd op de generative-learning approach van Wittrock (1974). Die stelt dat leren een actief proces is, waarbij de lerende betekenisvolle verbindingen maakt tussen voorkennis en nieuwe informatie.

Volgens Jonassen (1988) zijn er vier opeenvolgende categorieën:

In Wijze lessen worden dit “productieve strategieën” genoemd, en gebruiken ze de indeling: selecteren, organiseren, integreren. We beschouwen Jonassen (1988) echter als leidend.

Voorbeelden van verwerkingsstrategieën kunnen zijn: opdrachten maken, debatteren, peer-instructie geven, een verslag schrijven, mindmap maken, voorbeelden bedenken, (rollen)spel.

Maar geen passieve verwerking zoals: tekst overschrijven, invuloefeningen met losse informatie, kijken naar een video zonder interactie.

Leerdoel-strategiematrix

↓ leerdoel / strategie → Initiële presentatie Generatieve strategie Uitwerking generatieve strategie
Leerdoel (+ C/P/A) PC‑matrix R I O E
De leerling legt in eigen woorden uit wat het belang van zwaartekracht is (C). principe-application Uitleg met een PowerPoint-presentatie. x Het maken van een tekening over hoe de wereld eruit zou zien zonder zwaartekracht.
De leerling reageert open en nieuwsgierig door vragen te stellen en feedback te verwerken (A). attitude-application Uitleg aan de hand van een filmpje met een goed en slecht voorbeeld. x De leerlingen passen de uitleg toe tijdens een peer-feedback ronde, waarbij ze een reflectieformulier invullen.

Voorbeelden van generatieve strategieën

Generatieve strategieën voor feiten

Concrete feiten kan je waarnemen met je zintuigen. Initiële presentatie is lerenden het feit laten ervaren.

Abstracte feiten kunnen niet waargenomen of ervaren worden. Initiële presentatie is dan een concrete representatie van het feit (eg. een afbeelding of artifact).

Alle bovenstaande verwerkingsstrategieën kunnen worden toegepast.

Generatieve strategieën voor concepten

Een concept is een categorie gerelateerde ideeën of dingen. De initiële presentatie omvat de naam van het concept, de definitie, en de beste voorbeelden.

Alle bovenstaande verwerkingsstrategieën kunnen worden toegepast.

Generatieve strategieën voor principes en regels

Een principe of regel is een relatie tussen concepten of feiten. Initiële presentatie bestaat uit een definitie van de regel (\(\text{RUL}\)) en enkele voorbeelden (\(\text{EG}\)):

Uit een meta-analyse blijkt dat \(\text{EG−RUL}\) tot beter begrip en generaliseren leidt.

De bovenstaande voorbeeldstrategieën zijn hier ook van toepassing. Andere specifieke verwerkingsstrategieën kunnen zijn:

Generatieve strategieën voor procedures

Een procedure is een opeenvolging aan stappen om tot een doel te komen. Afhankelijk van de invulling van de PC-matrix is het leerdoel:

Psychomotorische procedures zijn fysieke handelingen om tot een doel te komen. Initiële presentatie is het demonstreren van de uitvoering.

Cognitieve procedures zijn mentale stappen om tot een doel te komen. Initiële presentatie moet een manier vinden deze denkstappen te representeren, bijvoorbeeld door middel van uitgewerkte voorbeelden (‘worked examples’).

De verwerkingsstrategie voor procedures bestaat uit twee stappen:

  1. Vormen van een mentaal model door een elaboratieve strategie zoals parafraseren.
  2. Oefenen met het uitvoeren van de procedure. Dit kan eventueel aan de hand van een uitgewerkt voorbeeld en fading.

Fading houdt in dat er steeds minder stappen worden ‘voorgedaan’, en de lerende dus geleidelijk meer op eigen kracht moet doen.

Lesmaterialen ontwerpen

Pre-instructie

De pre-instructie is de eerste introductie van nieuwe stof, en bereidt de lerende voor. Er zijn vier vormen: pretest, leerdoelen, overzicht, advance organizer.

Cognitive load

Signaling

Signaling in teksten helpt lerenden in het vormen van een mentaal model. Signalen kunnen lokaal of globaal zijn.

Er zijn vier manieren van signaling: tekststructuur, signaalwoorden, typografisch, grafisch.

Tekststructuur & signaalwoorden

Er zijn vijf veelvoorkomende tekststructuren voor signaling:

Deze tekststructuren kunnen worden aangeduid door signaalwoorden (‘pointer words’). Deze worden gebruikt om de lezer te laten weten wat te verwachten van de komende informatie. Dit draagt bij aan de cohesie van de tekst en schemaconstructie.

Vermijd overmatig gebruik van signaalwoorden. Dit werkt afleidend en kan zorgen dat lezers meer moeite hebben de kern uit de tekst te halen.

Typografische signaling

Door middel van typografische elementen kan structuur worden aangeduid en kunnen belangrijke woorden, zinsdelen of ideeën uitgelicht worden.

Grafische signaling

Grafische signals zijn vergelijkbaar met typografische signals, maar dan om belangrijke informatie binnen afbeeldingen uit te lichten.

Heuristieken

Multimediaprincipes van Mayer

Mayer (2008) identificeert een aantal belangrijke principes voor het inzetten van multimedia:

Overwegingen voor het gebruik van afbeeldingen

Computer-based instructie (CBI)

Computer-based instructie (en educatieve technologie in het algemeen) is niet één enkele interventie, maar een brede categorie aan media, tools, en strategieën voor leren. Computers kunnen efficiëntere instructie bieden, maar effectiviteit is afhankelijk van de manier waarop je ze inzet.

Voordelen van computer-based instructie

Individualised instruction

Individualised instruction zijn vormen van CBI waarbij de lerende zelfstandig werkt, zelf de pacing bepaalt, en de instructie zichzelf adaptief op de lerende aanpast. Er zijn vijf types:

Design principles

Evaluatie

Evaluatie is het proces van meten en interpreteren van meetresultaten. Dit kan op verschillende niveaus van het onderwijskundig referentiekader.

De term ‘evaluatie’ kan verwijzen naar twee dingen: evaluatie van de instructie zelf, of evaluatie van de leeropbrengsten van een lerende (aka toetsing). Dit stuk gaat over evaluatie van instructie.

Timing

Er zijn verschillende meetmomenten: vooraf (pretest), tijdens (embedded), achteraf (posttest).

Formatieve evaluatie maakt vooral gebruik van embedded testing. Summatieve en confirmatieve evaluatie legt vooral nadruk op posttesting en het verschil met de pretest.

Soorten evaluatie

Evaluatie van instructie kan betrekking hebben op drie aspecten van het ontwerpen:

Bij formatieve evaluatie ligt de nadruk op proces en product (want er is nog geen effect). Bij summatieve en confirmatieve evaluatie ligt de nadruk juist op product en effect.


Na het evalueren beschrijf je altijd waar, wanneer, hoe, en bij wie, de evaluatie is uitgevoerd, wat de resultaten van de evaluatie waren, en welke aanpassingen naar aanleiding van de evaluatie zijn gedaan.

Toetsing

Toetscyclus

De toetscyclus beschrijft de stappen die nodig zijn voor het ontwerpen van een toets, en bestaat uit een deel vooraf, en achteraf.

  1. Leerdoelen en taxonomie: de leerdoelen bepalen een aantal belangrijke zaken, zoals: soort toets (leerdoeldomein), moeilijkheidsgraad (taxonomieniveau), beheersingsniveau (criterium), en de inhoud.

  2. Keuze toetsvorm: de keuze van de toetsvorm is afhankelijk van het kennisdomein.

    • Cognitief: open vragen/uitleg vragen, meerkeuze, ja-nee/juist-onjuist, matching.
    • Procedureel: direct uitvoeren, ranking maken, rubric/beoordelingsmodel, portfolio.
    • Attitudes: gedragschecklist, anekdotes, observaties, vragenlijsten, interviews.
  3. Toetsplan opstellen: het toetsplan geeft inzicht op toetsing op cursus of curriculumniveau.

    • Hoeveel toetsen worden afgenomen, en wanneer?
    • Welke (deel)inhoud en leerdoelen wordt getoetst per toets?
    • Welke tijdsduur, weging, taxonomieniveau per toets?
  4. Toetsmatrijs opstellen: de toetsmatrijs geeft inzicht op individueel toetsniveau.

    • Uit hoeveel vragen bestaat een toets?
    • Uit wat voor soort vragen bestaat de toets?
    • Welk leerdoel en taxonomieniveau dekken vragen?
    • Hoeveel punten zijn er per vraag te verdienen?
  5. Toets ontwikkelen: het maken van de toetsings.

    • Vragen formuleren (op basis van toetsmatrijs)
    • Antwoordmodel + beoordelingsinstructie maken
    • Cesuurvoorstel opzetten (zie later meer)

Na het ontwikkelen van de toets wordt deze afgenomen, en gaat het tweede deel van de toetscyclus in gang:

  1. Beoordelen gemaakte toetsen: op basis van de resultaten van de toets wordt eventueel het cesuurvoorstel of de normering aangepast.

  2. Definitieve resultaten: op basis van de definitieve cesuur worden de cijfers berekend en aan lerenden gecommuniceerd.

  3. Evaluatie en bijstelling: naar aanleiding van de resultaten kan blijken dat een toets te makkelijk/moeilijk is, of niet goed aansluit bij de inhoud van de instructie. Je begint dan weer aan het begin van de toetscyclus.

Soorten toetsvragen

Er zijn verschillende soorten toetsvragen:

Algemene richtlijnen voor het schrijven van toetsvragen
Richtlijnen voor het schrijven van toetsvragen op hogere taxonomieniveaus
Richtlijnen voor het schrijven van meerkeuzevragen
Richtlijnen voor het schrijven van juist-onjuistvragen
Richtlijnen voor het schrijven van essayvragen

Toetskwaliteit

Betrouwbaarheid van een toets verbeteren

Normering

De normering of cesuur bepaalt waar de zak/slaaggrens ligt (hoeveelheid punten nodig voor een voldoende). Dit kan absoluut of relatief bepaald zijn:

Relatieve scores worden vaak gebruikt in onderwijsprogramma’s die gebruikmaken van letterscores als alternatief voor cijfers. Een A betekent dan: in de top 7.5% best presterende lerenden van de groep, niet 92.5% beheersing.

Het ijkpunt van schaalscores bij absolute normeringen is de maximaal te halen toetsscore, en bij relatieve normeringen het gemiddelde van de scores van de vijf best presterende lerenden.

Cesuur berekenen

De cesuur is het minimaal aantal te behalen punten voor een voldoende, en hangt af van:

De formule van het berekenen van het cesuur is als volgt:

\[\text{Cesuur} = Rk + Bg \cdot (S - Rk)\]

Stel, er zijn maximaal \(28\) vragen te beantwoorden. Elke vraag heeft vier meerkeuzeopties, dus er is een raadkans van \(\frac{1}{4} \cdot 28 = 7\) vragen. We hanteren een beheersingsgraad van \(60\%\).

\(\text{Cesuur} = 7 + 0.6 \cdot (28 - 7) = 16.8\)

Je moet dus \(17\) vragen goed beantwoorden voor een voldoende. Deze berekening gaat ervanuit dat elke vraag even zwaar meetelt in de scoring.

Beoordelen van een praktische opdracht

De bovenstaande berekening werkt vooral goed voor een klassieke kennistoets. Voor praktische opdrachten kost het iets meer werk om een beoordeling te maken:

  1. Je stelt eisen op waaraan de lerende moet voldoen
  2. Per eis in de rubric stel je een aantal beheersingsniveaus op
  3. Je wijst een puntenaantal aan elk beheersingsniveau toe
  4. Bereken de slaag/zakgrens aan de hand van de normering
Functies van toetsing
Functies van toetsplan en -matrijs

Implementatie

Niet elke innovatie (zoals invoeren van nieuwe instructie) wordt gemakkelijk zonder weerstand doorgevoerd, ook niet als deze een duidelijk probleem oplost. Het is daarom soms nodig om de klant actief te overtuigen een verandering door te voeren.

We noemen het proces van overtuigen planned change, en het bestaat uit twee stappen:

Er zijn twee modellen voor implementatie: Rogers (1995) en CLER (1982).

Rogers-model

Het model van Rogers (1995) beschrijft vier succesfactoren van diffusie:

CLER-model

Het CLER-model beschrijft de situatie van implementatie aan de hand van vier factoren: