extra stap NHST: conclusie schrijven (wat betekent wel/niet verwerpen H0)

externe validiteit: (inferentie mogelijk?)

• type steekproef: aselect?
• setting onderzoek: real-world? ^ecologische validiteit: mate van overeenkomst tussen werkelijkheid en experimentele setting.

externe validiteit minder belangrijk dan interne validiteit (want causaliteit/oorzaak-gevolg relatie aantonen)

bedreigingen:

• design confounds <- alternatieve variabele die verschilt tussen groepen DOOR ONTWERP
• selectie effects <- alternatieve variabele die verschilt tussen groepen DOOR SAMENSTELLING (waren de groepen wel vergelijkbaar bij aanvang -> randomisatie)
• contaminatie <- groepen wisselen informatie uit

begripsvaliditeit:

• METHODEDEEL
• hoe (goed) geoperationaliseerd en uitgevoerd?

onafhankelijke variabele: komt overeen met werkelijkheid? afhankelijke variabele: is de uitkomst goed gemeten?

statistische validiteit significant != groot (grote n => kleine SD => grote significantie bij klein effect) hoe groot is het effect (cohen’s d) juiste toets uitgevoerd? -> geschiktheid interpretatie goed?

• significantie: wat is p? welke alfa? waarde van toetsingsgrootheid?
• relevantie: hoe interpreteren we het verschil? waarde effect size?
• nauwkeurigheid: betrouwbaarheidsinterval en niveau? breed of smal?
• geschiktheid: juiste toets?, voorwaarden voldaan?, goed geinterpreteerd?

d r grootte 0.2 0.1 klein 0.5 0.3 matig 0.8 0.5 sterk

bij p > alfa hoef je d nooit uit te rekeken (maar als je dat toch doet is het probs heeeel klein)

betrouwbaarheidsinterval = het zit ergens in deze range grootte van de range = betrouwbaarheidsniveau (aantal keer SE)

kleinere betrouwbaarheid (door grotere alfa) -> kleinere interval -> informatiever, maar ook minder zeker

smallere intervallen kan ook door SE kleiner te maken:

• beter meten -> kleinere spreiding (SD -> en dus SE)
• grotere steekproef -> kleinere standaardfout (SE)

^^^herhaling vorige keer

t-toets voorwaarden

• aselect -> externe validiteit
• minimaal interval/ratio (alleen afhankelijke var!)
• groepen onafhankelijk
• scores normaal verdeeld
• scores gelijke spreiding in beide groepen

kijken naar operationalisatie van afhankelijke variabele moet interval/ratio zijn. als niet -> geen t-toets gebruiken! (ander statistische toets gebruiken, komt later nog bij TOE probs) (want soms MOET je nomimaal of ordinaal gebruiken, omdat je niet anders kan)

groepen onafhankelijk: resultaten van groep A mogen niet afhangen van mensen in groep B (aka geen contaminatie plss) (anders werkt wiskunde niet meer + generaliseren niet meer mogelijk + belangrijk voor externe validiteit)

afhankelijke steekproeven soms nodig:

• herhaalde metingen (tegen zichzelf vergelijken, eindscore is sterk samenhangend met eerdere score)
• gekoppelde metingen (bijv. tweelingen)

dan: t-toets voor afhankelijke groepen :D

normaal verdeeld: visueel checken van spreiding checken via histogram (per groep) (kan ook statistisch, maar hoeven we nog niet te kunnen)

maar soms: links-scheef (staart links), rechtsscheef (staart rechts) of bimodaal (twee toppen) dan: kleine afwijking of grote steekproef => gwn t-toets gebruiken anders: alternatieve toets gebruiken

kleine schending niet erg, en minder belangrijk bij grote steekproeven

wat is ‘grote steekproef’ => hoe meer variabelen, hoe groter de steekproef moeten zijn en meestal minimaal 30 mensen

gelijke spreiding: visueel checken mbv boxplot (is de IQR ongv gelijk) (kan ook statistisch)

ongelijke spreiding? -> gebruik Welsch’ t-toets (maar die heeft minder power)

power hangt af van:

• significantieniveau
• steekproefgrootte
• keuze voor toets
• eenzijdig vs tweezijdig toetsen
• grootte van verschil t groepen
• spreiding in scores ^^laatste twee komen pas in TOE

correlatietoets voorwaaren: (niet verschillen tussen groepen, maar relatie tussen begrippen)

pearson:

• aselecte steekproef
• minimaal interval/ratio (allebei!)
• lineare relatie

spearman:

• aselect
• waardes met rangscores omgezet naar interval meetniveau en linear
• monotome relatie (alleen stijging of alleen daling)

goed geinterpreteerd???

• gaat de relatie wel de kant op die we verwachten? (bij gerichte toets) (zo niet, kan je HA niet aannemen, ookal is p < alfa)

altijd ongericht toetsen ook geen goed idee:

• je gaat dan vaak tegen de literatuur in
• ongericht toetsen heeft een lagere power (omdat je p altijd twee keer zo groot is)

voortbouwen op onderzoek -> betrouwbaarheid? replicatie!! -> nagaan of wetenschappelijke kennis die we voor waar aannemen ook voor waar aangenomen moet worden, of dat er sprake van een kansbevinding is.

drie soorten:

• directe replicatie
• conceptuele replicatie
• replicatie + uitbreiding

(in praktijk vaak mengvormen)

direct: onderzoeksprotocol opvragen en exact nadoen. (zelfde meetinstrumenten, zelfde soort onderzoeker, zelfde labsetting, zelfde groepssamenstelling) voordeel: zeer goed vergelijkbaar nadeel: problemen met interne validiteit in het onderzoek ook in de replicatie (want design confounds zijn ook in de replicatie)

(kan ook meta-analyse van meerdere replicaties)

!! als nul in BI, dan is nul een waarschijnlijke waarde, en kan je H0 niet verwerpen

conceptueel: andere operationalisatie (design verbeteren) voordeel: geen design confounds, bij overeenstemming grotere zekerheid nadeel: studies niet meer goed vergelijkbaar (je weet niet of het effect er bij jou niet is, of je design fout is)

uitbreiding: directe replicatie met extra onderzoeksvraag mogelijkheid van betere theoretisch begrip. kan ook: direct+conceptueel ook nadeel: studies weer niet goed vergelijkbaar

cohen’s d

grootte van een effect hangt af van:

• de schaalgrootte (5 punten op 1-10 is meer dan op 1-100)
• de variatie/spreiding (5 punten is een groter verschil als er normaal tussen 75-79 wordt gescoord dan als er normaal tussen 65-89 wordt gescoord)

d = | delta M | / sigma (sigma = SD op populatieniveau)

d dus onafhankelijk van steekproefgrootte

de letter delta wordt ook gebruikt voor d op populatieniveau. maar die kan je nooit weten.

nadeel: hangt af van de sigma die je kiest (aka klopt de populatiesigma wel met de populatie waarover je uitspraak doet)

?? formule cohen’s d: experimentele groep eerst of controle groep eerst?

hypothese letters van populatie ?? MAAR in het boek/de pp stond ergens theoretische verwachting = populatie en hypothese = streekproef

verwacht effect invloed op power hoe??

toetsingsgrootheid = d = geobserveerd verschil / standaarddeviatie

geobserveerd verschil:

• correlationeel: r - rho0 = r
• kwantitatief: delta M - delta mu = delta M