Hoorcollege 12

zwaartepunt is al geweest

frauderen niet goed lol (data verzinnen etc.) ^^deadly sin

fabricage

• data verzinnen
• bewuste schending

plagiaat

• werk van anderen kopiëren
• bewuste schending

behoefte aan basisregels: gedragscode wetenschappelijke integriteit (afspraken tussen universiteiten)

• eerlijkheid
• zorgvuldigheid
• transparantie
• onafhankelijkheid
• verantwoordelijkheid

ai -> nepartikelen vertroebeld werkveld: goede informatie moeilijker te vinden

meta-analyses etc. worden ‘vervuild’/’besmet’ door nepresultaten -> en wordt vervolgens gebruikt voor beleidsvorming

was al zo, maar door ai is de schaal waarop deze fraude voorkomt enorm toegenomen.

falsifying is bewust:

• niet rapporteren bepaalde bevindingen
• aanpassen (of ‘corrigeren’) van data
• foutief interpreteren van data

dus opzettelijk fouten maken -> eerlijkheid in geding en onopzettelijk fouten maken (slordigheid) -> zorvuldigheid in geding

publication bias (of file-drawer probleem):

niet-significante resultaten minder gepubliceerd:

• redacties willen interessante/vernieuwende dingen publiceren

aka significante resultaten geven meer waardering en aandacht

file-drawer probleem is gevolg van publication bias.

leidt tot afwezigheid van nulresultaten -> vertekening in body of evidence (dus relatief zijn er teveel significante resultaten in complete literatuur)

vertekening richting grote effecten. (rooskleuriger beeld dan het is)

bevindingen niet rapporteren:

• niet-overeenkomende resultaten niet gezien (perception/confirmation bias) of genegeerd (falsifying) (dus opzettelijk - eerlijkheid of onopzettelijk - zorgvuldigheid)

druk op onderzoekers om te publiceren, anders geen carrière maken => questionable research practices (QRP)

good -> questionable -> deadly sins ideal, sloppy, unconcious bias, concious bias, falsification, fabrication

questionable:

• uitschiets verwijderen om significant te maken
• deelnemers toevoegen om significant te maken
• andere analyse uitvoeren dan gepland
• ongeplande analyses blijven uitvoeren tot er ergens een significante relatie/verschil/effect wordt gevonden

^ p-hacking: dingen doen om alsnog een significant resultaat te krijgen

keuzes moeten idealiter puur methodologisch zijn, maar confirmation bias speelt mee.

beetje random data analyseren is niet fout, maar een vorm van exploratief onderzoek.

(dus niet comformatief -> je toetst geen hypotheses)

hypothesizing after results are known (HARK): achteraf de hypothese opstellen

dus doen alsof een exploratief resultaat een comformatief resultaat is van een vooropgezet plan.

oplossingen?

retractie

• vorm van zelfcorrectie achteraf
• maar: reputatieschade v. onderzoeker, universiteit, tijdscrhift en wetenschap in algemeen
• vaak lange tijd tussen publicatie en retractie -> had schade kunnen doen

pppr (post publication peer review)

• achteraf op publieke discussieplatforms, met auteurs, redacteuren, peers => meer transparantie en verantwoordelijkheid

replicatie als vast onderdeel van onderzoekscyclus

preregistratie: vooraf verplicht onderzoeksprotocol indienen (hypotheses <- voorkomt harking, methodologie en verwachting) onafhankelijk van publicatie van de resultaten

^^maakt frauderen een actieve handeling, dus gebeurt minder

?? gebeurt replicatie alleen bij significante bevindingen (aka het uitsluiten van type I fouten) je kan toch ook niet-significante bevindingen repliceren om type II fouten uit te sluiten

open science & open access = wat als scihub nou legaal zou zijn??

open access: geen financiele, wettelijke of technische belemmeringen om toegang te krijgen

kwalitatief goede open access nog beperkt.

FAIR principes over data

• findable
• accessible
• interoperable
• reusable

veilig, maar ook toegankelijk (geldt ook voor source code)

onderzoekers kunnen elkaar’s data gebruiken

https://www.uu.nl/onderzoek/open-science/themas/fair-data-en-software ^ deze pagina is leerstof

data-management plan

• opslag tijdens en na onderzoek
• delen met andere onderzoekers

=> transparantie, controleerbaarheid, reproduceerbaarheid

maar waarborgen privacy (benefince): anoniem of vertrouwelijk

repliceren reproduceren andere onderzoeker andere onderzoeker nieuw onderzoek, zelfde onderzoeksprotocol origineel onderzoek, niet opnieuw uitgevoerd nieuwe data (nieuwe steekproef) originele data zelfde analyse zelfde analyse

dus repliceren is onderzoek checken, reproduceren is analyse checken. (repliceren toetst de studie, reproduceren toetst de onderzoeker)

!! GRASPLE LEESPLAN

publication bias = indienen en niet gepubliceerd (dus redacteur schrapt t) file drawer problem = je vindt geen resultaat, dus maakt t onderzoek niet af (dus onderzoeker schrapt t)