In DataScienceILC/tlsc-dsfb26v-20_workflows: Bookdown site for workflows course

knitr::opts_chunk$set(echo = TRUE)

Reproducible Research

knitr::include_graphics(
  here::here(
    "images",
    "Data-Repositories.png"
    )

)

Is niet alleen maar "mik je data in een database".

First: Open science

"In a nutshell, Open Science is transparent and accessible knowledge that is shared and developed through collaborative networks" (Vicente-Sáez & Martínez-Fuentes 2018).

Bekendst is open access:

Open Access not only questions the multiple barriers to equitable knowledge making and circulation,

it also raises important questions about power and inequality, such as

whose knowledge counts,

who has the power to set research agendas, and

how knowledge is legitimized.

(Leslie Chan)

First: Open science

kosten voor een onderwijsinstelling in 2015: paar miljoen.

Wie heeft die miljoenen? Wij wel, blijkbaar...

open access afspraken

• EU terecht boos: veel onderzoek betaald uit gemeenschapsgeld
• Meeste NL instellingen hebben nu kortings-afspraken met uitgevers om papers open access te publiceren: de lezer betaalt niet.
• maar de instelling dus wel
• waar betalen we eigenlijk voor?
• welk gevolg heeft dit?

Open science and reproducible research

Lijken hetzelfde maar zijn verschillende bewegingen:

Reproducibility: Met dezelfde data dezelfde uitkomsten (resultaten, conclusies) bereiken.

Replicability: Experimenten moeten repliceerbaar zijn zodat je resultaten kunt verifieren (exacte methoden open).

Open science: Uitbreiden van openheid en transparantie naar de hele onderzoekscyclus, focus op samenwerking en vooruitgang. Open science wil een verandering in hoe de scientific community werkt.

Transparency

Obviously gelinked: verbeteren van scientific practice door transparantie in reactie op:

• Replication crisis (veel studies blijken slecht repliceerbaar)
• Wens om publiek vertrouwen in wetenschap (weer) te vergroten
• Betere technische mogelijkheden

knitr::include_graphics(
  here::here(
    "images",
    "openscience_principles.png"
    )

)

(figure: probably Caterina Penone)

Replication crisis?

Relatief best veel gepubliceerde studies blijken slecht repliceerbaar.

• publish or perish
• can only publish positive results (H0 rejected) --> why?
• sample size
• p-hacking
• methods incomplete

Repliceerbaar

Jullie zijn getrained in repliceerbaarheid van methoden: anderen moeten je experiment op basis van je methodensectie exact kunnen herhalen.

knitr::include_graphics(
  here::here(
    "images",
    "understanding_science_repetition.gif"
    )

)

Whitaker's matrix of reproducibility

knitr::include_graphics(
  here::here(
    "images",
    "whitaker.png"
    )

)

Kirstie Whitaker, University of Cambridge, Creative Commons Attribution license CC-BY 4.0.

Reproduceerbaar

Stel ze krijgen je data gewoon? Komen ze dan op dezelfde resultaten?

Dat zou wel moeten...

Wat zouden ze daarvoor nodig hebben?

Reproducible vs replicable (2)

Wat hebben ze nodig om tot hetzelfde resultaat te komen?

• De data.
  • Jouw ruwe data
  • meta data (les 2)
    • data over data, zorgt dat we data effectief kunnen gebruiken
• De exacte methoden
• De code! --> welke stappen zaten er tussen data en resultaat?
  • leesbaar, runbaar
  • keuzes mbt modellen en/of statistiek
  • welke versies van software / packages

Reproducible vs replicable (3)

Maar ook:

• Context (onderzoeksvraag, eerdere studies etc)
• Keuzes in interpretatie, bijvoorbeeld:
  • vinden we iets "veel" of "weinig"?
  • Is een trend van belang of niet?
  • Welke manier van statistiek kiezen we?
• Conclusies: hoe wordt de interpretatie samengevat als antwoord op de onderzoeksvraag?

Voorbeeld: andere conclusies, zelfde data

wzxhzdk:5 Silberzahn R, Uhlmann EL. Crowdsourced research: Many hands make tight work. *Nature*. 2015 Oct 8;526(7572):189-91. doi: 10.1038/526189a. PMID: 26450041.

Voorbeeld: andere conclusies, zelfde data (2)

• Vroegen 29 onderzoeksteams dezelfde vraag met dezelfde (grote) dataset met veel variabelen.
• "are football (soccer) referees more likely to give red cards to players with dark skin than to players with light skin?"

knitr::include_graphics(
  here::here(
    "images",
    "card.jpg"
    )
)

Voorbeeld: andere conclusies, zelfde data (3)

• onderzoeksteams mochten de data analyseren en resultaat+methode terugsturen
• die werden anoniem verspreid en besproken in alle groepen
• hierna mochten alle teams hun eigen analyses aanpassen

• en discussieren over wat de beste methode zou zijn

• Maakt de leeftijd van de voetballer uit? Positie op het veld? Land van de club? Hoeveel gele kaarten de voetballer kreeg? Welke voetballers zijn outliers? Wat voor statistiek zou je moeten doen?

Voorbeeld: andere conclusies, zelfde data (3)

• de groepen bereikten geen concensus over wat "de beste oplossing" zou zijn
• 20 teams vonden een significant effect, 9 niet.

{width=60%}

Is science dus onbetrouwbaar?

Nou nee, dit is gewoon de realiteit:

De wereld is complexer dan een simpele lineaire regressie.

Daarom: heel belangrijk om zoveel mogelijk informatie te delen!

What to do

• Weet wat je aan het doen bent met data (PAST: o.a. BID, DSFB1)
• Gebruik Reproducible workflows (PRESENT: deze cursus)
• Zet je in voor open science (FUTURE...)
  • Deel je data
  • Geef metadata
  • Zoek actief naar open science mogelijkheden (bijv bij license issues: dummy data)

Challenges

• Onzekerheid (imposter syndrome)
  • well yeah..
• Tijd. Maar:
  • gewoonte maken van open science workflows
  • programmeren (R) en niet klikken (SPSS)
• Commercieel belang: "wordt mijn data niet gejat?" / Privacygevoelige data
  • Als problematisch: (voorlopig) dummy/synthetic data open beschikbaar maken
• Werkgevers/opdrachtgevers/politiek die belang niet inzien
  • help mee open science de norm te maken

DataScienceILC/tlsc-dsfb26v-20_workflows documentation built on July 4, 2025, 5:49 a.m.