Aarhus University Seal / Aarhus Universitets segl

Metode til dataindsamling

Stikprøvedesign

Skolerne blev udvalgt efter det der inden for fagterminologien kaldes en stratificeret klyngeudvælgelse, hvor skoler der ligner hinanden på udvalgte karakteristika, samles i grupper, således at man sikrer en bred fordeling på tværs af typer. Stikprøvedesignet bestod af to faser. I den første fase blev skolerne først sorteret i de valgte strata. I Danmark har vi adgang via Datavarehuset til karaktergennemsnit fra afgangsprøverne, og dette betragtes som en stærk indikator for resultat også i tests. I ICILS 2018 blev skolerne delt i fem grupper efter karaktergennemsnit (fire ligeligt fordelte grupper, samt en gruppe af skoler for hvem gennemsnittet ikke kendes). Dernæst blev skolerne udtrukket til at deltage på baggrund af en PPS-procedure (probability proportional to size, hvor størrelse måles som antal elever indskrevet på skolen). Derved blev det sikret at der var en spredt fordeling på tværs af skolestørrelser således at skoler med mange elever havde tilsvarende større sandsynlighed for at deltage, end skoler med få elever. Det nødvendige antal skoler for at opnå en tilfredsstillende præcision på stikprøveestimaterne blev vurderet på baggrund af de respektive landes karakteristika. I de fleste lande – og også i Danmark – blev det vurderet som passende at skolestikprøven bestod af 150 skoler for få tilpas præcise estimater. Landene kan dog ønske at få særlig viden om undergrupper, fx privatskoler eller skoler med mange immigranter, og i sådanne tilfælde vil de sample flere skoler (“oversample”) inden for dette område. Ud over de 150 skoler blev der for hver skole udtrukket to erstatningsskoler af samme type, så de kunne træde i stedet i tilfælde af at de udtrukne skoler ikke kunne deltage. I anden fase af stikprøveudtrækket blev der inden for hver deltagende skole tilfældigt udtrukket i alt 20 elever til at deltage blandt de elever, der var indskrevet på klassetrinnet. På skoler med færre end 20 elever blev alle elever på klassetrinnet inviteret til at deltage. Hvis skolen havde mere end 20 elever, men maksimalt 25 elever indskrevet på målklassetrinnet, blev samtlige elever også inviteret til at deltage så de få ikke-deltagende elever ikke skulle føle sig ekskluderet. Blandt lærerne blev anden fase i stikprøveudtrækket gennemført på følgende måde: Inden for hver deltagende skole blev 15 lærere tilfældigt udvalgt blandt alle lærere som underviste på målklassetrinnet. På skoler med færre end 20 lærere på klassetrinnet blev samtlige lærere inviteret til at deltage. Da der i undersøgelsen ikke lægges op til at forbinde viden fra lærerne med individuelle elever, blev lærerne altså udtrukket uafhængigt af om de underviste de udvalgte elever, eller hvilket fag de underviste i på klassetrinnet. IEA-undersøgelserne stiller meget høje krav til deltagelsesgraden. I ICILS var dette krav på 85 procent af de udvalgte skoler og 85 procent af de udvalgte elever inden for de deltagende skoler eller en vægtet samlet deltagelsesgrad på 75 procent. De samme kriterier gjaldt for lærerstikprøven, men dækningen blev vurderet uafhængigt af elevstikprøven. I Danmark lykkedes det at leve op til disse hårde deltagelseskrav, dog med det forbehold at der indgik skoler fra erstatningslisterne i stikprøven.

Elevtest

Testen afvikles individuelt på skolerne. Den ledes af en testadministrator fra DPU og finder sted i skoletiden enten i et klasseværelse eller eventuelt i et computerlokale. Elevtesten består af opgaver og spørgsmål som præsenteres i fire moduler á 30 minutter. Et modul er et sæt af spørgsmål og opgaver indlejret i en autentisk narrativ ramme. Hvert modul har en række små, adskilte opgaver, efterfulgt af en større opgave. Hver elev arbejder med to moduler fordelt tilfældigt fra et sæt på fire. Derudover skal de løse to moduler der undersøger datalogisk tænkning og svare på et spørgeskema. Testen tager cirka 3 1/2 time inklusive pauser undervejs.

Elevspørgeskema

Elevspørgeskemaet besvares af den enkelte elev umiddelbart efter testen og har en varighed a 30 minutter. Spørgeskemaet indeholder spørgsmål om elevens baggrund, erfaring med og anvendelse af computere og it til at løse forskellige opgaver i og uden for skolen samt deres holdning til brugen af computere og it. Testen kræver ingen forberedelse af eleverne.

Derudover består undersøgelsen af:

Spørgeskema til lærere

Spørgeskemaet til lærere på 8. klassetrin ligger online og spørger til anvendelse af computere i skolen ifm. planlægning, gennemførelse og evaluering af undervisning. Desuden spørges til lærernes brug af computer uden for skolen og beskrivelser af egne kompetencer til at bruge computere. Disse informationer er vigtige for den efterfølgende beskrivelse af den kontekst som CIK udvikles indenfor, og for analysen af sammenhænge mellem elevbesvarelser og denne kontekst. Besvarelsen varer ca. 30 minutter.

Spørgeskema til skoleledelsen 

Spørgeskemaet til skoleledelsen, der også ligger online, spørger til skolens karakteristika, computerressourcer, politik og praksis vedr. anvendelse af informationsteknologier på skolen. Disse informationer er vigtige for beskrivelsen af de rammer (tilgangen til CIK og adgangen til it) som påvirker undervisningen på de enkelte skoler. Ligeledes er det vigtig information ift. analyser af sammenhænge mellem kontekst og elevbesvarelser. Besvarelsen varer ca. 20 minutter.

Spørgeskema til it-koordinatoren 

Det online spørgeskema til skolens it-koordinator handler om skolens computerfaciliteter og it-praksis. Disse informationer er vigtige for beskrivelsen af de rammer (adgangen til it og it-støtte til lærere) som påvirker undervisningen på de enkelte skoler. Ligeledes er det vigtig information ift. analyser af sammenhænge mellem kontekst og elevbesvarelser. Besvarelsen varer ca. 15 minutter.