Vi byder debat af forskningsmetode og målemetoder velkommen. Det er et vigtigt grundlag for forskning, at den efterprøves af fagfæller. Og vi indbyder gerne SK til dialog om de undersøgelser, vi arbejder med. Vi er dog uforstående over, hvorfor SK – på baggrund af en mangelfuld og misforstået kritik – vælger at drage tvivl om vigtige forskningsresultater omkring børns udvikling og trivsel; fx at to­lærer­ordninger i klasser specielt hjælper børn med faglige udfordringer, og at forældres skilsmisse har negative konsekvenser for børns indlæring i skolen.

I teksten nedenfor gennemgår vi SKs kritikpunkter og redegør for, hvorfor de ikke giver anledning til bekym ring for validiteten af analyserne.

SKs notat berører flere emner. De kan placeres i fire kategorier.

1. Problemer med brug af de nationale tests til kausale analyser.

2. Problemer med brug af lineære regressionsmodeller.

3. Transformation af de nationale testresultater fra en skala til en anden.

4. Brug af et samlet gennemsnit på tværs af testenes tre profilområder.

1. Problemer med kausale analyser

2. Problemer med lineære regressionsmodeller

Dette punkt indeholder to kritikpunkter, som vi besvarer hver for sig nedenfor.

3. Transformation af DNT­resultaterne

Artiklerne omregner testscorerne fra de nationale test fra en Rasch­skala til en standardiseret score, som har standardafvigelse 1 og gennemsnit på 0. SK skriver, at:

”Transformationen af DNT-resultaterne som gør det umuligt at tolke analyseresultaterne på en måde, der fortæller noget konkret om de færdigheder, som DNT forsøger at måle. (…) Hvis man havde været så venlige at oplyse om de middelværdier og standardafvigelser, som de benyttede til omregningerne, havde vi kunnet regne tilbage til resultater på logit niveau”.

Den transformation mellem skalaerne, som SK henviser til, ændrer ikke på artiklernes konklusioner i forhold til, om effekterne af de interventioner, artiklerne undersøger, har en statistisk signifikant effekt på elevernes nationale testresultater. Resultaterne rapporteres på en anden måde, end SK foretrækker, da den valgte skala gør det lettere at sammenligne de målte effekter med andre studier, som også undersøger lignende spørgsmål.

Figur 1. Det samme resultat vist på standardiseret skala (grøn søjle) og på logit-skalaen (blå søjle): De lodrette sorte linjer viser den usikkerhed, der er på beregningen (såkaldte 95%-konfidensintervaller).

4. Profilområder og deres gennemsnit

SK skriver:

”Det tredje problem er, at man i artiklerne erstatter målinger af DNTs tre såkaldte profilområder med vægtede gennemsnitsværdier, uden belæg for at disse værdier kan betragtes som valide mål for det, som DNT forsøgte at måle.”

Der er ikke nogen fejl i at præsentere resultater som et samlet gennemsnit inden for et område − det er endog en ofte anvendt metode til at reducere antallet af resultater, der rapporteres samtidigt − men SK kritiserer resultater baseret på det samlede gennemsnit for at være uinteressante. Det vil vi lade læserne af de pågældende studier vurdere.

Vi ser som regel både på effekter på hvert profilområde for sig og på et gennemsnit af hver af de tre profilområder, der vægter resultaterne fra hvert af de tre profilområder lige højt. En fordel ved at se på det samlede gennemsnit er, at noget af den tilfældige usikkerhed, der er ved måling af et enkelt profilområde, bliver reduceret, hvis man ser på et samlet mål. I studiet, hvor vi undersøgte effekten af en ekstra lærer, havde vi ikke hypoteser om, at den ekstra lærer skulle være særlig god for afkodning eller tekstforståelse, og foretrak derfor at anvende gennemsnittet.

I et andet af de studier, som SK kritiserer for ikke at præsentere resultater opdelt på profilområder, nemlig ”The Positive Effects of Nationwide Testing on Student Achievement in a Low­Stakes System”^[1], vil det fremgå ved læsning af studiet, at resultaterne faktisk også præsenteres opdelt på profilområder i studiets appendiks.

Variable med usikkerhed og fejl og de genberegnede nationale test

Udover de fire ovenstående problemstillinger vil vi afslutningsvist adressere en anden problemstilling, som SK også berører i sit notat, nemlig at der er usikkerheder i målingen af de nationale test (som i alle test) og muligvis også systematiske fejl.

Det har været anført af SK og andre, at der var systematiske fejl i beregningen af elevernes testscores – specielt for elever, der klarede sig godt i testene. Undervisningsministeriet har derfor for nylig anvendt en ny måde at beregne elevernes testresultater på. SK skriver:

”Hvor vidt de [analyser baseret på de oprindelige testscores] er misvisende i et omfang,
der giver problemer for de endelige konklusioner, kan jeg naturligvis ikke sige noget om her, men jeg vil forvente, at de forskere, der har foretaget analyserne, er i stand til at forsvare deres konklusioner med andre argumenter end, at de tror, at fejlene ikke betyder noget, fordi der er en høj grad af korrelation mellem de sande og fejlbehæftede DNT-resultater”.

Til det er der flere ting at bemærke. For det første så er det faktisk meget relevant, at korrelationen mellem de nye og de gamle beregnede tests er meget høj (for eksempel 97,1% i et af vores datasæt, hvor vi har mulighed for at sammenligne de nye og gamle testresultater). For langt de fleste er elevernes resultater tæt på identiske, uanset om man bruger den nye eller gamle beregning.

For det andet har de små forskelle mellem de nye og gamle beregninger ikke nogen sammenhæng med de interventioner, som vi undersøger i artiklerne. Som beskrevet ovenfor vil det kun være tilfældet, hvis der er en sammenhæng mellem forskelle i beregning, og hvordan kontrolgruppe og interventionsgruppe opdeles – fx ved lodtrækning. Der er ikke nogen grund til at tro, at forskellen i de to beregningsmetoder skulle være større for skoler, som tilfældigt fik tildelt ekstra lærere, end dem som tilfældigvis ikke fik det. Denne lod­trækning har ikke noget med den nye og den gamle beregningsmetode at gøre.

For det tredje har vi i et nyere studie, som er baseret på data fra efter 2014, mulighed for at sammenligne vores resultater baseret på de gamle beregninger med resultater baseret på de nye beregninger, fordi ministeriet har genberegnet testscores tilbage til 2014. Resultatet kan ses i figur 2. Den grønne søjle viser det resultat, vi har publiceret i artiklen.^[2] Den blå søjle viser resultatet for den gennemsnitlige læsetestscore baseret på de nye beregninger. Figuren viser, at vi estimerede effekten til 0,46 standardafvigelser med de gamle beregninger og 0,43 med de nye beregninger. Denne minimale forskel på 0,03 standardafvigel­ser ligger klart inden for den usikkerhed (det såkaldte 95%­konfidensinterval), som er markeret med de lodrette streger.

Denne direkte sammenligning af de nye og de gamle beregnede testscores bekræfter således også, at eventuelle systematiske fejl ikke har reel betydning for resultater og konklusioner i de typer undersøgelser, vi foretager.

Figur 2. Effekt af modersmålsundervisning målt med de nyberegnede nationale testscores (blå søjle) og gamle beregnede testscores (grøn søjle). Kilde til resultatet baseret på de gamle beregnede test-scores: Andersen, S. C., Guul, T. S., & Humlum, M. K. (2022). “How first-language instruction transfers to majority-language skills”. Nature Human Behavior, 6(2), 229–235.

Konklusion

SKs kritik giver ikke anledning til at revidere resultater eller konklusioner fra de fire studier, der kritiseres. Kritikken er dels baseret på mangelfuld læsning af studierne, og dels baseret på mangelfuld forståelse eller sammenblanding af, hvilke forhold der skal til for at måle enkelte elevers faglige udvikling fra ét år til et andet, og hvilke forhold der skal til for at undersøge effekterne af et forsøg som to­lærer­ordningen eller en begivenhed som skilsmisse. SKs kritik af tests fra tidligere år er ydermere ikke relevante. Alle konklusioner er uændrede, når de op­daterede testresultater anvendes.

Noter:

[1] Arbejdspapiret er senere publiceret som ”Learning from Performance Information”, Journal of Public Administration Research and Theory, 2020, pp. 415­431. Også i appendiks til den publicere­de artikel viser vi resultater opdelt på profilområder.

[2] Andersen, S. C., Guul, T. S., & Humlum, M. K. (2022). How first­language instruction transfers to majority­language skills. Nature Human Behavior, 6(2), 229–235.