Aarhus University Seal / Aarhus Universitets segl

Validering af PISA Science i en dansk kontekst

Projektresultater

Del-rapport 1

Relevansen af PISA i relation til målene for naturfag i det danske skolesystem er belyst i den offentliggjorte 1. del-rapport: En sammenlignende analyse af PISA2006 science testens grundlag og de danske målkategorier i naturfagene, NAMADIs skriftserie nr. 1, september 2006.

Det konkluderes her, at PISA’s intentioner på en række punkter matcher intentioner i det danske skolesystem. Samtidig udpeges dog betydningsfulde forskelle, relateret til vægtningen af vidensområder, logisk-deduktive processer, brede perspektiver, viden om viden og affektive aspekter. Endelig er PISA - på grund af sit format – ikke i stand til at udmåle den praktisk-eksperimentelle side af naturfagene.

Del-rapport 2

Del-rapport 2 udkom i 2008 og kan findes på adressen Den naturfaglige evalueringskultur i folkeskolen - anden delrapport fra VAP-projektet, IND's skriftserie nr. 17, juni 2008.

Undersøgelsen omfatter 1159 naturfagslærere og konkluderer bl.a., at den typiske naturfagslærer har et pænt repertoire af evalueringsmetoder, og at ”det PISA-lignende format med individuelle, skriftlige tests viser sig at være den markant hyppigste evalueringsform”(p.25). Typisk vil denne type testning forekomme 4 gange om året i en naturfagsklasse. Det fremgår tillige, at lærerne faktisk mener, at de inddrager PISA-lignende kontekster og kompetencer i deres evalueringer. Alligevel føler de, at de i ringe grad har ”klædt deres elever på til en individuel, skriftlig test som PISA”. Dette forbehold skyldes sikkert, at de ikke har været i stand til indholdsmæssigt at forberede eleverne på testen. Grundlæggende indikerer undersøgelsen, at danske elever burde være vænnet til tests af  PISA- beslægtet karakter, og at utilfredsstillende præstationer ikke indlysende kan tilskrives manglende fortrolighed med testformatet.

Del-rapport 3

Denne tredje delrapport indeholder VAP’s undersøgelse af, om PISA tegner et validt billede af danske elevers formåen. I en række delanalyser besvares spørgsmål som:  hvor meget ændres test-”resultatet, når man tester i et andet mere socio-kulturelt format a la VAPs?, hvilke kvalitativt nye indsigter får man om elevernes formåen i det udvidede og rigere testformat? hvordan stemmer det udvidede billede med PISA’s billede? hvad kan eleverne indenfor de bredere pensumområder, som PISA punkt-tester?

Analyserne indikerer, at test-”resultatet” er skrøbeligt overfor ændringer i test-formatet, fx viser analysen at et VAP-format ændrer elevernes Rasch-score 25%, ift. PISA. Ved at vælge et psykometrisk test-format som PISA’s får man altså et markant anderledes test-”resultat” end ved at vælge et mere socio-kulturelt test-paradigme. Som man spørger får man i betydelig udstrækning svar!

Analyse af elevernes evne til at indgå i en faglig samtale om opgaverne viser samtidig, at eleverne i meget ringe grad er i stand til at bruge fagsprog, argumentere med faglige belæg og til selv at generere bæredygtige naturvidenskabelige forklaringer. Disse kvalitative indsigter bliver mere eller mindre væk i PISA, hvor man i vid udstrækning tester elevernes evne til at vælge en forklaring og forudsætter, at valget af den korrekte forklaring også udtrykker en korrekt underliggende forklaringsmodel hos eleven. Endelig tyder vores undersøgelse på, at eleverne har meget lidt aktiv viden i de områder af Fælles Mål, som opgaverne punkttester. Alt i alt tegner vores undersøgelser et anderledes billede end PISA af elevernes formåen – og desværre et overraskende negativt billede, når man betænker, at den faglige samtale er et centralt undervisningselement i Danmark.

I lyset af disse resultater er det klart, at PISA Science nok er valid i psykometrisk forstand, men at ”resultatet” er skrøbeligt overfor test-formatet, og at væsentlige aspekter af danske elevers formåen forbliver usynlige. I den forstand kan man godt sætte spørgsmål ved PISA som entydigt og validt mål for danske elevers faktiske formåen.