Kritikk av PISA-studiene

De PISA studentenes vurderinger av OECD har utløst ikke bare en ekstraordinær mediedekning, men også voldsom vitenskapelig debatt. Denne artikkelen oppsummerer kritikk av målene, metodikken og tolkningen av PISA-studiene (PISA = Program for International Student Assessment ).

Statusen til PISA: mellom vitenskap, næringsliv og politikk

PISA har utløst hundrevis, om ikke tusenvis av sekundært arbeid som evaluerer det skalerte datasettet (kompetanseverdier og bakgrunnsvariabler) mer detaljert under ulike aspekter. Mye av dette arbeidet har dukket opp i fagfellevurderte vitenskapelige tidsskrifter. Paradoksalt nok har ikke PISA selv gjennomgått en slik kvalitetskontroll: PISA presenterer seg som interessestyrt eller til og med inngående kontraktsforskning, finansiert av de enkelte regjeringene i deltakerlandene og utført av private institusjoner (spesielt ACER Australia), og resultatene publiseres selv av OECD publisert uten forutgående ekstern vurdering. Nylig har til og med datasett blitt holdt tilbake fra den vitenskapelige offentligheten. En primærpublikasjon i spesialtidskrifter ville også neppe være mulig, fordi testelementene (på psykologispråket: "instrumentene") stort sett holdes hemmelige, noe som er et åpenbart brudd på vitenskapelige standarder.

Det faktum at PISA ikke er et vitenskapelig verk i ordets strenge forstand, gjør kritikken vanskeligere, fordi det ikke er noe sentralt, internasjonalt publikasjonsorgan som kan samle diskusjonen. Kritiske verk har hittil blitt publisert på en veldig forvirrende måte noen ganger veldig avsidesliggende steder. Forskere kommer bare sammen etter noen års forsinkelse for å presentere sin PISA-kritikk i samordnet form (spesielt Jahnke / Meyerhöfer 2006; Hopmann / Brinek / Retzl 2007). Bank og Heidecke (2009) systematiserer ulike kritiske publikasjoner på PISA og gir dermed grunnlag for en videre, strukturert diskurs. I tillegg til de nevnte antologiene refererer presentasjonen til noen få andre kilder og prøver samtidig å kritisk reflektere over kritikken.

På grunn av emnets kompleksitet er kritikk et tverrfaglig foretak der ikke bare pedagogiske forskere , men også lærere, psykologer og andre forskere med statistisk ekspertise (matematikere, fysikere, økonomer) deltar.

Hopmann og Brinek beskriver PISA-offiseres reaksjon på offentlig kritikk som følger:

  • Stillhet for ikke å gi kritikere et offentlig svar;
  • hvis det ikke lenger er tilstrekkelig, fornekte kritikernes kompetanse og antar urettferdig motivasjon;
  • innrømme isolerte problemer om nødvendig, men hevder at disse ikke har noen betydelig innvirkning;
  • til slutt hevder at kritikken er velkjent og for lengst tilbakevist.

Kritikk av målene for PISA

Det utilitaristiske pedagogiske målet for PISA kritiseres spesielt av frankofonforfattere : Først og fremst forårsaker det en forvrengning av testresultatene til fordel for angelsaksiske land og deretter press for å tilpasse læreplanene i retning av ferdigheter som er direkte relevante for hverdagen. Dette truer for eksempel spesifisiteten til franske matematikktimer, som legger stor vekt på strenge bevis . I denne sammenheng vises det til de økonomiske målene til OECD og til mangelen på åpenhet og mangel på demokratisk legitimitet i beslutningsprosessene i PISA (Cytermann i DESCO 2003). En lignende innvending er at PISA, med fokus på de tre områdene matematikk, morsmål og naturvitenskap, skyver marginaliseringen av samfunnsvitenskap, fremmedspråk og kunstfagene. Litteraturundervisning er også ekskludert i det tyske området. Sentrale utdanningsområder som språklig uttrykk, litterær kunnskap, historisk, geografisk, politisk og økonomisk kunnskap, religiøs og etisk grunnopplæring, estetisk grunnopplæring er skjult.

Jahnke (i Jahnke / Meyerhöfer 2006) kritiserer den grunnleggende ideen om å ville "standard" utdanning (jf pedagogiske standarder og på kritikken Brügelmann 2005), og også tolker PISA som å åpne opp markedet for test industrien .

Freerk Huisken ser i PISA kravet fra nasjonen og økonomien til prestasjonene innen utdanning og vitenskap som er dokumentert, eller dette kravet reist som spørsmålet om nasjonal ære i den internasjonale konkurransen. Sett på denne måten faller skaden på det nasjonale omdømmet tilbake på "oss alle" og utfordrer oss til nye topprestasjoner - til nasjonens beste. Spørsmålet om individene som er involvert i utdanningsprosessen, er derfor bare abstrakt og nasjonalt.

Kritikk av metodikken

Læreplanens gyldighet av testelementene

Det er forskjellige synspunkter på læreplanens gyldighet , dvs. samsvar med testelementene med læreplanen til skolene som er testet. Mens sjefen for PISA 2000, Baumert, avviste dette kategorisk, blir læreplanens gyldighet kategorisert postulert av hans etterfølger Prenzel. Imidlertid har det ikke blitt avklart hvordan læreplanens gyldighet ble bestemt med tanke på de stort sett hemmelige oppgavene, bortsett fra gjennom såkalt sakkyndig dom .

Kvaliteten på testartiklene

Etter testene i 2000 og 2003 ble bare en liten del av oppgavene som ble brukt ( instrumentene på psykologispråket) publisert. Et stort antall forfattere har kritisert disse prøveøvelsene som delvis uriktige eller misvisende.

De matematikk didacticist Wolfram Meyerhöfer (2005) hevder at PISA ikke oppfyller kravet om testing matematisk ytelse eller spesielt "matematisk leseferdighet". Ved hjelp av tolkning (metode: didaktisk analyse og objektiv hermeneutikk ) viser han forskjellige problemområder:

  • Ofte er det så mange måter å komme frem til ønsket løsning (som ikke alltid er den rette løsningen) at det er umulig å si hvilken evne oppgaven faktisk måler. Konstruktet "matematisk ytelse" blir dermed en tilfeldig.
  • Komponenter av testbarhet måles også. Kjernekompetansen til testbarhet viser seg å verken ta det matematiske problemet eller de påståtte reelle problemene på alvor, men i stedet konsentrere seg om det testerne vil se krysset eller skrevet ned. I prinsippet viser det seg å være gunstig å jobbe middelmådig, dvs. å gi avkall på intellektuell dybde i håndteringen av oppgavene.
  • Du kan gjette på flervalgstester . PISA-gruppen hevder å være i stand til å løse dette problemet teknisk, men dette viser seg å være en feilvurdering.
  • De påståtte brukte didaktiske og psykologiske teoriene er bare teoretiske kapper for en teorifatt testopprettelse.
  • Testene er ikke laget ved å operasjonalisere målekonstruksjoner, men ved systematisk å sette sammen oppgaver.
  • I PISA bør "Mathematical Literacy" testes. Kort sagt, det skal være evnen til å «gjenkjenne og forstå rollen matematikk spiller i verden, gjøre begrunnede matematiske vurderinger og håndtere matematikk på en måte som oppfyller kravene til en persons nåværende og fremtidige liv. av en konstruktiv, engasjert og reflekterende borger ”(PISA-rapport). I lys av oppgavene kan det ikke være snakk om noe av dette.
  • Den viser en matematikkdidaktisk habitus, som er oppsummert under nøkkelordet "vende seg bort fra saken". Den består av følgende elementer: Manifest orientering om teknisk språk med latent ødeleggelse av matematikk, illusjon om nærhet til studenter som en villfarelse, beregningsorientering i stedet for matematisk utdanning, svikt i "formidling" av ekte og matematisk i realistiske oppgaver. Sistnevnte er basert på å forsømme ektheten til både det virkelige og det matematiske.

Tvil om interkulturell sammenlignbarhet

Oversettelsesproblemet

Oversettelsesproblemet, uløst siden de aller første komparative skolestudiene, forvrengte internasjonale sammenligninger på forskjellige måter:

  • Oppgavens opprinnelse (hovedsakelig fra det angelsaksiske området og Nederland).
  • Ulik lesbarhet for forskjellige språk (den rene tekstlengden varierer med 10% eller mer).
  • Tekster blir ofte lengre når de oversetter.
  • Når oversetterne forstår oppgaven, har de en tendens til å tilby hjelp (Freudenthal 1975).
  • Hvis oversetterne ikke ser alle fallgruvene, kan oppgaven bli mye vanskeligere.
  • Oversettelsesfeil oppstår.

Kjennskap til oppgaveformatet

Et annet problem er forskjellig kjennskap til oppgaveformatet. Meyerhöfer snakker her om "testbarhet"; Betydningen av "testwiseness" har lenge vært diskutert i USA. Wuttke (2006) oppdaget at opptil 10% av de tyskspråklige studentene ikke forstår flervalgsformatet og merker av mer enn ett alternativt svar der det var implisitt at nøyaktig ett svar er riktig. Ifølge Joachim Wuttke, “for en rekke oppgaver [...], er kunsten å skrive ned en svarsetning som tar informasjon fra teksten uten å gjenta den ordrett. Noen ganger er det vanskelig å gjette hva sensorene vil høre. Bare korreksjonsinstruksjonene, som bare er gjengitt i det engelske spørreskjemaet, viser hvor mye det som måles her er formet av angloamerikanske undersøkelsesvaner. "

Motivasjon fra testdeltakerne

Det er kjent fra interne amerikanske studier at forskjellen mellom lavinnsats- og innsatsstester kan være et halvt standardavvik eller mer. Sjoeberg kontrasterer den ubetingede prestasjonsmotivasjonen i Taiwan og Korea, der nasjonalsangen synges før testsesjonen, med mentaliteten til norske og danske studenter som spør seg selv hva testen vil gi dem personlig, og senest når testoppgavene ikke er morsomme, ikke lenger gjøre en seriøs innsats.

Statistiske feil

Ved evaluering av PISA og lignende studier oppstår det grunnleggende problemet at forskjeller i ytelse i hvert land er mye større enn typiske forskjeller mellom land. Det kreves derfor en målenøyaktighet i det nedre prosentområdet for å kunne komme med statistisk signifikante uttalelser om slike forskjeller. I PISA oppnås dette formelt ved å bruke veldig store prøver (rundt 5000 studenter per land). Imidlertid tar de offisielle standardfeilene ikke hensyn til mulige systematiske skjevheter.

Slike forvridninger skyldes blant annet:

  • PISA testet 15-åringer. I denne alderen er det ikke lenger svake elever som går lenger i mange land. I Tyrkia går for eksempel bare 54 prosent på skolen i denne alderen, i Mexico 58 prosent, men i Tyskland 96,3 prosent. Det betyr: Spesielt svake elever deprimerte nivået her, mens de i andre land ikke lenger var representert som skolefra - men de står for den generelle effektiviteten til et skolesystem.
    • Kina bruker det såkalte Hukou- systemet for å tildele visse boliger til innbyggere uavhengig av deres faktiske bosted, som også er knyttet til fri tilgang til utdanningsinstitusjoner. De gode testresultatene i Shanghai kan skyldes denne diskrimineringen av landbefolkningen. En indikasjon på dette er det relativt lave antallet testet 15-åringer i forhold til den totale befolkningen.
  • Upålitelige innledende data (det er ingen originale lister med alle femtenåringene; prøvetakingen er ekstremt komplisert og kan ikke kontrolleres).
  • Prestasjonsbaserte deltakelsesrater.
    • USA falt med straffrihet under minimum skolegang på 65%.
    • I Sør-Tirol ble bare 83% av alle femtenåringer registrert som skolebarn, selv om skolegang fortsatt er obligatorisk der i denne alderen. Fagskoler har trolig i stor grad blitt ekskludert fra testen, noe som vil forklare toppresultatet i dette landet som en statistisk skjevhet (jf. Statistisk gjenstand ).
    • I Østerrike måtte alle resultater fra PISA 2000 revideres ned betydelig år senere på grunn av utilstrekkelig hensyn til fagskoleelever.
  • Inkonsekvent ekskludering av studenter med lærevansker. Bare i syv land, inkludert Tyskland, ble spesialskoleelever testet i korte tester. Hvis disse testene ble ekskludert fra PISA, ville Tyskland komme i Pisa 2003 med leseytelsen til studentene fra 18. til 12. plass blant 29 land. Andre stater har ikke spesialskoler for funksjonshemmede, men har vært i stand til å ekskludere opptil 4,5% av befolkningen på skolenivå. Andelen mennesker med lærevansker i Tyskland er 2,5%.
    • Danmark, Finland, Hellas, Irland og Polen har ekskludert dyslektikere fra testen. Andelen dyslektikere i Tyskland er mellom 4 og 15%.
    • I Danmark ble studenter med sifferproblemer også ekskludert. Av en dyscalculia er 4-5% av studentene i Tyskland berørt.
    • Brudd på internasjonale regler: Canada, Danmark, New Zealand, Spania og USA har ekskludert mer enn de tillatte 5% av målpopulasjonen.
  • Detaljer om prøvetaking og gjennomføring av testen er helt ukontrollerbare og kan manipuleres etter eget ønske hvis det er en tilsvarende politisk interesse.

Brudd på regler fra de involverte i prosjektet

Lederen for vitenskapelig støttekomité for laboratorieskolen Bielefeld , professor Dr. Tillmann er også medlem av det nasjonale PISA-konsortiet. Dette ble kritisert av den tyske lærerforeningen. Bielefeld Laboratory School ble testet på nytt etter eget ønske ett år etter hoved PISA-løpet. På dette tidspunktet var noen av PISA-oppgavene allerede kjent. Evaluering for individuelle skoler er kun ment som tilbakemelding til skolens rektor; Av statistiske årsaker kan de ikke brukes til seriøse sammenligninger. Det var derfor rektorene var bundet av konfidensialitet. Likevel er resultater fra individuelle skoler blitt offentliggjort, delvis av gjennomsiktige politiske grunner.

tolkning

Er PISA- vurderingene en skoleprestasjonstest?

Flertallet av publikum oppfatter PISA som en studie av skolesystemets ytelse. Dette stemmer overens med oppfatningen av PISA som en landskonkurranse, ettersom den grunnleggende strukturen i skolesystemet er forskjellig fra land til land. Denne tolkningen av PISA som en skoleprestasjonstest er basert på følgende antagelser:

(1) PISA tester en alder, ikke et karakternivå. Det kan rettferdiggjøres hvis man ser på ytelse som et resultat opp til en viss alder. PISA diskriminerer skolesystemer der en betydelig andel av elevene har lavere karakterer på grunn av sen skolepåmelding , sittende eller frivillig repetisjon . Derfor er PISA-tilnærmingen uegnet til å sammenligne studentenes prestasjoner "nær slutten av obligatorisk utdanning". Man kan imidlertid også spørre om bestemmelser etc. representerer pedagogiske tiltak som gir mening. En vitenskapelig studie har imidlertid til oppgave å tydelig og gjennomsiktig definere sine egne standarder og å avstå fra enhver evaluering som allerede er implisitt i valg av definisjon av utvalg.

(2) PISA måler ikke økningen i kognitive ferdigheter i løpet av skolegangen, men bare den nåværende situasjonen i en bestemt aldersgruppe. Fra ytelsesdataene til PISA kan det ikke trekkes ut i hvilken grad prestasjonen skyldes skoleutdannelsen og i hvilken grad den skyldes forskjellige systemer og miljøpåvirkninger. Dette argumentet undertrykker det faktum at det er mange andre studier, inkludert langsgående seksjoner som f.eks B. LAU-undersøkelsene i Hamburg. Spørsmålet om plante eller miljø oppstår ikke for skolen. Den avgjørende faktoren er om noe kan endres og om du har nok tid til det, noe som er tvilsomt på grunn av den tidlige utvelgelsen etter klasse 4. Imidlertid - slik kritikken fortsetter - tillater PISA ytelsesdata å være korrelert med sosiale egenskaper . Resultatene viser at sosiale forhold i forskjellige land har forskjellige effekter på kognitiv ytelse. Eksemplet som er mest sitert i Tyskland er innvandrerbarn som henger mer etter i Tyskland enn i andre land. Øst-Tyskland er det en høyere andel innvandrerbarn på grunnskoler enn i Vest-Tyskland. I Thüringen går for eksempel 63% av barn av vietnamesisk avstamning på en grunnskole. Dette blir forklart som "progressivt" med det mye bedre barnehage- og barnehagesystemet i Øst-Tyskland, "konservativt" med en veldig høy forståelse av utdanning i vietnamesisk kultur, "etnisk" med høyere gjennomsnittlig IQ for asiater (sammenlignet med tyrker, arabere eller også europeere) og "sosiologisk-historiske" med det faktum at fra Vietnam v. en. elite flyktet fra kommunismen til Tyskland.

(3) PISA-resultatene vil bli publisert omtrent to år etter undersøkelsen. Derfor er konklusjoner om skolepolitisk situasjon på tidspunktet for publisering ikke tillatt (noe som gjøres i rapporteringen). Imidlertid antar dette argumentet raske endringer i systemet, noe som knapt har blitt bevist så langt.

(4) Når man tolker resultatene, tar ikke PISA-studiene hensyn til bruken av et annet antall undervisningstimer, ekstern institusjonalisert læring og andelen spesialistimer, for eksempel i matematikk, av det totale antallet undervisningstimer. Korea har for eksempel svært høye verdier for antall leksjoner i matematikk og for verdiene av ekstrafaglig engasjement med fagstoffet.

Måler PISA-studiene intelligens?

Heiner Rindermann og Siegfried Lehrl hevder at PISA er et selskap for måling av generell intelligens , og at det er det mest komplekse og beste som er gjennomført internasjonalt. Ifølge forfatterne ble landresultatene til PISA enige om pluss eller minus tre IQ- poeng med IQ-dataene (og estimatene) i boka : IQ and the Wealth of Nations (Lynn og Vanhanen, 2002). Korrelasjonene som er funnet, som på grunn av prøvenes stort sett "utmerkede representativitet", er høyere enn mellom de forrige IQ-testene, viser for forkjemperne for IQ-testene at PISA-resultater i utgangspunktet stemmer overens med resultatene fra et århundre med klassisk intelligensforskning nytten av påviste, standardiserte IQ-tester, samt de svært høye korrelasjonene mellom PISA-verdier og IQ med resultatene av TIMSS-studien og IGLU-studien . Resultatene av PISA-studiene korrelerer imidlertid ikke med IGLU-studien, siden de to studiene har forskjellige utvalgsdefinisjoner. Mens PISA-studien er basert på testpersonens alder (15 år), tester IGLU grunnskolestudier elever på et visst klassetrinn (for det meste 4. trinn). Derfor kan ikke resultatene av de to studiene korrelere og kan heller ikke bekrefte “resultatene av et århundre med klassisk intelligensforskning”, forutsatt at man antar at intelligens i fjerde klassinger er uavhengig av skolen og uforanderlig, noe som imidlertid er en tvilsom antagelse.

Individuelle bevis

  1. ↑ Hopmann / Brinek / Retzl 2007, s. 14f.
  2. ↑ news4teachers.de
  3. ↑ Freerk Huisken : "PISA-sjokket" og hvordan man takler det. Hvor mye dumhet trenger / tåler republikken? VSA-Verlag Hamburg 2005.
  4. ↑ For eksempel, i et flervalgsspørsmål, blir svaret "Evolusjon er en teori som har blitt bevist av forskning" vurdert som feil. I stedet for "forskning" i den engelske originalen er det ingen "forskning" men "vitenskapelige eksperimenter". (Joachim Wuttke: PISA: en kostbar tilfeldig tallgenerator. I: Berliner Zeitung. 11. desember 2007)
  5. Ach Joachim Wuttke: PISA: en dyr tilfeldig tallgenerator. I: Berliner Zeitung. 11. desember 2007.
  6. ↑ i Hopmann et al. 2007, s. 220-223.
  7. ↑ Wuttke (2007), først i Jahnke / Meyerhöfer (2006).
  8. ↑ Oppmerksomhet OECD-PISA: Din stillhet over Kina er feil , 12. desember 2013.
  9. ↑ Learn-foerdern.de ( Memento av den opprinnelige fra 5 mars 2016 i Internet Archive ) Omtale: The arkivet koblingen ble satt inn automatisk og har ennå ikke blitt sjekket. Vennligst sjekk originalen og arkivlenken i henhold til instruksjonene, og fjern deretter denne meldingen. @1@ 2Mal: Webachiv / IABot /lern-foerdern.de
  10. ↑ legasthenie-lds.org ( Memento av den opprinnelige fra 5 mars 2016 i Internet Archive ) Omtale: The arkivet koblingen ble satt inn automatisk og har ennå ikke blitt sjekket. Vennligst sjekk originalen og arkivlenken i henhold til instruksjonene, og fjern deretter denne meldingen. @1@ 2Mal: Webachiv / IABot / www.legasthenie-lds.org
  11. ↑ akl-bayern.de
  12. ↑ Lehrerverband.de ( Memento av den opprinnelige fra 15 september 2007 i Internet Archive ) Omtale: The arkivet koblingen ble satt inn automatisk og har ennå ikke blitt sjekket. Vennligst sjekk originalen og arkivlenken i henhold til instruksjonene, og fjern deretter denne meldingen. @1@ 2Mal: Webachiv / IABot / www.lehrerverband.de
  13. ↑ statsoft.com

litteratur

weblenker