147 s psychometrickým modelem86. Existence odchylek či anomálií je důvodem pro další průzkum odpovědí na testovou otázku s návrhem řešení v případě identifikace problémů. Poznamenejme, že závažné problémy mohou vést k úplnému vypuštění testové položky z vyhodnocení. - Třetí procedura je spojena s výpočtem skóre žáka s využitím IRT87 teorie – Raschova modelu. Skóre žáka je ve své podstatě pravděpodobnost, že žák bude odpovídat na testovou položku způsobem odpovídajícím kalibrovanému modelu ve vazbě jednak na své schopnosti a jednak na charakteristiky, zejména obtížnost, testové položky. Odpovědi žáka, spolu s parametry kalibrovaného modelu a se zohledněním podmiňujících proměnných, umožňují výpočet žákova skóre. V posledním kroku je vypočtené skóre transformováno na tradiční škálu šetření PISA s průměrnou hodnotou 500 a směrodatnou odchylkou 100. - Raschův model převádí informace o schopnostech žáků a obtížnosti testových položek na stejnou škálu. Z umístění žáka na škále přitom vyplývá, že tento je s velkou pravděpodobností schopen řešit testové položky, které jsou na škále šetření PISA pod jeho umístěním, ale s velkou pravděpodobností nebude schopen řešit testové položky, které jsou na škále šetření PISA nad jeho umístěním. Poznamenejme, že metodika PISA definuje pro každou testovanou gramotnost jedinečnou škálu v souladu s formulací jejího metodického rámce. - Čtvrtá procedura je spojena s využitím tzv. propojujících testových položek mezi jednotlivými roky. Srovnání odpovědí na tyto testové položky mezi roky umožňuje kalibrovat původní model výpočtu škály šetření PISA a tímto způsobem zachytit vývoj výsledků v čase. - Pátá procedura je zaměřena na propojení škály s formulací očekávaných znalostí a dovedností žáků na šesti úrovních škály šetření PISA. Toto je provedeno na základě hodnocení kognitivních požadavků pro řešení testových položek ve vazbě na vztahy mezi obtížností testových položek na jedné straně a dovednostmi žáků na straně druhé. Charakteristika očekávaných znalostí a dovedností žáků v rámci dané úrovně škály pak umožňuje stanovit i hraniční body šesti úrovní škály PISA, a to na základě předpokladu, že žák na dané úrovni znalostí vyřeší cca 50 % příkladů referenční obtížnosti. Zdůrazněme, že vyhodnocení výsledků šetření PISA přísně respektuje komplexní systém managementu kvality (např. mezinárodní a národní kontrola, zpětná vazba od relevantních aktérů apod.). 5. Reporting výsledků testu Reporting výsledků šetření PISA probíhá ve vztahu k definované škále šetření PISA a na ni stanoveným šesti úrovním výkonnosti. Výsledky zemí jsou prezentovány zejména prostřednictvím průměrné hodnoty dosaženého skóre testovaných žáků jednotlivých zemí respektive prostřednictvím rozdělení četností výsledků žáků vzhledem k definovaným úrovním škály. Zachyceny jsou rovněž změny dosažených výsledků v čase, rozdíly ve výsledcích vzhledem k charakteristikám žáků, rozdíly ve výsledcích žáků mezi školami a žáků uvnitř školy. Při hodnocení je respektována statistická významnost rozdílů. 86 Základní teze v tomto ohledu tvrdí, že žáci s lepšími schopnostmi lépe zodpovídají danou položku než žáci s horšími schopnostmi, tj. testová položka je schopna tuto skutečnost odhalit. Pokud existují rozdíly v tomto směru, pak je potřeba pokusit se identifikovat důvod takové skutečnosti. 87 Item Response Theory 147