146 Hlavní tematické oblasti naplňující tři výše uvedené principy byly převedeny do podoby základního rámce a následně rozvedeny do testových otázek (viz tabulka 2-1). Podobně jako testové položky byly i otázky dotazníku podrobeny hodnocení jejich kvality, a to jak expertním posouzením, tak pilotáží. Detailní analýza výsledků pilotáže (např. faktorová analýza pro ověření kvality teoretického konstruktu otázek, psychometrická analýza diferenciace mezi zeměmi apod.) umožnila vyřadit některé otázky. 3. Administrace testu Pro realizaci šetření PISA na národní úrovni jsou relevantní zejména tři klíčoví aktéři. První klíčový aktér je zastoupen národním projektovým manažerem, který koordinuje průběh všech prací v souladu se standardními procedurami metodiky PISA. Vlastní realizace testování probíhá na úrovni školy, kde klíčovou roli v komunikaci mezi národním projektovým manažerem na jedné straně a pracovníky školy, žáky a jejich rodiči na straně druhé hraje školní koordinátor. Průběh testu je pak zajištěn ze strany administrátora testu. Omezující požadavky jsou kladeny na osobu administrátora testu, a to ve vztahu k jeho účasti ve výuce testovaného předmětu na testované škole. Obecně je upřednostňována volba administrátora testu zcela mimo výběrový soubor testovaných škol. Realizace šetření PISA probíhá v písemné podobě, kdy každému žákovi je primárně poskytnut testový sešit s jeho ID číslem. Důraz je v tomto ohledu kladen na zabezpečení testového materiálu formou zapečetění a dalšími bezpečnostními standardy. Testové materiály jsou doručovány pod centrální koordinací na příslušné školy. Každý žák vyplňuje čtyři klastry testových položek a kontextový dotazník. Celkový čas testování tedy je 120 minut pro zodpovězení úloh testového sešitu a 30 minut pro vyplnění dotazníku. Oprava testů probíhá na základě práce proškolených hodnotitelů s využitím hodnotícího manuálu. Platí přitom, že multi-choice testové položky a někdy i otevřené testové položky s krátkou odpovědí jsou hodnoceny s využitím skenovacího zařízení a že ostatní položky jsou hodnoceny proškoleným hodnotitelem. Za tímto účelem jsou vybíráni dostatečně kvalifikovaní a náležitě proškolení hodnotitelé. Opravy testů jsou zapisovány do elektronického prostředí, přičemž u některých otevřených testových položek může být dovolena i částečně správná odpověď. 4. Vyhodnocení testu Vyhodnocení výsledků PISA šetření je založeno na několika standardizovaných metodických procedurách: - První procedura je spojena se skutečností, že pravděpodobnost výběru žáka pro šetření je různá, a to mimo jiné v kontextu vyššího zastoupení některých relativně méně početných skupin žáků85 nebo neúčasti škol či žáků na šetření. Tato skutečnost je tradičně řešena prostřednictvím vah přiřazených odpovědím jednotlivých žáků, kde váha funguje jako vyrovnávací mechanismus výše uvedených skutečností. - Druhá procedura je spojena se zajištěním základních statistických a psychometrických informací týkajících se kvality testových položek. Takto je například zjišťována obtížnost testové položky, konzistentnost odpovědí na testové položky mezi zeměmi či mezi roky, korelace správnosti odpovědí žáků na testovou položku s celkovými výsledky žáků v dané oblasti či soulad odpovědí položky 85 Například záměrně vyšší zastoupení žáků soukromých základních škol 146