170 Poznamenejme, že po vzoru mezinárodního šetření PISA je vždy jedna z výše uvedených gramotností vybrána pro PCAP v daném roce jako prioritní (viz např. CMEC 2009, CMEC 2011a, CMEC 2013). Pro tuto gramotnost je do testování zařazeno více testových položek (viz CMEC 2010b). Metodické aspekty PCAP lze charakterizovat následujícím způsobem (viz např. CMEC 2009, CMEC 2010b, CMEC 2011a, CMEC 2011b, CMEC 2012, CMEC 2013). 1. Tvorba výběrového souboru testovaných žáků První krok metodiky realizace PCAP je spojen s vytvořením reprezentativního výběrového souboru žáků. Využíván je v tomto ohledu dvoufázový stratifikovaný výběr, kdy první fáze je spojena s výběrem souboru škol k oslovení. Výběr škol probíhá náhodně na bázi explicitní stratifikace vzhledem k proměnným lokalizace školy na území kanadských provincií respektive jazyk výuky ve škole (viz např. CMEC 2009). Ve druhé fázi jsou pak ze souboru zvolených škol vybírány celé třídy pro účast na testování110 (CMEC 2011b). Rozsah výběrového souboru se pohybuje kolem 32 000 žáků z 1 600 škol s tím, že v roce 2007 byla sledována praxe vyššího počtu žáků testovaných v hlavní gramotnosti, s opuštěním tohoto přístupu v roce 2010. V roce 2010 již tedy testy všech tří gramotností vyplňoval stejný počet žáků (viz CMEC 2011a, CMEC 2011b). 2. Vývoj testu Vývoj testových položek PCAP v jednotlivých testovaných gramotnostech vychází z detailní analýzy obsahu kurikul jednotlivých provincií a teritorií a z poznatků mezinárodních šetření (CMEC 2012). Tímto způsobem je vytvořen základní metodický rámec tvorby testových položek jednotlivých předmětů, který mimo jiné uvádí (viz CMEC 2009): - organizaci testované gramotnosti vzhledem k obsahu a kognitivním procesům (např. matematika v roce 2010 organizovaná kolem čtyř tematických oblastí a tří kognitivních procesů; viz CMEC 2011a) - specifikaci podílů jednotlivých typů testových položek vzhledem k definovaným kategoriím jejich organizace (např. pro matematiku vzhledem ke kategoriím tematických oblastí respektive kognitivních procesů), - zasazení skupiny testových položek do kontextu pro žáky atraktivní uvozující situace. Základní metodický rámec PCAP je následně využit pro tvorbu testových položek na expertní bázi, a to včetně kontroly externím týmem hodnotitelů. Kvalita vytvořených položek je rovněž ověřována terénním šetřením na vzorku cca 2 000 žáků ve sto školách a s využitím místních učitelů k opravě testů. Výsledky z pilotáže jsou statisticky vyhodnoceny s využitím IRT teorie111 pro další kontrolu kvality vytvořených otázek (viz CMEC 2009). Testové položky, které prošly kontrolou kvality, jsou shromážděny do čtyř testových sešitů, z nichž každý obsahuje čtyři dílčí testy – dva odpovídající hlavní testované gramotnosti a po jednom pro zbývající dvě gramotnosti. Každý žák vyplňuje jeden testový sešit (viz CMEC 2010b). 110 Tento přístup nahradil v roce 2010 přístup na bázi náhodného výběru žáků ze seznamu žáků všech škol vybraných v první fázi explicitní stratifikace. Výhodou přístupu vybírajícího celé třídy je snižování počtu zásahů do běžného provozu školy (viz CMEC 2011a, CMEC 2009). 111 Item Response Theory 170