189 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl Příloha A4 Zajištění kvality Podobně jako v předchozích průzkumech PISA, i v šetření PISA 2012 byly přijaty postupy pro zajištění kvality ve všech fázích. Zachování konzistentní kvality a jazykové shodnosti testových nástrojů šetření PISA 2012 usnadnila skutečnost, že byly všem zemím poskytnuty stejné zdrojové verze hodnotících nástrojů v angličtině a francouzštině. Země, které nemají angličtinu a francouzštinu jako jazyky hodnocení, dostaly za úkol připravit z obou zdrojových verzí dva samostatné konsolidované překlady. K překladu a adaptaci byly vydány přesné pokyny, zahrnující i pravidla pro výběr a školení překladatelů. Překlad a formát testových nástrojů (včetně testových materiálů, pokynů ke známkování, dotazníků a manuálů) pro každou zemi ověřili odborní překladatelé pověření Konsorciem PISA. Teprve pak se materiály mohly použít v terénní a hlavní studii PISA 2012. Tito překladatelé byli obeznámeni se vzdělávací soustavou v dané zemi a jejich mateřštinou byl jazyk výuky v dotčené zemi. Další informace o postupech překladů pro šetření PISA najdete v Technické zprávě PISA 2012 (OECD, brzy vyjde). Průzkum byl prováděn standardizovanými postupy. Konsorcium PISA poskytlo manuály s kompletními informacemi, kde se vysvětloval způsob provádění průzkumu. Součástí manuálů byly i přesné pokyny pro práci se školními koordinátory a scénáře pro zadavatele testu, které se měly používat v průběhu testových sezení. Navrhované obměny postupů průzkumu nebo změny scénářů testových sezení byly předloženy Konsorciu PISA ke schválení ještě před ověřením. Konsorcium PISA pak ověřilo národní překlad a adaptaci manuálů. Aby šetření PISA mohlo být považováno za platný a nezkreslený průzkum, jehož testy se zadávají ve všech zemích vždy stejně, byli v zúčastněných zemích vybráni zadavatelé testů na základě jasných kritérií: zadavatel testu nesměl být učitelem matematiky, čtení nebo přírodních věd žádného z žáků v sezení, kde měl test PISA zadávat. Bylo doporučeno, aby zadavatel testu nebyl členem učitelského sboru žádné školy, kde bude test PISA zadávat, a aby pokud možno nebyl členem učitelského sboru ani v žádné ze škol ve vzorku PISA. Zúčastněné země a ekonomické celky organizovaly pro zadavatele testů osobní školení. Zúčastněné země a ekonomické celky musely zajistit, aby zadavatelé testu spolupracovali se školními koordinátory na přípravě testových sezení, včetně aktualizace žákovských formulářů a identifikace vyloučených žáků. Dále bylo stanoveno, že není povoleno protáhnout časový limit pro kognitivní test (zatímco dát žákům čas navíc při vyplňování dotazníku bylo možné). Před oběma hodinovými sezeními kognitivního testu nesměly být zadávány jiné nástroje. Zadavatelé testu museli poznamenat údaj o účasti žáků do žákovských formulářů a vyplnit formulář zprávy o průběhu sezení. Nebylo povoleno kopírovat žádné kognitivní instrumenty a učitelé do nich nesměli nahlížet před konáním testového sezení. Okamžitě po sezení musel zadavatel odevzdat veškeré testové materiály do národního centra. Národní projektoví manažeři měli za úkol uspořádat následné sezení, pokud absence žáků v původním testovém sezení překročila 15 % ze vzorku. Všechna národní centra navštívili národní kontroloři kvality z Konsorcia PISA, aby zrevidovali postupy shromažďování údajů. V průběhu hodnocení navštívili kontroloři kvality škol z Konsorcia PISA také vzorek sedmi škol. Další informace o terénních postupech najdete v Technické zprávě PISA 2012 (OECD, brzy vyjde).