191 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl Příloha A5 Koncepce hodnocení schopnosti řešit problémy Jak bylo koncipováno šetření PISA 2012 oblasti individuální schopnosti řešit problémy Vývoj úkolů zaměřených na řešení problémů pro potřeby šetření PISA 2012 byl koordinován mezinárodním konsorciem výzkumných institucí zaměřených na vzdělávání, které vybrala OECD, pod vedením skupiny odborníků na řešení problémů ze zúčastněných zemí (členové expertní skupiny na řešení problémů jsou uvedeni v Příloze C tohoto dílu). Zúčastněné země se podílely na tvorbě testů zadání a otázek, které se následně revidovaly, zkoušely a opakovaně vylepšovaly v průběhu tří let před zahájením testování v roce 2012. Vývoj zahrnoval zajištění několika připomínkových kol v zúčastněných zemích, pilotní testování v malém měřítku a formální terénní testování, jehož se účastnily vzorky patnáctiletých (asi 1 000 žáků) ze zúčastněných zemí. Skupina odborníků na řešení problémů doporučila konečný výběr úloh, které zahrnovaly materiály předložené zúčastněnými zeměmi. Výběr se prováděl s ohledem jak na jejich odbornou kvalitu, hodnocenou na základě výkonu v terénním testování, tak na jejich kulturní vhodnost a zajímavost pro patnáctileté žáky, jak to posoudily zúčastněné země. Dalším zásadním kritériem pro výběr sady materiálů jako celku bylo, jestli zapadají do rámce popsaného v Kapitole 1 tohoto dílu, aby se zachovala rovnováha různých kategorií aspektů. A konečně bylo pečlivě zajištěno, aby sada otázek pokrývala různé úrovně obtížnosti, které umožní dobře změřit a popsat schopnost řešit problémy u všech patnáctiletých žáků, od nejméně zdatných po ty nejschopnější. V šetření PISA 2012 se použilo 42 otázek na řešení problémů uspořádaných do 16 úloh. Každý žák ve výběru viděl jenom zlomek z celkového souboru, protože různým žákům byly zadávány různé sady otázek. Otázky testu řešení problémů začleněné do šetření PISA 2012 byly uspořádány do čtyř dvacetiminutových souborů. V zemích, kde se na počítači testovala i matematická a čtenářská gramotnost, byly i matematické a čtenářské otázky uspořádány do dvacetiminutových souborů a společně se soubory na řešení problémů zahrnuty do testových formulářů (počítačového ekvivalentu papírových testových sešitů). Ve všech případech byl celkový čas na vyplnění počítačových testů 40 minut. V zemích, kde se na počítačích testovala jenom schopnost řešit problémy, se čtyři soubory úloh na řešení problémů (CP1-CP4) střídaly tak, aby se každý soubor objevil dvakrát v každé ze dvou možných pozic ve formuláři a každý soubor tvořil dva páry se dvěma dalšími soubory. Podle schématu na Obrázku A5.1 se sestavilo osm testových formulářů: podle tohoto schématu byla každá otázka na řešení problémů zadána asi polovině všech žáků vybraných pro test v testu řešení problémů (viz Tabulka A2.4). V těch zemích, které testovaly řešení problémů, matematiku a čtení na počítačích, byly čtyři soubory úloh na řešení problémů, čtyři soubory úloh z matematiky (CM1-CM4) a dva soubory úloh na čtení (CR1, CR2) kombinovány do 24 testových formulářů, jak je ilustrováno v Obrázku A5.2. Každému žákovi byl pak náhodně vybrán jeden formulář.