PISA 2012 MATEMATTICKÝ KONCEPČNÍ RÁMEC 18 © OECD 2013 – PISA 2012 ASSESSMENT AND ANALYTICAL FRAMEWORK Žádoucí rozložení dosažených bodů podle kontextu Testové položky v matematické části šetření PISA 2012 jsou přiřazeny do jednoho ze čtyř okruhů kontextu. Položky vybrané pro šetření PISA 2012 pokrývají všechny tyto okruhy. Jejich rozložení je popsáno v tabulce 1.3 a má zajistit, aby nepřevažoval ani jeden z kontextů. Položky pokrývají široké rozpětí zájmových oblastí i situací, s nimiž se žáci mohou v životě setkat. Tabulka 1.3 Přibližné rozložení bodů v matematice podle kontextu Kontext Podíl bodů v procentech Osobní přibližně 25 Profesní přibližně 25 Společenský přibližně 25 Vědecký přibližně 25 CELKEM 100 Je důležité, aby měly jednotlivé položky z každého kontextu různou obtížnost. Rozložení obtížnosti položek Šetření PISA 2012 v matematice obsahuje položky různé obtížnosti, které mají kopírovat rozpětí schopností patnáctiletých žáků. V projektu se nachází jak položky, jejichž řešení je náročné i pro nadprůměrné žáky, tak položky pro výrazně podprůměrné žáky. Z psychometrického hlediska je šetření, které je vytvořené pro účely měření konkrétní kohorty respondentů, nejefektivnější a nejúčinnější, pokud obtížnost testových položek odpovídá schopnostem měřených subjektů. Navíc úrovňová škála navržená pro hodnocení výsledků projektu PISA může podávat užitečné informace o všech žácích pouze tehdy, pokud deskriptory jednotlivých úrovní popisují všechny zkoumané dovednosti. Jednotlivé úrovně jsou pak navrženy tak, aby odpovídaly nárůstu v aktivaci základních matematických dovedností, což detailně popisujeme ve shrnutí v rámečku 1.1 „Základní matematické dovednosti a jejich vztah k obtížnosti položky“. Předchozí cykly PISA ukázaly, že právě tyto dovednosti jsou indikátory kognitivní obtížnosti, takže jsou určující pro celkovou obtížnost testové položky (Turner, 2012; Turner a kol., v tisku). Škála používaná v šetření PISA 2012 je výsledkem testování v pilotáži a je založena na popisu dovedností, které je třeba při řešení aktivovat. Škála udává empirickou jednotku kognitivní náročnosti každé položky. Struktura testového nástroje Klasický „papírový“ testový nástroj šetření PISA 2012 obsahuje celkem 270 minut matematického materiálu. Materiál je uspořádán do devíti bloků, z nichž každý představuje 30 minut testovacího času. Tři z těchto bloků (celkem 90 minut testovacího času) pocházejí z předchozích šetření PISA, čtyři „standardní“ bloky (tedy 120 minut testovacího času) obsahují nový, různě obtížný materiál a dva „snadné“ bloky (tedy 60 minut testovacího času) obsahují materiály nižší obtížnosti. Každá země zadává z těchto devíti bloků sedm z nich: tři z předchozího testování, dva „standardní“ a dva „snadné“ bloky, nebo čtyři „standardní“ bloky. Výběr mezi „snadnými“ a „standardními“ bloky položek dává jednotlivým zemím možnost, aby si testování přizpůsobily svým potřebám; položky jsou ale hodnoceny tak, aby celkové skóre země nebylo ovlivněno volbou „lehkých“ či „standardních“ bloků. Připravuje se několik verzí testových sešitů, v nichž se bloky střídají, přičemž každý testový sešit obsahuje čtyři bloky položek z matematiky, čtení a přírodních věd. Každý žák vyplňuje v časovém limitu 120 minut jeden sešit. Nepovinné testování na počítači (CBAM) obsahuje celkem 80 minut matematického materiálu uspořádaného do čtyř bloků položek po 20 minutách testovacího času. Materiál je utříděn společně s dalším materiálem do několika verzí testů, přičemž každý test obsahuje dva bloky položek. Každý žák vyplňuje jeden test v časovém limitu 40 minut. Design matematických položek šetření PISA 2012 V klasické „papírové“ části šetření PISA 2012 se používají tři formáty testových položek: otevřené s tvorbou odpovědi, uzavřené s tvorbou odpovědi a s výběrem odpovědi. Otevřené položky s tvorbou odpovědi vyžadují delší písemnou odpověď a mohou také požadovat, aby žák ukázal kroky vedoucí k řešení, nebo vysvětlil, jak došel k určité odpovědi. Při vyhodnocování těchto položek je nezbytná práce vyškolených odborníků, kteří manuálně kódují odpovědi.