42 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl Přínos počítačového zadání PISA 2012 bylo druhým šetřením schopnosti jednotlivce řešit problémy. V roce 2003 byl součástí hodnocení papírový test na řešení mezioborových problémů (OECD, 2005). V PISA 2012 byla počítačová forma testu zásadní pro tvorbu koncepce řešení problémů. Papírové testování by nemohlo měřit stejný koncept. Zahrnutí interaktivních problémů, v nichž žáci musí zkoumat (simulované) prostředí a přijímat zpětnou vazbu na své kroky, aby získali všechny informace potřebné k řešení problému, bylo možné jedině v počítačové formě testu. Navíc se v počítači ukládaly i informace o tom, jak probíhá interakce žáka s testovým materiálem v průběhu plnění úloh. K těmto informacím patří například to, jaké akce žák provádí (např. kliknutí myší, přetažení položky, použití kláves), frekvence interakce mezi žákem a materiálem, posloupnost činností, stav systému v jakémkoli daném bodě a časování konkrétních interakcí. Počítačové zadání umožnilo začlenit autentické formáty odpovědí, kde pozorované chování koresponduje s odpovědí. To je velký pokrok k hodnocení autentického výkonu při řešení problémů. Například otázka 1 z úlohy JÍZDENKY žádá žáky, aby si koupili jízdenku v přístroji, který nikdy předtím neviděli (Obrázek V.1.3); když se jim to podaří, dostanou body. Žáci nemusí popisovat postup v textovém nebo obrázkovém poli, ani nemusí zaškrtávat políčka. Zařazeny byly také různé formáty odpovědí, například rozbalovací menu, což by v papírovém testu nebylo možné. V několika otázkách skór odráží nejen explicitní odpověď žáka, ale také posloupnost akcí, které žák provedl před uvedením odpovědi. Například v hypotetické otázce, kde měl žák najít a opravit chybu v nefungujícím přístroji, žák nejprve musel přístroj prozkoumat, aby získal potřebné informace. Body mu však byly přiděleny pouze tehdy, pokud data z počítače ukazovala, že žák před volbou odpovědi podnikl nezbytné kroky k vyřazení dalších přípustných možností. Jeden z inovativních rysů testu na řešení problémů je, že informace obsažené v logovacích souborech o posloupnosti kroků, které žáci provedli, se dají využít ke stanovení počtu bodů za danou otázku. Například když se dalo dovodit, že žák odpověď uhodl, nedostal za ni žádné body. Vzhledem k tomu, že test byl zadáván na počítači, mohla výkon žáků ovlivnit znalost práce s informačními a komunikačnímu technologiemi (IKT). Schopnost ovládat IKT potřebná pro navigaci testovým rozhraním se však omezovala na tak jednoduché dovednosti, jako je používání klávesnice, myši nebo touchpadu, zaškrtávání výběrových tlačítek kliknutím, přesouvání položek pomocí myši, rolování textu a používání rozbalovacích menu a hypertextových odkazů. Další snahou srovnat výhodu žáků, kteří mají s počítači větší zkušenosti, bylo vypracování zkušební úlohy před samotným testem - úloha obsahovala příklady všech požadovaných formátů odpovědi.