108 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl problémové situace nebo podle postupu řešení problému mají všechny otázky v dané úloze stejný kontext. Přesto obeznámenost žáka s kontextem problémů a jeho pochopení ovlivní jeho schopnost problém vyřešit. Aby hodnocené úkoly odrážely škálu kontextů, které patnáctiletým žákům připadají autentické a zajímavé, byly stanoveny dvě dimenze: prostředí (technické nebo netechnické) a zaměření (osobní nebo sociální). Problémy zasazené do technického kontextu jsou založeny na fungování technického zařízení, jako je mobilní telefon, dálkový ovladač přístrojů nebo automat na prodej jízdenek. Znalost podstaty fungování těchto přístrojů není nutná. Žáci jsou vedeni k tomu, aby prozkoumali a pochopili fungování přístroje, než se ho naučí ovládat, případně opravit poruchu. Problémy zasazené do netechnického kontextu zahrnují úkoly, jako je plánování trasy, rozvrhování úkolů a rozhodování. Osobní kontexty zahrnují ty, které se vztahují primárně k žákovi, jeho rodině a přátelům. Sociální kontexty běžně nezahrnují přímo žáka a vztahují se k situacím, s kterými se setkává šířeji v komunitě nebo ve společnosti obecně. Formáty odpovědi se v otázkách také liší. Jedna třetina otázek (14 z celkového počtu 42 otázek) vyžaduje, aby žák zvolil odpověď/odpovědi kliknutím na výběrové tlačítko nebo volbou možnosti z rozbalovacího menu. Do této kategorie spadají jednoduché otázky s výběrem z více možností, kde lze vybrat jen jednu správnou odpověď, složité otázky s více možnostmi výběru, kde žák musí učinit dvě nebo tři samostatné volby z více možností, a obměny těchto verzí (například když se má vybrat více než jedna správná odpověď). Všechny tyto otázky jsou kódovány automaticky. Zbylých 28 otázek vyžaduje, aby žák vytvořil vlastní odpověď, např. zapsáním textu, přetažením tvarů, zakreslením čar mezi body, zvýrazněním částí diagramu nebo interakcí se simulovaným zařízením. Většina těchto otázek byla také kódována automaticky. Ovšem tam, kde bylo třeba, aby žák vysvětlil svou metodu nebo zdůvodnil vybranou odpověď, kódovali odpovědi zkušení odborníci a v případě potřeby přidělovali částečný počet bodů. Odborné kódování vyžadovalo šest otázek s konstruovanými odpověďmi (příkladem je otázka 3 v úloze ROBOTICKÝ VYSAVAČ). Žáci v mnoha zemích a ekonomických celcích zejména v Asii podávají v průměru lepší výsledky v otázkách, kde se odpověď vybírá, než v těch s tvořenou odpovědí. V testu PISA schopnosti řešit problémy se opakoval relativně silný výsledek v otázkách s výběrem odpovědí (a slabý výsledek v otázkách s tvořenou odpovědí) u Bulharska, Šanghaje (Čína), Malajsie, Koreje, Macaa (Čína), Uruguaye, Hongkongu (Čína) a Tchaj-wanu (Čína). V těchto zemích a ekonomických celcích byla míra úspěšnosti otázek s tvořenou odpovědí maximálně 0,85krát vyšší, než se dalo očekávat vzhledem k výsledku v otázkách s výběrem odpovědí a relativní obtížností otázek, jak byla měřena mezi žáky OECD. Několik dalších zemí, konkrétně Izrael, Spojené arabské emiráty, Kolumbie, Japonsko, Černá Hora, Brazílie, Turecko, Maďarsko a Chorvatsko měly míry úspěšnosti výrazně pod jednou, což také ukazuje na nečekaně slabý výsledek v otázkách s tvořenou odpovědí (Obrázek V.3.9 a Tabulka V.3.5).