35 V úlohách s nesouvislými texty je obtížnost dána množstvím informací v textu, uspořádáním útvarů (orientace v jednoduchých útvarech je snazší než ve složitých), rozlišením, zda jsou dílčí složky seřazené a přehledně uspořádané, např. pomocí popisků či speciálního formátování, a rozlišením, zda je požadovaná informace obsažená v základní části textu, nebo je v oddělené části, např. v poznámce pod čarou. Formy odpovědí na otázky Formát odpovědí, tedy způsob, jakým jsou sbírány údaje o dovednostech, je přizpůsobován tomu, co je považováno za vhodné vzhledem k druhu informací, které chceme získat, a také s ohledem na praktická omezení rozsáhlého testování. Tak jako v jakémkoliv rozsáhlém testování, i zde je rozsah přijatelných formátů položek omezený, přičemž se nejlépe pracuje s formátem otázky s výběrem odpovědi a s formátem otevřené otázky s tvorbou krátké odpovědi (zde mají žáci napsat svou vlastní odpověď). Z několika studií, které vycházejí z dat šetření PISA, vyplývá, že formát odpovědí má významný vliv na výkon různých skupin testovaných žáků: např. na výkon žáků vykazujících různou úroveň dovedností (Routitsky & Turner, 2003), žáků v různých zemích (Grisay & Monseur, 2007) a na výkon dívek a chlapců (Lafontaine & Monseur, 2006). Na základě těchto rozdílů Lafontaine & Monseur upozorňují, že kvůli měření vývojových trendů v čase je důležité v každém z následujících sběrů dat zachovat podobný podíl úloh obsahujících otázku s výběrem odpovědi a úloh s otevřenou otázkou. Dalším důležitým poznatkem v kontextu čtenářské gramotnosti je, že úlohy s otevřenou otázkou jsou obzvláště důležité pro aspekt posuzování a vyhodnocování, jehož záměrem je často spíše posoudit kvalitu přemýšlení, než samotný výsledek. Žáci v různých zemích jsou zkrátka více či méně obeznámeni s různými formáty odpovědí. Tím, že do šetření zařadíme položky v rozmanitých formátech, napomůžeme tomu, aby byla udržena rovnováha mezi více a méně známými formáty u všech žáků, bez ohledu na národnost. Stručně řečeno, v testování čtenářské gramotnosti v rámci PISA jsou i nadále využívány jak úlohy s výběrem odpovědi, tak i úlohy otevřené s tvorbou odpovědi, aby bylo zabezpečeno řádné pokrytí řady dovedností v různých zemích, nestrannost vzhledem k vypozorovaným rozdílům mezi zeměmi i mezi muži a ženami, a platné vyhodnocení dovedností spojených s aspektem posuzování a vyhodnocování. Jakákoliv významná změna v rozdělení typů úloh zaměřených na čtení tištěných textů by mohla ovlivnit měření vývojových trendů v čase. S ohledem na šetrnost a možnost využít funkce automatického kódování, které nabízí elektronické médium, byl však do testování čtení elektronických textů zahrnut vyšší podíl úloh, které nevyžadují práci kodérů. Tabulky 1.6 a 1.7 ukazují požadavky pro kódování tištěných, resp. elektronických úloh. Jejich rozložení je vyjádřeno ve vztahu ke třem aspektům gramotnosti ve čtení tištěných textů a čtyřem aspektům, které byly popsány pro testování čtení elektronických textů. Úlohy, které vyžadují odborné posouzení hodnotitele, se rozdělují na otevřené otázky s tvorbou vlastní odpovědi a otázky s tvorbou krátké odpovědi. Úlohy, které nevyžadují posudek kódera, se dělí na otázky s výběrem odpovědi z několika nabízených možností a uzavřené otázky s tvorbou odpovědi. Uzavřené otázky s tvorbou odpovědi sice vyžadují po žácích, aby uvedli vlastní krátkou odpověď, nicméně posoudit odpovědi žáků pro kódera představuje jen minimální práci. Jako uzavřenou otázku s tvorbou odpovědi bychom označili např. úlohu, ve které je žák požádán, aby opsal jedno slovo z textu, ve kterém je pro daný účel vhodné pouze jedno slovo. Takové položky představují z provozního hlediska jen menší finanční zátěž, a proto mohou být z praktického hlediska tyto uzavřené otázky s tvorbou odpovědi zařazeny do skupiny spolu s položkami s výběrem odpovědi.