155 2. Vývoj testu Rovněž metodika vývoje testu je velmi podobná metodice šetření PIRLS/TIMSS. Výchozím bodem vývoje testu tak je ICCS metodický rámec, který navazuje na metodický rámec testování z roku 1999 a současně zohledňuje kritické aspekty občanské/sociální gramotnosti ve vazbě na její obsah a kognitivní proces nezbytný pro její dosažení. Metodický rámec šetření ICCS tak formuluje dvě hlavní oblasti, vůči jejímž hodnotám jsou specifikovány podíly testových položek. Tyto oblasti zahrnují: - obsah v podobě občanské společnosti a systému (40 % testových položek), občanských principů (30 % testových položek), občanské participace (20 % testových položek) a občanské identity (10 % testových položek), - kognitivní dovednosti v podobě vědění (30 % testových položek) a argumentace (70 % testových položek). Vlastní tvorba testových položek šetření ICCS je tedy zasazena do metodického rámce stejným způsobem jako v případě šetření PISA či PIRLS/TIMSS. Specifikem šetření ICCS je naopak vytvoření regionálně podmíněných testovacích nástrojů v podobě kognitivních testů a regionálně podmíněného dotazníku. Rozlišeny jsou v tomto ohledu testovací nástroje pro Evropu, Asii a Latinskou Ameriku. Poznamenejme, že v případě Evropy se regionálně podmíněné testovací nástroje zaměřují na problematiku evropské integrace. Při vytváření testů pro šetření ICCS jsou respektovány rovněž následující principy: - První princip je spojen s podobou testových položek, která vychází ze základního stimulu (např. text, obrázek), na který navazují vlastní testové položky. Využívány jsou jak multi-choice testové položky, tak otevřené testové položky vyžadující vlastní formulaci odpovědi. V testu přitom významně převažují multi-choice položky (cca 90 % položek). - Druhý princip je spojen se zahrnutím tzv. propojujících testových položek šetření ICCS v roce 2009 a obdobně orientovaného šetření z roku 1999. Hodnocení těchto položek umožňuje sledovat vývoj výsledků zemí v čase. - Třetí princip souvisí s potřebou utváření nových testových položek pro naplnění základních cílů šetření ICCS, přičemž zohledněna je jejich schopnost diferenciace vzhledem k poměrně vysokému počtu proměnných. Vývoj nových testových položek šetření ICCS sleduje standardizovaný metodický postup, který odpovídá metodice šetření PIRLS/TIMSS. Takto je primární podoba nových testových položek formulována na workshopu představitelů národních koordinačních center. V dalším období jsou využívány různé metody hodnocení kvality vytvořených testových položek a potřeby jejich úprav, a to včetně: - práce expertního panelu a využití internetově založené expertní oponentury, - kognitivní pilotáže s relativně malou skupinou žáků, - pilotního průzkumu vybraných testových položek s následnou analýzou získaných dat pro identifikaci problémových testových položek využitím IRT93 teorie. Při tvorbě výsledných testových sešitů šetření ICCS je postupováno tak, že testové položky jsou spojeny do bloků, které obecně pokrývají různé typy úloh v návaznosti na metodický rámec. Celkem je pracováno se sedmi bloky, přičemž žák odpovídá na tři bloky testových položek. Metodika ICCS explicitně stanovuje 93 Item Response Theory 155