156 možné kombinace trojic bloků testových položek, přičemž každému žákovi je náhodným výběrem přiřazena jedna z těchto kombinací. Vyplnění jednoho bloku testových položek zabere cca 15 minut. Vedle vlastních testů je součástí šetření ICCS, stejně jako v případě šetření PISA respektive PIRLS/TIMSS, dotazník, jehož cílem je zajistit informace o faktorech pro vysvětlení rozdílů jak dosažených výsledků žáků, tak dosažených výsledků jednotlivých zemí. Takto jsou konstruovány dotazníky zaměřené na následující cílové skupiny: - V případě žáka se dotazník zaměřuje na jeho výsledky ve vzdělávání a další kontextové informace. - V případě školy je dotazník směřován jednak na cílovou skupinu ředitelů a jednak na cílovou skupinu učitelů. Otázky dotazníku se orientují jednak na základní charakteristiky školy (např. lokalizace vzhledem ke stupni urbanizace, velikost školy) a jednak na vnitřní prostředí školy včetně učebních praktik a postojů. - Konečně čtvrtý dotazník je směřován na národní koordinační centra se zajištěním informací o národním kontextu – např. podoba kurikula, systém vzdělávání, politika podpory rozvoje gramotností apod. 3. Administrace testu Realizace šetření ICCS plně navazuje na metodiku šetření PIRLS/TIMSS, a to na bázi standardizovaného postupu s rozlišením tří hlavních skupin aktérů. IEA představuje nadnárodního koordinátora realizace šetření ICCS. Národní centra koordinace mají za úkol jednak komunikovat s IEA a jednak komunikovat s národními aktéry relevantními pro realizaci šetření ICCS, primárně se jmenovaným školním koordinátorem. S ohledem na skutečnost, že šetření ICCS probíhá na školách, spočívá role školního koordinátora v zajištění všech dílčích aspektů realizace šetření ve škole. Školní koordinátor je rovněž odpovědný za výběr administrátora testu, tj. osobu pověřenou dohledem nad průběhem testování ve třídě, přičemž v některých případech je osoba školního koordinátora a administrátora testu identická. Realizace šetření ICCS probíhá v písemné podobě, kdy každému žákovi je poskytnut testový sešit s jeho ID číslem. Testové materiály jsou doručovány pod centrální koordinací na příslušné školy. Doba testování se pohybuje kolem 45 minut. Vyplnění podkladového dotazníku pak netrvá déle než 30 minut. Oprava testů probíhá na základě práce hodnotitelů vybraných a proškolených národním koordinačním centrem s využitím detailního hodnotícího manuálu. Značný důraz je kladen na otázky spolehlivosti práce hodnotitelů, což je zajišťováno mimo jiné dvojitým hodnocením jedné otázky či detailní analýzou výsledků pilotáže. Opravy testů jsou zapisovány do elektronického prostředí. 4. Vyhodnocení testu Postup spojený s vyhodnocením testů ICCS je opětovně obdobný metodice šetření PIRLS/TIMSS či PISA. V tomto ohledu je sledována myšlenka odlišné váhy přikládané odpovědím žáků v kontextu různé pravděpodobnosti jejich výběru. Kvalita testových položek je ověřována výpočtem základních statistik (např. obtížnost položek, kvalita položek k parametrům modelu, schopnost položek diferencovat podle schopností žáků apod.) s využitím IRT teorie94 – Raschova modelu, která je rovněž aplikována pro stanovení dosaženého skóre žáka s dalším převodem těchto poznatků na škálu se čtyřmi úrovněmi. 94 Item Response Theory 156