192/250 hodnocení). Pak chceme vědět, jak velká chyba hodnocení je způsobena subjektivitou hodnotitele. Na základě toho, co již víme o ekvivalenci, si lze představit následující dva způsoby sběru dat: 1. Necháme určitý vzorek žákovských řešení dané otevřené úlohy zhodnotit dvěma nezávislými hodnotiteli (kteří se vzájemně neradí a neznají hodnocení toho druhého). 2. Necháme určitý vzorek žákovských řešení dané otevřené úlohy zhodnotit tím samým hodnotitelem s určitým časovým odstupem (vzorek musí být dostatečně velký, aby „zapomněl“ jednotlivá hodnocení a též k nim neměl při novém hodnocení přístup). V prvém případě se mluví o tzv. inter-rater reliabilitě, která se určí jako korelační koeficient mezi hodnoceními jednoho a druhého hodnotitele. Z tohoto korelačního koeficientu odvozená chyba měření pak vypovídá o chybě způsobené subjektivitou hodnocení jedním hodnotitelem (obecně hodnotitelem svojí kvalitou hodnocení odpovídajícím hodnotitelům, na základě kterých byl odhad reliability učiněn). Ve druhém případě se mluví o intra-rater reliabilitě, která je určena obdobně jako korelační koeficient mezi oběma hodnoceními téhož hodnotitele. Zde odvozená chyba měření charakterizuje více daného hodnotitele, konzistentnost jeho hodnocení. Je zřejmé, že uvedené koeficienty nejsou jen výpovědí o kvalitě hodnotitele, ale i o úloze, míře její otevřenosti, kvalitě klíče pro hodnocení otevřené úlohy, kvalitě školení a zácviku hodnotitelů. Dané koeficienty pak nelze zobecnit na libovolné hodnotitele, ale pouze na tu populaci hodnotitelů, kterým se dostane stejně kvalitního školení a kteří jsou pro hodnocení obdobně odborně disponováni. Tedy je na místě uvažovat i o certifikačních testech hodnotitelů, které zaručí, že kvalita hodnotitelů je kontrolována a je srovnatelná. Zjišťování uvedených parametrů může být součástí jejich školení i procesu závěrečné certifikace, kde musí být kontrolovány i další parametry. Hodnocení certifikovaného je porovnáváno s hodnocením experta, který je garantem hodnocení. 4.7 Standardizace administrace testu a její náležitosti, průběh testování, instrukce pro žáky, paralelní testy, opisování Standardizace administrace testu byla zmíněna v podkapitole 3.1 jako součást nároků kladených na standardizované testy. Při standardizaci administrace testu se řeší zejména následující témata: • dodržení pokynů pro testované žáky • modifikace testů a podmínek pro žáky se speciálními vzdělávacími potřebami • vhodnost prostředí • používání pomůcek • eliminace příležitostí k podvádění • zabezpečení testových materiálů Osoby provádějící administraci testu jsou zodpovědné za to, aby seznámily testované žáky s pokyny pro testování. Za přípravu pokynů je zodpovědný vydavatel testu (realizátor testování). Tyto pokyny zpravidla zahrnují instrukci pro žáky, časové limity, způsoby záznamu odpovědí, dovolené pomůcky a další materiály, u počítačových testů např. přístup na internet apod. Administrátoři jsou zodpovědní za dodržování těchto pokynů v průběhu testování. Pokud jsou tyto pokyny porušeny, je jejich povinností porušení zdokumentovat.