151/250 zohlednit správnost postupu v jednotlivých fázích řešení, jak ukazuje příklad 4.43 ze společné části maturitní zkoušky z matematiky v roce 2014. U hodnocení těchto úloh je vhodné, aby byla nad hodnocením hodnotitelů určitá supervize. Ta může být realizována tak, že určité procento úloh bude zkontrolováno supervizním hodnotitelem (nejčastěji autorem vyhodnocovacího klíče). Někdy se zavádí i dvojí nezávislé hodnocení buď všech úloh, nebo zase jen určeného procenta náhodně vybraných. Supervizní hodnocení nastupuje v případech identifikovaných neshod při hodnocení. Je vhodné, aby v čase hodnocení byla mezi hodnotiteli nastavena možnost aktivní komunikace, protože se mohou objevovat taková žákovská řešení, se kterými kódový klíč nepočítal, a je tedy potřeba udělat jeho operativní úpravu, kterou budou moci zohlednit i ostatní hodnotitelé. Viz příklad 4.42 o možné realizaci tohoto procesu hodnocení. Příklad 4.42 Proces hodnocení úloh se širší odpovědí u testů společné části maturitní zkoušky z matematiky v roce 2014 Proces hodnocení úloh se širší odpovědí se skládá z několika fází: 1. Všichni hodnotitelé jsou zaškoleni a jsou prověřeny jejich hodnotitelské dovednosti. 2. Jsou připraveny podrobné pokyny pro hodnocení (viz příklad 4.43). 3. Při ostrém testování je nejprve ověřen rozsah pokynů prostřednictvím vyhodnocení dostatečně početného vzorku žáků skupinou supervizorů. Tyto pokyny jsou případně upřesněny, realizované hodnocení je odstraněno. 4. Všechny úlohy jsou podle pokynů následně hodnoceny dvěma nezávislými hodnotiteli v informačním systému pro hodnocení otevřených úloh. 5. V případech identifikovaných neshod při hodnocení nastupuje hodnocení supervizorem. Supervizor dohlíží i na kvalitu hodnocení jednotlivých hodnotitelů (všímá si jejich případných systematických pochybení). Všichni supervizoři sedí po celou dobu hodnocení v jedné místnosti a případné nejasnosti hned konzultují mezi sebou a zejména s hlavním supervizorem. V rámci procesu hodnocení je zavedena možnost zastavení hodnocení za účelem doplnění či opravy pokynů pro hodnocení. Nové pokyny jsou distribuovány následně všem hodnotitelům, uvážena je možnost anulování provedeného hodnocení u dané úlohy. Hodnotitelé mají možnost provést revizi svého hodnocení. Velmi důležitým momentem při hodnocení je možnost úlohu nehodnotit a poslat přímo k supervizi. Jedná se zejména o originální žákovská řešení, na která v pokynech nebylo pamatováno, a rovněž o neřešitelné situace (nečitelná řešení, pokračující část řešení vně načteného pole, uvedení správného řešení jiné úlohy apod.). Popsaná pravidla pro dvojí hodnocení a supervizi platí i pro otevřené úlohy doplňovací či se stručnou odpovědí. Řeší se tím i možné neúmyslné „překlepy“ hodnotitelů. V maturitním testu z matematiky na jaře 2014 bylo takto hodnoceno 19 otevřených položek (úloh bylo 15, protože některé úlohy byly tvořeny svazky položek), z nichž bylo pět se širší odpovědí. Ke zkoušce bylo přihlášeno okolo 33 tisíc žáků. Na hodnocení se během devíti dnů podílelo 150 hodnotitelů a pět supervizorů.