160 - Role školy spočívá v zajištění realizace testů, která probíhá pod dohledem pověřených osob. Za tímto účelem jsou vydány podrobné manuály postupů pro ředitele i učitele. ACARA (2013) formuluje další pravidla pro realizaci testů, která mimo jiné zahrnují: - přísné bezpečnostní standardy – například požadavek na uchovávání veškerých materiálů na uzamčených místech, požadavek na ochranu veškerých elektronických materiálů heslem a přihlašovacím jménem, zákaz posílat elektronické soubory elektronickou poštou, požadavek na viditelnost případného narušení přepravovaných materiálů, nebo požadavek na sesbírání veškerých materiálů po realizaci testů, - možnost neúčastnit se testů z řady důvodů – například u žáků s jiným než anglickým jazykovým původem žijících v Austrálii méně než 1 rok, u žáků s duševním postižením, nebo u žáků omluvených rodiči z etických či jiných důvodů, - specifikaci možných prostředků podporujících zapojení žáků se speciálními vzdělávacími potřebami – například alternativní formát testů (velkoformátové testy, elektronický formát apod.), využití podpůrné osoby, využití počítače, delší čas na vypracování testů. Třetím stádiem metodiky hodnocení NAPLAN je oprava testů, za kterou je odpovědný pověřený úřad států a teritorií. Pro oblast čtení, jazykových konvencí a počtů je hodnocení provedeno elektronickým skenováním výsledků. Pro oblast psaní probíhá známkování online podle existujících známkovacích standardů, a to v jednom z 15 hodnotících center. Pro jednotlivé hodnotitele probíhá v těchto centrech intenzivní školící proces. Zároveň je vytvořen systém kontroly hodnotitelů, a to na bázi statistického hodnocení neobvyklostí v hodnocení. 3. Vyhodnocení testu Používaná metodika NAPLAN je v souladu s obecnou metodikou používanou v mezinárodním hodnocení PISA (viz Masters et al. 2008, ACARA 2012d). Primární hodnocení je provedeno na vzorku 75 tisíc žáků z celkového počtu přes 1 milion žáků. Při výběru vzorku je použita metoda stratifikace, a to s rozlišením: - explicitních proměnných pro vymezení strat – stát a teritorium, - implicitních proměnných pro řazení entit uvnitř strat – geografická poloha, socioekonomický status, velikost školy. Tvorba výběrového souboru škol a žáků probíhá náhodně uvnitř jednotlivých strat, a to s respektováním velikosti školy jako váhy ovlivňující pravděpodobnost výběru školy. Vlastní vyhodnocení dat testů probíhá primárně na bázi Raschova modelu, který je založen na analýze pravděpodobnosti správné odpovědi v závislosti na znalostech člověka na jedné straně a obtížnosti otázky na straně druhé. Výsledek žáka je tak primárně počítán na logit škále ve vztahu k jeho správným odpovědím s následnou transformací na NAPLAN škálu v intervalu hodnot 0 až 1 000. Vedle NAPLAN škály je výsledek žáků vyjádřen rovněž na desetiúrovňové škále99, pro kterou v rámci metodiky NAPLAN platí: - Metodika NAPLAN pracuje celkem s pěti škálami pro oblasti čtení, psaní, psaná výslovnost, gramatika a počty. 99 Výpočet hraničních hodnot jednotlivých úrovni je založen na očekávané pravděpodobnosti správné odpovědi a šířce jednotlivých úrovní. 160