186 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl Změna ve výkonu na jednotku indexu U mnoha tabulek byl spočítán rozdíl ve výkonu žáků připadající na změnu indexu o jednotku. Čísla uvedená tučně ukazují, že rozdíly jsou statisticky významně odlišné od nuly s 95% spolehlivostí. Relativní riziko nebo vyšší pravděpodobnost Čísla uvedená tučně v tabulkách údajů v Příloze B této zprávy ukazují, že relativní riziko je statisticky významně odlišné od 1 s 95% spolehlivostí. Pro vypočítání statistické významnosti kolem hodnoty 1 (nulová hypotéza) se předpokládá, že statistika relativního rizika sleduje místo normálního rozdělení rozdělení logaritmicko normální při platnosti nulové hypotézy. Rozsah pořadí zemí Pro výpočet rozsahu pořadí zemí jsou použity simulace dat při využití průměru a standardní chyby průměru pro každou relevantní zemi, čímž se generuje distribuce možných hodnot. Provede se zhruba 10 000 simulací a na základě těchto hodnot se vytvoří 10 000 možných umístění pro každou zemi. Pro každou zemi se počty pro každé umístění sečtou od největšího do nejmenšího, až se dosáhne součtu 9 500 nebo více. Pak je rozsah pořadí země, zanesen do zprávy. To znamená, že máme alespoň 95% spolehlivost ohledně rozsahu umístění a můžeme bezpečně předpokládat unimodalitu v této distribuci umístění. Tato metoda byla použita ve všech cyklech PISA od roku 2003. Hlavní rozdíl mezi rozsahem pořadí (např. Obrázek V.2.4) a srovnáním průměrného výkonu zemí (např. Obrázek V.2.3) je ten, že rozsah pořadí zohledňuje víceré srovnání zahrnuté do určování umístění a asymetrii distribuce odhadů pořadí. Tudíž je někdy mírný rozdíl mezi rozsahem pořadí a počtem zemí, které se umístily nad danou zemí, na základě párových srovnání výkonu vybraných zemí. Například rozdíl v průměrném výkonu mezi Anglií (Velká Británie), která je na Obrázku V.2.3 uvedená na jedenáctém místě, a Kanadou, která se umístila osmá, není statisticky významný. Ovšem protože je vysoce nepravděpodobné, že všechny tři země či ekonomické celky uvedené mezi osmým a desátým místem mají skutečně horší výsledek než Anglie (Velká Británie), umístění Anglie (Velká Británie) mezi všemi zeměmi může být omezeno na to, že je s 95% spolehlivostí mezi nejlepšími devíti (Obrázek V.2.4). Protože můžeme bezpečně předpokládat, že distribuce odhadů umístění pro každou zemi má jediný vrchol (unimodalita), měly by se při zjišťování umístění zemí používat výsledky rozsahu pořadí. Standardní chyby v odhadech z víceúrovňových modelů Pro odhady založené na víceúrovňových modelech (jako jsou odhady rozptylu složek a regresní koeficienty z dvouúrovňových regresních modelů) nejsou standardní chyby odhadovány obvyklou replikační metodou, která bere v potaz stratifikaci a poměr výběru vůči konečné populaci. Místo toho jsou standardní chyby „založeny na modelu“: při jejich výpočtu se předpokládá, že školy a žáci v těchto školách jsou do výběru zařazeni náhodně (s pravděpodobností zařazení, která se odrazí ve vahách škol a žáků) z teoretické, nekonečné populace škol a žáků, jež odpovídá parametrickým předpokladům modelu. Standardní chyba pro odhadovaný index začlenění se vypočítá odvozením přibližné distribuce ze standardních chyb (vycházejících z modelu) pro složky rozptylu pomocí delta metody.