184 Kreativní řešení problémů: schopnosti žáků řešit problémy z reálného života – V. díl Velikosti účinku Velikost účinku je míra síly vztahu mezi dvěma proměnnými. Pojem velikost účinku se obecně používá, když se hovoří o standardizovaných rozdílech. Standardizace rozdílu je užitečná, když metrika (použitá stupnice proměnné) nemá žádný vnitřní význam - jako v případě výkonnostních škál nebo škálových indexů PISA. Standardizovaný rozdíl tak umožňuje srovnání síly rozdílů mezi skupinami v mírách, které se liší ve své metrice. Standardizovaný rozdíl se získá vydělením hrubého rozdílu mezi dvěma skupinami, jako jsou chlapci a dívky, mírou rozptylu v základních datech. V tomto dílu byla ke standardizování rozdílů použita společná směrodatná odchylka. Velikost účinku rozdílu mezi dvěma podskupinami se pak vypočítá takto: kde m1 a m2 představují průměrné hodnoty pro podskupinu 1 a 2 a představuje rozptyl pro populaci zahrnující podskupiny 1 a 2. Relativní míry úspěšnosti v dílčích sadách otázek Relativní pravděpodobnost úspěchu v dílčí sadě otázek se vypočítá následovně. Zaprvé, míra úspěšnosti pro konkrétní zemi se u každé otázky vypočítá převedením procenta správných odpovědí do logitové škály (místo procent se používá logaritmus šancí; pro šance se také používá termín úspěšnost, protože odpovídají počtu správných odpovědí oproti počtu případů bez odpovědi nebo s částečně správnou odpovědí). Tato míra úspěšnosti může být také interpretována jako parametr obtížnosti otázky: nižší míry úspěšnosti ukazují na obtížnější otázky. Dále, relativní míra úspěšnosti pro danou dílčí sadu otázek je odvozena jako rozdíl mezi průměrnou úspěšností u otázek v dílčí sadě a průměrnou úspěšností u otázek mimo dílčí sadu. I tato míra může být interpretována jako relativní obtížnost otázek ve dvou dílčích sadách. A nakonec se odvozuje relativní pravděpodobnost úspěšnosti, která zohledňuje rozdíly v obtížnosti otázek odečtením průměrné relativní úspěšnosti v zemích OECD (tj. průměrnou obtížnost otázek) od údajů pro konkrétní zemi (nebo podobně relativní úspěšnost ve srovnávací skupině - např. chlapců - od relativní úspěšnosti ve sledované skupině - např. dívek). Tento rozdíl se používá jako základ pro výpočet poměru šancí (rozdíl logitů je logaritmus poměru šancí). Každá otázka je navržena tak, aby v těchto analýzách nesla stejnou váhu. Ovšem pravděpodobnost úspěchu v dané otázce je také ovlivněna její pozicí v testovém sešitu. Zatímco ex ante jsou sešity přidělovány tak, aby byly rovnoměrně rozděleny v každém dílčím výběru žáků, v praxi vzhledem ke konečnému počtu žáků konajících test zůstávají malé rozdíly. Pro kontrolu těchto rozdílů jsou do modelu zahrnuty modelové sešity a generalizované poměry šancí jsou odhadnuty logistickou regresí. Podobně jsou do některých analýz zahrnuty modely pro konkrétní zemi nebo skupinu pro formát odpovědi, aby se zajistilo, že závěry ohledně slabých a silných výkonů v otázkách měřících různé rámcové aspekty nebudou