143/250 Příklad 4.34 Variabilita úloh a testů v elektronickém systému projektu NIQES Systém pro testování NIQES pracuje se šablonami, v nichž se popisuje, jaké úlohy má generátor testu z banky testových úloh zařadit do testu konkrétního žáka. Na jedné straně je možné vynutit sestavení zcela stejného testu pro všechny žáky (stejné úlohy ve stejném pořadí se stejnými sadami odpovědí zobrazenými ve stejném pořadí), na druhé straně je možné definovat například pouze procentní zastoupení úloh určitého typu, určitého tematického zaměření nebo určité obtížnosti. Nárůst variability testu (jejímž předpokladem je dostatek položek v bance úloh) znesnadňuje opisování, také ale interpretaci agregovaných výsledků testování. V testováních NIQES jsou případ od případu používány jak fixní testy, tak testy variabilní. Modely úloh V tomto případě je podstatně větší možnost variovat úlohu. Do pevné šablony jsou generována čísla nebo ze širšího seznamu dosazována slova podle určitého předem daného algoritmu, Příklad 4.35 Model matematické úlohy V {krabici} je {} červených, {} žlutých a {} modrých kuliček. Jednu z nich vytáhneme. Jaká je pravděpodobnost, že vybraná kulička bude {červená, žlutá, modrá}? 1/{++} [atraktivní distraktor] 1/{, nebo } [atraktivní distraktor] {,nebo }/{++} [správná odpověď] {, nebo }/{součet počtu 2 nevybraných kuliček} [atraktivní distraktor] Místo {krabici} je možné doplnit: krabici, pytlíku, sáčku. {}, {} a {} jsou náhodně generována celá čísla mezi 1 a 9. U všech těchto možností automatického generování úloh je vždy nutno si položit otázku, zda odhadované parametry, jako je obtížnost a diskriminační schopnost, jsou vypovídající pro všechny uvažované varianty, případně pro jaký okruh variant úpravy parametry zobecnitelné jsou a pro jaký už ne. Proto jsou důležitá i rozhodnutí týkající se generování úloh do testů. Rozhodujeme se například o tom, zda v daném projektu testování bude vygenerována jedna podoba úlohy pro všechny žáky shodná, nebo zda různí žáci dostanou jinou náhodně vygenerovanou podobu dané úlohy. V projektech testování, kdy by měly mít výsledky vážný dopad na vzdělávací dráhu žáků (např. testy u společné části maturitní zkoušky), by různá podoba úlohy pro různé žáky nemusela být snadno obhajitelná. Musely by být předloženy dostatečné důkazy o ekvivalenci použitých variant úlohy. 4.3.3 Adaptivní testování Jak už bylo zmíněno v předchozích oddílech, o adaptivním testování se mluví tehdy, když se průchod žáka testem řídí podle toho, jak zvládl řešit úlohy, které mu byly předloženy viz příklad 4.35.