16 varianty výše uvedených typů otázek, například otázky, v nichž se vybírá více než jedna správná odpověď ze seznamu nebo z několika rozbalovacích menu. Všechny tyto otázky budou vyhodnocovány automaticky. O něco více než polovina otázek bude vyžadovat tvorbu krátké odpovědi, kterou lze rovněž vyhodnocovat automaticky. V takových odpovědích budou mít žáci například napsat číslo, přetáhnout myší určité objekty, nakreslit čáru mezi body nebo označit vybranou část obrázku. V ostatních otázkách bude vyžadována slovní odpověď do textového pole. Odpovědi na tyto tzv. otevřené otázky musí být vyhodnocovány vyškolenými hodnotiteli. Otevřené otázky se používají především v situacích, kdy má žák vysvětlit svůj postup nebo zdůvodnit, proč zvolil určitou odpověď. Pro zjednodušení celého procesu vyhodnocování otevřených otázek byl vyvinut online kódovací systém. Díky němu není nutné zadávat data s bodovým hodnocením žákovských odpovědí zvlášť do počítače, zjednoduší se jejich čištění a zároveň se hodnotitelům nabídne možnost pracovat na dálku. V některých případech bude možné udělit částečný počet bodů za částečně správnou odpověď. Částečný počet bodů může žák získat například v situaci, kdy použil správný postup řešení, ale neprovedl ho zcela bezchybně, nebo když odpověděl správně na několik, ale ne na všechny otázky typu ano – ne. V některých otázkách se do bodového hodnocení žákova výkonu promítne kromě výsledného řešení i provádění určitých činností, které prokazují schopnost řešit problémy (například strategií zkoumání). Interaktivní problémy Interaktivní problémy mohou být vytvořeny na základě formálních modelů, jejichž parametry lze systematicky měnit, aby se dosáhlo různých úrovní obtížnosti. Existují dva běžně používané výpočetní modely: lineární diferenciální rovnice a konečné automaty. V problémových situacích modelovaných prostřednictvím lineárních diferenciálních rovnic (známých též pod označením lineární strukturní rovnice)8 musí žák manipulovat s jednou či několika vstupními proměnnými (např. s ovládacími tlačítky klimatizačního systému) a zvážit dopad této manipulace na jednu či více výstupních proměnných (např. na teplotu a vlhkost vzduchu). Výstupní proměnné se mohou také vzájemně ovlivňovat, takže systém může být dynamický. Patří sem úlohy týkající se ovládání přístrojů pomocí dálkových ovladačů, nastavování termostatů, míchání barev nebo ekosystémů. Konečný automat je systém s konečným počtem stavů, vstupních signálů a výstupních signálů (Buchner a Funke, 1993).9 Následující stav systému (a výstupní signál) je určen výlučně jeho současným stavem a zadaným vstupním signálem. V problémových situacích modelovaných konečnými automaty musí žák dodávat vstupní signály (zpravidla stlačovat tlačítka), aby zjistil jejich vliv na stav systému, a tak porozuměl jeho vnitřní struktuře. Teprve potom ho může uvést do požadovaného cílového stavu. Řada běžně používaných přístrojů je řízena nebo omezována pravidly, která mají strukturu konečného automatu. K takovým přístrojům patří například digitální hodinky, mobilní telefony, mikrovlnné trouby, MP3 přehrávače, automaty na prodej jízdenek, pračky apod. Při řešení interaktivních problémů musí žák vykonávat následující činnosti (pro podrobnější informace viz Blech a Funke, 2005 nebo Greiff a Funke, 2008): 8 Viz Greiff a Funke (2008), kteří pro označení těchto problémů používají výraz „MicroDYN“. Dřívější využívání těchto systémů je známo pod názvem „Dynamis“ (Blech a Funke, 2005). 9 V souvislosti s testováním byly konečné automaty označovány výrazem „MicroFin“ – viz http://www.psychologie.uni‐heidelberg.de/ae/allg_ en/forschun/probleml.html.