Autor: Adéla Drabinová, Patrícia Martinková
Klíčová slova: přijímací testy, položková analýza, teorie odpovědi na položku, odlišné fungování položek, R, shiny
Abstrakt: Cílem této práce bylo připravit jednoduchý a volně dostupný nástroj pro statistickou analýzu znalostních testů a jejich položek, se zvláštním důrazem na přijímací testy. Kladli jsme si za cíl poskytnout prostředek, pomocí něhož bude možné jednoduše a rutinně analyzovat vlastní testy. Současně bylo naším záměrem poskytnout edukační nástroj pro demonstraci a vysvětlení jednotlivých psychometrických modelů a metod, které lze v rámci analýzy využít. Vytvořenou aplikaci ShinyItemAnalysis (Martinková, Drabinová, & Houdek, 2017) zde nyní představujeme. V rámci tvorby znalostních a psychologických testů je důležitým krokem jejich validizace, jejíž součástí by mělo být shromáždění empirických důkazů o spolehlivosti a férovosti testu jako celku, jakož i správného fungování jednotlivých položek (AERA, APA, & NCME, 2014). Psychometrická analýza dat může poskytnout vodítko, nakolik jsou tyto vlastnosti splněny, či které položky je nutné zkontrolovat, upravit či odstranit. K dispozici jsou metody založené na tzv. klasické teorii testů, jakož i modely tzv. teorie odpovědi na položku (de Ayala, 2009). V poslední době se více klade důraz na testování férovosti vzhledem ke skupinám pomocí analýzy diferenciálního fungovaní položek (Martinková, a kol., 2017). Statistická analýza zahrnující tyto a další metody by měla být rutinní součástí vývoje testů. Překážkou někdy může být nedostupnost či vysoká finanční náročnost softwaru. Představovaná aplikace ShinyItemAnalysis (viz také Martinková, Drabinová, Leder, & Houdek, 2017), dostupná na https://shiny.cs.cas.cz/ ShinyItemAnalysis/, byla vytvořena jako knihovna volně šiřitelného statistického prostředí R (R Core Team, 2016). Aplikace zpřístupňuje funkcionalitu flexibilního prostředí R širšímu obecenstvu pomocí grafického rozhraní shiny, lokálně i na internetu. ShinyItemAnalysis zahrnuje modely klasické testové teorie i modely teorie odpovědi na položku. Funkcionalitu aplikace demonstrujeme na příkladu dat z přijímacího řízení na lékařskou fakultu. Aplikace ShinyItemAnalysis pokrývá širokou škálu psychometrických metod, nabízí cvičné datové soubory, uvádí rovnice modelů, odhady parametrů a jejich interpretaci, jakož i vybraný zdrojový kód, a je tak vhodným nástrojem pro výuku psychometrických konceptů a jejich aplikace v R. ShinyItemAnalysis navíc nabízí možnost analýzy vlastních dat a automatické generování reportů a aspiruje tak na to být jednoduchým nástrojem pro rutinní analýzu přijímacích a dalších znalostních či psychologických testů a jejich položek pomocí pokročilých psychometrických metod.