Sekce 8: POSTEROVÁ SEKCE
Autoři: Adéla Drabinová, Patrícia Martinková
Abstrakt: Cílem této práce bylo připravit jednoduchý a volně dostupný nástroj pro statistickou analýzu znalostních testů a jejich položek, se zvláštním důrazem na přijímací testy. Kladli jsme si za cíl poskytnout prostředek, pomocí něhož bude možné jednoduše a rutinně analyzovat vlastní testy. Současně bylo naším záměrem poskytnout edukační nástroj pro demonstraci a vysvětlení jednotlivých psychometrických modelů a metod, které lze v rámci analýzy využít. Vytvořenou aplikaci ShinyItemAnalysis (Martinková, Drabinová, & Houdek, 2017) zde nyní představujeme. V rámci tvorby znalostních a psychologických testů je důležitým krokem jejich validizace, jejíž součástí by mělo být shromáždění empirických důkazů o spolehlivosti a férovosti testu jako celku, jakož i správného fungování jednotlivých položek (AERA, APA, & NCME, 2014). Psychometrická analýza dat může poskytnout vodítko, nakolik jsou tyto vlastnosti splněny, či které položky je nutné zkontrolovat, upravit či odstranit. K dispozici jsou metody založené na tzv. klasické teorii testů, jakož i modely tzv. teorie odpovědi na položku (de Ayala, 2009). V poslední době se více klade důraz na testování férovosti vzhledem ke skupinám pomocí analýzy diferenciálního fungovaní položek (Martinková, a kol., 2017). Statistická analýza zahrnující tyto a další metody by měla být rutinní součástí vývoje testů. Překážkou někdy může být nedostupnost či vysoká finanční náročnost softwaru. Představovaná aplikace ShinyItemAnalysis (viz také Martinková, Drabinová, Leder, & Houdek, 2017), dostupná na https: //shiny.cs.cas.cz/ ShinyItemAnalysis/, byla vytvořena jako knihovna volně šiřitelného statistického prostředí R (R Core Team, 2016). Aplikace zpřístupňuje funkcionalitu flexibilního prostředí R širšímu obecenstvu pomocí grafického rozhraní shiny, lokálně i na internetu. ShinyItemAnalysis zahrnuje modely klasické testové teorie i modely teorie odpovědi na položku. Funkcionalitu aplikace demonstrujeme na příkladu dat z přijímacího řízení na lékařskou fakultu. Aplikace ShinyItemAnalysis pokrývá širokou škálu psychometrických metod, nabízí cvičné datové soubory, uvádí rovnice modelů, odhady parametrů a jejich interpretaci, jakož i vybraný zdrojový kód, a je tak vhodným nástrojem pro výuku psychometrických konceptů a jejich aplikace v R. ShinyItemAnalysis navíc nabízí možnost analýzy vlastních dat a automatické generování reportů a aspiruje tak na to být jednoduchým nástrojem pro rutinní analýzu přijímacích a dalších znalostních či psychologických testů a jejich položek pomocí pokročilých psychometrických metod.
Klíčová slova: přijímací testy, položková analýza, teorie odpovědi na položku, odlišné fungování položek, R, shiny
Title: ANALYSIS OF ACCEPTANCE AND OTHER ANALYSIS-USING SHINYITEMANALYSIS
Abstract: The aim of this work was to prepare a simple and freely available tool for statistical analysis of knowledge tests and their items, with particular emphasis on admission tests. We have been aiming to provide ourselves with a means to easily and routinely analyse our own tests. At the same time, it was our intention to provide an educational tool to demonstrate and explain the various psychometric models and methods that can be used in the analysis. The created application ShinyItemAnalysis (Martinique, Drabin, & Houdek, 2017) is now here. As part of the development of the knowledge and psychological tests, validation is an important step, including the collection of empirical evidence of the reliability and fairness of the test as a whole, as well as the correct functioning of individual items (AERA, APA, & NCME, 2014). Psychometric data analysis may provide guidance on how these properties are met or which items need to be checked, modified or deleted. There are methods based on so-called classic test theory as well as models of so-called response theory (de Ayala, 2009). Recently, more emphasis has been placed on testing fairness in relation to groups by analysing differential functional items (Martinique, et al., 2017). The statistical analysis covering these and other methods should be a routine part of the development of tests. Sometimes unavailability or high financial intensity of software can be an obstacle. Presented application ShinyItemAnalysis (see also Martinková, Drabina, Leder, & Houdek, 2017), available at https: / / shiny.en.cas.cz / Shiny ItemAnalysis /, was created as a library of freely disseminated statistical environment R (R Core Team, 2016). The application makes the flexible environment R functionality available to the wider audience through a graphical shina interface, locally and on the Internet. ShinyItemAnalysis includes models of classical test theory and models of response theory to an item. We demonstrate the functionality of the application on the example of data from admissions to medical school. Shiny Application ItemAnalysis covers a wide range of psychometric methods, offers training data sets, provides equations of models, estimates of parameters and their interpretation, as well as selected source code, and is thus an appropriate tool for teaching psychometric concepts and their application in R. Shina In addition, ItemAnalysis offers the possibility of analyzing own data and automatically generating reports and therefore aspires to be a simple tool for routine analysis of receiving and other knowledge or psychological tests and their items using advanced psychometric methods.
Keywords: admission tests, item analysis, the theory of response to an item, the different operation of the items, R, shines
Download the article in English [PDF]: Not available.