(CZ) Řešení nesrovnatelnosti hodnocení ICT znalostí a dovedností žáků skrze ukotvující viněty
(EN) Tackling the Incomparability of Assessments of Pupils’ ICT Knowledge and Skills by Using Anchoring Vignettes

V pedagogickém výzkumu se velmi často užívají (sebe)hodnotící otázky k měření postojů, hodnot, subjektivních norem a (ne)kognitivních dovedností. Existuje však četná evidence, že respondenti užívají kategorie u posuzovacích škál odlišným způsobem. Metoda ukotvujících vinět umožňuje korigovat (sebe)hodnocení o rozdílné užívání škály tak, aby sebehodnocení bylo porovnatelné. V našem článku pomocí parametrického modelu ukotvujících vinět identifikujeme heterogenitu užívání škály při hodnocení vlastních ICT znalostí a dovedností u výběru studentů středních odborných škol se zaměřením na ICT (ICT studenti, N = 228) a studentů s pedagogickým a ekonomickým zaměřením (neICT studenti, N = 147), a následně i u dívek a chlapců. Výsledky našeho výzkumu zasazujeme do kontextu mezinárodního šetření ICILS 2013. Přímé porovnání sebehodnocení vedlo k neočekávanému závěru – ICT studenti mají mírně horší ICT znalosti a dovednosti než neICT studenti. ICT studenti však uplatňují při sebehodnocení vyšší standardy, úroveň ICT znalostí a dovedností hodnotí v celé šíři posuzovací škály jako nižší ve srovnání se studenty bez zaměření na ICT. Po korekci o rozdílné užívání škály docházíme k opačnému závěru – ICT studenti mají signifikantně vyšší ICT znalosti a dovednosti než neICT studenti. V rámci mezinárodního šetření ICILS 2013 nebyl nalezen vztah mezi výsledky v testu počítačové a informační gramotnosti a hodnocením vlastních pokročilých ICT znalostí a dovedností. Navíc dívky dosáhly lepších výsledků v testu než chlapci, ale jejich hodnocení vlastních pokročilých ICT znalostí a dovedností je nižší než u chlapců. Jedním z důvodů těchto závěrů může být rozdílné užívání škály, které může být dle našeho výzkumu úspěšně korigováno pomocí metody ukotvujících vinět.

In educational research very frequent use is made of (self)evaluating questions intended to measure values, subjective norms and (non)cognitive skills, but there is a great deal of evidence that respondents use the categories of the evaluation scales in different ways. The method of anchoring vignettes makes it possible to correct for the divergent use of the scale in such a way as to ensure comparability of self-evaluations. In our article we use the parametric model of anchoring vignettes to identify the heterogeneity of the use of a scale in assessment of own ICT knowledge and skills by a sample of students at middle vocational schools focused on ICT (ICT students, N = 228) and students specialising in education and economics (non-ICT students, N = 147), and subsequently by girls and boys. We set the results of our research in the context of the ICILS 2013 survey. Direct comparison of self-evaluations led to an unexpected conclusion – ICT students have slightly worse ICT knowledge and skills than non-ICT students. ICT students, how-
ever, used higher standards in self-evaluation, assessing their knowledge and skills across the whole range of the assessment scale as lower in comparison with the students without a focus on ICT. After correction for the different use of the scale we then reach the opposite conclusion – ICT students have significantly higher ICT knowledge and skills than non-ICT students. In the framework of the ICILS 2013 Survey no relationship was found between the results in the test of computer and information literacy and the evaluation of own advanced ICT knowledge and skills. Furthermore, girls achieved better results in the test than boys, but their evaluation of their own advanced ICT knowledge and skills is lower than among boys. One reason for these conclusions may be the different use of the scale, which according to our research could be successfully corrected for by the use of the method of anchoring vignettes.