The Effect of Group Properties to Item and Person Parameters

Year 2019, Volume: 39 Issue: 1, 249 - 270, 20.03.2019

Hakan Koğar , Ayfer Sayın

https://doi.org/10.17152/gefad.424306

Abstract

The aim of this study is to determine the extent to which item parameters
estimated via CTT and IRT depend on group properties (being mater or
non-master). Besides, the relationship between findings obtained from CTT and
IRT is evaluated. The study group of this study consists of 1916 undergraduates
who study at different departments (22) in educational faculty in a state
university of Turkey. The relationship between item parameters obtained from
datasets having different properties and the relationships between item
parameters obtained via CTT and IRT have been investigated separately. Besides,
the relationships between total scores for CTT and ability parameters for IRT
have been examined for different datasets. The relationship between point
biserial correlation obtained from CTT and a parameter obtained from 2PL is
moderate and significant. It has been determined that the other relationship
coefficients are low or non-significant. It has been determined that
measurement theories estimate the ability of individuals in datasets having
different distribution and properties similar. The high relationships have
generally been obtained among difficulty parameters estimated from different
datasets. This situation shows that the estimates obtained for CTT are
group-dependent and the estimates for IRT are group-independent. Similarly, it
has been observed that there is a significant difference between item
discrimination indexes estimated for CTT and IRT.   

Keywords

Classical test theory, Item response theory, Group properties, Item parameters, Person parameters

Grup Başarısına Göre Madde ve Kişi Parametreleri Arasındaki İlişkinin İncelenmesi

Abstract

Bu çalışmada KTK ve MTK’ye dayalı olarak madde
parametrelerinin grubun özelliğine (başarılı ve başarısız olma durumuna) ne
düzeyde bağlı olduğunu belirlemek amaçlanmıştır. Aynı zamanda KTK ve MTK’dan
elde edilen bulgular arasındaki ilişkiler de incelenmiştir. Türkiye’de bir
devlet üniversitesinin eğitim fakültesinin farklı 22 bölümünde öğrenim görmekte
olan toplam 1916 öğrenci bu araştırmanın çalışma grubunu oluşturmaktadır. Farklı
özelliklerdeki veri setlerinden elde edilen madde parametreleri arasındaki
ilişkiler ve KTK ve MTK’den elde edilen madde parametreleri arasındaki
ilişkiler ayrı ayrı incelenmiştir. Ayrıca, KTK için toplam puanlar ile MTK için
yetenek parametreleri arasındaki ilişkiler de farklı veri setleri için ayrı
ayrı incelenmiştir. Genel olarak KTK’dan elde edilen nokta çift serili
korelasyon katsayısı ile 2PL modelden elde edilen a parametresi arasındaki
ilişkiler orta düzeyde ve anlamlıdır. Diğer ilişki katsayılarının ise düşük
düzeyde olduğu ya da ilişkinin olmadığı durumların ortaya çıktığı
belirlenmiştir. Ölçme kuramlarının farklı dağılım özellikleri ve nitelikleri bulunan
veri setlerindeki bireylerin yeteneklerini benzer şekilde kestirdiği tespit
edilmiştir. Farklı veri setlerinden elde edilen güçlük parametreleri arasında
genellikle yüksek ilişkiler belirlenmiştir. Güçlük indeksleri arasındaki
ilişkiler KTK’ya dayalı gerçekleştirilen kestirimlerde MTK’ya dayalı
kestirimlere göre daha yüksek hesaplanmıştır. Bu durum, KTK’nin
hesaplamalarının gruba bağlı olduğunun bir göstergesi olmakla birlikte MTK
kestirimlerinin de gruba bağlı değişim gösterdiğini göstermektedir. Benzer
şekilde madde ayırt edicilik indekslerinin hem KTK hem de MTK’ya dayalı
modellerle hesaplamaları arasında anlamlı farklılıklar olduğu tespit
edilmiştir.

Keywords

Klasik test kuramı, Madde tepki kuramı, Grup özellikleri, Madde parametreleri, Kişi parametreleri

References

• Adedoyin, O. O., Nenty, H. J., & Chilisa, B. (2008). Investigating the invariance of item difficulty parameter estimates based on CTT and IRT. Educational Research and Reviews, 3(3), 83.
• Awopeju, O. A., & Afolabi, E. R. I. (2016). Comparative analysis of classical test theory and item response theory based item parameter estimates of senior school certificate mathematics examination. European Scientific Journal, ESJ, 12(28).
• Çıkrıkçı-Demirtaşlı, N. (2002). A study of raven standard progressıve matrıces test’s ıtem measures under classıc and ıtem response models: an empırıcal comparıson1. Ankara University, Journal of Faculty of Educational Sciences, 35(1-2).
• DeMars, C. (2001). Group differences based on IRT scores: Does the model matter?. Educational and Psychological Measurement, 61(1), 60-70.
• Fan, X. (1998). Item response theory and classical test theory: An empirical comparison of their item/person statistics. Educational and psychological measurement, 58(3), 357-381.
• Gelbal, S. (1994). pMadde güçlük indeksi ile rasch modelinin b parametresi ve bunlara dayalı yetenek ölçüleri üzerine bir karşılaştırma. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 10(10).
• Hambleton, R. K., & Jones, R. W. (2012). Comparison of classical test theory and item response theory and their applications to test development, Instructional Topics in Educational Measurement Series 16.
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory (Vol. 2). Sage.
• Harris, D. (1989). Comparison of 1‐, 2‐, and 3‐Parameter IRT Models. Educational Measurement: Issues and Practice, 8(1), 35-41.
• Hernandez, R. (2009). Comparison of the item discrimination and item difficulty of the quick-mental aptitude test using CTT and IRT methods. The International Journal of Educational and Psychological Assessment, 1(1), 12-18.
• Hwang, D. Y. (2002). Classical Test Theory and Item Response Theory: Analytical and Empirical Comparisons. Paper presented at the Annual Meeting of the Southwest Educational Research Association, Austin, TX.
• Lawson, S. (1991). One parameter latent trait measurement: Do the results justify the effort. Advances in educational research: Substantive findings, methodological developments, 1, 159-168.
• Macdonald, P., & Paunonen, S. V. (2002). A Monte Carlo comparison of item and person statistics based on item response theory versus classical test theory. Educational and psychological measurement, 62(6), 921-943.
• Progar, Š., Sočan, G., & Peč, M. (2008). An empirical comparison of item response theory and classical test theory. Horizons of Psychology, 17(3), 5-24.
• Roberts, J. S., Donoghue, J. R., & Laughlin, J. E. (2002). Characteristics of MML/EAP parameter estimates in the generalized graded unfolding model. Applied Psychological Measurement, 26(2), 192-207.
• Sass, D. A., Schmitt, T. A., & Walker, C. M. (2008). Estimating non-normal latent trait distributions within item response theory using true and estimated item parameters. Applied Measurement in Education, 21(1), 65-88.
• Sen, S., Cohen, A. S., & Kim, S. H. (2016). The impact of non-normality on extraction of spurious latent classes in mixture IRT models. Applied Psychological Measurement, 40(2), 98-113.
• Skaggs, G., & Lissitz, R. W. (1988). Effect of examinee ability on test equating invariance. Applied Psychological Measurement, 12(1), 69-82.
• Stage, C. (1999). A Comparison Between Item Analysis Based on Item Response Theory and on Classical Test Theory: A Study of the SweSAT Subtest WORD. Department of educational measurement, Umeå univ..
• Xu, X., & Jia, Y. (2011). The sensitivity of parameter estimates to the latent ability distribution. ETS Research Report Series, 2011(2).