Çoklu Puanlanan Çok Boyutlu Madde Tepki Kuramında Kayıp Veri Yöntemlerinin İncelenmesi

Year 2023, Volume: 43 Issue: 3, 1645 - 1662, 30.12.2023

Mehmet Ali Işıkoğlu , Burcu Atar

https://doi.org/10.17152/gefad.1319907

Abstract

Bu çalışmada, bazı kayıp veri ile baş etme yöntemlerinin çoklu puanlanan çok boyutlu madde tepki kuramı modellerinden olan çok boyutlu aşamalı tepki modelinden elde edilen madde ve yetenek parametrelerine etkisinin araştırılması amaçlanmıştır. İlk olarak belirlenen parametrelere uygun şekilde iki boyutlu bir referans veri seti üretilmiştir. Üretilen veri setinden tamamen rassal olarak kayıp mekanizmasında %5, %10 ve %20 oranında kayıplar oluşturulmuştur. Eksik veri setleri seri ortalaması atama (SO), regresyon atama (RA) ve beklenti maksimizasyonu (BM) yöntemleri ile tamamlanmış ve tamamlanan veri setlerinden madde ile yetenek parametreleri kestirilmiştir. Kestirilen parametreler, referans veri setinden kestirilen parametreler ile karşılaştırılmıştır. Elde edilen bulgulara göre madde ayırıcılık parametreleri için tüm kayıp oranlarında RA ve BM yöntemlerinin daha düşük RMSE değerleri ürettiği görülmüştür. Kategori sınır kesişim parametrelerinde ise d1 ve d3 için RA ve SO yöntemleri, d2 için ise BM ve RA yöntemleri tüm kayıp oranlarında daha düşük hata üretmiştir. Genel olarak tüm madde parametreleri değerlendirildiğinde, RA yönteminin parametre değerlerinin geri kazanımında oldukça iyi sonuçlar ürettiği söylenebilir. Yetenek parametrelerinin geri kazanımı için ise tüm kayıp oranlarında en düşük RMSE değerleri üreten yöntemin BM olduğu görülmüştür.

Keywords

Çoklu puanlanan çok boyutlu mtk, Kayıp veri, Çok boyutlu aşamalı tepki modeli

Investigation of Missing Data Methods in Polytomous Multidimensional Item Response Theory

Abstract

In this study, the effects of missing data handling methods on item and ability parameters obtained from the graded response model, which is one of the multidimensional item response theory models with multiple scoring, are investigated. Firstly, a two-dimensional reference data set was generated. From the generated data set, missings of 5%, 10% and 20% were generated with missing completely at random mechanism. The data sets with missings were completed with series mean imputation (SM), regression imputation (RI) and expectation maximisation (EM) methods. Item and ability parameters were obtained from the completed data sets. The methods were evaluated by comparing the obtained parameters with the parameters obtained from the reference data set. According to the findings, it was observed that RI and EM methods have better results at all rates for item discrimination parameters. For the category boundary intersection parameters, RI and SM methods showed the best performance for d1 and d3. For the d2 parameter, it was observed that EM and RI produced results with very low error at all rates. In general, for all item parameters, it can be said that the RI method has very good results. For the ability parameters, it was observed that EM produced the lowest RMSE values at all rates.

Keywords

Polytomous MIRT, Missing data, Multidimensional GRM

References

• Ackerman, T. A. (1996). Graphical representation of multidimensional item response theory analyses. Applied Psychological Measurement, 20, 311-329. doi: 10.1177/014662169602000402
• Andreis, F., & Ferrari, P. A. (2012). Missing data and parameters estimates in multidimensional item response models. Electronic Journal of Applied Statistical Analysis, 5(3), 431-437. doi: 10.1285/i20705948v5n3p431 Allison, P. D. (2001). Missing data. Thousand Oaks, CA: Sage.
• Allison, P. D. (2003). Missing data techniques for structural equation modeling. Journal of Abnormal Psychology, 112(4), 545-557. doi: 10.1037/0021-843X.112.4.545
• Bernaards, C., & Sijtsma, K. (1999). Factor Analysis of Multidimensional Polytomous Item Response Data Suffering From Ignorable Item Nonresponse. Multivariate Behavioral Research, 34(3), 277-313.
• Bernaards, C., & Sijtsma, K. (2010). Influence of Imputation and EM Methods on Factor Analysis When Item Nonresponse in Questionnaire Data Is Nonignorable. Multivariate Behavioral Research, 5(3), 321-364. doi:10.1207/S15327906MBR3503_03
• Chalmers, R. P. (2012). mirt: A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, 48(6), 1–29. doi: 10.18637/jss.v048.i06
• Dai, S., Vo, T. T., Kehinde, O. J., He, H., Xue, Y., Demir, C., & Wang, X. (2021) Performance of Polytomous IRT Models With Rating Scale Data: An Investigation Over Sample Size, Instrument Length, and Missing Data. Front. Educ, 6. doi: 10.3389/feduc.2021.721963
• Demars, C. (2010). Item Response Theory: Understanding Statistics Measurement. Oxford University Press, Oxford.
• Demir, E. (2013). Kayıp Verilerin Varlığında İki Kategorili Puanlanan Maddelerden Oluşan Testlerin Psikometrik Özelliklerinin İncelenmesi (Doktora tezi). Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü, Ankara.
• Enders, C. K. (2010). Applied missing data analysis. New York: The Guilford Press.
• Enders, C. K. (2013). Dealing With Missing Data in Developmental Research. Child Development Perspectives, 7(1), 27–31. doi: 10.1111/cdep.12008
• Field, A. (2005). Discovering statistics using SPSS (2nd ed.). London: Sage.
• Finch, H. (2008). Estimation of item response theory parameters in the presence of missing data. Journal of Educational Measurement, 45(3), 225-245. doi: 10.1111/j.1745-3984.2008.00062.x
• Goegebeur, Y., De Boeck, P. & Molenberghs, G. (2010). Person fit for test speededness: normal curvatures, likelihood ratio tests and empirical bayes estimates. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 6(1), 3–16. doi: 10.1027/1614-2241/a000002
• Graham, J. W. (2012). Missing data: analysis and design. New York: Springer
• Harwell, M., Stone, C. A., Hsu, T. C., & Kirisci, L. (1996). Monte Carlo studies in item response theory. Applied psychological measurement, 20(2), 101-125. doi: 10.1177/014662169602000
• Jiang, S., Wang, C., & Weiss, D. J. (2016). Sample Size Requirements for Estimation of Item Parameters in the Multidimensional Graded Response Model. Front. Psychol., 7, doi: 10.3389/fpsyg.2016.00109
• Kaya-Kalkan, Ö., Kara, Y. & Kelecioğlu, H. (2018). Evaluating Performance of Missing Data Imputation Methods in IRT Analyses. International Journal of Assessment Tools in Education, 5(3), 403–416. doi: 10.21449/ijate.430720
• Koçak, D. ve Çokluk-Bökeoğlu, Ö. (2017). Kayıp veriyle baş etme yöntemlerinin model veri uyumu ve madde model uyumuna etkisi. Journal of Measurement and Evaluation in Education and Psychology, 8(2), 200-223. doi: 10.21031/epod.303753
• Little, R. J. A., & Rubin, D. B. (2002). Statistical analysis with missing data. (2nd edition). New York: Wiley
• Little, R. J. A., & Schenker, N. (1995). Missing data. In Arminger, G., Clogg, C. C., & Sobel, M. E. (Eds), Handbook of statistical modeling for the social and behavioral sciences. Boston, MA: Springer. doi: 10.1007/978-1-4899-1292-3_2
• McKnight, P. E., McKnight, K. M., Sidani, S. & Figueredo, A. J. (2007). Missing Data: A Gentle Introduction. New York: The Guilford Publications, Inc.
• Paek, I., & Cole, K. (2019). Using R for item response theory model applications. London: Routledge.
• Pigott, T. D. (2001). A review of methods for missing data. Educational Research and Evaluation: An International Journal of Theory and Practice, 7(4), 353-383. doi: 10.1076/edre.7.4.353.8937
• Rockel, T. (2022). missMethods: Methods for missing data. R package version 0.4.0.
• Roth, P. L., Switzer, F. S., & Switzer, D. M. (1999). Missing Data in Multiple Item Scales: A Monte Carlo Analysis of Missing Data Techniques. Organizational Research Methods, 2(3), 211-232. doi: 10.1177/109442819923001
• Scheffer, J. (2002). Dealing with missing data. Research Letters in the Information and Mathematical Sciences, 3, 153-160.
• Tabachnick, B. G., & Fidell, L. S. (2012). Using Multivariate Statistics (6h Edition). Boston: Person Education.
• Zhang, B. (2008). Application of unidimensional item response models to tests with items sensitive to secondary dimensions. The Journal of Experimental Education, 77 (2), 147-166. Doi: 10.3200/JEXE.77.2.147-166
• Valdivia, D. S., & Dai, S. (2023). Number of Response Categories and Sample Size Requirements in Polytomous IRT Models. The Journal of Experimental Education, doi: 10.1080/00220973.2022.2153783