ALT TESTLERİN ARTI DEĞER ÖZELLİĞİNE SAHİP OLMA DURUMLARININ FARKLI KOŞULLAR ALTINDA İNCELENMESİ

Yıl 2021, Cilt: 5 Sayı: 8, 32 - 46, 31.12.2021

Önder Sünbül , Arzu Uçar , Ebru Balta

Öz

Bu araştırmada, farklı alt alanlardan oluşan testlerin alt testlerinin artı değer gösterme sıklıklarının, çeşitli koşullar (alt test örneklem büyüklüğü, alt test uzunluğu, alt testler arasındaki korelasyon ve alt testlerin faktör kuvvetleri) altında incelenmesi amaçlanmıştır. Araştırmanın amacı doğrultusunda, birinci boyutta yer alan 15 maddenin özellikleri sabit tutularak, ikinci boyutta test uzunluğu (5, 10, 15), maddelerin faktör kuvveti (0.65, 0.70, 0.75, 0.80, 0.85, 1.0) koşulları altında iki boyutlu basit yapılı ve iki kategorili (1-0) tamamlayıcı madde tepki kuramına dayalı 100 yineleme ile 1800 veri seti oluşturulmuştur. Madde vektörlerine açı verebilmek amacı ile boyutlar arası korelasyon (0.60, 0.65, 0.70, 0.75, 0.80, 0.85, 0.90 ,0.95) ve alt test grup örneklem büyüklüğü (500, 1000, 3000) koşulları değişimlenerek 432 farklı deneysel yapı oluşturulmuştur. Artı değer özelliği analizi, Haberman’ın yöntemi kullanılarak, alt test puanlarının, bu alt test puanlarının toplamıyla elde edilen toplam test puanlarının ve alt test puanlarıyla toplam test puanları kullanılarak elde edilen genişletilmiş puanların hata kareleri ortalamasında oransal azaltma (PRMSE) değerleri karşılaştırılarak gerçekleştirilmiştir. Veri üretiminde ve analizinde R.4.0.1. programı kullanılmıştır. Çalışmanın sonucunda, test uzunluğu ve alt testlerin faktör kuvveti miktarı artışı ile birlikte alt testlerin daha çok artı değer gösterdiği ancak alt testler arası korelasyon düzeyi artışı ile birlikte alt testlerin artı değer özelliğine sahip olma sıklıklarında azalma olduğu gözlenmiştir. Alt test grup örneklem büyüklüğünün farklılaşmasının ise alt testlerde artı değer özelliği taşıma sıklığında bir farklılık göstermediği sonucuna ulaşılmıştır.

Anahtar Kelimeler

Alt test, Artı Değer, Haberman, Çok boyutlu Madde Tepki Kuramı

Kaynakça

• Ackerman, T. (1996). Graphical representation of multidimensional ıtem response theory analyses. Applied Psychological Measurement, 20(4), 311– 329. doi:10.1177/014662169602000402 Akkuş, O. ,& Baykul, Y. (2001). Çoktan seçmeli test maddelerini puanlamada, seçenekleri farklı biçimlerdeağırlıklandırmanın madde ve test istatistiklerine olan etkisinin incelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 20, 9 – 15. https://dergipark.org.tr/tr/download/article-file/87948 . (Erişim Tarihi: 05.04.2018)
• Crocker, L., & Algina, J. (1986). Introduction to Classical and Modern Test Theory. New York: Holt, Rinehart and Winston.
• Erkuş, A. (2012). Var olan ölçek geliştirme yöntemleri ve ölçme kuramları psikolojik ölçek geliştirmede ne kadar işlevsel: yeni bir öneri. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3(2), 279-290. https://dergipark.org.tr/tr/download/article-file/65963 .(Erişim Tarihi: 02.04.2018)
• Haberman, S. J. (2008). When can subscores have value?. Journal of Educational and Behavioral Statistics, 33, 204–229. doi:10.3102/1076998607302636
• Haberman, S. J., & Sinharay, S. (2010). Reporting of subscores using multidimensional item response theory. Psychometrika, 75(2), 209–227. doi:10.1007/s11336-010-9158-4
• McDonald, R. P. (1999). Test theory: A unified treatment. New Jersey: Lawrence Erlbaum Assoc.
• Reckase, M. D., & Xu, J.R. (2015). The evidence for a subscore structure in a test of english language competency for english language learners. Educational and Psychological Measurement, 75(5), 805– 825. doi:10.1177/0013164414554416
• Sawaki, Y., & Sinharay, S. (2017). Do the TOEFL iBT® section scores provide value-added information to stakeholders?. Language Testing, 1-28.doi:10.1177/0265532217716731
• Sinharay, S., Haberman, S., & Puhan, G. (2007). Subscores based on classical test theory: to report or not to report. Educational Measurement: Issues and Practice, 26(4), 21– 28. doi:10.1111/j.1745-3992.2007.00105.x
• Sinharay, S., & Haberman, S. J. (2011). Equating of augmented subscores. Journal of Educational Measurement, 48(2), 122–145. doi:10.1111/j.1745-3984.2011.00137.x
• Sinharay, S. (2010a). When can subscores be expected to have added value? Results From Operational and Simulated Data. (ETS Resarch Report No RR-10-16, August). https://www.ets.org/Media/Research/pdf/RR-10-16.pdf
• Sinharay, S. (2010b). How often do subscores have added value? results from operational and simulated data. Journal of Educational Measurement, 47(2), 150– 174. doi:10.1111/j.1745-3984.2010.00106.x
• Sünbül, Ö. (2011). Çeşitli boyutluluk özelliklerine sahip yapılarda, madde parametrelerinin değişmezliğinin klasik test teorisi, madde tepki kuramı ve çok boyutlu madde tepki kuramı çerçevesinde incelenmesi.Yayınlanmamış Doktora Tezi, Mersin Üniversitesi, Mersin.
• Uçar, A. (2016). Artı değer özellğine sahip alt testlerde eşitleme yöntemlerinin karşılaştırılması. Yayınlanmamış Yükseklisans Tezi, Mersin Üniversitesi,Mersin.
• Walker, C. M., Azen, R. ve Schmitt, T. (2006). Statistical versus substantive dimensionality: the effect of distributional differences on dimensionality assesment using DIMTEST. Educational and Psychological Measurement, 66, 721-738.
• Wedman, J., & Lyren, P.E. (2015). Methods for examining the psychometric quality ofsubscores: A review and application. Practical Assessment, Research and Evaluation, 20(21), 1-14. https://scholarworks.umass.edu/pare/vol20/iss1/21/. (Erişim Tarihi: 05.04.2018)
• Weeks, J. P. (2018). An application of multidimensional vertical scaling. Measurement: Interdisciplinary Research and Perspectives, 16(3), 139–154. doi:10.1080/15366367.2018.1502005.
• Yüce, G. (2012). Seviye belirleme alt testlerinin önsel( a priori) ve sonsal ( a posteriori) olarak belirlenmesinin bireylerin sınıflama ve sıralamaları açısından incelenmesi. Yayınlanmamış Yükseklisans Tezi, Mersin Üniversitesi,Mersin.