Ortak Maddelerin Değişen Madde Fonksiyonu Gösterip Göstermemesi Durumunda Test Eşitlemeye Etkisinin Farklı Yöntemlerle İncelenmesi

Yıl 2016, Cilt: 7 Sayı: 1, 182 - 201, 15.06.2016

Kadriye Belgin Demirus Selahattin Gelbal

https://doi.org/10.21031/epod.56218

Cited By: 4

Öz

Bu araştırmada ortak maddelerin tamamı cinsiyete göre TB-DMF’li/DMF’siz olduğunda Madde Tepki Kuramı'na dayalı yapılan eşitleme yöntemlerinin performansını karşılaştırmak amaçlanmıştır. Araştırmada DMF’li maddelerin test eşitlemeye etkisi gerçek veri üzerinden, ayrı kalibrasyon yöntemleri ve eşdeğer gruplarda ortak test deseni kullanılarak yatay eşitleme ile ortaya konulmuştur. Araştırmada DMF analizleri “Mantel-Haenszel” yöntemi için EASYDIF programında ve “lojistik regresyon” yöntemi için Zumbo tarafından hazırlanan syntax ile SPSS’de yapılmıştır. Test eşitleme yöntemleri olarak lineer ölçek dönüştürme (moment) yöntemlerinden "ortalama-ortalama" ile "ortalama-sigma" ve karakteristik eğrisi dönüştürme yöntemlerinden "Haebara" ile "Stocking-Lord" kullanılmıştır. Eşitleme yöntemlerinin performansı yetenek kestirimleri arası farka dayalı RMSD eşitleme hataları hesaplanarak değerlendirilmiştir. Madde parametrelerinin ve yeteneğin kestiriminde BILOG-MG, test eşitlemede IRTEQ yazılımı işe koşulmuştur. Çalısmanın verisi oluşturulan fen testi formlarının 1350 8.sınıf öğrencisine uygulamasından elde edilmiştir. Araştırmanın sonucunda ortak maddeler erkekler lehine TB-DMF’li olduğunda en büyük RMSD eşitleme hatasını ortalama-ortalama yöntemi, en küçük hatayı ise ortalama-sigma yöntemi üretmiştir. Ortak maddeler DMF’siz olduğunda ise en büyük hata ortalama-sigma yönteminde, en küçük RMSD eşitleme hatası karakteristik eğrisi yöntemlerinde (Stocking-Lord ve Haebara) birbirine eşit olarak elde edilmiştir.

Kaynakça

• Angoff, W.H. (1971). Scales, Norms, and Equivalent Scores. In
• Thorndike, R.L. (Ed.) Educational Measurement, 508-600. American Council on Education, US: Washington D.C.
• Atalay Kabasakal, K. (2014). Değişen madde fonksiyonunun test eşitlemeye etkisi. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Eğitim Bilimleri Enstitüsü.
• Babcock, B., & Albano, A. D. (2012). Rasch scale stability in the presence of item parameter and trait drift. Applied Psychological Measurement, 36(7), 565-580.
• Bakan Kalaycıoğlu, D. (2008). Öğrenci Seçme Sınavı’nın madde yanlılığı açısından incelenmesi. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Baker, F.B., & Al-Karni, A. (1991). A comparison of two procedures for computing IRT equating coefficients. Journal of Educational Measurement, 28(2), 147-162.
• Bozdağ, S. (2007). Şans başarısının test eşitlemeye etkisi. Yayımlanmamış Yüksek Lisans Tezi, Mersin: Mersin Üniversitesi, Sosyal Bilimler Enstitüsü.
• Büyüköztürk, Ş. (2005). Sosyal bilimler için veri analizi el kitabı. 5. Baskı Ankara: Pegema Yayıncılık.
• Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2008). Bilimsel araştırma yöntemleri. 2. Baskı Ankara: Pegem Akademi.
• Camilli, G., & Shepard, L. A. (1994). Methods for identifying biased test items. Volume 4, Thousand Oaks, CA: Sage Publications.
• Carmines, E.G., & McIver, S.P. (1981). Analyzing models with unobserved variables: Analysis of covariance structures. In G. W. Bohrnstedt and E.F. Borgatta (Eds.), Social measurement: current issues, 65-115. Beverly Hills, California: Sage Publications, Inc.
• Chu, K. (2002). Equivalent group test equating with the presence of differential item functioning. Unpublished Doctoral Dissertation. US: Florida State University.
• Cook, L. L., Eignor, D. R., & Taft, H. L. (1985). A comparative study of curriculum effects on the stability of IRT and conventional item parameter estimates. Princeton NJ: Educational Testing Service.
• Cook, L. L., & Paterson, N. S. (1987). Problems related to the use of conventional and item response theory equating methods in less than optimal circumstances. Applied Psychological Measurement, 11, 225-244.
• Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. FL, Orlando: Harcourt Brace Jovanovich, Inc.
• Çepni, Z. (2011). Değişen madde fonksiyonlarının sibtest, Mantel Haenzsel, lojistik regresyon ve madde tepki kuramı yöntemleriyle incelenmesi. Yayımlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Çetin, E. (2009). Dikey ölçeklemede klasik test ve madde tepki kuramına dayalı yöntemlerin karşılaştırılması. Yayımlanmamış Doktora Tezi. Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. USA: Lawrence Erlbaum Associates.
• Embretson, S. E. (2007). Construct validity: A universal validity system or just another test evaluation prosedure? Educational Researcher, 36(8), 449-455.
• Goldstein, H. (1983). Measuring changes in educational attainment over time: problems and possibilities. Journal of Educational Measurement, 20(4), 369-377.
• González, A.; Padilla, J.L.; Hidalgo, M.D. Gómez-Benito , J. & Benítez, I. (2011). Easydif: Software for analysing differential item functioning using the Mantel-Haenszel and standardization procedures. Applied Psychological Measurement, 35, 483-484.
• Gök, B. (2012). Denk olmayan gruplarda ortak madde deseni kullanılarak madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi.
• Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. US: Kluwer-Nijhoff Publishing.
• Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
• Han, K.T. (2008). Impact of item parameter drift on test equating and proficiency estimates. Unpublished Doctoral Dissertation. US: University of Massachusetts.
• Han, K. T. (2009). IRTEQ: Windows application that implements IRT scaling and equating (computer programme). Applied Psychological Measurement, 33(6), 491-493.
• Hanson, B.A., & Béguin, A. A. (2002). Obtaining a common scale for item response theory item parameters using separate versus concurrent estimation in the common-item equating design. Applied Psychological Measurement, 26(1), 3-24.
• Harris, D. J., & Crouse, J. D. (1993). A study of criteria used in equating. Applied Measurement in Education, 6(3), 195-240.
• Hidalgo Montesinos, M. D., & Lopez Pina, J. A. (2002). Two-stage equating in differential item functioning detection under the graded response model with the Raju area measures and Lord statistic. Educational and Psychological Measurement. 62(1), 32.
• Holland, P. W., & Dorans, N. J. (2006). Linking and equating. In R. L. Brennan (Ed.), Educational Measurement (4th Edition). 187-220. Westport, CT: American Council on Education and Praeger.
• Huggins, A. C. (2014). The effect of differential item functioning in anchor items on population invariance of equating. Educational and Psychological Measurement. 74(4), 627-658.
• Jöreskog, K.G., & Sorböm, D. (1986). Prells a program for multivariate data screening and data summarization: A preprocessor for Lisrel. Mooresville, Ind.: Scientific Software Inc.
• Kan, A. (2010). Test eşitleme: Aynı davranışları ölçen, farklı madde formlarına sahip testlerin istatistiksel eşitliğinin sınanması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 1(1), 16-21.
• Kan, A. (2011). Test eşitleme: OKS testlerinin istatistiksel eşitliğinin sınanması. Eğitim ve Bilim, 36(160), 38-51.
• Kang, T., & Cohen, A. S. (2007). IRT model selection methods for dichotomous items. Applied Psychological Measurement, 31(4), 331-358.
• Karkee, T. B., & Wright, K. R. (2004). Evaluation of linking methods for placing three-parameter logistic item parameter estimates onto a one parameter scale. Paper presented at the Annual Meeting of the American Educational Research, US: San Diego, California, April 16.
• Kaskowitz, G. S., & De Ayala, R. J. (2001). The effect of error in item parameter estimates on the test response function method of linking. Applied Psychological Measurement, 25, 39-52.
• Kelecioğlu, H. (1994). Öğrenci seçme sınavı puanlarının eşitlenmesi üzerine bir çalışma. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Kilmen, S. (2010). Madde tepki kuramına dayalı test eşitleme yöntemlerinden kestirilen eşitleme hatalarının örneklem büyüklüğü ve yetenek dağılımına göre karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Ankara Üniversitesi, Eğitim Bilimleri Enstitüsü.
• Kim, S., & Cohen, A. S. (1991). Effects of linking methods on detection of DIF. Paper presented at the Annual Meeting of the National Council on Measurement in Education, US: Chicago, IL.
• Kim, S., & Cohen, A. S. (1998). A comprasion of linking and concurrent calibration under item response theory. Applied Psychological Measurement, 22, 131-143.
• Kim, S., & Lee, W. C. (2004). IRT scale linking methods for mixed-format tests. ACT Research Report 2004–5. US: IA, ACT Inc.
• Kim, S., & Lee, W. C. (2006). An extension of four IRT linking methods for mixed-format tests. Journal of Educational Measurement, 43(1), 53–76.
• Kim, S., & Kolen, M. J. (2006). Robustness to format effects of IRT linking methods for mixed-format tests. Applied Measurement in Education, 19(4), 357-381.
• Kolen, M. J., & Brennan, R. L. (2004). Test equating, scaling and linking: Methods and practices. (2nd Edition). New York: Springer- Verlag.
• Mcdonald, Roderick P.(1999). Test theory: A unified treatment. New Jersey: Lawrence Erlbaum Associates, Publishers.
• Mutluer, C. (2013). Yıl içinde farklı dönemlerde yapılan akademik personel ve lisansüstü eğitimi giriş sınavı (ales) puanlarına ilişkin bir test eşitleme çalışması. Bolu: Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü.
• Ogasawara, H. (2001a). Item response theory true score equating and their standard errors. Journal Of Educational Behavioral Statistics, 26(1), 31-50.
• Ogasawara, H. (2001b). Least square estimations of item response theory linking coefficients. Applied Psychological Measurement, 25(4), 3-21.
• Özdemir, D. (2004). Çoktan seçmeli testlerin klasik test teorisi ve örtük özellikler teorisine göre hesaplanan psikometrik özelliklerinin iki kategorili ve ağırlıklandırılmış puanlanması yönünden karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, Sayı: 26,117-123.
• Öztürk, N. (2010). Akademik personel ve lisansüstü eğitimi giriş sınavı puanlarının eşitlenmesi üzerine bir çalışma. Yayımlanmamış Yüksek Lisans Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Paek, I., & Young, M. J. (2005). Investigation of student growth recovery in a fixed-item linking procedure with a fixed-person prior distribution for mixed-format test data. Applied Measurement in Education, 18(2), 199-215.
• Şahhüseyinoğlu, D. (2005). İngilizce yeterlik sınavı puanlarının üç farklı eşitleme yöntemine göre karşılaştırılması. Yayımlanmamış Doktora Tezi, Ankara: Hacettepe Üniversitesi, Sosyal Bilimler Enstitüsü.
• Tekin, H. (1991). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınları.
• Turhan, A. (2006). Multilevel 2PL item response model vertical equating with the presence of differential item functioning. Unpublished Doctoral Dissertation. US: Florida State University.
• Uysal, İ. (2014). Madde tepki kuramı’na dayalı test eşitleme yöntemlerinin karma modeller üzerinde karşılaştırılması. Yayımlanmamış Yüksek Lisans Tezi, Bolu: Abant İzzet Baysal Üniversitesi, Eğitim Bilimleri Enstitüsü.
• Wells, C. S., Subkoviak, M. J., & Serlin, R. C. (2002). The effect of item parameter drift on examinee ability estimates. Applied Psychological Measurement. 26(1), 77–87.
• Zumbo, B.D.A. (1999). Handbook on the theory and methods of differantial item functioning: Logistic regression modelling as a unitary framework for binary and likert-type item scores. Ottowa: Directorate of Human Resources Research and Evaluation, Department of National Defense.
• Zimowski, M. F., Muraki, E., Mislevy, R. J., & Bock, R. D. (1996). Bilog–mg: Multiple-group IRT analysis and test maintenance for binary items. Chicago: Scientific Software International.