Testlerde Hatalı Soru Olması Durumunda Kullanılan Yöntemlerin Puanlamaya ve Sıralamaya Olan Etkisi

Yıl 2021, Cilt: 41 Sayı: 3, 1437 - 1464, 30.12.2021

Ayfer Sayın , Hakan Koğar

Öz

Bu araştırma kapsamında testlerde hatalı soru olması durumunda soru için kullanılan yöntemlerin bireylerin puanlamalarına ve sıralamalarına olan etkisinin incelenmesi amaçlanmıştır. Bu doğrultuda 2016 TEOG uygulamasına katılan 64.788 öğrencinin Türkçe alt testinde yer alan 20 soruya verdikleri cevaplar üzerinde incelemeler gerçekleştirilmiştir. Araştırma kapsamında öncelikle farklı özelliklere sahip (en düşük ayırıcılığa sahip, en çok boş bırakılan, en zor) soru iptal edilmiştir. Ardından da iptal edilen sorulara yönelik dört farklı puanlama yöntemine (herkese doğru kabul etme, diğer sorular üzerinden hesaplama yapma, en az bir doğrusu olan herkese doğru kabul etme, alt testi bazında ağırlıklandırma) dayalı olarak öğrencilere ilişkin dört farklı puan türü (toplam puan, net puanı ve sıralamalar) hesaplanmıştır. Aynı zamanda her bir puan türüne göre öğrenciler sıralanmıştır. Hesaplama sonuçlarında soru iptali durumunda herkese doğru kabul etme ve en az bir doğrusu olan herkese doğru kabul etme yöntemlerinin hem ortalama hem de sıralamada gerçek ortalama ve sıralamadan en uzak değerleri ürettiği belirlenmiştir. Diğer sorular üzerinden hesaplama yapma ve alt testi bazında ağırlıklandırma yöntemlerinin ortalamalar bakımından benzer olduğu, öğrenci sıralamasının değişmesine en dirençli olan yöntemin de alt testi bazında ağırlıklandırma yöntemi olduğu tespit edilmiştir.

Anahtar Kelimeler

Hatalı soru, İptal madde, Puanlama Yöntemleri, Test Geçerliği, TEOG

Kaynakça

• AERA, APA ve NCME (1985). Standart for educational and psychological tests. Washington: American Psychological Association.
• Baş, G. ve Kıvılcım, Z. S. (2019). Türkiye’de öğrencilerin merkezi sistem sınavları ile ilgili algıları: bir metafor analizi çalışması. Eğitimde Nitel Araştırmalar Dergisi, 7(2), 639-667.
• Büyüköztürk, Ş., Kılıç Çakmak, E., Ekgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2018). Bilimsel araştırma yöntemleri. Ankara: Pegem Yayıncılık.
• Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart, & Winston.
• Çobanoğlu Aktan, D., Aksu, G. ve Eser, T. (2018). Türkiye ve Amerika’da engelli öğrenciler için yapılan geniş ölçekli sınavların yasal sorumluluklar, uygulama yöntemleri ve geçerlik açısından incelenmesi. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 14(1): 69-83.
• ETS Report (1994). Dorans, Neil J., Feigenbaum, Miriam D., Feryok, Nancy J., Lawrence, Ida M., Schmitt, Alicia P., & Wright, Nancy K. (1994). Technical Issues Related to the Introduction of the New SAT and PSAT/NMSQT. ETS Research Memorandum, RM-94-10.
• Güler, N. (2011). Eğitimde Ölçme ve Değerlendirme. Ankara: PegemA.
• IEA (2020). Methods and Procedures: TIMSS 2019 Technical Report. TIMSS & PIRLS International Study Center: Chestnut Hill.
• Karadağ, N., Akıldız, M., Kumtepe, A.T. ve Akgün, H.R. (2017). Anadolu Üniversitesi Açıköğretim Sistemi soru yazarlarının ölçme ve değerlendirme seminerlerine ilişkin görüşleri. Açıköğretim Uygulamaları ve Araştırmaları Dergisi, 3(3), 9-46.
• Lane, S., Raymond, M.R., T.M. Haladayna (2016). Handbook of test development. Routlegde: New York.
• Ludlow, L. H. (2001). Teacher test accountability. Education Policy Analysis Archives, 9, 6.
• MEB (2016). 2015-2016 2. dönem ortak sınavlar sayısal bilgiler. MEB Yayınları.
• MEB (2018). Sınavla öğrenci alacak ortaöğretim kurumlarına ilişkin merkezî sınav başvuru ve uygulama kılavuzu. MEB Yayınları.
• ÖSYM (2016). 2016 Öğrenci seçme ve yerleştirme sistemi (ÖSYS) kılavuzu. ÖSYM Başkanlığı.
• ÖSYM (2017). 2017 Öğrenci seçme ve yerleştirme sistemi (ÖSYS) kılavuzu. ÖSYM Başkanlığı.
• ÖSYM (2019). Duyurular: https://www.osym.gov.tr/TR,16792/2019-yuksekogretim-kurumlari-sinavi-2019-yks-oturumlari-temel-soru-kitapciklari-ve-cevap-anahtarlari-yayimlandi-16062019.html.
• Özdemir, C. ve Yandı, A. (2012). Türkiye’deki üniversitelerde 2010-2012 yılları arasında yayımlanan tezlerdeki yazarlar tarafından geliştirilmiş başarı testlerinin “test geliştirme aşamaları” bakımından incelenmesi. Downloads/Turkiye_deki_Universitelerde_2010_2012_Y%20.pdf.
• Sarıtaş, S. ve Bağcı, V. (2017). Test puanlarının kullanım gerekliliklerine yönelik izlenen yasal süreç: ÖSYM örneği. 26. Uluslararası Eğitim Bilimleri Kongresi, Antalya, Türkiye, 20 - 23 Nisan 2017.
• TEDMEM (2014). 2014 Eğitim değerlendirme raporu. TEDMEM Değerlendirme Dizisi 1: Ankara.
• Varma, S. (2006). Preliminary item statistics using point-biserial correlation and p-values. Educational Data Systems Inc.: Morgan Hill CA. Retrieved, 16 (07).