Analytical Rubric Development for Story Writing: Validity and Reliability Study

Year 2018, Volume: 14 Issue: 2, 597 - 610, 31.08.2018

Mehtap Aktaş , Devrim Alıcı

https://doi.org/10.17860/mersinefd.424198

Cited By: 7

Abstract

The objective of this study is to develop an analytical rubric to
evaluate fifth-grade children's story writing skills and to provide evidence of
validity and reliability of the developed rubrics. The data of the study was
obtained from the completed assessments of 45 classroom teachers who
volunteered to participate in the research. The criteria to be considered in
evaluating the story written during the development of the rubric (behavior
indicators) were determined by expert opinion and literature review and behavior
indicators were written for three categories (0-1-2) for each listed criterion
for story writing. For the validated analyticalrubric to have evidence of
validity, the fit between the 9 teachers' evaluations for each
criterion/subcriterion was examined with a simple fit coefficient. Exploratory
Factor Analysis was conducted in order to provide proof of validity for the
rubric which is finalized with expert opinions. The Cronbach Alpha coefficients
for the main criteria and for the whole scale were calculated to provide
evidence for the reliability of the analytical rubric on story writing. The
Cronbach's alpha coefficients obtained on the whole scale vary between .919 and
.961, indicating that the scale has a very high internal consistency. In order
to provide evidence of inter-scorer reliability, Weighted Kappa is calculated
on the scales of two classroom teachers. The weighted Kappa coefficient
obtained after the calculations made is 0.933. It is concluded that the
analytical rubric developed in the light of the analyses made is a valid and
reliable tool that can be used when evaluating story writing skills.

Keywords

Analytical rubric

Yazılan Hikâyeyi Değerlendirmeye Yönelik Analitik Rubrik Geliştirme: Geçerlik ve Güvenirlik Çalışması

Abstract

Bu
çalışmanın amacı, beşinci sınıf düzeyindeki çocukların hikâye yazma
becerilerini değerlendirmeye yönelik analitik bir rubrik geliştirilmesi ve
geliştirilen rubriğin geçerlik ve güvenirlik kanıtlarının sağlanmasına yönelik
çalışmalar yapılmasıdır. Araştırmanın verileri, gönüllü 45 sınıf öğretmeninin yaptığı
değerlendirmeler sonucu elde edilmiştir. Rubriğin geliştirilmesi aşamasında
yazılan hikâyeyi değerlendirmede göz önüne alınması gereken ölçütler (davranış
göstergelerinin) uzman görüşleri ve literatür taraması yapılarak belirlenmiş ve
yazılan hikâyeyi değerlendirmeye yönelik listelenen her bir ölçüte yönelik üçer
kategori (0-1-2) için davranış göstergeleri yazılmıştır. Geliştirilen analitik
rubriğin geçerlik kanıtı olması için 9 öğretmenin her ölçüt/alt ölçüt için
yaptığı değerlendirmeler arasındaki uyum, basit uyum katsayısı ile
incelenmiştir. Uzman görüşleri ile son hâli verilen rubrik için yine geçerlik
kanıtı sağlayabilmek amacıyla Açımlayıcı Faktör Analizi yapılmıştır. Hikâye
yazmaya ilişkin analitik rubriğin güvenirliği için kanıt sağlamak amacıyla ana
ölçütler ve tüm ölçek için Cronbach Alfa katsayıları hesaplanmıştır. Tüm ölçek
bazında elde edilen Cronbach Alfa katsayıları .919 ile .961 arasında değiştiği
dolayısıyla ölçeğin oldukça yüksek derecede iç tutarlığa sahip olduğu görülmektedir.
Puanlayıcılar arası güvenirliğe kanıt sağlamak amacıyla ise iki sınıf
öğretmeninin yaptığı puanlamalar üzerinden Ağırlıklandırılmış Kappa
hesaplanmıştır. Yapılan hesaplamalar sonucu elde edilen Ağırlıklandırılmış
Kappa katsayısı 0.933’tür. Yapılan analizler ışığında geliştirilen analitik
rubriğin, hikâye yazma becerisi değerlendirilirken kullanılabilecek geçerli ve
güvenilir bir araç olduğu sonucuna ulaşılmıştır.

Keywords

Analitik rubrik, rubrik geliştirme

References

• Akaydın, Ş. Çeçen, M. A. (2016). Ortaokul öğrencileri için kelime bilgi düzeyi bütüncül dereceli puanlama anahtarı geliştirme çalışması. Milli Eğitim. 210, 337-349.
• Alpar, R. (2014). Uygulamalı istatistik ve geçerlik-güvenirlik. Ankara: Detay Yayıncılık.
• Arter, J. (2002). Rubrics, Scoring Guides, and Performance Criteria. Understanding Scoring Rubrics a Guide for Teachers (ed. Carol Boston). Washington: Office of Educational Research and Improvement.
• Ateş, S., Çetinkaya, Ç., Yıldırım, K. (2012). How to choose a readable book. Elementary Education Online, 11(2), 319-331.
• Aydın, F., Karaçam, S. (2015). Gruplar İçin Teknolojik Tasarım Uygulamalarını Değerlendirmeye Yönelik Bir Analitik Rubrik Çalışması. Mersin Üniversitesi Eğitim Fakültesi Dergisi. 11(1), 132-147.
• Birel, A. S., Albuz, A. (2014). Viyolonsel öğretiminde performansı değerlendirmeye yönelik hazırlanan dereceli puanlama anahtarının (rubrik) sınanması ve değerlendirilmesi. Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi. 18 (3), 281-207.
• Brookhart, S. M. (1999). The art and science of classroom assessment: The missing part of pedagogy. ASHE-ERIC Higher Education Report, 27(1). Washington, DC: The George Washington University, Graduate School of Education and Human Development.
• Cardinet, J., Johnson, S., & Pini, G. (2010). Applying generalizability theory using EduG. New York, NY: Taylor and Francis.
• Congdon, P., & McQueen, J. (2000). The stability of rater severity in large-scale assessment programs. Journal of Educational Measurement, 37(2), 163-178.
• Coşkun, E., Tiryaki, E. N. (2013). Üniversite öğrencilerinin tartışmacı metin yazma becerileri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 102-115.
• Çelik, T., Demirgüneş, S. ve Baştuğ, M. (2014). Metin oluşturma ve değerlendirme çalışmalarına yönelik “okur dostu” metin değerlendirme rubriği geliştirme çalışması. Uluslararası Avrasya Sosyal Bilimler Dergisi. 5(14),65-82.
• Çıralı Sarıca, H., Koçak Usluel, Y. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi: Kuram ve Uygulama. 6(2), 65-84.
• Deliceoğlu, G. (2009). Futbol yetilerine ilişkin dereceleme ölçeğinin genellenebilirlik ve klasik test kuramına dayalı güvenirliklerinin karşılaştırılması. Yayımlanmış Doktora Tezi. Ankara Üniversitesi Eğitim Bilimleri Enstitüsü Eğitimde Psikolojik Hizmetler Anabilim Dalı Ölçme ve Değerlendirme Bilim Dalı.
• Dunbar, N.E., Brooks, C.F., & Miller, T.K. (2006). Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills. Innovative Higher Education, 31(2), 2006, 115-128.
• Goodrich Andrade, H. (2001). The Effects of Instructional Rubrics on Learning to Write. Current Issues in Education. 4(4), 1-21.
• Hall, E.K., & Salmon, S.J. (2003). Chocolate chip cookies and rubrics helping students understand rubrics in inclusive settings. Teaching Exceptional Children, 35(4), 8-11.
• Huang, J. (2009). Factors affecting the assessment of ESL students' writing. International. Journal of Applied Educational Studies, 5(1), 1-17.
• Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum.
• Melanlıoğlu, D. (2016). Yabancı öğreniciler için dinleme becerisine yönelik üstbilişsel dereceli puanlama anahtarı. Erzincan Üniversitesi Eğitim Fakültesi Dergisi. 18(2), 1206-1229.
• Mertler, C. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=25 adresinden alınmıştır.
• Moskal, B.M. & Leydens, J.A. (2000). Scoring rubric development: validity and reliability. Practical Assessment, Research & Evaluation, 7(10). 28 Şubat 2018 tarihinde http://pareonline.net/getvn.asp?v=7&n=10 adresinden alınmıştır.
• Myford, C.M., & Wolfe, E.W. (2009). Monitoring rater performance over time: A framework for detecting differential accuracy and differential scale category use. Journal of Educational Measurement, 46(4), 371-389.
• Oaklef, M. (2009). Using rubrics to assess information literacy: An examination of methodology and ınterrater reliability. Journal of the American Society for Information Science and Technology, 60(5), 969-983.
• Ocak, G., Kutlu Kalender, M. D. (2017). Ortaokul 5. ve 6. sınıf fen bilimleri öğretim programının kazanım ve içerik ilişkisinin değerlendirilmesi. Bayburt Eğitim Fakültesi Dergisi. 12(23), 209-225.
• Ömür, S., Erkuş, A. (2013). Dereceli puanlama anahtarıyla, genel izlenimle ve ikili karşılaştırmalar yöntemiyle yapılan değerlendirmelerin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 28(2), 308-320.
• Öztürk, E. (2007). İlköğretim beşinci sınıf öğrencilerinin yaratıcı yazma becerilerinin değerlendirilmesi. Yayınlanmamış doktora tezi. Gazi Üniversitesi Eğitim Bilimleri Enstitüsü. Ankara.
• Öztürk, D., Bahar, G. Viyolonsel performans değerlendirmesine yönelik dereceli puanlama anahtarının (rubrik) geliştirilmesi. 06 Mart 2018 tarihinde http://amader.aku.edu.tr/sayi3/makaleler/devrim%20%C3%B6zt%C3%BCrk.pdf adersinde erişim sağlanmıştır.
• Parlak, B., Doğan, N. (2014). Dereceli Puanlama Anahtarı ve Puanlama Anahtarından Elde Edilen Puanların Uyum Düzeyleri. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi. 29(2), 189-197.
• Popham, W.J. (1997). What’s wrong-and what’s right-with rubrics. Educational Leadership, 55(2), 72-75.
• Schaefer, E. (2008). Rater bias patterns in an EFL writing assessment. Language Testing, 25(4), 465-493.
• Tekindal, S (Editör). (2008). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi.
• Tekin, H. (2009). Eğitimde ölçme ve değerlendirme. Ankara: Yargı Yayınevi.
• Viera, A. J., Garrett, J. M. (2005). Understanding interobserver agreement: the kappa statistic. Family Medicine. 37(5):360-63.
• Wolf, K., ve Stevens, E. (2007). The role of rubrics in advancing and assessing student learning. The Journal of Effective Teaching, 7(1), 3-14.
• Yue, X. (2011). Detecting rater centrality effect using simulation methods and Rasch measurement analysis. Unpublished Doctoral Thesis, Virginia State University, Petersburg.
• Zhu, X. (2009). Assessing fit of item response models for performance assessments using bayesian analysis. Unpublished Doctoral Thesis, University of Pittsburgh, Pittsburgh, ABD.