Geleneksel Kağıt-Kalem Testleri İçin Tercih Nedenleri Envanteri: Geçerlik ve Güvenirlik Çalışması

Year 2017, Volume: 17 Issue: 69, 135 - 158, 20.05.2017

Mehmet Taha Eser Nuri Dogan

Abstract

Problem Durumu: Bireylerin birbirlerinden farklı olmadığı fikri daha çok 20.yüzyıl inanışıdır. Bu fikir büyük olasılıkla Batı dünyasında gelişen “demokrasi” fikrine bağlıdır. Bu inanışa göre, en basit tanımlama ile insanlar birbirlerine eşit ise birbirlerinin aynısı olmalıdırlar. Ancak, yapılan araştırmalar sonucunda, her bireyin farklı karakter özellikleri, farklı zeka seviyeleri ve fiziksel yapıları ile oldukça özel bir donanıma sahip olduğu ortaya çıkmıştır. Bu yaklaşıma göre öğretmenlerin kendi sınıflarında daha başarılı sonuçlar almaları için öğrencilerinin karakterlerini, karakterlerini etkileyen etkenleri, öğrencilerin öğrenme modellerini ve öğrenme modellerini etkileyen etkenleri çok iyi bilmeleri ve göz önünde bulundurmaları gerekir.

Öğretim ve değerlendirme süreçlerinin daha da yakınlaştığı ve etkileşim içerisinde bulunduğu modern eğitim sistemlerinde, öğrencilerin değerlendirme süreci üzerindeki algıları ve değerlendirme yöntemleri seçimlerinin eğitim süreci ve öğrenimi boyunca dikkate alınması gerekir. Öğrencilerin başarıları belirlenirken uygulanan geleneksel kağıt kalem testleri; yazılı sınavlar, kısa cevaplı testler, doğru yanlış testleri, çoktan seçmeli testler, performans görevleri, portfolyo vb.’dir. Öğrencilerin bu geleneksel kağıt kalem testleri konusunda görüşlerini almak, öğretmenlere öğrenci başarısını belirlemede geri besleme ve öğrencilerin öğrenme süreçleri konusunda bilgi edinilmesi gerekmektedir. Bu çalışma öğrencilerin değerlendirme süreçleri üzerindeki algılarının önemini ve değerlendirme yöntemlerinin seçimlerini göz önüne alarak gerçekleştirilmiştir.

Araştırmanın Amacı: Araştırmanın amacı, öğrencilerin yazılı, kısa cevaplı, doğru-yanlış ve çoktan seçmeli testleri tercih etme nedenlerini değerlendirmeye ilişkin ‘’Geleneksel Kağıt Kalem Testleri İçin Tercih Nedenleri Envanteri’’ geliştirerek, literatüre öğrencilerin bu sınav türlerini tercih etme nedenleri ile bu sınavları tercih düzeylerini tespit etmeye yardımcı olacak ölçme sonuçlarının geçerliği ve güvenirliği sağlanmış bir ölçme aracı kazandırılacağı düşünülmektedir. Elde edilen sonuçlara bağlı olarak öğretmenler öğrenci başarısını ölçmek amacıyla sınav hazırlarken öğrencilerin belirli özelliklerine göre ölçme aracı geliştirme çabasını arttırabilirler. Öğretmenlerin test geliştirme sürecinde dikkat edeceği faktörler öğrencilere olumlu bir şekilde yansıyacağı, testlerin öğrenciler üzerinde oluşturduğu olumsuz etkilerin en aza indirileceği düşünülmektedir.

Araştırmanın Yöntemi: 100 lise öğrencisinin oluşturduğu bir örneklemden elde edilen envanter ile ilgili veri setine ilişkin faktör analizi sonuçlarına göre; alt ölçekler için elde edilen faktör yükleri 0,32 ile 0,69 arasında değişmektedir. Alt ölçekler için KMO

Mehmet Taha ESER–Nuri DOGAN/ Eurasian Journal of Educational Research 69 (2017) 135-158 150

değerleri 0,71 ile 0,75 arasında bulunmuştur. KMO değeri sonuçlarına göre veri sayısının faktör analizi için yeterli sayıda olduğuna karar verilmiştir. Tüm alt ölçekler için Bartlett testi sonuçları 0,01 düzeyinde manidar bulunmuştur. Bu sonuç, veri setinin faktör analizine uygun olduğunun bir işaretidir. Dört alt ölçeğe ilişkin faktör yükleri ve yamaç- birikinti grafikleri incelenmiş ve birinci boyutta yer almayan, herhangi bir boyutta yer alması için faktör yükü yetersiz olan veya birden fazla boyutta faktör yükü yüksek olan 11 maddenin envanterden çıkartılması uygun görülmüştür. Uzmanlar 4. maddenin envanter için uygun olmadığını bildirmişler ve 4. madde envanterden çıkartılmıştır. Sonuç olarak her bir ölçeğin tek boyutlu olduğuna karar verilmiş ve uygulamaya 22 madde ile devam edilmiştir. Her bir alt ölçek için iç tutarlığı görmek açısından Cronbach Alfa iç tutarlık katsayıları incelenmiş ve iç tutarlık katsayılarının 0,831 ile 0,856 arasında değiştiği gözlemlenmiştir. Bu değerler ölçeklerin kabul edilebilir güvenirliklere sahip olduğunu göstermektedir.

783 kişiye yapılan ikinci uygulama sonucuna doğrulayıcı faktör analizi uygulanmış; 2. ve 4. maddelerin diğer maddelerle otokorelasyona girdiği gözlemlenmiş ve bu maddelerin atılması uygun görülmüştür.

Doğrulayıcı faktör analizine ilişkin sonuçlar için X2/sd’ nin 5’ten küçük olması modelin uyum iyiliğine sahip olduğunun göstergesidir (Byrne, 1998). RMR değerlerinin 0,05’ ten küçük olması mükemmel uyuma, SRMR değerlerinin 0,05 ile 0,08 arasında olması ise iyi uyuma işarettir. GFI/AGFI, NFI, NNFI, CFI değerleri ölçme aracının yüksek uyum verdiğini gösteren değerler almıştır. RMSEA değerlerinin 0,10’ dan küçük olması kabul edilebilir bir uyumun göstergesidir. Bütün değerler bir arada ele alınıp yorumlanacak olursa; alt testlerin tek boyutluluk yapısına ilişkin doğrulamanın yeterince güvenilir biçimde sağlandığı söylenebilir (X2/sd: 4,01-6,54; GFI: 0,96-0,97; AGFI: 0,94-0,96; NFI: 0,99; NNFI: 0,99; RMSEA: 0,062-0,084; RMR: 0,027-0,032; SRMR: 0,052-0,065). Araştırma kapsamında son olarak, kapsam geçerliği çalışması yürütülmüştür. Kapsam geçerliği anlamında ölçme aracını meydana getiren her bir alt testi oluşturan maddeler için, konu alanında yeterli donanım ve bilgiye sahip, çalışmanın öneminin farkında olan 12 eğitimde ölçme ve değerlendirme uzmanının görüşleri alınmıştır. Maddelere ilişkin kapsam geçerlik oranları belirlenirken Davis tekniği kullanılmıştır. Geliştirilen ölçme aracını meydana getiren maddelere ilişkin kapsam geçerlik indekslerinin yazılı sınav, kısa cevaplı test, doğru-yanlış testi ve çoktan seçmeli test için 0,86 ile 1 arasında değiştiği gözlemlenmiştir. Davis tekniği için sınır değerin 0,80 olduğu göz önünde bulundurulduğunda, maddelerin her bir alt testteki kapsam geçerlik değerlerinin yeterli düzeyde olduğu söylenebilir.

Araştırmanın Bulguları: Bu çalışma sonucunda, öğrencilerin geleneksel kağıt kalem testleri konusunda tercihlerinin belirlenmesine yönelik olan GKKT-TNE geliştirilmiştir. Envanter, 2 bölümden meydana gelmektedir. Envanterin ilk bölümünde demografik bilgilerin yer aldığı 4 madde, ikinci bölümünde ise 3’lü derecelendirilmiş 20 madde yer almaktadır.

Araştırmanın Sonuç ve Önerileri: Araştırma sonuçları, geliştirilen ölçeğin, lise öğrencilerinin kağıt ve kalem testlerine ilişkin tercih sebeplerini değerlendirmek için uygun bir araç olduğu görülmektedir. Bu çalışma kapsamında geliştirilen envanter, öğrencilerin ilgili sınavlara ilişkin sınav türü tercih seviyelerini farklı örnekler

Mehmet Taha ESER–Nuri DOGAN/ Eurasian Journal of Educational Research 69 (2017) 135-158 151

kullanarak tahmin eden faktörleri belirlemek için kullanılabilir. Bu sonuçlar, öğrencilerin sınav türü tercihlerini belirleyerek değerlendirme sürecinde gerçekleştirilecek eylemleri ve araçları belirlerken kullanılabilir.

Keywords

Sınav türü tercihi, kapsam geçerliği, açımlayıcı faktör analizi, doğrulayıcı faktör analizi.

Inventory of Motive of Preference for Conventional Paper-and-Pencil Tests: A Study of Validity and Reliability

Abstract

Purpose: The objective of this study is to develop the Inventory of Motive of Preference for Conventional Paper-And-Pencil Tests and to evaluate students’ motives for preferring written tests, short-answer tests, true/false tests or multiple-choice tests. This will add a measurement tool to the literature with valid and reliable results to help determine why students prefer certain exam types and their level of preference. Research Methods: In this study, a screening research design was employed during the data collection and the analysis phases

Findings: Cronbach’s alpha coefficients were calculated for reliability and it was concluded that the inventory was reliable. First, the exploratory factor analysis was conducted; this was followed by a second confirmatory factor analysis and finally a content validity study to determine the construct validity. A total of 14 items, including 11 items according to the results of the exploratory factor analysis, 1 item based on expert opinion and 2 items according to the results of the confirmatory factor analysis were removed from the survey form of the inventory, resulting in a final form containing 20 items. It was observed that the content validity values of each item in every subtest were sufficient. Implications for Research and Practice: The study results showed that this inventory was an appropriate instrument for evaluating high school students’ preference for paper-and-pencil tests. An inventory developed under the scope of this study may be used to determine the factors predicting the examination type preference levels of students by using different samples. These results may be used when deciding the actions to be taken.

Keywords

Choice of examination type content validity exploratory factor analysis confirmatory factor analysis

References

• Anderson, J. C. & Gerbing, D.W. (1990). Structural equation modeling in practice: A review and recommended two-step procedure. Psychology Bulletin, V103:411-423.
• Atilgan, H., Kan, A., Dogan, N. (2009). Egitimde Olcme ve Degerlendirme. Edit. H. Atilgan (3. Basim): Ani Yayincilik.
• Bal, A. P. (2012). Sinif Ogretmenligi Ogretmen Adaylarinin Matematik Dersine İliskin Olcme-Degerlendirme Tercihleri. Turk Egitim Bilimleri Dergisi, 10(3), 459-479.
• Bal, A. P. (2012). Ogrencilerin Matematik Dersine İliskin Degerlendirme Tercihleri. Selcuk Universitesi Sosyal Bilimler Enstitusu Dergisi, 27, 59-72.
• Beller, M., & Gafni, N. (2000). Can item format (multiple choice vs. open ended) account for gender differences in mathematics achievement? Sex Roles, 42, 1-21.
• Ben-Chaim, D., & Zoller, U. (1997). “Examination-type preferences of secondary school students and their teachers in the science disciplines”, Instructional Science, 25(5), 347–367.
• Birenbaum, M. (1994). Toward Adaptive Assessment - The Student’s Angle. Studies in Educational Evaluation, 20, 239-255.
• Birenbaum, M. & Feldman, R. A. (1998). Relationships between learning patterns and attitudes towards two assessment formats, Educational Research, 40(1), 90–97.
• Birenbaum, M. ve Gutvirzt, Y. (1995). On The Relationship Between Assessment Preferences, Cognitive Style, Motivation and Learning Strategies. Paper presented at the 11th conference of the Israeli Research Association. Jerusalem. The Hebrew University.
• Birenanbaum, M. (1996). Alternatives in Assessment of Achievements, Learning Process and Prior Knowledge. USA: Kluwer Academic Publishers.
• Birenbaum, M. (1997). Assessment Preferences and Their Relationship to Learning Strategies and Orientations. Higher Education. 33, 71-84.
• Birenbaum, M. (2003). New insights into learning and teaching and their implications for assessment, in Segers, M., Dochy, F. and Cascallar, E. (eds.), Optimizing New Methods of Assessment: In Search of Qualities and Standards. Dordrecht, The Netherlands: Kluwer, pp. 13-36.
• Birenbaum, M. ve Rosenau, S. (2006). Assessment preferences, learning orientations, and learning strategies of pre-service and in-service teachers. Journal of Education for Teaching, 32(2), 213-225.
• Birenbaum, M. (2007). Assessment and instruction preferences and their relationship
• Brown, G. T. L. & Hirschfeld, G. H. F. (2007). Students’ conceptions of assessment and mathematics achievement: Evidence for the power of self-regulation. Australian Journal of Educational and Developmental Psychology, 7, 63-74.
• Byrne, B. M. (1998). Structural equation modeling with lisrel, prelis and simplis: Basic concepts, aplications and programming. Mahwah, NJ: Lawrence Erlbaum Associates.
• Cavanagh, M. (2006). Mathematics teachers and working mathematicaly: Responses to curriculum change. 2016. Retrieved from http://www.merga.net.au/publications/counter.php?pub=pub_conf&id=289
• Cohen, L., Manion, L. & Morrison, K. (2007) Research Methods in Education. 6th edn. London: Routledge.
• Cooney, T. J.,Sanchez, W. B. & Ice, N. F. (2001). Interpreting teachers’ movement toward reform in mathematics. The Mathematics Educator, 11(1), 10-14.
• Davis, L. L. (1992). Instrument review: Getting the most from your panel of experts. Applied Nursing Research, 5, 194–197.
• Dickey, D (1996), Testing The Fit of Our Models of Psychological Dynamics Using Confirmatory Methods: An Introductory Primer. (Advances in Social Science Methodology, 4 icinde. Editor: Bruce Thompson). London: JAI press Ltd.
• Du Toit, M. ve Du Toit, S. (2001). Interactive Lisrel: User’s guide. Lincolnwood: Scientific Software International Inc.
• Dogan, N. ve Basokcu T. O. (2010). “İstatistik Tutum Olcegi icin Uygulanan Faktor Analizi ve Asamali Kumeleme Analizi Sonuclarinin Karsilastirilmasi”, Egitimde ve Psikolojide Olcme ve Degerlendirme Dergisi, C. 1, S. 2, s. 65-71.
• Ebel, R. L. (1979). Essentials of educational measurement. Englewood Cliffs, N.J.: Prentice-Hall.
• Eser, M. T. (2011).Ogrencilerin sinav turu tercih nedenlerini etkileyen bazi faktorlerin incelenmesi. Yayimlanmamis yuksek lisans tezi, Hacettepe Universitesi Sosyal Bilimler Enstitusu.
• Everitt, B. S. (2002). The Cambridge dictionary of statistics (2nd ed). Cambridge; New York: Cambridge University Press.
• Field, A. (2009). Discovering statistics using SPSS (Third Ed.). London: SAGE.
• Gelbal, S., & Kelecioglu, H. (2007). Teachers’ proficiency perceptions of about the measurement and evaluation techniques and the problems they confront. Hacettepe University Journal of Education, 33, 135-145.
• Grandt, J. (1987). Characteristics of Examinees Who Leave Questions Unanswered on The GRE General Test Rights-Only Scoring. ETS Research Report 87- 83, Princton, NJ: Educational Testing Service.
• Gulbahar, Y. ve Buyukozturk, S. (2008). “Degerlendirme Tercihlerin Olceginin Turkceye Uyarlanmasi”, Hacettepe Universitesi Egitim Fakultesi, 35, 148-161.
• Hambleton, R.K. ve Patsula, L. (1999). Increasing the validity of adapted tests: Myths to be avoided and guidelines for improving test adaptation practices. Journal of Applied Testing Technology, 1(1), 1-30.
• Ho, R. (2006). Handbook of univariate and multivariate data analysis and interpretation with SPSS. Florida: Chapman ve Hall/CRC.
• Hu, Z., Li, J. (2015). The integration of efa and cfa: One method evaluating the construct validity. Global Journal of Human-Social Science, 15 (6).
• Joreskog, K. G., & Sorbom, D. (1993). LISREL 8: structural equation modeling with the simplis command language. Lincolnwood: Scientific Software International, Inc.
• Kline, P. (1994). An easy guide to factor analysis. New York, NY: Routledge.
• Kyriakides, L. (1997). Primary teacher’s perceptions of policy for curriculum reform in mathematics. Educational Research and Evaluation, 3(3), 214-242.
• Miller, T. (2004). Assessment in practicegrade 9 academic and applied mathematics. (Master Thesis). Queen’s University, Kingston, Ontario, Canada.
• Motsoeneng, K. G. (2005). The attitude of teacher and parents and learners involved in primary and intermediate schools in the Thabo Mofutsanyane district regarding assessment reform in education. Master Thesis, Bloemfontein University, Mofutsanyane Thabo.
• Oren, S. F., Ormanci, U., Evrekli, E. (2014). Ogretmen Adaylarinin Tercih Ettikleri Alternatif Olcme-Degerlendirme Yaklasimlari İle Bu Yaklasimlara İliskin Oz-yeterlilikleri. Egitim ve Bilim Dergisi, 39, 173.
• Saxe, G. B., Franke, M. L., Gearhart, M., Howard, S. ve Crockett, M. (1997). Teachers’ shifting assessment practices in the context of educational reform in mathematics. CSE Technical Report 471, CRESST University of California, Los Angeles.
• Sherin, M. G., & Drake, C. (2009). Curriculum strategy framework: investigating patterns in teachers’ use of a reform‐based elementary mathematics curriculum. Journal of Curriculum Studies, 41(4), 467-500.
• Mehmet Taha ESER–Nuri DOGAN/ Eurasian Journal of Educational Research 69 (2017) 135-158 148
• Stapleton, C. D. (1997). Basic concepts and procedures of confirmatory factor analysis. Educational Research Association, Reports-Evaluative (142), Speeches / Meeting Papers (150)
• Struyven, K., Dochy, F. & Janssens, S. (2005). Students' perceptions about evaluation and assessment in higher education: a review. Assessment & Evaluation in Higher Education, 30 (4), 325- 341.
• Tabachnick, B.G., ve Fidell, L.S. (2001). Using Multivariate Statistics. (4th ed), Allyn& Bacon, Boston,
• Turgut, M.F. (1997). Egitimde olcme ve degerlendirme metodlari. Ankara: Gul Yayinevi.
• Turgut, M. F. (1988). Egitimde Olcme ve Degerlendirme Metotlari. Ankara: Saydam Matbaacilik, Altinci Baski.
• Uchiyama, M. K. (2004). Teachers use of formative assessment in middle school reform based mathematics classrooms. PhD Dissertation, University of Colorado Boulder, Colorado.
• Uchiyama, M. K. (2005). Teachers' use of formative assessment. Annual meeting of the american educational research association, Colorado State University, www.aera.net adresinden 13 Nisan 2005 tarihinde alinmistir.
• Watering, G. V., Gijbels, D., Dochy, F. ve Rijt, J. V. (2008). Students’ assessment preferences, perceptions of assessment and their relationships to study results. High Education, 56, 645-658.
• Wilson, K., & Fowler, J. (2005). Assessing the impact of learning environments on students’ approaches to learning: Comparing conventional and action learning designs. Assessment and Evaluation in Higher Education, 30(1), 87–101.
• Worthington, R.,& Whittaker, T. (2006). Scale development research: A content analysis and recommendations for best practices. Counseling Psychologist, 34, 806-838. doi:10.1177/0011000006288127
• Zoller, U. (1994). The examination where the student asks the questions. School Science and Mathematics 94(7): 347–349
• Zoller, U. & Ben-Chaim, D. (1988). Interaction between examination type, anxiety state, and academic achievement in college science: an action-oriented research. Journal of Research in Science Teaching 26(2): 65-77.
• Zoller, U. & Ben-Chaim, D. (1990). Gender differences in examination-type preferences, test anxiety, and academic achievements in college science education-A case study. Science Education 74(6): 597–