The Phases of Achievement Test Development: The Case of Fourth-Grade Introduction to Matter Unit

Year 2020, Volume: 28 Issue: 1, 82 - 94, 31.01.2020

Gökşen Üçüncü , Gönül Sakiz

https://doi.org/10.24106/kefdergi.3440

Cited By: 11

Abstract

Achievement tests are major data collection tools used to measure students’ academic performance in any given field. Therefore, valid and reliable achievement tests reflect-ing the precise measurement of expected outcomes in se-lected disciplines are highly needed. However, research on achievement test development is limited. The purpose of this research was to present the phases of an achievement test development using the sample case of a science lesson unit, Introduction to Matter. Initially, in the development process, based on 11 objectives of the unit, 35 multiple-choice were prepared. Grounded on Webb's (1997) criteria for the eval-uation of the learning objectives, the experts’ and teachers’ opinions were collected and the results were assessed using Lawshe test (1974). In the second part, the scale was ap-plied to 84 fourth-grade students in four classrooms of two elementary schools located in Beykoz, Istanbul. Item analy-sis conducted using ITEMAN program showed that the scale was valid. Item difficulties were calculated. Pearson corre-lation coefficient and Spearman-Brown reliability coefficient were found .85 and .83, respectively, confirming that the test was reliable. It is expected that the developed test would contribute to the field of science education and be used in related research. The procedures explained in the paper hopefully provide guidance for researchers for the devel-opment of more valid and reliable achievement tests in many different disciplines.

Keywords

Achievement test development, Lawshe test, ITEMAN analysis, science lesson

Başarı Testi Geliştirme Süreci: İlkokul Dördüncü Sınıf Maddeyi Tanıyalım Ünitesi Örneği

Abstract

Başarı testleri öğrencilerin akademik performanslarını ölçmek için en yaygın olarak kullanılan veri toplama araç-ları arasında yer alırlar. Bu nedenle, seçili disiplinlerde öğrenci kazanımlarını kusursuz şekilde ortaya koyabilen geçerli ve güvenilir başarı testlerinin varlığı büyük önem arz eder. Fakat, başarı testi geliştirme üzerine yapılan araş-tırmalar oldukça kısıtlıdır. Bu araştırmanın amacı, bilimsel araştırmalarda kullanılacak bir başarı testinin geliştirilmesi sürecinde izlenmesi gereken adımları örnek bir fen bilimleri ünitesi (Maddeyi Tanıyalım) çerçevesinde sergilemek ve geliştirilen başarı testini literatüre kazandırmaktır. Araştır-manın ilk bölümünde, seçili üniteye ilişkin 11 kazanım için 35 çoktan seçmeli soru maddesi hazırlanmıştır. Webb'in (1997) öğrenme kazanımlarının değerlendirilmesine ilişkin belirlediği ölçütlere dayanarak alan uzmanları ve deneyimli öğretmenlerden alınan görüşler Lawshe testi (1974) ile değerlendirilmiştir. Çalışmanın ikinci bölümünde ise oluştu-rulan ölçek formu İstanbul’un Beykoz İlçesi’nde yer alan iki ilkokulda dört dördüncü sınıf şubesinde öğrenim gören 84 öğrenciye uygulanmıştır. ITEMAN programı ile yapılan madde analizi testin geçerli olduğunu göstermiştir. Pearson korrelasyon ve Spearman Brown güvenirlik katsayıları sırasıyla .85 ve .83 olarak bulunarak testin güvenilir oldu-ğunu ortaya koymuştur. Geliştirilen testin, fen eğitimi alanı-na katkı sağlaması ve yapılacak ilişkili araştırmalarda kullanılması beklenmektedir. Açıklanan prosedürlerin diğer branşlarda geliştirilecek geçerli ve güvenilir başarı testleri-nin oluşturulma sürecine rehberlik edeceğine inanılmakta-dır.

Keywords

Başarı testi geliştirme, Lawshe testi, ITEMAN analizi, Fen bilimleri dersi

References

• Ayhan, İ. (2010). Eğitimcilere yol göstermesi açısından tab analiz programı kullanarak başarı testi hazırlama sürecinde izlenecek adımlar. Gümüşhane Üniversitesi Sosyal Bilimler Elektronik Dergisi, 2, 79-101.
• Akbulut, H. İ. ve Çepni, S. (2013). Bir üniteye yönelik başarı testi nasıl geliştirilir? İlköğretim 7.sınıf kuvvet ve hareket ünitesi. Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
• Balcı, A. (2011). Sosyal bilimlerde araştırma: yöntem, teknik ve ilkeler (9.baskı). Ankara: Pegem Akademi.
• Baykul, Y. (2015). Eğitimde ve psikolojide ölçme: klasik test teorisi ve uygulaması (2. baskı). Ankara: Pegem Akademi
• Brown, S. R. ve Conley, T.D. (2007). Comparing state high school assessments to standarts success in entry-level university courses. Educational Assessment, 12(2), 137-160
• Çalık, M. ve Ayas, A. (2003). Çözeltilerde kavram başarı testi hazırlama ve uygulama. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 2(14), 1-17.
• Çepni, S., Kara, Y. ve Çil, E. (2012). Middle school science and ıtems of high school entrance examination: exam-ining the gap in Turkey. Journal of Testing and Evaluation, 40(3), 2-13.
• Demir, N. ve Akarsu, B. (2014). Modern fizik konuları ile ilgili kavram testi geliştirilmesi ve uygulanması: mod-ern fizik kavram testi. Journal of European Education, 4(2), 39-51.
• Edwards, N. (2010). An analysis of the alignment of the grade 12 physical sciences examination and the core curriculum in South Africa. South Africa Journal of Education, 30, 571-590.
• Fonthal, G. (2004). Alignment of state assessments and higher education expectations: definition and utilization of an alignment index. Intedco: Laguna Hills, CA.
• Gönen, S., Kocakaya, S. ve Kocakaya, F. (2011). Dinamik konusunda geçerliliği ve güvenilirliği sağlanmış bir başarı testi geliştirme çalışması. Yüzüncü Yıl Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 40-57.
• Güler Demirci, P. M. (2008). Sınıf öğretmen adaylarının fen ve teknoloji dersinde öğrenilmesi gereken en önemli konunun ne olduğuna ilişkin düşünceleri. Ahi Evran Üniversitesi Kırşehir Eğitim Fakültesi Dergisi, 9(1), 113-121.
• Güven, E. (2013). Çevre sorunları başarı testinin geliştirilmesi ve öğretmen adaylarının bilgi düzeyinin belirlen-mesi. Trakya Üniversitesi Eğitim Fakültesi Dergisi, 3(2), 114-127.
• Kara, Y. ve Çepni, S. (2011). Investigation the alignmet between school learning and entrance examinations through ıtem analysis. Journal of Baltic Science Education, 10(2), 73-86.
• Karslı, F. ve Ayas, A. (2013). Fen ve teknoloji dersi öğretmen adaylarının bilimsel süreç becerilerinin ölçülme-sine ilişkin bir test geliştirme çalışması. Türk Fen Eğitim Dergisi, 10(2), 66-84.
• Özçelik, D. A. (2010). Test hazırlama kılavuzu (4.baskı). Ankara: Pegem Akademi
• Pressley, M., Yokoi, L., Meter, P., Etten, V. S. ve Freebern, G. (1997). Some of reason why preparing for exams is so hard: what can be done to make it easier? Educational Psychology Review, 9(1), 1-38.
• Sökmen, N. ve Bayram, H. (1999). Lise 1. sınıf öğrencilerinin temel kimya kavramlarını anlama düzeyleri ile mantıksal düşünme yetenekleri arasındaki ilişki. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 16 (17), 89-94.
• Tekin, H. (2000). Eğitimde ölçme ve değerlendirme (14. baskı). Ankara: Yargı Yayınları.
• Turgut, M. F. ve Baykul, Y. (2014). Eğitimde ölçme ve değerlendirme (6.Baskı). Ankara: Pegem Akademi
• TÜİK (2013). Seçilmiş göstergelerle İstanbul. Ankara: TÜİK, ISSN 1307-0894, 97.
• Veneziano L. ve Hooper J. (1997). A method for quantifying content validity of health-related questionnaires. American Journal of Health Behavior, 21(1), 67-70.
• Webb, N. L. (1997). Determining alignment of expectations and assessments in mathematics and science educa-tion. NISE brief 1(2). Madison, WI: University of Wisconsin- Madison, National Institute for Science Educa-tion.
• Yan, X. & Erduran, S. (2008). Arguing online: case studies of pre- service science teachers’ perceptions of online tools in supporting the learning of arguments. Journal of Turkish Science Education, 5(3), 2-31.
• Yurdugül, H. (2005). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi Pamukkale Üniversitesi Eğitim Fakültesi.