Mantık Tasarımı Dersi için Açık Uçlu Sorulardan Oluşan Bir Ölçme Aracı Geliştirilmesi: Geçerlik ve Güvenirlik Çalışması

Yıl 2019, Cilt: 17 Sayı: 3, 66 - 95, 27.09.2019

Birim Balcı , Birol Çiloğlugil , Mustafa Murat İnceoğlu

https://doi.org/10.18026/cbayarsos.485525

Cited By: 2

Öz

Bu
çalışmada, üniversitelerin Bilgisayar, Elektrik-Elektronik, Yazılım, Mekatronik
Mühendislikleri gibi bölümlerinde okuyan öğrencilerin Mantık Tasarımı dersi
kapsamındaki başarılarını ölçmek için bir başarı testi geliştirilmesi ve
geliştirilen bu ölçme aracının geçerlik ve güvenirlik incelemeleri konu
edilmektedir. Çalışmanın ilk aşamasında, Manisa Celal Bayar Üniversitesi (MCBÜ),
Okan Üniversitesi ve Maltepe Üniversitesi Bilgisayar Mühendisliği, Mekatronik
ve Elektrik-Elektronik Mühendisliği Bölümlerinde Mantık Tasarımı dersi
kapsamında verilen ortak konular dikkate alınarak bir kazanım listesi
hazırlanmıştır. Bu listedeki her kazanımı kapsayacak şekilde, açık uçlu sorular
içeren bir ölçme aracı oluşturulmuş, soruların hangi kazanımlara karşılık
geldiği belirtke tablosu üzerinde gösterilmiştir. Ölçme aracının tarafsız
olarak değerlendirilebilmesi için bir rubrik hazırlanmıştır. Farklı
üniversitelerden ve bölümlerden toplam altı alan uzmanının hakem görüşü
alınarak gerekli güncellemeler yapılmıştır. Alan uzmanları ile gerçekleştirilen
kapsam geçerliği çalışması sonuçları, ölçme aracının kapsam geçerlik oranının
0,84 olduğunu göstermektedir. Hazırlanan ölçme aracı, farklı üniversitelerde bu
dersi önceki dönem/yıl içinde alarak başarılı olan ve gönüllülük esasına göre
belirlenen, 88 öğrenciye uygulanmıştır. Ölçme aracının güvenirliğini
hesaplayabilmek için, rastgele seçilen 10 öğrencinin cevapları iki alan uzmanı
tarafından, belirlenen rubriğe göre değerlendirilmiştir. Spearman’s rho testi
sonuçları, hem her maddenin ayrı ayrı hem de madde toplamları korelasyon
değerlerinin istatistiksel olarak anlamlı olduğunu göstermektedir. Sonuç olarak,
bu çalışma ile, 15 adet açık uçlu sorudan oluşan Mantık Tasarımı dersine
yönelik geçerli ve güvenilir bir ölçme aracı alınyazına kazandırılmıştır.

Anahtar Kelimeler

ölçme aracı, başarı testi, mantık tasarımı, açık uçlu soru, geçerlik güvenirlik çalışması

Kaynakça

• Akbulut, H.H., (2010). Sıvıların kaldırma kuvveti ve yüzme kavramlarına yönelik probleme dayalı öğrenme uygulaması ve değerlendirilmesi, Karadeniz Teknik Üniversitesi, Fen Bilimleri Enstitüsü, (Yayınlanmamış yüksek lisans tezi) , Trabzon.
• Akbulut, H.İ. ve Çepni. S. (2013), “Bir Üniteye Yönelik Başarı Testi Nasıl Geliştirilir?: İlköğretim 7. Sınıf Kuvvet ve Hareket Ünitesi”, Amasya Üniversitesi Eğitim Fakültesi Dergisi, 2(1), 18-44.
• Aşıksoy, G., & Ozdamli, F. (2017), “The Flipped Classroom Approach Based on the 5E Learning Cycle Model-5ELFA”, Croatian Journal of Education: Hrvatski časopis za odgoj i obrazovanje, 19(4), 1131-1166.
• Atılgan, H., Kan, A. ve Doğan N. (2006). Eğitimde Ölçme ve Değerlendirme. Ankara: Anı Yayıncılık.
• Bay, E. ve Tuğluk, M.N., (2004), “Resmi ve Özel İlköğretim Okulları Öğrenci Başarılarının Karşılaştırılması”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 4(2).
• Berk, R. A. (1996), “A Consumer's Guide to Multiple- Choice Item Formats That Measure Complex Cognitive Outcomes”, In National Evaluation Systems, From policy to practice (pp.101-127). Amherst, MA:Author.
• Birel, A.S., Albuz, A. (2014), “Viyolonsel Öğretiminde Performansı Değerlendirmeye Yönelik Hazırlanan Dereceli Puanlama Anahtarının (Rubrik) Sınanması ve Değerlendirilmesi”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi 18(3), 281-207.
• Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of Educational Objectives, The Classification of Educational Goals. Handbook I. Cognative Domain. New York, David McKay Company Inc.
• CBU. (2018a). Manisa CBU Faculty of Engineering Computer Engineering Program Outcomes. (http://katalog.cbu.edu.tr/Site/ProgramOutcomes.aspx?ProgramID=1154&lang=1 ), ( 10.10.2018)
• CBU. (2018b). Manisa CBU Faculty of Engineering Electrical and Electronics Engineering Program Outcomes. (http://katalog.cbu.edu.tr/Site/ProgramOutcomes.aspx?ProgramID=283&lang=1), (10.10.2018)
• Çavdar, O. ve Doymuş, K., (2016), “İyi Bir Eğitim Ortamı İçin Yedi İlkenin İşbirlikli Öğrenme Yöntemi ile Kullanılmasının Fen ve Teknoloji Dersinde Başarıya Etkisi”, Atatürk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 20(2), 441-466.
• Çetin, B. ve İlhan, M. (2017), “Standart ve SOLO Taksonomisine Dayalı Rubrikler ile Puanlanan Açık Uçlu Matematik Sorularında Puanlayıcı Katılığı ve Cömertliğinin İncelenmesi”, Eğitim ve Bilim, 42(189), 217-247.
• Çoruk, H. ve Çakır, R. (2017), “Çoklu ortam kullanımının ilkokul öğrencilerinin akademik başarılarına ve kaygılarına etkisi”, Türk Bilgisayar ve Matematik Eğitimi Dergisi, 8(1), 1-27.
• Demir, N., Kızılay, E., & Bektaş, O. (2016), “ Development of an Achievement Test about Solutions for 7th Graders: A Validity and Reliability Study”, Necatibey Faculty of Education Electronic Journal of Science & Mathematics Education, 10(1).
• Dunbar, N. E., Brooks, C. F. & Miller, T. K. (2006), “Oral communication skills in higher education: Using a performance-based evaluation rubric to assess communication skills”, Innovative Higher Education, 31(2), 115-128. doi:10.1007/s10755-006-9012-x
• Gönen, S., Kocakaya, S. ve Kocakaya, F. (2011), “Dinamik Konusunda Geçerliği ve Güvenirliği Sağlanmış Bir Başarı Testi Geliştirme Çalışması”, Yüzüncü Yıl Eğitim Fakültesi Dergisi, 8(1), 40-57.
• Güler, Ç. (2019), Öğrenme Nesnesi Tasarım ve Geliştirme Süreci: Bir Tasarım Tabanlı Araştırma Örneği, Hacettepe Üniversitesi, Bilgisayar ve Öğretim Teknolojileri Eğitimi Anabilim Dalı, (Doktora tezi ), Ankara.
• Herman, G. L., (2011), The development of a digital logic concept inventory. (Doctor of Philosophy Thesis in Electrical and Computer Engineering in the Graduate College of the University of Illinois at Urbana-Champaign).
• Herman, G. L., & Loui , M. C. (2011), “Administering a digital logic concept inventory at multiple institutions”. In Proceedings of the 2011 American Society for Engineering Education annual conference and exposition (pp. 26–29). Vancouver, BC.
• Herman, G. L., Loui, M. C., & Zilles, C. (2010). Creating the digital logic concept inventory. In Proceeding of the 41th Annual ACM Technical Symposium of Computer Science Education (ITiCSE’10) (pp. 102–106). New York, NY.
• Incebacak, B.B. ve Ersoy, E., (2017). Developing An Achievement Test For Fraction Teaching: Validity and Reliability Analysis. ITM Web of Conferences 13, DOI: 10.1051/itmconf/20171301003 CMES2017.
• İlhan, M. (2016), “Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması”, Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368.
• Narlı, S. ve Başer, N. (2008), "Küme, Bağıntı, Fonksiyon" Konularında Bir Başarı Testi Geliştirme ve Bu başarı testi İle Üniversite Matematik Bölümü 1. Sınıf Öğrencileirnin Bu Konulardak Hazırbulunuşluklarını Betimleme Üzerine Nicel Bir Araştırma”, Dokuz Eylül Üniversitesi Buca Eğitim Fakültesi Dergisi, 24, 147-158.
• Özçelik, D.A. (1998). Ölçme ve Değerlendirme. ÖSYM Yayınları, Ankara.
• Reliablity. (2018) Web Center for Social Research Methods. (http://www.socialresearchmethods.net/kb/reliable.php), (1.10.2018)
• Singh, C. & Rosengrant, D. (2003), “Multiple-Choice Test of Energy and Momentum Concepts”, American Journal of Physics, 71(6), 607-617.
• Sullivan, F. R. (2008), “Robotics and science literacy: Thinking skills, science process skills and systems understanding”, Journal of Research in Science Teaching: The Official Journal of the National Association for Research in Science Teaching, 45(3), 373-394.
• Şen, H.C. ve Eryılmaz, A. (2011), “Bir Başarı Testi Geliştirme Çalışması: Basit Elektrik Devreleri Başarı Testi Geçerlik ve Güvenirlik Araştırması”, Yüzüncü Yıl Üniversitesi, Eğitim Fakültesi Dergisi. VIII(I), 1-39.
• Şenel, T., Çepni, S., Yıldırım, N. ve Nas, S. E.(2007), “Süreç Odaklı Değerlendirmede Kullanılabilecek Bir Analitik Rubriğin Geliştirilmesi: Yaşamımızdaki Elektrik Ünitesi Örneği”, EDU7, 2(2).
• Tuncel, G. (2011), “Sosyal Bilgiler Dersinde Rubriklerin Etkili Kullanımı”, Marmara Coğrafya Dergisi Sayı: 23, 213-233.
• Yılmaz, G.K., Ertem, E. ve Güven, B. (2010), “ Dinamik Geometri Yazılımı Cabri’nin 11.Sınıf Öğrencilerinin Trigonometri Konusundaki Öğrenmelerine Etkisi”, Turkish Journal of Computer and Mathematics Education 1(2), 200-216.
• Yılmaz, H. (2004). Eğitimde Ölçme ve Değerlendirme (7.baskı). Konya: Çizgi Kitabevi Yayınları.
• Yurdugül, H. (2005). Ölçek Geliştirme Çalışmalarında Kapsam Geçerliği İçin Kapsam Geçerlik İndekslerinin Kullanılması. XIV. Eğitim Bilimleri Kurultayı, Pamukkale Üniversitesi, Denizli.