Hata Ayıklama Performansı Testi Geliştirme: Geçerlik ve Güvenirlik Çalışması

Year 2021, Volume: 23 Issue: 3, 667 - 685, 31.12.2021

Arif Akçay , Arif Altun

https://doi.org/10.17556/erziefd.815922

Cited By: 3

Abstract

Programlama, bir probleme yönelik durum analizi, algoritma ve program tasarımı, uygulama, test etme ve hata ayıklama yaparak bilgisayar tabanlı çözümler üretmektir. Programlama sürecinde içerisinde hata ile karşılaşmak olağan bir durumdur. Hataların çözümlenmesi ve oluşturulan program kodlarının hatalarından arındırarak işlevsel hale getirilmesi işlemi ise hata ayıklama olarak adlandırılmaktadır. Hata ayıklama yeni kodlar yazmaktan daha derin bir bilgi birikimi gerektiren, iyi kodlama yapmak ve verimli kod yazmak gibi programcıların edinmesi gereken bir beceridir. Alanyazında hata ayıklama performanslarının değerlendirilmesine yönelik geçerli ve güvenilir bir ölçme aracının eksikliği görülmüştür. Bu çalışmada, meslek liselerinin Bilişim Teknolojileri bölümlerinde okuyan öğrencilerin hata ayıklama performanslarını değerlendirmek için bir başarı testi geliştirmek amaçlanmıştır. Testin geliştirilmesi aşamasında testin amacı, karşılaşılan hatalar ve kapsamları belirlenmiş, ilgili alanyazın incelenmiş, 27 kod senaryosundan oluşan test yönergesiyle birlikte kapsam geçerliğinin sağlanması amacıyla uzman görüşlerine sunulmuştur. Uzman görüşleri ve ön pilot uygulaması sonucunda 18 kod senaryosu belirlenmiş ve farklı mesleki ve teknik liseleri Bilişim Teknolojileri bölümlerinde öğrenim gören 148 öğrenciyle pilot uygulaması yapılmıştır. Teste ve maddelere yönelik yapılan analizler doğrultusunda gerekli görülen maddeler çıkartılmıştır. Sonuç olarak oluşan test maddelerinin güçlük indeksleri .30 ile .49 arasında, ayırt edicilik indeksleri .39 ile .69 arasında ve madde güvenirlik indeksleri .20 ile .33 arasındadır. KR-20 güvenirlik indeksi .575 olan Hata Ayıklama Performansı Testi (HAPT)’nin geçerli ve güvenilir olduğu söylenebilir.

Keywords

programlama, hata ayıklama performansı, derleme zamanı hatası, çalışma zamanı hatası, mantık hatası

Supporting Institution

TÜBİTAK

Thanks

Bu çalışma hazırlanması sürecinde TÜBİTAK tarafından “2211-A Genel Yurt İçi Doktora Burs Programı” kapsamında verilen destek için teşekkür ederiz.

Test Development for Debugging Performance: Validity and Reliability Study

Abstract

Programming is to produce computer-based solutions for a problem by situation analysis, algorithm and program design, implementation, testing and debugging. It is usual situation that encounter bugs in the programming process. The process of resolving the bugs and making the generated program codes free of bugs is called debugging. Debugging requires deeper knowledge than writing new code. Debugging is a skill that programmers must acquire, like good coding and write efficient code. In the literature, there is a lack of a valid and reliable measurement tool for the evaluation of debugging performances. In this study, it is aimed to develop an achievement test in order to evaluate the debugging performance of students studying in the Information Technologies departments of vocational high schools. During development of the test, the purpose of the test, the bugs encountered and their scope were determined, related literature reviewed, the test consisting of 27 code scenarios was created and expert opinion was obtained to ensure content validity. After expert opinions and pre-pilot implementation, 18 code scenarios were determined for pilot implementation. 148 students from different vocational and technical high schools in the Information Technology Department participated in the pilot implementation of the test. According to the analysis carried out for the test and the items, the necessary items were removed. As a result, the item difficulty indexes are between .30 and .49, the item discrimination indexes are between .39 and .69, and the item reliability indexes are between .20 and .33 in the test. Also, the KR-20 reliability index of test is .575. Therefore, it can be said that The Debugging Performance Test is valid and reliable.

Keywords

programming, debugging performance, compiler-time bugs, run-time bugs, logical bugs

References

• Ahmadzadeh, M., Elliman, D., & Higgins, C. (2005). An analysis of patterns of debugging among novice computer science students. Proceedings of the 10th Annual SIGCSE Conference on Innovation and Technology in Computer Science Education, 37(3), 84–88. https://doi.org/10.1145/1151954.1067472
• Alpar, R. (2014). Spor, sağlık ve eğitim bilimlerinden örneklerle uygulamalı istatistik ve geçerlik-güvenirlik (3rd ed.). Ankara: Detay Yayıncılık.
• Altun, A., & Kasalak, İ. (2018). Blok temelli programlamaya ilişkin öz-yeterlik algısı ölçeği geliştirme çalışması: Scratch örneği. Eğitim Teknolojisi Kuram ve Uygulama, 8(1), 209–225.
• Altun, A., & Mazman, S. G. (2012). Programlamaya ilişkin öz yeterlilik algısı ölçeğinin Türkçe formumun geçerlilik ve güvenirlik çalışması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 3(2), 297–308.
• Başol, G. (2015). Eğitimde ölçme ve değerlendirme. Ankara: Pegem Akademi Yayıncılık.
• Baykul, Y. (2010). Eğitimde ve psikolojide ölçme: Klasik test teorisi ve uygulaması. Ankara: Pegem Akademi Yayıncılık.
• Bednarik, R. (2012). Expertise-dependent visual attention strategies develop over time during debugging with multiple code representations. International Journal of Human Computer Studies, 70(2), 143–155. https://doi.org/10.1016/j.ijhcs.2011.09.003
• Bednarik, R., & Tukiainen, M. (2004a). Visual attention and representation switching in Java program debugging: A study using eye movement tracking. In E. Dunican & T. R. G. Green (Eds.), Proceedings of the 16th Workshop of the Psychology of Programming Interest Group (pp. 159–169). https://doi.org/http://doi.acm.org/10.1145/1028014.1028066
• Bednarik, R., & Tukiainen, M. (2004b). Visual attention tracking during program debugging. Proceedings of the 3rd Nordic Conference on Human-Computer Interaction, 331–334. https://doi.org/10.1145/1028014.1028066
• Bednarik, R., & Tukiainen, M. (2008). Temporal eye-tracking data: Evolution of debugging strategies with multiple representations. Proceedings of the Eye Tracking Research & Application Symposium, ETRA 2008, 99–102. https://doi.org/10.1145/1344471.1344497
• Brooks, G. P., & Johanson, G. A. (2003). TAP: Test analysis program. Applied Psychological Measurement, 27(4), 303–304. https://doi.org/10.1177/0146621603027004007
• Büyüköztürk, S., Çakmak Kılıç, E., Akgün, Ö. E., Karadeniz, Ş., & Demirel, F. (2014). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi Yayıncılık.
• Chen, M., & Lim, V. (2013). Eye gaze and mouse cursor relationship in a debugging task. In C. Stephanidis (Ed.), Communications in Computer and Information Science (Vol. 373, pp. 468–472). https://doi.org/10.1007/978-3-642-39473-7_93
• Chen, M. W., Wu, C. C., & Lin, Y. T. (2013). Novices’ debugging behaviors in VB programming. 2013 Learning and Teaching in Computing and Engineering, 25–30. https://doi.org/10.1109/LaTiCE.2013.38
• Cronback, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. https://doi.org/10.1007/BF02310555
• Demirtaşlı, R. N. (2017). Ölçmede güvenirlik. İçinde R. N. Demirtaşlı (Ed.), Eğitimde Ölçme ve Değerlendirme (4. Baskı, ss. 77–100). Ankara: Anı Yayıncılık.
• Doğan, İ., & Doğan, N. (2014). Adım adım çözümlü parametrik olmayan istatistiksel yöntemler. Ankara: Detay Yayıncılık.
• Dooley, J. (2011). Debugging. In Software Development and Professional Practice (pp. 181–192). New York: Springer.
• Downey, A. B., & Mayfield, C. (2016). Think Java: How to think like a computer scientist. USA, Massachusetts: Green Tea Press
• Ducasse, M., & Emde, A.-M. (1988). A review of automated debugging systems: Knowledge, strategies and techniques. Proceedings of the 10th International Conference on Software Engineering, 162–171. Singapore: IEEE.
• Fitzgerald, S., Lewandowski, G., McCauley, R., Murphy, L., Simon, B., Thomas, L., & Zander, C. (2008). Debugging: Finding, fixing and flailing, a multi-institutional study of novice debuggers. Computer Science Education, 18(2), 93–116. https://doi.org/10.1080/08993400802114508
• Grigoreanu, V., Brundage, J., Bahna, E., Burnett, M., Elrif, P., & Snover, J. (2009). Males’ and females’ script debugging strategies. In V. Pipek, M. B. Rosson, B. de Ruyter, & V. Wulf (Eds.), End-User Development (Vol. 5435, pp. 205–224). https://doi.org/10.1007/978-3-642-00427-8_12
• Hristova, M., Misra, A., Rutter, M., & Mercuri, R. (2003). Identifying and correcting Java programming errors for introductory computer science students. In S. Grissom, D. Knox, D. T. Joyce, & W. Dann (Eds.), SIGCSE Bulletin (Association for Computing Machinery, Special Interest Group on Computer Science Education) (pp. 153–156). Reno, Nevada: Association for Computing Machinery.
• Institute of Electrical and Electronics Engineers. (2010). IEEE standard classification for software anomalies. New York.
• Johnson, W. L., Soloway, E., Cutler, B., & Draper, S. (1983). Bug catalogue: I. New Haven, Connecticut.
• Kan, A. (2014). Ölçme aracı geliştirme. İçinde S. Tekindal (Ed.), Eğitimde Ölçme ve Değerlendirme (4. Baskı ss. 259–296). Ankara: Pegem Akademi Yayıncılık.
• Karakoç, F. Y., & Dönmez, L. (2014). Ölçek geliştirme çalışmalarında temel ilkeler. Tıp Eğitimi Dünyası, 40, 39–48.
• Khan, I. A., Brinkman, W. P., & Hierons, R. M. (2011). Do moods affect programmers’ debug performance? Cognition, Technology and Work, 13(4), 245–258. https://doi.org/10.1007/s10111-010-0164-1
• Kilmen, S. (2017). Madde analizi, madde seçimi ve yorumlanması. İçinde R. N. Demirtaşlı (Ed.), Eğitimde Ölçme ve Değerlendirme (4. Baskı, ss. 327–348). Ankara: Anı Yayıncılık.
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159–174.
• Liu, Z., Zhi, R., Hicks, A., & Barnes, T. (2017). Understanding problem solving behavior of 6–8 graders in a debugging game. Computer Science Education, 27(1), 1–29. https://doi.org/10.1080/08993408.2017.1308651
• McCauley, R., Fitzgerald, S., Lewandowski, G., Murphy, L., Simon, B., Thomas, L., & Zander, C. (2008). Debugging: a review of the literature from an educational perspective. Computer Science Education, 18(2), 67–92. https://doi.org/10.1080/08993400802114581
• Milli Eğitim Bakanlığı. (2007). Milli eğitim bakanlığına bağlı okul ve kurumlarda yapılacak araştırma ve araştırma desteğine yönelik izin ve uygulama yönergesi. Ankara. http://mevzuat.meb.gov.tr/dosyalar/538.pdf adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011a). Basit kodlar. Ankara. http://www.megep.meb.gov.tr/mte_program_modul/moduller/Basit%20Kodlar.pdf adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011b). Bilişim teknolojileri alanı çerçeve öğretim programı. Ankara. http://www.megep.meb.gov.tr/?page=ogretimProgramlari adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011c). Kodlamaya hazırlık. Ankara. http://www.megep.meb.gov.tr/mte_program_modul/moduller_pdf/Kodlamaya%20Haz%C4%B1rl%C4%B1k.pdf adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011d). Kontrol deyimleri. Ankara. http://www.megep.meb.gov.tr/mte_program_modul/moduller_pdf/Kontrol%20Deyimleri.pdf adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011e). Metotlar. Ankara. http://www.megep.meb.gov.tr/mte_program_modul/moduller_pdf/metotlar.pdf adresinden erişilmiştir.
• Milli Eğitim Bakanlığı. (2011f). Programlama temelleri ders bilgi formu. Ankara. http://www.megep.meb.gov.tr/dokumanlar/Ders%20Bilgi%20Formlar%C4%B1/B%C4%B0L%C4%B0%C5%9E%C4%B0M%20TEKNOLOJ%C4%B0LER%C4%B0_DBF_10.rar adresinden erişilmiştir.
• Özbek, Ö. Y. (2014). Ölçme araçlarında bulunması istenen nitelikler. İçinde S. Tekindal (Ed.), Eğitimde Ölçme ve Değerlendirme (4. Baskı., ss. 43–91). Ankara: Pegem Akademi Yayıncılık.
• Peng, F., Li, C., Song, X., Hu, W., & Feng, G. (2016). An eye tracking research on debugging strategies towards different types of bugs. 2016 IEEE 40th Annual Computer Software and Applications Conference, 130–134. https://doi.org/10.1109/COMPSAC.2016.57
• Romero, P., Cox, R., du Boulay, B., & Lutz, R. (2002). Visual attention and representation Switching during java program debugging: A study using the restricted focus viewer. In M. Hegarty, B. Meyer, & N. H. Narayanan (Eds.), Diagrammatic Representation and Inference (pp. 221–235).
• Romero, P., du Boulay, B., Cox, R., Lutz, R., & Bryant, S. (2007). Debugging strategies and tactics in a multi-representation software environment. International Journal of Human Computer Studies, 65(12), 992–1009. https://doi.org/10.1016/j.ijhcs.2007.07.005
• Romero, P., Lutz, R., Cox, R., & du Boulay, B. (2002). Co-ordination of multiple external representations during Java program debugging. Proceedings of the IEEE 2002 Symposia on Human Centric Computing Languages and Environments, 207–214. https://doi.org/10.1109/HCC.2002.1046373
• Soloway, E., & Ehrlich, K. (1984). Empirical studies of programming knowledge. IEEE Transactions on Software Engineering, SE-10(5), 595–609.
• Sönmez, V., & Alacapınar, F. G. (2016). Sosyal bilimlerde ölçme aracı hazırlama. Ankara: Anı Yayıncılık.
• Spohrer, J. C., Soloway, E., & Pope, E. (1985). A goal/plan analysis of buggy pascal programs. Human-Computer Interaction, 1, 163–207. https://doi.org/10.1207/s15327051hci0102_4
• Yen, C. Z., Wu, P. H., & Lin, C. F. (2012). Analysis of experts’ and novices’ thinking process in program debugging. In K. C. Li, F. L. Wang, K. S. Yuen, S. K. S. Cheung, & R. Kwan (Eds.), Engaging Learners Through Emerging Technologies (pp. 122–134). https://doi.org/10.1007/978-3-642-31398-1_12
• Yılmaz, F. (2013). Meslek yüksek okulu öğrencilerinin programlama başarisini etkileyen faktörlerin incelenmesi. Yüksek Lisans Tezi. Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü. Ankara.