PREDICTING PUBLIC PERSONNEL SELECTION EXAMINATION ACHIEVEMENT: A DATA MINING APPROACH

Year 2024, Volume: 6 Issue: 1, 112 - 133, 25.06.2024

Ayşegül Bozdağ Kasap , Dilara Bakan Kalaycıoğlu

https://doi.org/10.48166/ejaes.1459882

Abstract

This research investigates the predictive variables related to the Public Personnel Selection Examination (KPSS), utilized for recruitment in public institutions and organizations. The study explores predictor variables' importance levels by analysing longitudinal data, including examinees' high-stakes exams, demographic information, and educational backgrounds. It compares the prediction performances of machine learning algorithms such as artificial neural networks, random forest, support vector machine, and k-nearest neighbour. The findings reveal that the quantitative test of the graduate education exam is the most influential predictor, closely followed by the mathematics test of the university entrance exam. These results highlight the importance of quantitative reasoning skills in predicting KPSS achievement. Additionally, variables related to undergraduate programs and universities demonstrate significant importance in predicting KPSS achievement. Notably, the artificial neural networks model demonstrates superior predictive accuracy compared to other models, indicating its effectiveness in KPSS prediction. This research sheds light on important predictors of KPSS achievement and provides valuable insights into the effectiveness of different prediction models.

Keywords

KPSS, Artificial Neural Networks, Support Vector Machine, k-Nearest Neighbor, Random Forest

References

• Açıl, Ü. (2010). Öğretmen adaylarının akademik başarıları ile KPSS puanları arasındaki ilişkinin çeşitli değişkenler açısından incelenmesi (Publication No. 264743) [Master’s thesis, Mustafa Kemal University]. YOK Thesis Center.
• Arıkan, S., & D'Costa, A. (2016). ÖSS ve LES ile ölçülen sayısal ve sözel beceriler arasındaki ilişki. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 12(1), 303-313. https://doi.org/10.17860/efd.71302
• Bahadır, E. (2013). Yapay Sinir Ağları ve Lojistik Regresyon Analizi Yaklaşımları ile Öğretmen Adaylarının Akademik Başarılarının Tahmini, (Publication No. 349939) [Doctoral thesis, Marmara University]. YOK Thesis Center.
• Bahar, H.H., (2006). KPSS puanlarının akademik başarı ve cinsiyet açısından değerlendirilmesi. Eğitim ve Bilim, 31(140), 68-74. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/5010
• Bahar, H.H., (2011). ÖSS puanı ve lisans mezuniyet notunun KPSS 10 Puanını Yordama Gücü. Eğitim ve Bilim, 36(162), 168-181. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/801
• Baker, R.S.J.d. (2010). Data mining. In P. Peterson, E. Baker & B. McGaw (Eds.), International Encyclopedia of Education (3rd ed., pp. 112-118). Elsevier. https://doi.org/10.1016/B978-0-08-044894-7.01318-X.
• Baştürk, R. (2008). Fen ve teknoloji alanı öğretmen adaylarının kamu personeli seçme sınavı başarılarının yordanması. İlköğretim Online, 7 (2), 323-332. https://dergipark.org.tr/tr/pub/ilkonline/issue/8601/107111
• Bayazit, A., Askar, P., & Cosgun, E. (2014). Predicting learner answers correctness through eye movements with random forest. In A. Peña-Ayala (Ed.), Educational data mining (pp.203-226). Springer. https://link.springer.com/book/10.1007/978-3-319-02738-8
• Boateng, E.Y., Otoo, J. and Abaye, D.A. (2020) Basic tenets of classification algorithms K-nearest-neighbor, support vector machine, random forest and neural network: A review. Journal of Data Analysis and Information Processing, 8, 341–357. https://doi.org/10.4236/jdaip.2020.84020
• Bramer, M. (2020). Principles of data mining (4th ed.). London: Springer.
• Breiman, L. (2001). Random forests, Machine Learning, 45(1) 5–32. https://doi.org/10.1023/A:1010933404324
• Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. & Demirel, F. (2014). Bilimsel araştırma yöntemleri (18th ed.). Ankara: Pegem Akademi.
• Chapman, P., Clinton, J., Kerber, R., Khabaza, T., Reinartz, T., Shearer, C. & Wirth, R. (2000). CRISP-DM 1.0 step-by-step data mining guide. SPSS inc. URL: https://www.kde.cs.uni-kassel.de/wp-content/uploads/lehre/ws2012-13/kdd/files/CRISPWP-0800.pdf
• Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20, 273-297. http://dx.doi.org/10.1007/BF00994018
• Cox, D. R., & Wermuth, N. (1992). A comment on the coefficient of determination for binary responses. The American Statistician, 46(1), 1–4. https://doi.org/10.2307/2684400
• Çırak, G. (2012). Yükseköğretimde öğrenci başarılarının sınıflandırılmasında yapay sinir ağları ve lojistik regresyon yöntemlerinin kullanılması (Publication No. 311755) [Master’s thesis, Ankara University]. YOK Thesis Center.
• Demir, M. (2015). Predicting pre-service classroom teachers’ civil servant recruitment examination’s educational sciences test scores using artificial neural networks. Educational Sciences: Theory & Practice, 15(5), 1169–1177. https://doi.org/10.12738/estp.2015.5.0018
• Dunham, M.H. (2003). Data mining: Introductory and advanced topics. New Jersey: Pearson Education.
• Ercoşkun, M. H., & Nalçacı, A. (2009). Sınıf öğretmeni adaylarının ÖSS, akademik ve KPSS başarılarının çeşitli değişkenler açısından incelenmesi. Kastamonu Eğitim Dergisi, 17(2), 479–486.
• Ersöz, F. (2019). Veri madenciliği teknikleri ve uygulamaları. Ankara: Seçkin Yayıncılık. Fausett, L. (1994). Fundamentals of neural networks: architectures, algorithms, and applications. New Jersey: Prentice-Hall Englewood Cliffs.
• Fraenkel, J.R., Wallen, N.E., & Hyun, H.H. (2012). How to design and evaluate research in education (8th ed.). New York: McGraw-Hill.
• Gholamy, A., Kreinovich, V., & Kosheleva, O. (2018). Why 70/30 or 80/20 relation between training and testing sets: A pedagogical explanation. Departmental Technical Reports (CS). 1209. https://scholarworks.utep.edu/cs_techrep/1209
• Jidagam, R., & Rizk, N. J. (2016). Evaluation of predictive data mining algorithms in student academic performance. Paper presented at the meeting of 10th International Technology, Education and Development Conference, Valencia, Spain. Retrieved from https://doi.org/10.21125/inted.2016.0487
• Han, J., Kamber, M., & Pei, J. (2012). Data mining: concepts and techniques (3rd ed.). Waltham: Morgan Kaufmann.
• Kablan, (2010). Akademik mezuniyet ortalama puanı ile KPSS başarı puanı arasındaki ilişki. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 23 (2), 451-470. https://dergipark.org.tr/tr/download/article-file/153416
• Kayri, M. (2015). An intelligent approach to educational data: Performance comparison of the multilayer perceptron and the radial basis function artificial neural networks. Educational Sciences: Theory & Practice, 15(5), 1247–1255. https://doi.org/10.12738/estp.2015.5.0238
• Kösterelioğlu, İ., Kösterelioğlu, M.A., & Kilmen, S. (2008). Kamu personeli seçme sınavı puanları ile lisans diploma notu arasındaki ilişkilerin çeşitli değişkenlere göre incelenmesi. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 151-160. https://dergipark.org.tr/tr/download/article-file/16612
• Larose, D. T. (2005). Discovering knowledge in data: An introduction to data mining. New Jersey: John Wiley & Sons.
• Madaus, G. (1998). The distortion of teaching and testing: High-stakes testing and instruction. Peabody Journal of Education, 65(3), 29–46. https://www.jstor.org/stable/1492818
• Mengash, H.A. (2020). Using data mining techniques to predict student performance to support decision-making in university admission systems. IEEE Access, 8, 55462-55470. https://ieeexplore.ieee.org/document/9042216
• Mitchell, T.M. (1997). Machine learning. New York: McGraw-Hill.
• Musso, M. F., Cascallar, E. C., Bostani, N., & Crawford, M. (2020). Identifying reliable predictors of educational outcomes through machine-learning predictive modeling. In Frontiers in Education, 5, 104. https://doi.org/10.3389/feduc.2020.00104
• Olson, D.L., & Delen, D. (2008). Advanced data mining techniques. Berlin: Springer.
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2012a). 2012 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/Eklenti/173,klavuz-2012mail-kpdf.pdf?0
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2012b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,986/2012-ygs-sonuclarina-iliskin-sayisal-bilgiler.html
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2013a). 2013 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2013/OSYS/2013OSYSSISTEMKILAVUZU%2021%2003%202013.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2013b). Yükseköğretime Geçiş Sınavının Değerlendirilmesi. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,896/2013-yuksekogretime-gecis-sinavinin-2013-ygs-degerlendirilmesi-01042013.html
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2014a). 2014 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2014/YGS/2014_OSYS_KILAVUZU_02_01_2014.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2014b). Yükseköğretime Geçiş Sınavının Değerlendirilmesi. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,829/2014-yuksekogretime-gecis-sinavinin-2014-ygs-degerlendirilmesi-29032014.html
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2015a). 2015 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2015/YGS/2015_OSYS_KILAVUZ.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2015b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,58/2015-ygs-sonuclarina-iliskin-sayisal-bilgiler.html
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2016a). 2016 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2016/YGS/2016-OSYSKILAVUZU11012016.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2016b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from http://dokuman.osym.gov.tr/pdfdokuman/2016/YGS/2016_YGS_Sayisal_Bilgiler.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2017a). 2017 Öğrenci Seçme ve Yerleştirme Sistemi (ÖSYS) Kılavuzu. ÖSYM. Retrieved May 22, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2017/OSYS/KILAVUZ18042017.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2017b). YGS Sonuçlarına İlişkin Sayısal Bilgiler. ÖSYM. Retrieved May 22, 2023, from https://www.osym.gov.tr/TR,13047/2017-ygs-sinav-sonuclarina-iliskin-sayisal-bilgiler.html
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020a). Akademik Personel ve Lisansüstü Eğitimi Giriş Sınavı (ALES) İlkbahar Dönemi Kılavuzu. ÖSYM. Retrieved June 14, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/ALES-1/aleskilavuz15052020.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020b). 2020 Kamu Personel Seçme Sınavı (Kpss) Kılavuzu Lisans. ÖSYM. Retrieved July 12, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/KPSS/kilavuz02022021.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM), (2020c). 2020 Yabancı Dil Bilgisi Seviye Tespit Sınavı (YDS) Kılavuzu. ÖSYM. Retrieved June 15, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/YDS-1/kilavuz18082020.pdf
• Ölçme, Seçme ve Yerleştirme Merkezi (ÖSYM). (2020d). 2020 Yükseköğretim Kurumları Sınavı (YKS) Yükseköğretim Programları ve Kontenjanları Kılavuzu. ÖSYM. Retrieved June 10, 2023, from https://dokuman.osym.gov.tr/pdfdokuman/2020/YKS/tkilavuz13082020.pdf
• Özçınar, H. (2006). KPSS sonuçlarının veri madenciliği yöntemleriyle tahmin edilmesi (Publication No. 180572) [Master’s thesis, Pamukkale University]. YOK Thesis Center.
• Özkan, R., & Pektaş. S. (2011). Eğitim fakültesi son sınıf öğrencilerinin mezuniyet başarı notları ile KPSS puanları arasındaki ilişki üzerine bir araştırma (eğitim fakültesi örneği). Türklük Bilimi Araştırmaları, 30, 269-281. https://dergipark.org.tr/tr/download/article-file/157093
• Rai, S., Shastry, K.A., Pratap, S., Kishore, S., Mishra, P., Sanjay, H.A. (2021). Machine learning approach for student academic performance prediction. In: Bhateja, V., Peng, SL., Satapathy, S.C., Zhang, YD. (eds) Evolution in Computational Intelligence. Advances in Intelligent Systems and Computing, 1176. Springer. https://doi.org/10.1007/978-981-15-5788-0_58
• Safran, M., Kan, A., Üstündağ, M.T., Birbudak, T.S., & Yıldırım, O. (2014). 2013 KPSS sonuçlarının öğretmen adaylarının mezun oldukları alanlara göre incelenmesi. Eğitim ve Bilim, 39(171), 13-25. https://egitimvebilim.ted.org.tr/index.php/EB/article/view/3044
• Sammut, C., & Webb, G.I. (Ed.). (2011). Encyclopedia of Machine Learning. New York: Springer.
• Şen, B., Uçar, E., & Delen, D. (2012). Predicting and analyzing secondary education placement-test scores: A data mining approach. Expert Systems with Applications, 39(10), 9468-9476. https://doi.org/10.1016/j.eswa.2012.02.112
• Şengür, D., & Tekin, A. (2013). Öğrencilerin mezuniyet notlarının veri madenciliği metotları ile tahmini. Bilişim Teknolojileri Dergisi, 6(3), 7-16. https://dergipark.org.tr/tr/pub/gazibtd/issue/6629/88010
• UniVeri. (n.d.). Türkiye Cumhuriyeti Cumhurbaşkanlığı İnsan Kaynakları Ofisi UniVeri. Retrieved February 29, 2024, from https://www.cbiko.gov.tr/projeler/uni-veri
• Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9
• Yeşil, R., Korkmaz, Ö., & Kaya, S. (2009). Eğitim fakültesindeki akademik başarının kamu personeli seçme sınavındaki başarı üzerinde etkisi. Fırat Üniversitesi Sosyal Bilimler Dergisi, 19(2), 149-160. https://dergipark.org.tr/tr/download/article-file/72001
• Yükseköğretim Kurulu (YÖK), 2023. Üniversite izleme ve değerlendirme genel raporu 2023. Retrieved February 13, 2024, from https://www.yok.gov.tr/Documents/Yayinlar/2023-universite-izleme-ve-degerlendirme-genel-raporu.pdf