Predicting Instructor Performance by Feature Selection and Machine Learning Methods

Year 2018, Volume: 8 Issue: 2, 419 - 440, 20.08.2018

Fatih Çifçi Cihan Kaleli Serkan Ünal

https://doi.org/10.18039/ajesi.454587

Cited By: 2

Abstract

Today, increasing
amount of data in all sector of life, make data mining more popular, and high
amount of data in increasing complexity demanded to acquit. Different methods
developed day by day, for solving problems at many sectors like finance, health,
defense, and education, applied to data mining for many social, economic, and
scientific issues. In the education area, where both number of instructors and
students always increase, for enhancing system performance, it is needed to
observe and evaluate the performance of students and instructors and such
situation causes to reveal a new concept Educational Data Mining. Research in
this area generally focuses on student performance. Thus, there is a need for
research in instructor performance. Research using machine learning combined
with attribute selection in the field of educational data mining have focused
on student performance in general, but few studies have focused on instructor
performance. In this paper, it was discussed how the performance of the
instructor can be determined by educational data mining methods. A Likert type
questionnaire dataset on opinions of the Gazi University’s student regarding
their instructor’s teaching performance is used in this research and different
feature reduction, and machine learning algorithms are used for evaluating the
data set and performances of instructors. According to the obtained results, it
has been revealed that the feature selection with genetic algorithm gives the
best result for the used data set compared to the other methods and 19
attributes can be used instead of 33 attributes. Utilizing genetic algorithm
and deep learning as a machine learning method has achieved a predictive
accuracy performance of 97.70 %, which is higher than the value that can be
achieved by using all the attributes. This study differs from the others in
that it combines the reduced number of attributes and machine learning, as well
as the ordering of instructor performances in concrete terms.

Keywords

Educational data mining, instructor performance, machine learning, feature selection, performance evaluation

Öznitelik Seçme ve Makine Öğrenmesi Yöntemleriyle Eğitmen Performansının Tahmin Edilmesi

Abstract

Günümüzde hayatın her sektöründe işlenen veri miktarının
artması, veri madenciliğin giderek daha popüler hale gelmesine yol açmış ve
yüksek miktarda verinin artan bir karmaşıklıkta işlenmesi ihtiyacı doğmuştur.
Finanstan, sağlığa, savunmadan eğitime onlarca sektörün sorunlarını çözmek
adına gün geçtikçe farklı yöntemler geliştirilmekte, sosyal, ekonomik, bilimsel
birçok problemin çözümü adına veri madenciliği yöntemlerine başvurulmaktadır.
Eğitilen ve eğiten sayısının gün geçtikçe arttığı eğitim sektöründe ise,
sistemin başarısının geliştirilebilmesi için, gerek eğitilen gerekse
eğitimcilerinin performanslarının takip edilmesi ve kıymetlendirilmesi
ihtiyacı, eğitimsel veri madenciliği kavramını doğurmuştur. Bu alanda yapılan
çalışmalar genel olarak, öğrenci performansı konularına yoğunlaştığından,
eğitmen performansı konusunda daha çok çalışmaya ihtiyaç duyulmaktadır.
Eğitimsel veri madenciliği alanında öznitelik seçme ile birleştirilmiş makine
öğrenmesi kullanan çalışmaların genel olarak öğrenci performansı üzerine
yoğunlaştığı, ancak az sayıdaki çalışmanın eğitmen performansı üzerinde durduğu
görülmüştür. Bu çalışmamızda, eğitmen performansının eğitimsel veri madenciliği
yöntemleriyle nasıl tespit edilebileceği üzerinde durulmuştur.  Çalışma kapsamında Gazi Üniversitesi
öğrencilerinin eğitmenleri hakkında doldurdukları bir Likert Ölçekli Anket veri
seti üzerinde çalışılmış, çeşitli öznitelik indirgeme algoritmaları ve farklı
makine öğrenme yöntemleriyle veri seti kıymetlendirilmiş ve eğitmenlerin
performansları tahmin edilmiştir. Elde edilen sonuçlara göre genetik algoritma
ile öznitelik seçmenin, kullanılan veri seti için diğer yöntemlere kıyasla en
iyi sonucu verdiğini göstermiş ve 33 tane öznitelik yerine 19 öznitelik
kullanılabileceği ortaya çıkarılmıştır. Genetik algoritma ile birlikte makine
öğrenmesi yöntemi olarak derin öğrenme kullanımı ile birlikte %97,70 bir tahmin
doğruluk performansına ulaşılmış ve bu değerin tüm özniteliklerin kullanılması
ile elde edilebilecek değerden yüksek olduğu görülmüştür. Bu çalışmayı
diğerlerinden farklı kılan özelliği ise, indirgenmiş öznitelik sayısı ve makine
öğrenmesini birleştirmesinin yanında, eğitmen performanslarının sıralanması
işlemini de somut olarak yapmasıdır.

Keywords

Eğitimsel veri madenciliği, eğitmen performansı, makine öğrenmesi, öznitelik seçme, performans kıymetlendirme

References

• Agaoglu, M. (2016). Predicting instructor performance using data mining techniques in higher education. IEEE Access, 4, 2379-2387.
• Ahmed, A. M., Rizaner, A., & Ulusoy, A. H. (2016). Using data mining to predict instructor performance. Procedia Computer Science, 102, 137-142.
• Andonie, R. (2010). Extreme data mining: Inference from small datasets. International Journal of Computers Communications & Control, 5(3), 280-291.
• Anwar, M., Naseer, A., & Ali, I. (2014). Identifying hidden patterns in students' feedback through cluster analysis. International Journal of Computer Theory and Engineering, 7, 16-20.
• Coburn, L. (1984). Student evaluation of teacher performance. Education Resources Information Center Publications.
• Cortez, P., & Silva, A. M. G. (2008). Using data mining to predict secondary school student performance. The European Multidisciplinary Society for Modelling and Simulation Technology.
• Delavari, N., Phon-Amnuaisuk, S., & Beikzadeh, M. R. (2008). Data mining application in higher learning institutions. Informatics in Education, 7(1), 31-54.
• Gunduz, G., & Fokoue, E. (2013). UCI machine learning repository [http://mlearn.ics.uci.edu/MLRepository.html]. Irvine, CA: University of California, School of Information and Computer Science.
• Han, J., Pei, J., & Kamber, M. (2011). Data mining: Concepts and techniques. Morgan Kaufmann.
• Hobson, S. M., & Talbot, D. M. (2001). Understanding student evaluations: What all faculty should know. College teaching, 49(1), 26-31.
• Karahan, Ş., & Akgül, Y. S. (2016). Eye detection by using deep learning. 24th International Conference on Signal Processing and Communication Application (SIU), 2145-2148, Izmir, Turkey.
• Koutina, M., & Kermanidis, K. L. (2011). Predicting postgraduate students’ performance using machine learning techniques. Advances in Information and Communication Technology, 364, 159-168.
• Marsh, H. W., & Roche, L. A. (1997). Making students' evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist, 52(11), 1187.
• Mendes, R. R. F., de Voznika, F. B., Freitas, A. A., & Nievola, J. C. (2001) Discovering fuzzy classification rules with genetic programming and co-evolution. Lecture Notes in Computer Science - Principles of Data Mining and Knowledge Discovery, 2168, 314-325.
• Minaei-Bidgoli, B., & Punch, W. F. (2003). Using genetic algorithms for data mining optimization in an educational web-based system. Lecture Notes in Computer Science, 2724, 2252-2263.
• Natek, S., & Zwilling, M. (2014). Student data mining solution–knowledge management system related to higher education institutions. Expert Systems with Applications, 41(14), 6400-6407.
• Oyedotun, O. K., Tackie, S. N., Olaniyi, E. O., & Khashman, A. (2015). Data mining of students' performance: Turkish students as a case study. International Journal of Intelligent Systems and Applications, 7(9), 20-27.
• Peña-Ayala, A. (2014). Educational data mining: A survey and a data mining-based analysis of recent works. Expert Systems with Applications, 41(4), 1432-1462.
• Radmacher, S. A., & Martin, D. J. (2001). Identifying significant predictors of student evaluations of faculty through hierarchical regression analysis. The Journal of Psychology, 135(3), 259-268.
• Romero, C., & Ventura, S. (2007). Educational data mining: A survey from 1995 to 2005. Expert Systems with Applications, 33(1), 135-146.
• Sanjay, S. S., & Keshav, B. B. (2017). Teacher’s performance analyzer. The International Journal on Emerging Trends in Technology, 4(1), 178- 180.
• Sorour, S. E., Goda, K., & Mine, T. (2015). Estimation of student performance by considering consecutive lessons. 4th International Congress on Advanced Applied Informatics (IIAI-AAI), 121-126, Okayama, Japan.
• Superby, J. F., Vandamme, J. P., & Meskens, N. (2006). Determination of factors influencing the achievement of the first-year university students using data mining methods. 8th International Conference on Intelligent Tutoring Systems, Educational Data Mining Workshop, 234-240, Jhongli, Taiwan.
• Theodoridis, S., & Koutroumbas, K. (2008). Pattern recognition. Academic Press.