Kullanılabilirlik Sezgiselleri ile Problemlerinin İlişkilendirilmesi: Makine Öğrenmesi Kullanımı

Year 2021, Issue: 26 - Ejosat Special Issue 2021 (HORA), 47 - 52, 31.07.2021

Aycan Pekpazar , Çiğdem Altın Gümüşsoy

https://doi.org/10.31590/ejosat.946150

Abstract

Kullanılabilirlik, müşteri memnuniyeti ve marka sadakati üzerinde önemli etkisi olan ve kullanıcı arayüzlerinin ne kadar kullanıcı dostu olduğunu gösteren önemli bir faktördür. Bu sebeple arayüzlerin ve sistemlerin tasarım, geliştirme ve denetimleri aşamasında kullanılabilirlik problemlerinin tespit edilebilmesi için pek çok yöntem geliştirilmiştir. Kullanılabilirlik değerlendirme yöntemlerinden bir tanesi de sezgisel değerlendirme yöntemidir. Uzmanlar tarafından gerçekleştirilen sezgisel değerlendirme, genel kullanılabilirlik prensipleri olarak tanımlanan sezgisellere dayalı bir yöntemdir. Sezgisel değerlendirme süreçlerinde kullanılacak sistemlere özgü sezgisellerin geliştirilmesi ise uzman görüşlerine dayalı uzun ve zorlu bir süreçtir. Makine öğrenmesi ve yapay zekâ teknolojileri pek çok alanda olduğu gibi kullanılabilirlik alanında da yeni sezgisellerin geliştirilmesi ile ilgili süreçlerin otomasyonu konusunda kullanılabilir. Bu çalışmanın amacı kullanılabilirlik problemlerine dayalı olarak yeni sezgisel geliştirme süreçlerini etkinleştirmek için veri madenciliği ve makine öğrenmesi tekniklerinin kullanılmasıdır. Bu amaçla Türkiye’nin önde gelen dijital platformlarından birisi olan Digitürk’ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 kayıt temin edilmiştir ve kayıtlar incelenerek toplamda 2752 kullanılabilirlik problemi belirlenmiştir. Elde edilen kullanılabilirlik problemleri literatürde yaygın bir şekilde kullanılan Nielsen’in on sezgiseli ile eşleştirilmiştir. Çalışma kapsamında öncelikle kullanılabilirlik problemlerinin kullanılabilirlik sezgiselleri açısından belirli örüntülere sahip olup olmadığı ilişkilendirme kuralları tekniği ile araştırılmıştır. Ayrıca kullanılabilirlik problemlerinin sezgisellerle eşleştirilmeleri çeşitli makine öğrenmesi algoritmaları (naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri) yardımıyla tahmin edilmiştir. Sınıflandırıcıların validasyonu için tekrarlı holdout tekniği kullanılmıştır. Veri seti farklı eğitim/test oranlarına (50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10, 95:5) bölünmüş ve modellerin performansları doğruluk oranı ve F1-skor metrikleri kullanılarak karşılaştırılmıştır. Çalışma sonucunda sınıflandırma algoritmalarının doğruluk oranları %90’ın üzerinde, F1-skor değerleri de genel olarak %75 değerinin üzerinde gerçekleşmiştir. Sınıflandırma algoritmaları arasında gradyan artırma ağaçlarının diğer algoritmalara göre daha iyi performans sergilediği gözlemlenmiştir.

Keywords

TV, Set üstü cihaz, Kullanılabilirlik sezgiselleri, Makine öğrenmesi, Veri madenciliği.

Supporting Institution

TÜBİTAK

Project Number

217M143

Thanks

Bu çalışma Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) tarafından TÜBİTAK 3001 programı ile desteklenmiştir (Proje numarası: 217M143, 2018). TÜBİTAK’a katkılarından dolayı teşekkür ederiz.

Association between Usability Heuristics and Problems: Use of Machine Learning

Abstract

Usability is an important factor showing that how user-friendly user interfaces are and it has a significant impact on customer satisfaction and brand loyalty. For this reason, many methods have been developed to identify usability problems during the design, development, and evaluation of user interfaces and systems. One of these usability evaluation methods is the heuristic evaluation method. Heuristic evaluation performed by experts is a method based on heuristics defined as general usability principles. The development of system-specific heuristics to be used in heuristic evaluation processes is a long and challenging process based on expert opinions. Machine learning and artificial intelligence technologies can be used in usability evaluation to automate the processes related to the development of new heuristics as used in many areas. This study aims to use data mining and machine learning techniques to make new heuristic development processes based on usability problems efficiently. Therefore, 3695 problems of a TV and set-top box interface determined by the software developers were obtained from Digiturk, which is one of Turkey's leading digital platforms. By examining the problems obtained, in total 2752 usability problems were determined. The usability problems were mapped with Nielsen's ten heuristics, which are widely used in the literature. Firstly, whether the usability problems have certain patterns in terms of usability heuristics was investigated with the association rules technique. Furthermore, the mappings of usability problems with heuristics were predicted using various machine learning algorithms (naive bayes, logistic regression, fast large margin, deep learning, random forest, gradient boosted trees, support vector machines techniques). The repeated holdout technique was used for the validation of classifiers. The data set was split into different training / test ratios (50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10, 95:5) and the performance of the models were compared using accuracy rate and F1-score metrics. As a result of the study, the accuracy rates of the classification algorithms were above 90%, and the F1-score values were generally above 75%. Among the classification algorithms, gradient boosted trees generally perform better than the other algorithms.

Keywords

TV, Set-top box, Usability heuristics, Machine learning, Data mining.

Project Number

217M143

References

• Boza, B. C., Schiaffino, S., Teyseyre, A., & Godoy, D. (2014). An approach for knowledge discovery in a web usability context. In Proceedings of the 13th Brazilian Symposium on Human Factors in Computing Systems, 393-396.
• Chamba-Eras, L., Jacome-Galarza, L., Guaman-Quinche, R., Coronel-Romero, E., & Labanda-Jaramillo, M. (2017, April). Analysis of usability of universities Web portals using the Prometheus tool-SIRIUS. In 2017 Fourth International Conference on eDemocracy & eGovernment (ICEDEG), IEEE, 195-199.
• Dökeroğlu, T., Malık, Z. M. M., & Shadi, A. S.(2018). Gözetimsiz Makine Öğrenme Teknikleri ile Miktara Dayalı Negatif Birliktelik Kural Madenciliği. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 6(4), 1119-1138.
• El-Halees, A. M. (2014). Software Usability Evaluation Using Opinion Mining. JSW, 9(2), 343-349.
• Etemadi, V., Bushehrian, O., & Akbari, R. (2017). Association rule mining for finding usability problem patterns: A case study on StackOverflow. In 2017 International Symposium on Computer Science and Software Engineering Conference (CSSE), IEEE, 24-29.
• González, M. P., Granollers, T., & Lorés, J. (2006). A hybrid approach for modelling early prototype evaluation under user-centred design through association rules. In International Workshop on Design, Specification, and Verification of Interactive Systems, Springer, Berlin, Heidelberg, 213-219.
• González, M. P., Lorés, J., & Granollers, A. (2008). Enhancing usability testing through datamining techniques: A novel approach to detecting usability problem patterns for a context of use. Information and software technology, 50(6), 547-568.
• Han, J., Kamber, M., & Pei, J. (2011). Data mining concepts and techniques third edition. The Morgan Kaufmann Series in Data Management Systems, 83-124.
• Hermawati, S., & Lawson, G. (2015). A User-Centric Methodology to Establish Usability Heuristics for Specific Domains. In Proceedings of the International Conference on Ergonomics & Human Factors, (pp. 80-85). Northamptonshire, UK: April 13-16.
• Hub, M., & Capkova, V. (2010). Heuristic Evaluation of Usability of Public Administration Portal. In Proceedings of the International Conference on Applied Computer Science, (pp. 234–239). The Netherlands: University of Amsterdam, May 31-June 2.
• ISO (1998). Ergonomic Requirements for Office Work with Visual Display Terminals (VDTs). Part 11: Guidance on Usability (ISO 9241-11:1998). Retrieved from https://www.iso.org/standard/16883.html
• Ivory, M. Y., & Hearst, M. A. (2001). The state of the art in automating usability evaluation of user interfaces. ACM Computing Surveys (CSUR), 33(4), 470-516.
• Jimenez, C., Allende Cid, H., & Figueroa, I. (2017). PROMETHEUS: PROcedural and METhodology for developing HEuristics of Usability. IEEE Latin America Transactions, 15(3), 541–549. https:// doi.org/10.1109/TLA.2017.7867606
• Kaya, A., Gumussoy, C. A., Ekmen, B., & Bayraktaroglu, A. E. (2021). Usability heuristics for the set‐top box and TV interfaces. Human Factors and Ergonomics in Manufacturing & Service Industries, 31(3), 270-290.
• Kılınç, D., Borandağ, E., Yücalar, F., Tunalı, V., Şimşek, M., & Özçift, A. (2016). KNN algoritması ve r dili ile metin madenciliği kullanılarak bilimsel makale tasnifi. Marmara Fen Bilimleri Dergisi, 28(3), 89-94.
• Nielsen, J., & Molich, R. (1990). Heuristic Evaluation of User Interfaces. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, (pp. 249–256). Washington, USA. https://doi.org/10.1145/97243. 97281
• Nielsen, J. (1993). Usability Engineering, Academic Press.
• Nielsen, J. (1994). How to Conduct a Heuristic Evaluation. Retrieved August 8, 2020, from https://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/
• Nielsen, J. (1995). 10 Usability Heuristics for User Interface Design. Retrieved August 10, 2020, from http:// www.nngroup.com/articles/ten-usability-heuristics/
• Oztekin, A., Delen, D., Turkyilmaz, A., & Zaim, S. (2013). A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems, 56, 63-73.
• Quinones, D., & Rusu, C. (2017). How to Develop Usability Heuristics: A Systematic Literature Review. Computer Standards & Interfaces, 53, 89–122. https://doi.org/10.1016/j.csi.2017.03.009
• Quinones, D., Rusu, C., & Rusu, V. (2018). A Methodology to Develop Usability/User Experience Heuristics. Computer Standards & Interfaces, 59, 109–129. https://doi.org/10.1016/j.csi.2018.03.002
• Rusu, C., Roncagliolo, S., Rusu, V., & Collazos, C. (2011). A Methodology to Establish Usability Heuristics. In Proceedings of the Fourth International Conferences on Advances in Computer–Human Interactions (ACHI 2011), (pp. 59–62). Gosier, Guadeloupe, France: February 23-28.
• Sagar, K., & Saha, A. (2016). Enhancing usability inspection through data-mining techniques: an automated approach for detecting usability problem patterns of academic websites. In International Conference on Intelligent Human Computer Interaction, Springer, Cham, 229-247.
• Srikant, R., & Agrawal, R. (1995). Mining generalized association rules. In 21st VLDB Conference Zurich, Switzerland, 407-419.
• Wu, M., Wang, L., Li, M., & Long, H. (2014). An approach of product usability evaluation based on Web mining in feature fatigue analysis. Computers & Industrial Engineering, 75, 230-238.