The use of Catboost algorithm in real estate valuation: A comparative analysis with Bayesian hyperparameter optimization

Year 2025, Volume: 14 Issue: 2, 668 - 679, 15.04.2025

Berra Nur Tunç , Ümit Haluk Atasever

Abstract

In real estate valuation, machine learning models enable objective, scientific, and rapid predictions. This study aimed to determine the most consistent and accurate model for real estate valuation using various machine learning models with hyperparameter optimization. Specifically, CatBoost regression stands out as a modern model developed to meet contemporary machine learning needs, offering high accuracy and speed. In addition to CatBoost, Support Vector Regression, Lasso Regression, Decision Tree Regression, and AdaBoost Regression were also evaluated. For experimental calculations, a dataset comprising various attributes and prices of 506 properties collected in Boston was used. When error metrics were compared, the optimized CatBoost regression demonstrated the highest performance among all models. Particularly, it provided more accurate predictions than other methods in the literature, establishing itself as a standout approach in real estate valuation studies. Support Vector Regression, on the other hand, exhibited relatively lower success.

Keywords

Real Estate Valuation, Machine Learning Models, CatBoost Regression, Hyperparameter Optimization

CatBoost algoritmasının taşınmaz değerlemede kullanımı: Bayesian hiperparametre optimizasyonu ile karşılaştırmalı analiz

Abstract

Taşınmaz değerlemede, makine öğrenimi modelleri kullanılarak objektif, bilimsel ve hızlı tahminler elde edilmektedir. Bu çalışmada, hiperparametre optimizasyonu yapılmış farklı makine öğrenimi modelleri kullanılarak taşınmaz değerlemede en tutarlı ve başarılı sonucu veren model belirlenmiştir. Özellikle CatBoost regresyonu, modern makine öğrenimi ihtiyaçlarına uygun olarak geliştirilmiş, yüksek doğruluk ve hız sunan bir model olarak ön plana çıkmaktadır. Çalışmada CatBoost’un yanı sıra Destek Vektör Regresyonu, Lasso Regresyonu, Karar Ağaçları Regresyonu ve AdaBoost Regresyonu da değerlendirilmiştir. Deneysel hesaplamalar için Boston şehrinde toplanmış 506 konutun çeşitli öznitelikleri ve fiyatlarına sahip bir veri seti kullanılmıştır. Hata metrikleri karşılaştırıldığında, optimize edilmiş CatBoost regresyonu, tüm modeller arasında en yüksek performansı göstermiştir. Özellikle, literatürdeki diğer yöntemlere kıyasla daha başarılı tahminler sunarak, taşınmaz değerleme çalışmalarında öne çıkmıştır. Destek Vektör Regresyonu ise nispeten daha düşük başarı sergilemiştir.

Keywords

Taşınmaz Değerleme, Makine Öğrenimi Modelleri, CatBoost Regresyonu, Hiperparametre Optimizasyonu

References

• B. Demirel, A. Yelek, H. M. Alağaş ve T. Eren, Taşınmaz değerleme kriterlerinin belirlenmesi ve kriterlerin önem derecelerinin çok ölçütlü karar verme yöntemi ile hesaplanması, Kırıkkale Üniversitesi Sosyal Bilimler Dergisi, 8 (2), 665-682,2018.
•   S. Yalpır, "Enhancement of parcel valuation with adaptive artificial neural network modeling," Artificial Intelligence Review, cilt 49, ss. 393–405, 2018.
•   P. Çakır ve F. A. Sesli, Arsa vasıflı taşınmazların değerine etki eden faktörlerin ve bu faktörlerin önem sıralarının belirlenmesi. Harita Teknolojileri Elektronik Dergisi, 5(3), 1-16, 2013.
•   M. Türkan, A. Bozdağ, A. E. Karkınlı ve A. G. Ulucan, Kent ölçeğinde konutlara ilişkin toplu değer değişiminin makine öğrenim algoritmaları ile analizi. Türkiye Arazi Yönetimi Dergisi, 5(2), 66-77, 2023. https://doi.org/10.51765/tayod.1275671
•   N. Chuhan, House price prediction based on different models of machine learning, Applied and Computational Engineering, 49, 47-57, 2024. https://doi.org/10.54254/2755-2721/49/20241058
•   A. Hazer, A. Bozdağ ve Ü. H. Atasever, Hiper-optimize edilmiş makine öğrenim teknikleri ile taşınmaz değerlemesi, Yozgat Kenti örneği, Geomatik, 9(3), 299-312, 2024. https://doi.org/10.29128/geomatik.1454915
•   W. Yijia and Z. Qiaotong, House price prediction based on machine learning: A Case of King County, Proceedings of the 2022 7th International Conference on Financial Innovation and Economic Development, Atlantis Press, pp. 1547-1555, 2022.
•   K. Baur, M. Rosenfelder, B. Lutz, Automated real estate valuation with machine learning models using property descriptions, Expert Systems with Applications, Vol 213, Part C, 119147, 2023. https://doi.org/10.1016/j.eswa.2022.119147
•   M. Hernes, P. Tutak, M. Nadolny, A. Mazurek, Real estate valuation using machine learning, Procedia Computer Science, Vol 246, Pages 4592-4599, 2024. https://doi.org/10.1016/j.procs.2024.09.323
• P. Jafary, D. Shojaei, A. Rajabifard, T. Ngo, Automated land valuation models: A comparative study of four machine learning and deep learning methods based on a comprehensive range of influential factors, Cities, Vol 151, 105115, 2024. https://doi.org/10.1016/j.cities.2024.105115
• K. Konhauser, T. Werner, Uncovering the financial impact of energy-efficient building characteristics with eXplainable artificial intelligence, Applied Energy, Vol 374, 123960, 2024. https://doi.org/10.1016/j.apenergy.2024.123960
• U. Grzybowska, H. Dudek, A. Wojewódzka-Wiewiórska, Socioeconomic factors associated with household overcrowding in the Visegrad Group countries – analysis based on machine learning approach, Procedia Computer Science, Vol 246, Pages 4441-4450, 2024. https://doi.org/10.1016/j.procs.2024.09.294
• Kalliola, J., Kapočiūtė-Dzikienė, J., and Damaševičius, R., Neural network hyperparameter optimization for prediction of real estate prices in Helsinki, PeerJ computer science, 7, 444, 2021.
• A. Ç. Aydınoğlu ve R. Bovkır, İ. Çölkesen, Toplu taşınmaz değerlemede makine öğrenme algoritmalarının kullanımı ve konumsal/konumsal olmayan özniteliklerin tahmin doğruluğuna etkilerinin karşılaştırılması, Journal of Geodesy and Geoinformation, Vol. 10, 63-83, 2023.
• Boston şehrine ait veri seti. https://www.kaggle.com/datasets/schirmerchad/bostonhoustingmlnd
• A. Coşkuner, Gayrimenkul Yatırım Ortaklıklarında Kârlılık Belirleyicilerinin Veri Madenciliği Yöntemleri İle Tahminlemesi, Ankara, 2024.
• A. Dorogush, V. Ershov, A. Gulin, CatBoost: gradient boosting with categorical features support, 2018. https://doi.org/10.48550/arXiv.1810.11363
• L. Prokhorenkova, G. Gusev, A. Vorobev, A.V. Dorogush and A. Gulin, CatBoost: unbiased boosting with categorical features, Proceedings of the 32nd International Conference on Neural Information Processing Systems, Curran Associates Inc., pp. 6639–6649, Montréal, Canada, 2018.
• H. Nasiri, A. Tohry and H. R. Heidari, Modeling industrial hydrocyclone operational variables by SHAP-CatBoost - A “conscious lab” approach, Powder Technology, 420, 2023. https://doi.org/10.1016/j.powtec.2023.118416
• C. Cortes, V. Vapnik, Support-Vector Networks, Machine Learning, 20, 273-297, 1995. https://doi.org/10.1007/BF00994018
• A.J. Smola, B. Schölkopf, A tutorial on support vector regression, Statistics and Computing, 14, 199–222,(2004). https://doi.org/10.1023/B:STCO.0000035301.49549.88
• G. James, D. Witten, T. Hastie and R. Tibshirani, An Introduction to Statistical Learning, 2013.
• M. Apaydın, M. Yumuş, A. Değirmenci, ve Ö. Karal, Evaluation of air temperature with machine learning regression methods using Seoul City meteorological data, Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 28 (5),737–747, 2022.
• S. Rosset, H. Zou, T. Hastie, Multi-class AdaBoost, Statistics and its interface, 2(3), 2006. https://doi.org/10.4310/SII.2009.v2.n3.a8
• T. T. Joy, S. Rana, S. Gupta and S. Venkatesh, Hyperparameter tuning for big data using Bayesian optimization, 23rd International Conference on Pattern Recognition (ICPR), 2574-2579, 2016.
• Feurer, M., Springenberg, J., ve Hutter, F., Initializing bayesian hyperparameter optimization via metalearning, In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 29, No. 1, 2015.
• M. Khosravi, S. B. Arif, A. Ghaseminejad, H. Tohidi, H. Shabanian, Performance evaluation of machine learning regressors for estimating, Real Estate House Prices. Preprints 2022. https://doi.org/10.20944/preprints202209.0341.v1
• A. Anghel, N. Papandreou, T. P. A. de Palma and H. Pozidis, Benchmarking and optimization of gradient boosting decision tree algorithms, Workshop on Systems for ML and Open Source Software at NeurIPS, Canada, 2018. https://doi.org/10.48550/arXiv.1809.04559
• L. Yang and A. Shami, On hyperparameter optimization of machine learning algorithms: theory and practice, Neurocomputing, 2022. https://doi.org/10.48550/arXiv.2007.15745
• K. Šehić, A. Gramfort, J. Salmon and L. Nardi, LassoBench: A high-dimensional hyperparameter optimization benchmark suite for lasso, AutoML Conference,2022. https://doi.org/10.48550/arXiv.2111.02790
• A. Duran ve H. Bakır, Hiperparametreleri ayarlanmış makine öğrenimi algoritmalarını kullanarak android sistemlerde kötü amaçlı yazılım tespiti, USBTU 2(1): 1-19, 2023.
• R. Gao and Z. Liu, An Improved adaboost algorithm for hyperparameter optimization, Journal of Physics: Conference Series, Vol. 1631, 2020.