A study on comparison of convex and non-convex penalized regression methods

Yıl 2024, Cilt: 26 Sayı: 1, 163 - 179, 19.01.2024

Murat Genç

https://doi.org/10.25092/baunfbed.1299583

Öz

In linear regression, penalized regression methods are used to obtain more accurate predictions depending on the structure of the data set. In addition, it is possible to determine the explanatory variables associated with the response variable by using penalized regression methods. In this study, the performances of ridge, LASSO, elastic net, adaptive LASSO convex penalized regression methods and SCAD and MCP non-convex penalized regression methods are compared depending on the properties of the true coefficient vector based on simulation studies. While the mean squared error on the test set is used to compare the prediction performance of the models based on the methods, the false classification rate, false positive rate and active set sizes are obtained to compare the performance of the methods in variable selection. According to the simulation studies, it has been observed that the structure of the true coefficient vector has a remarkable effect on the performance of the models created by convex and non-convex penalized regression methods.

Anahtar Kelimeler

Linear Regression, LASSO, SCAD, MCP, Multicollinearity

Konveks ve konveks olmayan cezalı regresyon yöntemlerinin karşılaştırılması üzerine bir çalışma

Öz

Doğrusal regresyonda cezalı regresyon yöntemleri veri kümesinin yapısına bağlı olarak ön tahminde daha doğru sonuçlar elde edilmesi için kullanılır. Ayrıca cezalı regresyon yöntemleri kullanılarak yanıt değişken ile ilişkili olan açıklayıcı değişkenlerin tespiti mümkündür. Bu çalışmada ridge, LASSO, elastik net, uyarlamalı LASSO konveks cezalı regresyon yöntemleri ile SCAD ve MCP konveks olmayan cezalı regresyon yöntemlerinin gerçek katsayı vektörünün özelliklerine bağlı olarak performansları simülasyon çalışmaları ile karşılaştırılmıştır. Yöntemlere dayalı olarak oluşturulan modellerin ön tahmin performansının karşılaştırılması için test kümesi hata kareler ortalaması kullanılırken yöntemlerin değişken seçimindeki performanslarının karşılaştırılması için yanlış sınıflama oranı, yanlış pozitif oranı ve aktif küme büyüklükleri elde edilmiştir. Simülasyon çalışmalarına göre gerçek katsayı vektörünün yapısının konveks ve konveks olmayan cezalı regresyon yöntemleri ile oluşturulan modellerin performansı üzerinde kayda değer bir etkisinin olduğu görülmüştür.

Anahtar Kelimeler

Doğrusal regresyon, LASSO, SCAD, MCP, Çoklu İç İlişki

Kaynakça

• Hoerl, A.E., Kennard, R.W., Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 1970;12(1):55-67.
• Rao, C.R., Toutenburg, H., Linear models: Springer; 1995.
• Sarkar, N., A new estimator combining the ridge regression and the restricted least squares methods of estimation. Communications in Statistics-Theory and Methods, 1992;21(7):1987-2000.
• Miller, A., Subset Selection in Regression: CRC Press; 2002.
• Breiman, L., Better subset regression using the nonnegative garrote. Technometrics, 1995;37(4):373-384.
• Frank, L.E., Friedman, J.H., A statistical view of some chemometrics regression tools. Technometrics. 1993;35(2):109-135.
• Tibshirani, R., Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological). 1996;58(1):267-288.
• Zou, H., Hastie, T., Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: series B (Methodological). 2005;67(2):301-320.
• Zou, H., The adaptive lasso and its oracle properties. Journal of the American Statistical Association. 2006;101(476):1418-1429.
• Fan, J., Li, R., Variable selection via nonconcave penalized likelihood and its oracle properties. Journal of the American Statistical Association. 2001;96(456):1348-1360.
• Meinshausen, N., Yu, B., Lasso-type recovery of sparse representations for high-dimensional data. The Annals of Statistics. 2009;37(1):246-270.
• Johnstone, I.M., Titterington, D.M., Statistical challenges of high-dimensional data. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 2009;367(1906):4237-4253.
• Shahriari, S., Faria, S., Gonçalves A.M., Variable selection methods in high-dimensional regression—A simulation study. Communications in Statistics-Simulation and Computation. 2015;44(10):2548-2561.
• Ahmed, S.E., Kim, H., Yıldırım, G., Yüzbaşı, B., High-Dimensional Regression Under Correlated Design: An Extensive Simulation Study. International Workshop on Matrices and Statistics, Springer. 2016:145-175.
• Genç, M., Bir Simülasyon Çalışması ile Cezalı Regresyon Yöntemlerinin Karşılaştırılması. Bilecik Şeyh Edebali Üniversitesi Fen Bilimleri Dergisi. 2022;9(1):80-91.
• Genç, M., Özbilen, Ö., The Effect of the Second Stage Estimator on Model Performance in Post-LASSO Method. Turkish Journal of Science and Technology. 2023;18(2):319-330.
• Hastie, T., Tibshirani, R., Friedman, J., The elements of statistical learning. New York: Springer series in statistics; 2001.
• Efron, B., Hastie, T., Johnstone, I., Tibshirani R., Least angle regression. The Annals of Statistics. 2004;32(2):407-499.
• Boyd, S., Parikh, N., Chu, E., Peleato, B., Eckstein, J., Distributed optimization and statistical learning via the alternating direction method of multipliers. Foundations and Trends in Machine learning. 2011;3(1):1-122.
• Friedman, J., Hastie, T., Tibshirani, R., Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software. 2010;33(1):1-22.
• Zhang, C.H., Nearly unbiased variable selection under minimax concave penalty. The Annals of Statistics. 2010;38(2):894-942.
• Zou, H., Li, R., One-step sparse estimates in nonconcave penalized likelihood models. The Annals of Statistics. 2008;36(4):1509-1533.
• Breheny, P., Huang, J., Coordinate descent algorithms for nonconvex penalized regression, with applications to biological feature selection. The Annals of Applied Statistics. 2011;5(1):232-253.
• Hussami, N., Tibshirani, R., A component lasso. Canadian Journal of Statistics. 2015;43(4):624-646.
• Genç, M., Özkale, M. R., Regularization and variable selection with triple shrinkage in linear regression: a generalization of lasso. Communications in Statistics-Simulation and Computation. 2023.
• Genç, M., Özkale, M. R., Usage of the GO estimator in high dimensional linear models. Computational Statistics. 2021;36(1):217-239.
• Jiang, Y., Variable selection with prior information for generalized linear models via the prior lasso method. Journal of the American Statistical Association. 2016;111(513):355-376.
• Yuan, M., Lin, Y., Model selection and estimation in regression with grouped variables. Journal of the Royal Statistical Society: Series B (Statistical Methodology). 2006;68(1):49-67.
• Tibshirani, M., Saunders, M., Rosset, S., Zhu, J., Knight, K., Sparsity and smoothness via the fused lasso. Journal of the Royal Statistical Society: Series B (Statistical Methodology). 2005;67(1): 91-108.