X-ışını görüntülerinden omuz implantlarının tespiti ve sınıflandırılması: YOLO ve önceden eğitilmiş evrişimsel sinir ağı tabanlı bir yaklaşım

Yıl 2022, Cilt: 37 Sayı: 1, 283 - 294, 10.11.2021

Abdulkadir Karacı

https://doi.org/10.17341/gazimmfd.888202

Cited By: 6

Öz

Omuz implantları yerleştirildikten belirli bir süre sonra değiştirilmelidir. Ancak bu değişim sırasında implant üreticisini veya modelini belirlemek tıbbi uzmanlar için genellikle hataya açık ve zor bir işlemdir. Bu çalışmanın amacı 597 adet omuz implantı X-ışını görüntülerinden 4 farklı implant üreticisini tespit etmektir. Bu amaçla hem önceden eğitilmiş ESA mimarileri (DenseNet201, DenseNet169, InceptionV3, NasNetLarge, VGG16, VGG19 ve Resnet50) hem de bu mimarilerin YOLOv3 tespit algoritmasıyla beslendiği kademeli modeller oluşturulmuş ve bu modellerin sınıflandırma performansları karşılaştırılmıştır. Kademeli modellerdeki YOLOv3 tespit algoritmasının görevi omuz implantlarının baş bölgesini tespit ederek bu bölgeyi ESA mimarilerine giriş olarak vermektir. Bunun yanı sıra geleneksel makine öğrenmesi yöntemleri topluluk (Ensemble) öğrenme yöntemi ile birleştirilerek veri seti üzerindeki performansları ortaya konulmuştur. En yüksek sınıflandırma performansı %84,76 doğruluk oranıyla kademeli DenseNet201 modelinde elde edilmiştir. Bu oran literatürde benzer veri setini kullanan başka bir çalışmaya göre daha yüksektir. Topluluk modellerin sınıflandırma doğruluğu ise önemli ölçüde ESA modellerinden daha düşüktür. Ayrıca YOLO destekli kademeli modellerin sınıflandırma doğruluğu bireysel ESA modellerinden daha yüksektir. Yani, YOLOV3 tespit algoritması ile implantın baş bölgesine odaklanmak sınıflandırma doğruluğunu artırmıştır. Bu yöntem bu alanda yapılacak sonraki çalışmalara ilham verecektir.

Anahtar Kelimeler

Omuz implantı, derin öğrenme, evrişimsel sinir ağları, nesne tespiti

Kaynakça

• 1. Biron, D.R., Sinha, I., Kleiner, J.E., et al., A Novel machine learning model developed to assist in patient selection for outpatient total shoulder arthroplasty, The Journal of the American Academy of Orthopaedic Surgeons, 28(13), 580-585, 2020. doi: 10.5435/JAAOS-D-19-00395
• 2. Urban, G., Porhemmat, S., Stark, M., Feeley, B., Okada, K., Baldi, P., Classifying shoulder implants in X-ray images using deep learning, Computational and Structural Biotechnology Journal, 18, 967–972, 2020. doi: 10.1016/j.csbj.2020.04.005
• 3. McFarland, E.G., Sanguanjit, P., Tasaki, A., Keyurapan, E., Fishman, E.K., Fayad, L.M., The reverse shoulder prosthesis: A review of imaging features and complications, Skeletal Radiology, 35, 488–496, 2006. doi: 10.1007/s00256-006-0109-1
• 4. Yi, P.H., Kim, T.K., Wei, J., et al., Automated detection and classification of shoulder arthroplasty models using deep learning, Skeletal Radiology, 49(10), 1623–1632, 2020. doi: 10.1007/s00256-020-03463-3
• 5. Malathy, C., Sharma, U., Naidu, C.M., Pratheebha, U.U., A new approach for recognition of implant in knee by template matching, Indian Journal of Science and Technology, 9(37), 1-5, 2016. doi: 10.17485/ijst/2016/v9i37/102081
• 6. Borjali, A., Chen, A.F., Muratoglu, O.K., Morid, M.A., Varadarajan, K.M., Detecting total hip replacement prosthesis design on plain radiographs using deep convolutional neural network, Journal of Orthopaedic Research, 38, 1465–1471, 2020. doi: 10.1002/jor.24617
• 7. Wilson, N.A., Jehn, M., York, S., Davis, C.M., Revision total hip and knee arthroplasty implant identification: Implications for use of unique device identification 2012 AAHKS member survey results, Journal of Arthroplasty, 29 (2), 251–255, 2014. doi: 10.1016/j.arth.2013.06.027
• 8. Yi, P.H., Wei, J., Kim, T.K., et al., Automated detection & classification of knee arthroplasty using deep learning, Knee, 27(2), 535–542, 2020. doi: 10.1016/j.knee.2019.11.020
• 9. Baldi, P., Deep Learning in Biomedical Data Science, Annual Review of Biomedical Data Science, 1 (1), 181–205, 2018. doi: 10.1146/annurev-biodatasci-080917-013343
• 10. Yıldız, O., Melanoma detection from dermoscopy images with deep learning methods: A comprehensive study, Journal of the Faculty of Engineering and Architecture of Gazi University, 34(4), 2241–2260, 2019. doi: 10.17341/gazimmfd.435217
• 11. Ghose, S. , Datta, S. , Batta, V. , Malathy, C., Gayathri, M., Artificial Intelligence based identification of Total Knee Arthroplasty Implants, 2020 3rd International Conference on Intelligent Sustainable Systems (ICISS), Thoothukudi-India, 302–307, 3-5 December, 2020. doi: 10.1109/ICISS49785.2020.9315956
• 12. Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q., Densely connected convolutional networks, Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu-USA, 2261-2269, 21-26 July, 2017. doi: 10.1109/CVPR.2017.243
• 13. Szegedy, C., Liu, W., Jia, Y., et al., Going deeper with convolutions, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston-USA, 1–9, 7-12 June, 2015. doi: 10.1109/CVPR.2015.7298594
• 14. Zoph, B., Vasudevan, V., Shlens, J., Le, Q. V., Learning transferable architectures for scalable image recognition, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake-USA, 8697–8710, 18-23 June, 2018. doi: 10.1109/CVPR.2018.00907
• 15. Simonyan, K., Zisserman, A., Very deep convolutional networks for large-scale image recognition, 3rd International Conference on Learning Representations, ICLR 2015 - Conference Track Proceedings, San Diego-USA, 1–14, 7-9 May, 2015.
• 16. He, K., Zhang, X., Ren, S., Sun, J., Deep residual learning for image recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas-USA, 770–778, 27-30 June, 2016. doi: 10.1109/CVPR.2016.90
• 17. Redmon, J., Divvala, S., Girshick, R., Farhadi, A., You Only Look Once: Unified, Real-Time Object Detection, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas-USA, 779-788, 27-30 June, 2016, doi: 10.1109/CVPR.2016.91.
• 18. Redmon, J., Farhadi, A., YOLOv3: An incremental improvement, arXiv preprint arXiv:1804.02767, 2018.
• 19. Aktaş, A., Doğan, B., Demir, Ö., Tactile paving surface detection with deep learning methods, Journal of the Faculty of Engineering and Architecture of Gazi University, 35(3), 1685–1700, 2020.
• 20. Loey, M., Manogaran, G., Taha, M.H.N., Khalifa, N.E.M., Fighting against COVID-19: A novel deep learning model based on YOLO-v2 with ResNet-50 for medical face mask detection, Sustainable Cities and Society, 65, 1-8, 2021.
• 21. An, W., Wang, H., Sun, Q., Xu, J., Dai, Q., Zhang, L., A PID controller approach for stochastic optimization of deep networks, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake-USA, 8522–8531, 18-23 June, 2018. doi: 10.1109/CVPR.2018.00889
• 22. Maas, A.L., Qi, P., Xie, Z., et al., Building DNN acoustic models for large vocabulary speech recognition, Computer Speech and Language, 41, 195–213, 2017. doi: 10.1016/j.csl.2016.06.007
• 23. Karaci, A., Yaprak, H., Ozkaraca, O., Demir, I., Simsek, O.: ‘Estimating the properties of ground-waste-brick mortars using DNN and ANN, CMES - Computer Modeling in Engineering and Sciences, 118 (1), 207–228, 2019. doi: 10.31614/cmes.2019.04216
• 24. Mahmud, T., Rahman, M.A., Fattah, S.A., CovXNet: A multi-dilation convolutional neural network for automatic COVID-19 and other pneumonia detection from chest X-ray images with transferable multi-receptive feature optimization, Computers in Biology and Medicine, 122, 2020. doi: 10.1016/j.compbiomed.2020.103869
• 25. Arı, A., Hanbay, D., Tumor detection in MR images of regional convolutional neural networks, Journal of the Faculty of Engineering and Architecture of Gazi University, 34(3), 1395–1408, 2018.
• 26. Ahamad, M.M., Aktar, S., Rashed-Al-Mahfuz, M., et al., A machine learning model to identify early stage symptoms of SARS-Cov-2 infected patients, Expert Systems with Applications, 160, 2020. doi: 10.1016/j.eswa.2020.113661
• 27. Altman, D.G., Bland, J.M., Statistics Notes: Diagnostic tests 1: sensitivity and specificity, BMJ, 308 (6943), 1552–1552, 1994. doi: doi.org/10.1136/bmj.308.6943.1552
• 28. Ozturk, T., Talo, M., Yildirim, E.A., Baloglu, U.B., Yildirim, O., Rajendra Acharya, U., Automated detection of COVID-19 cases using deep neural networks with X-ray images, Computers in Biology and Medicine, 121, 2020. doi: 10.1016/j.compbiomed.2020.103792