ShoppingTotal: Raf Etiketi Görüntülerinden Akıllı Fiyat Tespiti için Desteklenmiş Rekognition Algoritması Kullanan Mobil Uygulama

Year 2024, Volume: 6 Issue: 1, 57 - 74, 30.06.2024

Zuhal Can

https://doi.org/10.53694/bited.1470771

Abstract

ShoppingTotal, raf etiketi görselleri aracılığıyla alışveriş bütçesini izlemeye yönelik bir mobil uygulamadır. Alışveriş yapanlar, ShoppingTotal uygulamasını kullanarak ürünün raf etiketi görselini yakalayarak ürün bilgilerine ulaşabilir, mevcut alışverişin toplam tutarını ve önceki alışveriş listelerinin geçmişini görüntüleyebilir. ShoppingTotal uygulaması için Destekli Rekognition algoritması, Amazon Rekognition'ın etiket görüntülerinden ürün bilgilerini çıkarmaya yönelik metin algılama hizmetini temel alarak geliştirilmiştir. FourGroceries veri kümesi, Destekli Rekognition algoritmasının performansını, keskinlik, bulanıklık, parlaklık, sıcaklık ve renk kategorileri altındaki görüntü filtrelerine dayalı olarak orijinal, tek filtreli ve çoklu filtreli görüntüler üzerinde değerlendirmek için toplanır. FourGroceries veri seti ve Amazon Rekognition hizmeti üzerinde yapılan deneylere göre ortalama fiyat tespit güven sonuçları, Assisted Rekognition algoritması ile %76,49, Assisted Rekognition algoritması olmadan ise %20,94'tür. Destekli Rekognition algoritmasının performansının, %89,25 fiyat tespit güveniyle, filtrelenmiş görüntülerde orijinal görüntülere göre daha iyi olduğu bulundu. Destekli Rekognition algoritması, FourGroceries veri kümesine uygun tekli veya çoklu görüntü filtreleri uygulayarak, tüm deneysel veri kümesi görüntülerinden doğru fiyat değerlerinin çıkarılmasını sağlar.

Keywords

Mobil Uygulama, Alışveriş İzleme, Amazon Rekognition, Metin algılama, Görüntü filtreleri, Fiyat etiketleri

ShoppingTotal: A Mobile Application Utilizing Assisted Rekognition Algorithm for Intelligent Price Detection from Shelf Label Images

Abstract

ShoppingTotal is a mobile application for monitoring the shopping budget through shelf label images. Using the ShoppingTotal application, shoppers capture the shelf label image of the product to obtain the product information and view the total amount of the current shopping and the history of the previous shopping lists. For the ShoppingTotal application, the Assisted Rekognition algorithm is developed based on Amazon Rekognition’s text detection service for extracting product information from label images. The FourGroceries dataset is collected for evaluating the performance of the Assisted Rekognition algorithm over original, single-filtered, and multifiltered images based on the image filters under the categories of sharpness, blurriness, brightness, temperature, and color. According to experiments on the FourGroceries dataset and the Amazon Rekognition service, the average price detection confidence results are 76.49% with the Assisted Rekognition algorithm and 20.94% without the Assisted Rekognition algorithm. The Assisted Rekognition algorithm’s performance is found to be better on filtered images than on original images, with 89.25% price detection confidence. By applying appropriate single or multiple image filters on the FourGroceries dataset, the Assisted Rekognition algorithm achieves extracting the correct price values from all experimental dataset images.

Keywords

Mobile application, Shopping monitoring, Amazon Rekognition, Text detection, Image filters, Price tags

References

• Ali, R. H., Kashefi, A. K., Gorman, A. C., Walsh, J. S. P., & Linstead, E. J. (2022). Automated identification of astronauts on board the International Space Station: A case study in space archaeology. Acta Astronautica, 200, 262–269.
• AlWadani, R. M., & AlOtaibi, A. S. (2019). iCheck: an Android Application for Enhancing In-Store Shopping Experience Using Modern Techniques. 2019 2nd International Conference on Computer Applications \& Information Security (ICCAIS), 1–6.
• Amazon Elastic Compute Cloud. (n.d.). Retrieved June 20, 2023, from https://aws.amazon.com/ec2/
• Amazon Rekognition. (n.d.). Retrieved June 20, 2023, from https://aws.amazon.com/rekognition/
• Amazon Relational Database Service. (n.d.). Retrieved June 20, 2023, from https://aws.amazon.com/rds/
• Amazon Simple Storage Service. (n.d.). Retrieved June 20, 2023, from https://aws.amazon.com/s3/
• Hegghammer, T. (2022). OCR with Tesseract, Amazon Textract, and Google Document AI: a benchmarking experiment. Journal of Computational Social Science, 5(1), 861–882.
• Kuang, X., Gao, X., Wang, L., Zhao, G., Ke, L., & Zhang, Q. (2021). A discrete cosine transform-based query efficient attack on black-box object detectors. Information Sciences, 546, 596–607.
• Leotta, M., Mori, F., & Ribaudo, M. (2022). Evaluating the effectiveness of automatic image captioning for web accessibility. Universal Access in the Information Society, 1–21.
• Liu, C. Y. J., & Wilkinson, C. (2020). Image conditions for machine-based face recognition of juvenile faces. Science \& Justice, 60(1), 43–52.
• Out of Milk - The Grocery Shopping List App. (n.d.). Retrieved June 20, 2023, from https://www.outofmilk.com/
• Scan&Shop. (n.d.). Retrieved June 20, 2023, from https://corp.lotuss.com.my/services/scan-and-shop
• ShopSavvy. (n.d.). Retrieved June 20, 2023, from https://shopsavvy.com/
• Siess, A. (n.d.). RGB to color temperature. Retrieved June 20, 2023, from https://andi-siess.de/rgb-to-colortemperature/
• Yang, K., Wang, C., Sarsenbayeva, Z., Tag, B., Dingler, T., Wadley, G., & Goncalves, J. (2021). Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets. The Visual Computer, 37, 1447–1466.