Plant detection in aerial images using deep neural networks for smart agricultural applications

Abstract

Bitki tanıma, akıllı tarım uygulamalarına katkıda bulunmak adına bilgisayar görme sistemlerini kullanan aktif bir araştırma alanıdır. Klasik nesne tanıma yöntemleri ve daha etkili olarak derin sinir ağları ile, bir resimdeki bir bitkiyi tanımak ve o bitkinin belirli bir alandaki adedini saymak, büyüme oranının gözlemlenmesi ya da belirli bir bitkinin verim miktarının tahmin edilmesi gibi bitkilendirme hakkında bilgiler sağlamak için çok önemli fonksiyonlardır. Klasik modeller segmentasyon ve özellik çıkarımı gibi görüntü-işleme teknikleri kullanırken, derin sinir ağları yalnızca parametrelerin, özel veri setlerinin belirli işlere uygun olarak eğitilmesi ile ince ayar yapma gereksinimi duyar. Bu çalışmada, klasik bilgisayar görmesi yöntemleri ile derin sinir ağları çıktılarını karşılaştırmayı ve bir dikim alanındaki bitkileri havadan görüntülerden tespit etmeyi amaçladık. İnce-ayar için DenseNet modelinden faydalanıldı ve dikim alanındaki ilgili renkleri belirlemek adına uygun bir histerez renk eşik uygulandı. Ek olarak, derin sinir ağları modeli kullanılarak nesne lokalizasyonu da uygulandı. Ayrıca, hassasiyet kıyaslaması için YOLOv3 modeli de veri setimiz ile eğitildi. 3 bitki sınıfından oluşan veri setimiz, her bitki tipi için 600 adet olmak üzere toplam 1800 resimden oluşmaktadır. Bu çalışmanın temel amacı, sürdürülebilir tarımın bilgisayar görmesi teknolojisi ile nasıl ele alındığının anlaşılmasını sağlamak ve veri setimiz çerçevesinde konu hakkında iyileştirmede bulunmaktır.

Plant detection is an active research area in modern robotic applications, which use computer vision systems to contribute the smart agricultural processes. Detecting a plant within the image and counting its number in a specified area are vital functionalities to provide meaningful information about planting such as observing the growth rate or predicting the yield amount of a significant plant with the help of classical object detection algorithms and more efficiently with deep neural networks. Classical models employ image-processing techniques like segmentation and feature extraction whereas deep neural networks need only to fine-tune the parameters by training the exclusive datasets towards particular tasks. In this study, we aim to compare the conventional computer vision methods with deep neural network outputs and to detect the plants in a plantation area from aerial images. DenseNet model is exploited as the base model for fine-tuning and an appropriate hysteresis color threshold is applied to determine the interested colors within the plantation field. In addition, object localization is performed using the deep neural network model as well. Additionally, YOLOv3 model is trained with our dataset for comparison of the accuracy. Our dataset includes 1800 images for 3 classes of plants and there exists 600 per class. The main goal of this study is to provide an understanding of how precision agriculture is handled with computer vision technology and to make an improvement about the subject within the scope of our dataset.