Sürücü asistan sistemleri için mobil GPU tabanlı gerçek zamanlı durum analizi ve tespit uygulamaları

Abstract

Bilgisayarlı görme teknolojilerinin gelişmesi ve derin öğrenme çalışmalarının hız kazanmasıyla sürücü asistan sistemleri son zamanlarda oldukça yaygınlaşmıştır. Bu sistemler güvenlik ve sürüş kolaylığı sağlamak amacıyla sürücü ve araç çevresinden gerekli verileri toplayarak kritik durumları tespit etmeyi hedefler. Sürücü ve çevrenin anlık olarak izlenmesi uyarı tespit sistemi için önemlidir. Bunun yapılabilmesi ancak sistemin gerçek zamanlı çalışmasıyla mümkün olacaktır. Bu tezde, gelişmiş sürücü asistan sistemleri (ADAS) için görüntüye dayalı olarak gerçek zamanlı çalışan araç içi ve araç dışı durumları gömülü platforma bağlı kameralar ile tespit eden bir çalışma gerçekleştirilmiştir. Hem araç içinde hem de araç dışında sürücü ve çevreye odaklı çalışan iki adet uygulama gerçekleştirilmiştir. Geliştirilen sistem araç dışında trafik işareti, yaya ve nesneleri tespit ederken, araç içinde ise sürücü durumlarını analiz ederek, telefon ve sigara kullanımını ve göz takibi yaparak yorgunluk ve uyku tespiti ile sürücüye uyarı sağlamaktadır. Çalışmada, hazır veri seti ile çalışmaya özgü elde edilmiş veri setleri kullanılarak grafik kartı (GPU) üzerinde eğitimler ile modeller oluşturulmuştur. Tespit hızlarını karşılaştırmak amacıyla sistem düşük güç ve yüksek performansa sahip iki gömülü platform (Jetson Xavier Nx, Nvidia Jetson Nano) ve bilgisayar ortamında test edilerek sonuçlar analiz edilmiştir. Uygulamaların sonucunda gerçek zamanlı çalışan bir ADAS prototipi gerçekleştirilmiştir.

With the development of computer vision technologies and the acceleration of deep learning studies, driver assistance systems have become quite widespread recently. These systems aim to detect critical situations by collecting the necessary data from the driver and vehicle environment in order to provide safety and driving convenience. Instant monitoring of the driver and the environment is important for the warning detection system. This will only be possible with the real-time operation of the system. In this thesis, a study has been carried out for advanced driver assistance systems (ADAS) that detects real-time in-vehicle and out-of-vehicle situations based on images with cameras connected to the embedded platform. Two applications focused on the driver and the environment, both inside and outside the vehicle, were carried out. While the developed system detects traffic signs, pedestrians and objects outside the vehicle, it provides warnings to the driver with fatigue and sleep detection by analyzing the driver's status inside the vehicle, monitoring phone and cigarette use and eye tracking. In the study, models were created with trainings on the graphics card (GPU) using the ready data set and the data sets specific to the study. In order to compare the detection rates, the system was tested in two low power and high performance embedded platforms (Jetson Xavier Nx, Nvidia Jetson Nano) and computer environment and the results were analyzed. As a result of the applications, a real-time ADAS prototype has been realized.