İç mekanlarda zemin yol modeli üzerinde derin öğrenme ile otonom araçların rota takibi = Route tracking of autonomous vehicles with deep learning on the floor path model in indoor areas

Abstract

Üretim ortamlarında malzemelerin bir yerden başka bir yere insansız olarak taşınması yıllar boyunca önemli olmuştur. Malzemelerin insansız olarak taşınması için otonom araçlar geliştirilmiştir. Bir otonom araç zeminde bulunan sabit çizgileri, bakır kabloları takip ederek ilerleyebildiği gibi dolaşım için mıknatıs, lazer, radyo dalgası ve görüş kamerası da kullanmaktadır. Otonom araçlarda kendi kendine dolaşım temel bir konudur. Zaman içinde otonom araçlar geliştikçe ve kullanımları arttıkça çözülmesi gereken çeşitli sorunlar ortaya çıkmıştır. Gerçek zamanlı rota takibi, endüstriyel tesislerde kullanılan otonom araçlar için önemli bir araştırma konusudur. Bir otonom aracın hedefine giden rotayı takip ederken rotası üzerindeki diğer nesne veya araçlarla çarpışmaması, rotasında ilerlerken rotasının dolu olması durumunda dinamik olarak başka bir rota seçebilmesi çözülmesi gereken problemler arasındadır. Yapay zekanın gelişmesi ve özellikle derin öğrenmenin ortaya çıkışından sonra otonom araçlarda araştırmalar farklı bir boyuta taşınmıştır. Derin öğrenme mimarilerinden olan evrişimli sinir ağları kameradan alınan ve farklı açılardan elde edilmiş görüntüleri başarılı bir şekilde sınıflandırarak aracın rota takibini yapmasına ve konumu belirlemesine yardımcı olmaktadır. Bu çalışmada, otonom araçların hedeflerine gitmeleri için en kısa rotanın bulunması, bu rotalar üzerinde otonom olarak nasıl ilerleyecekleri, rotalarda ilerlerken diğer bir araçla çarpışma sorunlarının çözümü için derin öğrenme tabanlı bir zemin yolu modeli ve algoritması geliştirilmiştir. Zemin yolu modeli araçların konumlarını da gösteren işaretçilerden (marker) oluşmaktadır. Araçların ilerleyeceği rotalar bu işaretçiler kullanılarak oluşturulmaktadır. Bir rota birbirinden faklı sayıda ve hedefe kadar ilerleyen çok sayıda işaretçi içermektedir. Çakışan kavşaklarda aynı işaretçiler bulunmaktadır. İşaretçilerin üzerindeki değerler artan veya azalan ardışık harf ve sayıdan oluşmaktadır. İşaretçilerden oluşan zemin yolu modeli vektör olarak bir merkezi sunucudan tüm araçlara gönderilmektedir. Görev verilecek araca sunucu tarafından hedef işaretçi adresi gönderilmektedir. Otonom aracın kendisinde yüklü olan algoritma ile hedefe giden tüm rotalar hesaplanarak en kısa olan seçilmektedir. Araç seçilen rotada ilerlemektedir. Araç ilerlerken rotadaki işaretçi görüntüleri aracın kamerası ile algılanmaktadır. Bu görüntülere görüntü işleme yöntemleri uygulanarak araca en yakın işaretçi bulunmaktadır. Elde edilen bu görüntü önceden eğitilmiş bir derin CNN modeliyle sınıflandırılmaktadır. Sınıflandırılan görüntü araca yüklenmiş hedef vektör ile aynı ise araç hedefe doğru ilerlemektedir. Aynı zamanda bu görüntü aracın konumunu belirlemek için sunucuya gönderilmektedir. Sunucudaki bu işaretçi adresi diğer araçlar tarafından bu aracın konumunu belirlemek için kullanılmaktadır. Bu adres araçların çarpışmasını engellemek için de kullanılmaktadır. Eğer bir araç bu işaretçiye yakın bir işaretçide ise diğer aracın ilerlemesini beklemektedir. Sınıflandırılan görüntü araca yüklenmiş hedef vektör ile farklı ise araç çevresindeki diğer işaretçileri aramakta ve bulunan işaretçileri sınıflandırarak algoritmayı sürdürmektedir. Otonom araçlar sensörlerden gelen çok fazla veriyi analiz ettiklerinden büyük veri ile uğraşmaktadırlar. Bu nedenle bu tezde kullanılan otonom araçlarda gerçekleştirilen veri işleme uç hesaplama (Edge Computing) ile yapılmaktadır. Sunucuya ise sadece az miktarda veri gönderilip alınmaktadır. Yapmış olduğumuz deneysel çalışmalar sonucunda araçların rota takibi başarı ile sağlanmıştır. Otonom rota izleme araçları için CNN derin öğrenme modeline dayalı geliştirilen zemin yolu modeli ve algoritması araçların çarpışmasını engelleyerek otonom rota takibini sağlayan bir iç mekân konumlandırma sistemidir. Araçlar, zemin yolu modelinde hedef konuma giden tüm rotaları hesaplayarak en kısa yolu seçmekte ve rotayı yüksek doğrulukla takip etmektedirler.

The unmanned transport of materials from one place to another in production environments has been important over the years. Autonomous vehicles have been developed for the unmanned transport of materials. An autonomous vehicle can proceed by following fixed lines and copper cables on the ground, as well as using magnets, lasers, radio waves, and vision cameras for navigation. Self-circulation is a fundamental issue in autonomous vehicles. Over time, as autonomous vehicles have developed and their use has increased, various problems have emerged that need to be solved. Real-time route tracking is an important research topic for autonomous vehicles used in industrial plants. Problems that need to be solved are that an autonomous vehicle does not collide with other objects or vehicles on its route while following the route to its destination and that it can dynamically choose another route in case its route is not empty. Different researchers have worked to solve these problems. In previous studies, solutions were built on mathematical models. Mathematical models can be used in static environments. Another disadvantage of mathematical models is that they are insufficient for the solution when data increases exponentially. The use of camera data in production environments has limited the use of mathematical models. With the development of machine learning and its use in different environments, researchers have evolved in this direction to solve problems. New machine learning methods have been proposed by researchers, and these methods have been used in production environments. Recently, the increase in the amount of data with the development of technology and different sensors has shown that previous machine learning methods cannot be used efficiently with big data. After the development of artificial intelligence and especially the emergence of deep learning, research in autonomous vehicles has moved to a different dimension. The volume increase in the sensor data in autonomous vehicles, speed, and various data from different sensors emerge as big data. The internet of things emerging here enables devices and systems to be connected and to communicate data over a network. Thanks to the internet of things, which has started to be used in production environments today, the amount of data collected reaches huge volume values. It is not easy to process such big data with existing machine learning methods and to obtain a learning model using different data. The more different the data, the more time it takes to process it. For these reasons, deep learning is used to obtain big data models. Deep learning architectures produce efficient results with big data. In our studies, convolutional neural networks, one of the deep learning architectures, successfully classify the images taken from the camera and obtained from different angles, helping the vehicle to follow the route and determine the location. There are different sensors, such as a camera, distance sensor, and LIDAR, on an autonomous vehicle. These sensors produce different and a lot of data over time during the vehicle's movement. The processing of these data becomes important for the autonomous vehicle's movement and reaching its destination. Since the data obtained from different sensors is continuously collected over time, it also increases rapidly in volume. In this case, the concept of big data is encountered in new types of autonomous vehicles. Even in autonomous vehicles moving in an indoor production environment, sending and processing big data to a server and sending this processed information back to the vehicle takes much communication time. In addition, hardware problems, such as wireless network problems, arise in the transmission of big data. Such problems cause issues in the vehicle's movement and even leave the vehicle inactive in time. To avoid these problems, Edge Computing technology is used in this thesis. In short, edge computing uses a distributed structure in the data processing. By using edge computing, the processing of sensor data is done in each autonomous vehicle, improving calculation times. Thus, it communicates with the server using fewer data, and at the same time, bandwidth problems of the network are avoided. The increase in the number of autonomous vehicles reveals major problems in communication with the server. Thanks to edge computing, data processing speed and communication speed increase as each sensor data are processed in the vehicles themselves. This way, only the location information address is sent and received quickly by the server. In this study, a deep learning-based floor path model and algorithm are developed to find the shortest route for autonomous vehicles to go to their destination, how to proceed autonomously on these routes, and to solve the problems of collision with another vehicle while driving on routes. The floor path model consists of markers that also show the locations of the vehicles. The routes on which the vehicles will travel are created using these markers. A route contains a different number of markers leading to the destination. Overlapping intersections have the same markers. The values above the markers consist of ascending or descending consecutive letters and numbers. The floor path model consisting of markers is sent to all vehicles from a central server as a vector. The target location address is sent by the server to the vehicle to be tasked. With the algorithm installed in the autonomous vehicle itself, all routes to the destination are calculated, and the shortest one is selected. The vehicle continues on the selected route. While the vehicle is moving, the marker images on the route are detected by the vehicle's camera. By applying image processing methods to these images, the closest marker to the vehicle is found. This resulting image is classified with a pre-trained deep CNN model. If the classified image is the same as the target vector loaded on the vehicle, the vehicle moves toward the target location. At the same time, this image is sent to the server to determine the location of the vehicle. This location address on the server is used by other vehicles to determine the location of this vehicle. This address is also used to prevent vehicles from colliding. If a vehicle is at a marker close to this marker, it waits for the other vehicle to advance. Autonomous vehicles are dealing with big data as they analyze a lot of data coming from sensors. For this reason, data processing performed in autonomous vehicles used in this thesis is done with edge computing. Only a small amount of data is sent and received to the server. As a result of the experimental studies we have done, the route tracking of the vehicles has been successfully achieved. A deep learning-based floor path model is designed for route tracking of autonomous vehicles. This model is a collision avoidance indoor positioning system for autonomous route-tracking vehicles based on the CNN deep learning model. A new floor path model and algorithm based on indoor positioning has been developed for autonomous vehicles. Vehicles calculate all routes to the target location in the floor path model, choose the shortest route and follow the route with high accuracy.