Hatalı yerleştirilen araç sigortalarının şablon eşleştirme yöntemiyle tespiti = Detection of misplaced vehicle fuses using template matching method

Abstract

Otomotiv sektörü 21. yüzyıl itibari ile farklılaşan dünya ve değişen çevresel koşullarla birlikte oldukça hızlı ilerlemeler kaydederken sektörün büyüklüğü de gün geçtikçe katlanarak artmaktadır. Günümüz dünyasında otomotiv sektörü, teknolojik gelişimlere ve yeni fikirlere açık bir pazar konumunda yer almaktadır. Gerçekleşen bu sektörel ve teknolojik gelişmeler ışığında araçlarda bulunan elektronik sistemlerin de gelişip farklılaştığı görülmektedir. Gelişen sektörel dinamiklerle de birlikte müşteri memnuniyeti firmalar için daha önemli hale gelmekte ve yapılan planlamalarda göz önüne alınmaktadır. Müşterilerden alınan geri bildirimlerle araçlarda birçok değişiklik yapılmakta olup araçlar teknolojik gelişimlerin entegrasyonuna daha açık hale getirilmektedir. Sektörel olarak teknolojiye uyumluluk furyası firmalar arası rekabetlere de fazlaca yansımaktadır. Büyük otomotiv pazarından payını almak isteyen firmalar; yenilikçi, ekonomik ve güvenilir modelleriyle olası tüm müşteri kitlelerine hitap etmeye çalışmaktadır. Bu doğrultuda araçlara yeni eklenen özelliklere bağlı olarak enerji bağlantıları ve seviyeleri de günden güne farklılaşırken aynı zamanda buna paralel olarak artmaktadır. Özellikle yeni gelişen elektrikli araç teknolojileri ile birlikte enerji düzeylerinde çok hızlı yükselişler olmaktadır. Geleneksel içten yanmalı ve hibrit sistemle çalışan artık eski nesil olarak adlandırılabilecek araçlar, motor ve akümülatör kaynaklı enerjiye sahipken, yeni nesil araçlarda kullanılan devasa lityum-iyon bataryalarla birlikte elektriksel enerji seviyeleri çok yükselmiştir. Depoloma miktarı, kullanım durumları ve verimleri değerlendirildiğinde lityum-iyon bataryalar faydalı ve güvenli olarak kabul edilseler de barındırdıkları enerjinin sisteme kontrolsüz aktarımı kontrol edilmesi gereken hassas bir noktadır. Araçların çevresel bir takım etmenlere maruz kalmaları durumunda lityum-iyon bataryadan fazla enerji çekmeleri istenmeyen sonuçlara yol açabilmektedir. Örnek olarak araç üzerinde yangın, kaza veya farklı güvenlik bölümlerinin devre dışı kalması gibi sorunlar görülebilir. Bu noktada üretici firmalar ve kullanıcılar tarafından geçmişte var olan fiyat odaklı yaklaşım yerini günümüzde güvenlik kriterlerinin yüksekliğine bırakmıştır. Üretici firmalar müşterilerin bu beklentilerini yanıtsız bırakmamakta olup bu sebeple oluşabilecek prestij kayıplarını da yaşamak istememektedirler. Tüm bunlar ışığında araç elektroniğinde bu seviyelerdeki enerjilerin güvenli bir şekilde kontrol edilmesi önemliyken yolcu ve araç sağlığı için bir takım koruyucu önlemlerin alınması da gerekmektedir. Tüm enerji uygulamalarında olduğu gibi araç elektroniğinde de sigortalar önemli bir yer tutmakta olup yıllardır güvenle kullanılmaktadır. Sigorta sayıları araçlarda yer alan ve müşteri istekleriyle değişen donanımlara göre farklılık göstermektedir. Kullanıcı seçimine bağlı olarak değişen özellikler neticesinde sigorta sayıları değişiklik gösterse de sistemin çalışması için temel olarak kullanılması gereken zorunlu sigortalar mevcuttur. Sigorta sayısının fazla olması sebebiyle sigortaların ortak bir alanda toplanma zorunluluğu doğmaktadır. Herhangi bir müdahale, değişim veya kontrol durumunda tüm sigortaların kolay erişilebilir ve ortak bir alanda toplu halde bulunması kullanıcıya ve teknik servise büyük bir avantaj sunmaktadır. Bunun için diğer sektörlerde olduğu gibi otomotiv sektöründe de yaygın olarak sigorta kutuları kullanılmaktadır. Sigorta kutuları kutu içerisinde sigorta erimesi kaynaklı herhangi bir yangın durumunda yanmaz materyallerden üretilerek aynı zamanda geriye kalan sistemi koruma görevini de dolaylı yollardan üstlenmektedir. Araç üzerinde kullanılan tüm bu sigortaların sigorta kutularına montajı manuel olarak yapılmaktadır. Manuel montaj uygulamalarında hatalı yapılan yerleştirmeler hem araçta hatalara sebebiyet vermekte hem üretim sisteminde aksamalara yol açmakta hem de yolcu güvenliğini tehlikeye atmaktadır. Tüm aşırı güç tüketim durumlarını kontrol eden sigortaların doğru şekilde çalışabilmesi için motaj işleminin doğru bir şekilde yapılması gerekmektedir. Üretilen sigorta kutusunda yer alan sigorta hatalı yerleştirme işleminin araç üzerine montaj işlemi yapılmadan önce bulunarak giderilmesi gerekmektedir. İnsan odaklı yaklaşım olan montaj işleminde meydana gelen bu hatalardan sonra tekrar yapılacak olan insan odaklı göz kontrol sistemi tekrardan hataya müsait bir ortam hazırlamaktadır. Bu sebeple kontrol işleminin insan odaklı yaklaşım yerine otonom olarak yapılarak hata olasılığının azaltılması hedeflenmiştir. Hassas üretim tesislerinde de kullanılan görüntü işleme uygulamalarından biri olan şablon eşleştirme yöntemiyle sigorta kutusuna montajı hatalı yapılan araç sigortalarının tespiti hedeflenmiştir. Şablon eşleştirme, seri üretim koşullarında ürün renk ve boyut tespiti ile mevcudiyet doğrulaması işlemlerinde çoğunlukla kullanılmaktadır. Tespit işlemi için özel olarak tasarlanan konuma bağlı sigorta tespit sistemi (KSTS) deney düzeneğine sigorta kutusu yerleştirilerek sigorta kutularının görüntüleri alınmıştır. Benzerlik oranının en efektif çalıştığı eşik değer deneysel olarak yapılan çalışmalarla %75 olarak belirlenmiş ve testler bu eşik değerde gerçekleştirilmiştir. Hazırlanan uygulama sayesinde otonom hata tespiti gerçekleştirilen yazılım ve test sistemi oluşturulmuştur. Yazılımsal altyapı Python 3.8 programlama dilinde OpenCv kütüphanesi kullanılarak hazırlanmıştır. Grafiksel arayüz ve kamera yayının aynı anda verilebilmesi ve gecikme olmaması için multithreading yönteminden faydalanılmıştır. Python PySimpleGui kullanılarak arayüz oluşturulmuş olup bu sayede verilerin takibi ve kontrolü kolaylaştırılmıştır. Sonuçlar veritabanına aktarılarak uzaktan kontrol sistemi de kurulmuş ve oluşabilecek uygunsuzluk durumlarının sürekli takip edilebilmesi sağlanmıştır. Sistemin prototipi tasarlanarak algılama hızı, tespit değerleri ve hata oranı simüle edilmiştir. Gerçek zamanlı deneysel çalışmalar gerçekleştirilmiştir. Yanlış montajı yapılan 1 adet sigortanın eşik değeri %78 bulunurken doğru montajı yapılan 1 adet sigortanın eşik değeri de %72 olarak bulunmuştur. Toplamda 2 adet hatalı sonuca ulaşılmıştır. Sonuç olarak geliştirilen yöntemle arızalı sigorta tespiti doğruluk oranı %99,33 olarak elde edilmiştir. Testler sonucunda manuel olarak sigortaların araç sigorta kutusuna hatalı takılma oranının, en fazla hata gerçekleştirilen sigorta kutusunda %12,96 oranına kadar yükselebildiği tespit edilmiştir. Hazırlanan KSTS sisteminin algılama hızı 237 ms'dir. Günümüzde şablon eşleştirme uygulamaları yerini derin öğrenme tabanlı görüntü işleme uygulamalarına bıraksa da onlarca farklı sigorta kutusu ve yüzlerce farklı sigorta yerleşimi olan bir üretim hattında işlevsel olarak kullanılması pek mümkün olmamaktadır. Tüm sigorta kutusu değişimlerinde derin öğrenme eğitim süreçlerini gerektirmesi sebebiyle tespit sistemi olarak derin öğrenme tabanlı yöntemler yerine şablon eşleştirme tercih edilmiştir. Kurulan test sistemi sayesinde operatör kaynaklı hatalı montaj oranları minimize edilmiş, üretim hattında kaybedilen kontrol zamanında iyileştirme sağlanarak kalitesel süreç hedeflerine ulaşılmıştır. Tüm bunların yanında araç ve yolcu güvenliği artırılarak istenen hedeflere ulaşılmıştır.

As of the 21st century, the automotive industry is making rapid progress with the changing world and changing environmental conditions, while the size of the industry is increasing exponentially day by day. In today's world, the automotive industry is a market open to technological developments and new ideas. In the light of these sectoral and technological developments, it is seen that the electronic systems in vehicles are also developing and differentiating Along with the developing sectoral dynamics, customer satisfaction is becoming more important for companies and is taken into account in the planning. Many changes are made to the vehicles based on feedback from customers, and the vehicles are made more open to the integration of technological developments. The sectoral trend of compatibility with technology is also reflected in the competition between companies Companies that want to get their share of the large automotive market try to appeal to all possible customer masses with innovative, economical and reliable models. In this regard, depending on the newly added features to the vehicles, energy connections and levels differ from day to day and also increase in parallel Especially with the newly developing electric vehicle technologies, there are rapid increases in energy levels. While traditional internal combustion and hybrid vehicles, which can now be called old generation vehicles, have energy from the engine and accumulator, the electrical energy levels have increased significantly with the huge lithium-ion batteries used in new generation vehicles. Although lithium-ion batteries are considered useful and safe when their storage amount, usage situations and efficiency are evaluated, the uncontrolled transfer of the energy they contain to the system is a sensitive point that needs to be controlled In case the vehicles are exposed to some environmental factors, drawing more energy from the lithium-ion battery may lead to undesirable results. For example, problems such as fire, accident or deactivation of different safety sections may occur on the vehicle At this point, the price-oriented approach that existed in the past by manufacturers and users has been replaced by the high level of security criteria today. Manufacturer companies do not leave these expectations of their customers unanswered, and they do not want to experience prestige losses that may occur for this reason. In light of all this, while it is important to safely control the energies at these levels in vehicle electronics, it is also necessary to take a number of protective measures for passenger and vehicle health. As in all energy applications, fuses occupy an important place in vehicle electronics and have been used safely for many years. The number of insurances varies according to the equipment included in the vehicles, which change according to customer requests. Although the number of insurances varies as a result of changing features depending on the user's choice, there are mandatory insurances that must be used as the basis for the operation of the system. Due to the large number of insurances, there is an obligation for insurances to be collected in a common area In the event of any intervention, change or control, the presence of all fuses in an easily accessible and common area collectively offers a great advantage to the user and the technical service. For this, fuse boxes are widely used in the automotive ındustry as in other sectors. Fuse boxes are manufactured from fireproof materials in case of any fire caused by fuse melting in the box and at the same time assume the task of protecting the remaining system indirectly. All these fuses used on the vehicle are placed manually in the fuse boxes. Misplacement in manual assembly applications both causes errors in the vehicle and leads to disruptions in the production system and endangers passenger safety. In order for the fuses controlling all excessive power consumption situations to work correctly, the motage operation must be performed correctly. The misplacement of the fuse contained in the manufactured fuse box must be found and corrected before the installation process is performed on the vehicle. The human-oriented eye control system, which will be performed again after these errors that occur in the assembly process, which is a human-oriented approach, prepares an environment that is suitable for error again. For this reason, it is aimed to reduce the probability of error by performing the control process autonomously instead of a human-oriented approach. With the template matching method, which is one of the image processing applications also used in sensitive production facilities, it is aimed to detect vehicle fuses that have been installed incorrectly in the fuse box. Template matching is mostly used in product color and size detection and availability verification processes under mass production conditions. The fuse box was placed in the konuma bağlı sigorta tespit sistemi (KSTS) experimental setup, which was specially designed for detection, and images of the fuse boxes were taken. The threshold value at which the similarity ratio works most effectively has been determined to be 75% by experimental studies and tests have been carried out at this threshold value. Thanks to the prepared application, a software and test system that enables autonomous error detection has been created The software infrastructure has been prepared using the OpenCV library in the Python 3.8 programming language. The multithreading method has been used to ensure that the graphical interface and the camera broadcast can be transmitted at the same time and there is no delay. An interface has been created using Python PySimpleGui, which makes it easier to track and control data. By transferring the results to the database, a remote control system was also established and it was ensured that any non-compliance situations that might occur could be monitored continuously. By designing the prototype of the system, detection rate, detection values and error rate were simulated Real-time experimental studies were carried out. The similarity value of 1 piece of insurance that was installed incorrectly was found to be 78%, while the value of 1 piece of insurance that was installed correctly was found to be 72%. In total, 2 erroneous conclusions were reached. As a result, the accuracy rate of defective fuse detection has been achieved as 99.33% by the method developed as a result. As a result of the tests, it was determined that the rate of misplacement manual insertion of fuses into the vehicle fuse box can increase up to 12.96% in the fuse box with the highest number of errors. The detection speed of the prepared KSTS system is 237 ms. Although template matching applications have been replaced by deep learning-based image processing applications today, it is unlikely to be used functionally on a production line with dozens of different fuse boxes and hundreds of different fuse placements. Due to the fact that all fuse box exchanges require training, template matching has been preferred instead of deep learning-based methods as a detection system. Thanks to the established test system, operator-caused faulty assembly rates have been minimized, and quality process goals have been achieved by improving the control time lost on the production line. In addition to all these, the desired goals have been achieved by increasing the vehicle and passenger safety.