Destek vektör makineleri sınıflayıcısının aşamalalı eğitimi

Abstract

ÖZET: Destek Vektör Makineleri, Aşamalı Öğrenme, Destek Vektör Sınırlayıcılar, Tam Unutma Problemi, Sınırlayıcılar Topluluğu, Oy Dışı Bırakma, Örüntü Tanıma, Örüntü Sınıflama, Elektronik Burun. Destek Vektör Makineleri (DVM), ileri yönde beslemeli Yapay Sinir Ağlarının (YSA) yeni bir türüdür. DVM, istatistiksel öğrenme teorisinde iyi şekilde kurgulanmış bir teoriye sahiptir ve çok sayıda sınıflandırma ve regresyon problemlerinin çözümü için başarılı bir şekilde uygulanmıştır. DVM öğrenme boyunca, iki sınıflı bir sınıflandırma probleminde çoklu karar-düzleminin her iki tarafında yer alan veri örnekleri arasındaki mesafenin maksimum olması için çoklu-karar düzleminin pozisyonunu optimize eder. Global öğrenme tekniğini kullandıkları için tam unutma probleminden etkilenirler. Tam unutma (öğrenememe), önceden öğrendiklerini unutmadan yeni veri ile sunulan bilgiyi öğrenmek için sistemin yetersiz kalışıdır. Bu problemin üstesinden gelen yöntemler, problem uzayından üretilen yeni veri kümeleri üzerinde veya geçmişteki verinin seçiminde YSA'nm prova ya da tekrarlar ile eğitilmesini içermektedir. Learn"1-1" yeni sunulan aşamalı bir öğrenme algoritmasıdır. Learn"1-1" algoritmasının gücü, önceden görülen veriye herhangi bir erişime gerek kalmadan ve önceden elde edilen bilgiyi unutmadan yeni veriyi öğrenebilmesinde yatmaktadır. Learn^.MT algoritması ise Learn^'in etkilendiği oy dışı bırakma probleminin etkisini çözmek için geliştirilmiştir. Bu çalışmada, DVM'in tam unutma problemine işaret etmek ve bu problemi çözerek onlara aşamalı öğrenme yeteneği kazandırmak amacıyla, DVM sınırlayıcısının Learn"" ve Learn^JVıT algoritmaları ile entegrasyonu önerilmiştir. "Önerilen yaklaşımlar, DVMLearn"" ve DVMLearn^.MT, ile gerçek dünya verileri ve karşılaştırma amaçlı hazırlanmış olan veriler üzerinde yapılan deneylerden, yüksek bir genelleştirme performansıyla beraber başarılı ve ümit verici sonuçlar elde edilmiştir. Bunlara ilave olarak, çalışmamızda DVM sınırlayıcıların aşamalı öğrenme yeteneğini test etmek amacıyla elektronik burun (e-Burun) verileri üzerinde biraz daha çok yoğunlaşılmıştır. DVM, son zamanlarda yapılan bazı çalışmalarda e-Burun verilerini XIIIsınıflandırılma probleminin çözümüne uygulanmıştır. DVM, e-Burun verilerinin tespit ve sınıflandırmasında iyi bir genelleştirme performansı ortaya koymaktadırlar. Buna rağmen, e-Burun verilerini içeren pek çok uygulamada, zamana göre - hatta yeni sınıflan içerebilen - ek veri elde edilmesi karşılaşılan bir durumdur. e-Burun verisinin doğasından dolayı, önceden kazanılan bilgiyi kaybetmeden aşamalı bir şekilde sınıflandırma yeteneklerini test etmek için DVMLearn44^ ve DVMLearn++.MT ile deneyler yapılmıştır. Her iki yaklaşımdan elde edilen sonuçlar kendi aralarında ve benzer bir şekilde taban sınıflayıcı olarak Radyal Tabanlı Ağ (RTA) fonksiyon sinir ağının aşamalı bir şekilde kurgulanmasından elde edilen sonuçlarla karşılaştırılmıştır.

INCREMENTAL LEARNING WITH SUPPORT VECTOR MACHINES CLASSIFIER SUMMARY Key words: Support Vector Machines, Incremental Learning, Support Vector Classifier, Catastrophic Forgetting Problem, Ensemble of Classifier, Out-voting, Pattern Classification, Electronic Nose. Support Vector Machines (SVMs) are a new category of universal feedforward neural networks. SVMs have been well founded in the framework of the statistical learning theory, and successfully applied to solve a large number of classification and regression problems. Through learning, the SVM optimizes the positioning of the decision hyperplanes to achieve maximum distance from all data samples on both sides of the hyperplane on a two class problem. Since SVMs employ a global learning technique, they suffer from the catastrophic forgetting phenomenon. Catastrophic forgetting (also called unlearning) is the inability of the system to learn new patterns without forgetting those that were previously learned. Methods to deal with this problem include rehearsing the neural networks on a selection of past data, or on new data points generated from the problem space. Learn++ have recently been introduced as an incremental learning algorithm. The strength of Learn"1-1" lies in its ability to learn new data without forgetting previously acquired knowledge and without requiring access to any of the previously seen data, even when the new data introduce new classes. The Learn++.MT algorithm is proposed to solve the effect of out-voting problem of Learn"1-1". To address the catastrophic forgetting problem and to add the incremental learning capability to SVMs, training an ensemble of SVMs using Learn1-1" and Learn^.MT is proposed in this work. Experiments with the real-world and benchmark datasets show that the proposed approaches, DVMLearn"1-1" and DVMLearn^.MT, introduce successful and promising results with high generalization performance. In addition, SVMs have been applied to solve the classification of electronic nose (E- nose) data in some recent studies. They provide good generalization performance in detection and classification of E-nose data. However, in many applications involving xvE-nose data, it is not unusual for additional data - which may include new classes - to become available over time, which then requires a classifier that is capable of incremental learning that does not suffer from loss of previously acquired knowledge. In our contribution, the ability of SVMLearn"1-1" and SVMLearn++.MT to incrementally classify E-nose data are evaluated and compared to each other and against a similarly constructed Learn*"1" algorithm that uses radial basis function neural network as base classifiers. XVI