Dynamic heuristic approach to enhance the performance of few-shot meta-learning = Az örnekle meta-öğrenmenin performansını artırmak için dinamik heuristik bır yaklaşım

Abstract

Meta-öğrenme, öğrenmeyi öğrenme olarak da bilinen, derin öğrenme altında göreceli olarak yeni bir alt alan, özellikle sınırlı eğitim verileri ile karşılaşılan denetimli öğrenme senaryolarının zorluklarına çözüm olarak araştırmacılar arasında önemli bir ilgi kazanmıştır. Meta-öğrenmenin merkezi odak noktası, bir modelin genelleme kapasitesini artırmak ve görülmemiş görevlere uyum sağlamak üzerinedir. Bu, derin öğrenme modelinin, yinelemeli optimizasyon döngüleri geçirerek ve modele ait parametreleri buna göre güncelleyerek sezgisel bir eğitim platformu aracılığıyla elde edilir. Meta-öğrenme alanında, eğitim süreci, her meta-eğitim döngüsü sırasında elde edilen hesaplanmış kayıplara dayanarak modelin parametrelerini ince ayarlamayı içerir. Klasik yaklaşım, klasik gradyan tabanlı optimize edicileri kullanırken, bu yöntemleri meta-öğrenme problemleri tarafından tanıtılan ayırt edici zorluklara uyarlamak bazı verimsizliklere neden olur. Bir anahtar zorluk, meta-eğitim sırasında, modelin sınırlı veri noktalarıyla çeşitli görevlerden öğrenme gerekliliğidir. Meta-öğrenmenin karmaşıklığı, genellikle mevcut veriden bilgi çıkarma ve görevler arasında öğrenme için yeni stratejileri keşfetme arasında doğru bir denge gerektirir. Bu denge, özellikle meta-öğrenme senaryolarının sınırlı veri karakteristiği ile karşılaşıldığında, mevcut veriden bilgi çıkarmak ve görevler arasında öğrenme için yeni stratejileri keşfetmek arasında doğru bir denge gerektirir. Özellikle kritik hale gelir. Ayrıca, görülmemiş görevlere hızlı uyum sağlama ihtiyacı, optimizasyon sürecini daha da karmaşık hale getirir. Klasik gradyan tabanlı optimize ediciler, özellikle sınırlı görev özgü veri ile karşılaşıldığında, model parametrelerini hızlı bir şekilde yeni bir görevin benzersiz özelliklerine uyum sağlamakta zorlanabilir. Bu, modelin hızlı bir şekilde adapte olması ve orijinal eğitim setinin bir parçası olmayan görevlerde iyi performans göstermesi beklenen uygulamalarda kritik bir düşünce noktasıdır. Meta-öğrenme alanındaki araştırmacılar, bu zorlukları ele almak için alternatif optimizasyon stratejilerini aktif bir şekilde keşfetmektedirler. Model güncellemeleri, düzenleme ve optimizasyon fonksiyonlarına yenilikçi yaklaşımlar önererek, meta-öğrenme modellerinin verimliliğini ve etkinliğini artırmayı hedeflemektedirler. Bu ilerlemeler, sınırlı etiketli veri örnekleri ile elde edilebileceklerin sınırlarını zorlamak için kritiktir, bu da meta-öğrenmeyi klasik denetimli öğrenmenin gerçek dünya uygulamalarındaki kısıtlamaları aşma konusunda umut vadeden bir yol haline getirebilir. Sezgisel algoritmalar, kesin bir çözüm elde etmek zor veya hesaplama maliyeti yüksek olduğunda karmaşık problemler için yaklaşık çözümler bulmak için kullanılan problem çözme yaklaşımlarıdır. Sezgisel algoritmalar, büyük çözüm alanlarında çözümleri bulmak için kuralcıklar, deneyim veya sezgiyi kullanır. Yapay Sinir Ağları'nı (YSA) eğitirken, sezgisel algoritmalar, gradyan tabanlı tekniklere alternatif olarak değerli birer seçenek olarak hizmet eder. Her parametre ayarlaması için gradyanları hesaplamaya dayanan klasik yöntemlerin aksine, genetik algoritmalar, sürü zekâsı veya simüle edilmiş tavlama gibi sezgisel algoritmalar, çözüm alanlarını daha geniş bir şekilde keşfeder. Bu keşif, YSA'lerin yerel minimumlardan kaçınmasına yardımcı olur ve çeşitli ve potansiyel olarak üstün model konfigürasyonlarını keşfetme yeteneklerini artırır. Sezgisel algoritmalar, özellikle gradyan tabanlı yöntemlerin mücadele ettiği karmaşık optimizasyon alanlarında YSA'leri eğitmek için çok yönlü ve hesaplama açısından verimli bir yol sunar. Bu çalışmada, meta-öğrenme modellerinin eğitimini artırmak amacıyla tasarlanmış yeni bir özel optimize ediciyi tanıtıyoruz. Optimize edicimiz, bir dinamik popülasyon tabanlı sezgisel algoritmayı klasik gradyan tabanlı tekniklerle sorunsuz bir şekilde entegre ederek, meta-öğrenme problemlerinin ortaya çıkardığı zorluklara dinamik ve verimli bir yaklaşım sunar. Metaheuristik algoritma, optimal model parametre değerlerini aramaya başlamak için arama alanında rastgele dağıtılan başlangıç aday çözümler üreterek başlar. Ardından, dinamik bir popülasyon stratejisi uygulanır ve bu, bireysel performansa dayalı olarak popülasyon üyelerinin üretilmesini veya elenmesini içerir. Dinamik popülasyon stratejisi, her eğitim döngüsünün sonunda popülasyon üyelerinin performansını değerlendirmeyi içerir. İyi performans gösterenler çoğaltılır ve umut veren alanları keşfetmelerini simgelerken, en az performans gösteren bireyler elenir. Bu sürekli çoğaltma ve elenme süreci, umut veren bölgelerde aramayı yoğunlaştırmayı ve daha az verimli alanlarda daha fazla keşif yapmamayı amaçlar. Heuristik keşif aşamasının ardından, öğrenme süreci, metaheuristik algoritma tarafından belirlenen en iyi çözümü kullanarak klasik gradyan optimizasyonuna sorunsuz bir şekilde geçer. İki aşama arasındaki eğitim döngülerinin dağılımı, kritik bir giriş parametresi olan Heuristik Oranı tarafından kontrol edilir, bu da heuristik keşif aşamasına ayrılan döngülerin yüzdesini belirtir. Özel optimize edicimizin performansını değerlendirmek amacıyla geniş kapsamlı test ve ayarlamalar gerçekleştirdik ve çeşitli ölçüm veri setlerinde bunları gerçekleştirdik. Bu veri setleri, Iris, MNIST, CIFAR-10, CIFAR-100 ve Fashion gibi klasik sınıflandırma görevlerini içermekte olup, görüntü ve desen tanıma alanında çeşitli karmaşıklıkları temsil etmektedir. Klasik veri setlerinde elde edilen umut verici sonuçlar tarafından teşvik edilen, yaklaşımımızı meta-öğrenmenin zorluklarına çözüm üretecek şekilde genişlettik. Özel optimize ediciyi, Omniglot ve MiniImageNet gibi iki iyi kurulmuş meta-öğrenme veri setine uyguladık. Bu veri setleri, her sınıfta sınırlı örnek içermeleriyle karakterize edilir ve bu da onları bir modelin minimal veri ile yeni görevlere adapte olma yeteneğini değerlendirmek için özellikle uygun kılar. Deneylerimiz, özel optimize edicinin üç önemli meta-öğrenme çerçevesine uygulanmasını içerdi: MAML, Reptile ve Meta-SGD. Bu çerçeveler, bir modelin meta-öğrenme senaryolarındaki genelleme ve uyum yeteneklerini değerlendirmek için yaygın bir şekilde kullanılmaktadır. Hem MAML hem de Meta-SGD'nin elde edilen doğruluğu, Omniglot ve MiniImageNet veri kümelerinde %2-2,5 oranında iyileşme gördü. Ancak Reptile, hem veri kümelerinde hem de aynı sayıda dönemde %1'lik bir doğruluk artışı gösterdi. Hem MAML hem de Meta-SGD, ilgili meta eğitim aşamaları sırasında iki adımlı bir optimizasyon sürecini içerir. MAML ve Meta-SGD tarafından kullanılan iki aşamalı optimizasyon sürecinin aksine Reptile, daha hızlı yakınsamayı vurgulayan daha basit bir yaklaşımı benimser. Eğitim sırasında Reptile, bir iç döngü içindeki belirli bir görev üzerinde yalnızca birkaç kademeli adım gerçekleştirir. Genel olarak, deneylerimizden elde ettiğimiz sonuçlar, özel optimize edicimizin sadece meta-öğrenme modellerinin eğitim performansını artırmakla kalmadığını, aynı zamanda verimli parametre keşfini kolaylaştırdığını gösterdi. Önerdiğimiz stratejinin dinamik özellikleri, daha yüksek doğruluk, daha hızlı yakınsama ve görünmeyen görevlere hızlı uyum sağlama yeteneğine katkıda bulunarak, yenilikçi yaklaşımımızın meta-öğrenme optimizasyon alanındaki potansiyelini sergilemektedir.

Meta-learning has recently become an interesting topic for researchers, particularly in supervised learning problems with a lack of training data. Meta-learning has shown effectiveness in generalization and adapting to solve new tasks with only a few data points. To train a deep learning model in general or meta-learning specifically, an optimization function should be used to update parameters during each training cycle according to the calculated loss. The popular meta-learning models have used one of the traditional gradient-based optimizers. However, challenges introduced by meta-learning, such as performance considerations during the meta-training and the need for faster adaptation, might not be handled efficiently by those optimizers. In this research, we propose a custom optimizer to train meta-learning models. Our proposal is a new optimizer based on combining a metaheuristic algorithm with traditional gradient-based techniques. The heuristic algorithm starts searching for the optimized values for the model's weights using some random initial candidate solutions. Then iteratively, according to the performance of each individual, dynamic population strategy will be applied to population members by either reproducing or eliminating members from the population. The learning process will then continue using classic gradient optimization starting with the optimal solution found via the heuristic algorithm. The custom optimizer we have developed was first tested and tuned on five classification benchmark datasets and showed higher accuracy and faster convergence. Then the same approach -with slight enhancements- was applied in order to solve the meta-learning problem. Our experimental analysis shows that our optimizer could enhance the performance of training meta-learning models and enable the efficient finding of optimal parameters due to the dynamic characteristics of our proposed strategy.