İleri yönlü yapay sinir ağlarında küçük dünya ağı yaklaşımı ve uygulamaları

Abstract

Beyinde öğrenme süreci, biyolojik sinir ağlarının bilgiyi depo etmesi ve bu bilginin ağı oluşturan nöronlar arası iletilmesi aşamalarından meydana gelmektedir. Buradan hareketle biyolojik sinir ağlarının davranışını modelleyebilmek için çeşitli matematiksel yapay sinir ağı topolojileri ortaya konulmuştur. Literatürde en yaygın kullanılan ağ topolojisi farklı katmanlardan meydana gelen ileri yönlü yapay sinir ağı topolojisidir. Model bilginin giriş katmanından çıkış katmanına doğru ileri yönlü yapay nöronlar ile aktarılması ve nöronlar arası sinaptik bağlantı ağırlıklarının değiştirilmesi ilkesine göre çalışmaktadır. Bu çalışmada, Küçük Dünya ağları modellinin ileri yönlü yapay sinir ağlarında uygulanması ve öğrenme performansının araştırılması hedeflenmiştir. Bu bağlamda, Watts-Strogatz, Newman-Watts ve Simard tarafından ortaya konulan bağlantı yenileme yöntemleri ile yeni ileri yönlü ağ topolojileri elde edilmiştir. Bu topolojilerin öğrenme süreci ve modelleme performanslarının testi için farklı alanlardan karmaşık problemler kullanılmıştır. Bu ağlardan elde edilen sonuçlar geleneksel ileri yönlü yapay sinir ağı sonuçları ile karşılaştırılmıştır. Küçük Dünya ağının oluşturulmasında, Global ve Lokal bağlantı uzunluk katsayıları kullanılmış ve Küçük Dünya ağı üretebilmek için gerekli yeni bağlantı sayısı aralığı tespit edilmiştir. Elde edilen bu bağlantı aralığı, denemelerle elde edilen ağın başarılı deneme sayısı dağılımı ile tutarlılık göstermektedir. Watts-Strogatz ve Simard Küçük Dünya ağı modellerinin küçük ölçekli veri seti için daha iyi öğrenme performansı gösterdiği görülmüştür. Ancak veri seti büyüdükçe bu performansın düştüğü gözlemlenmiştir. Ayrıca, bu modellerin yeni bağlantı sayısı aralığının geniş ölçekli olduğu tespit edilmiştir. Newman-Watts Küçük Dünya ağında ise yeni bağlantı sayısı aralığının daha küçük ölçekli olduğu ve bu ağların öğrenme performansının veri seti büyüklüğünden bağımsız olduğu belirlenmiştir. Yapılan çalışmada literatürde ilk defa, Watts-Strogatz Küçük Dünya ağı modeli ile geleneksel ileri yönlü yapay sinir ağı modeli bağımsız örnekli t-testi kullanılarak istatistiksel olarak karşılaştırılmış ve Watts-Strogatz Küçük Dünya ağı modelinin geleneksel ileri yönlü yapay sinir ağı modelinden istatistikî olarak daha anlamlı (p<0.01) bir model olduğu ortaya konulmuştur. Elde edilen sonuçlar ışığında yapay zekâ araştırmalarında ileri yönlü yapay sinir ağı modelinin geleneksel topolojisi yerine Küçük Dünya ağ topolojisinin kullanılabileceği gösterilmiştir.

Learning process in the brain occurs two stages which are the storing of information in the biological neural networks and the transmission of the information between neurons consisting of network. Starting from this point, for modeling of behaviors of biological neural networks various mathematical neural network topologies have been proposed. In the literature, the most commonly used network topology is the feed forward artificial neural network topology that composed of different layers. The model has worked according to procedure that is the transmitting of information from input layer to output layer as feed forward manner and adjusting of the synaptic weights between neurons. In this study, investigation of implementation of small-world network model in the feed forward artificial neural networks and learning performances have been aimed. In this context, the new feed forward network topologies are obtained with the rewiring methods proposed by Watts-Strogatz, Newman-Watts and Simard. For testing the learning process and the modeling performances of these topologies, complex problems from different field have been used. Obtained results from these networks have been compared with conventional feed forward artificial neural networks results. In generating of small-world networks the global and the local connectivity length parameters have been used and the new rewiring range required to obtain small-world networks are determined. The obtained rewiring range has showed consistency with the successful test distribution. It was observed that Watts-Strogatz and Simard small-world network models exhibit better performance for small dataset. But it is seen that if the dataset grows this performance decreases. Besides, it is identified that the rewiring range of these models is large scale. In Newman-Watts small-world networks, it is determined that this rewiring range is smaller and learning performances of these networks are independent of the dataset. In the presented study, with the first time in the literature, Watts-Strogatz small-world model is statistically compared with the conventional feed forward artificial neural networks, and it is presented that Watts-Strogatz small-world model is statistically more significant (p<0.01) model than the conventional feed forward artificial neural network model. In the light of obtained results, it was shown that the small-world network topology can be used instead of the conventional topology of feed forward artificial neural network in the researches of artificial intelligent.