Büyük Veri Analizinde Haritalama (Mapping) İndirgemesi İçin Yeni Bir Yöntem Geliştirilmesi

Abstract

Günümüzde hızla gelişen teknoloji ile birlikte veri hacmi ve veri paylaşımları da her geçen gün artmaktadır. Büyük verilerin daha hızlı ve etkin işlenerek analiz edilmesi sürecinde, veri haritalama ve indirgenmesi oldukça önemlidir. Büyük veri analizinde veri haritalama dizisi ve küçültme, belirli bir algoritma yapısı kullanarak çalışır ve girdileri bir değer listesine, parametre olarak gönderir. Ara sonuç listesi için girilen sistemde yer alan listedeki tüm değerler dönüştürülerek oluşturulur. Haritalama (Map) işleminde, haritalama listesinin yapısında, veriler kapladıkları alan ve tekrar sayıları dikkate alınarak hızlı sıralama işlemlerine tabi tutulur. Az miktarda olan verinin işlenmesi daha az zaman tüketimi, bellek tüketimi, işlemci tüketimi ve disk tüketimi gibi konularda maliyet azaltıcı etki göstermektedir. Bu çalışmada, önerilen algoritma ile veri sıralaması, veri azaltımı işlemleri daha etkin bir şekilde gerçekleştirilmiştir. Algoritmanın analiz sonuç değerleri sonuç kısmında verilmiştir. Sistem içerisinde veri analizine hazırlanacak olan veriler öncelikle sıralanabilir özellikleri kontrol edilmiş ve daha sonra işlem uygulanmıştır. Çok miktarda veri olması durumunda, veriler çok daha fazla maliyet ile işlenecektir. Azaltım uygulanacak veriler, veri büyüklüğüne ve değerliğine sahip yapıları dikkate alınarak azaltma işleminin her veriye uygulanması sağlanmıştır. Bu işlem örneklerin seçimini kolaylaştırmıştır. Bu işlem ile aynı zamanda örneklerin seçim işlemi de kolaylaşmıştır. Tez içinde amaçlanan yapıyı gerçekleştirecek bir yazılım geliştirilmiştir. Yazılım Hadoop içindeki sınıflar kullanılarak önerilen algoritma yapısına göre düzenlenerek yeni bir altprogram oluşmuştur. Bunun için Hadoop kütüphanesinden yararlanılmıştır. Çalışma içinde yazılıma aktarılan değer dosyası öncelikle belli sınırlara indirgenmiş ve ardından sıralama ve haritalama yapılmıştır. Haritalama çıktısı içerisinde indeksleme yapılmıştır. Paralel olarak çalışan haritalama ve indirgeme sınıflarında, indirgeme aşamasında veriler değerlendirilmiş ve değerlendirme sonucu oluşan bir çıktı dosyası üretilmiştir.

Today, with the rapidly developing technology, data volume and data sharing are increasing day by day. Data mapping and reduction is very important in the process of analyzing the big data respect of the faster and more efficiently. In big data analysis, data mapping sequence and reduction is worked by using a certain algorithm structure and introduced then sended the inputs to a value list as a parameter. The intermediate result list is created by converting all values in the list included in the entered system. Time of the mapping (Map) process algorithm developed in the structure of the mapping list divide and obtain operations are performed. The sort depends on the bayt value that each data generates. In the case of small volumes of data, the data's result cost reduction, have less time consumption, memory consumption, processor consumption, and disk consumption. In this study, a more effective analysis process has been carried out with the proposed data sorting and reduction algorithm. The data to be prepared for data analysis in the system must have a sortable feature. If there is a large amount of data, the data processed at a much higher cost. The data mitigated must have data size and value, so that the reduction can be applied to each data. This can be facilitated the selection of examples. This process also facilitates the selection of the samples. The software has been developed to perform the intended structure in this thesis. The software was formed by crushing, added new codes as a procedure and reorganizing classes in Hadoop. Hadoop's library was used for this purpose. In the study, the value file transferred to the software is reduced to certain limits, then sorting and mapping is performed. Indexing used in the printout with the map. Data is evaluated during the reduction phase with paralel running map and reduction classes, and an output file consisting of the evaluation result is produced.