Hadoop mapreduce algoritmasının analizi ile performansa etki eden parametrelerin tespiti ve hadoop üzerinde başarım artımı

Abstract

Map reduce kütüphanesi Google tarafından bilişim dünyasına kazandırılan dağıtık mimari üzerinde çok büyük verilerin kolay bir şekilde analiz edilebilmesini sağlayan programlama modelidir. Bu doküman hadoop map reduce algoritması iş akışını inceler ve map reduce işlemlerinin ve yapılandırma parametrelerinin farklı aşamalardaki farklı kullanımını ve yapılandırma parametrelerinin varsayılan değerleri, artıları eksileri ve tavsiye edilen "Konfigürasyon Parametre Modeli" 'ni açıklar. Uygulamaya özgü "Konfigürasyon Parametre Modeli"ni oluşturmak için uygulama ortamı düğümler arasında koordinasyonu sağlayan bir bilgisayar ve verilerin saklandığı dört adet bilgisayar olmak üzere toplam beş bilgisayardan oluşmuş, her bir bilgisayar 1 gb/s ile haberleşen anahtar ile birbirine bağlanmış ve hadoop küme yapısı oluşturulmuştur. Deneyde yapılan testler ile parametreler için en uygun değer değerler tespit edilmiştir. Amacımız az donanım maliyeti ile ölçekleme yaparak hadoop map reduce sistemi için en uygun değer yapılandırma parametrelerini bulup tavsiye edilen "Konfigürasyon Parametre Modeli" ' ni açığa çıkarmaktır. Anahtar kelimeler: Hadoop, Map reduce, Hdfs, Mapreduce Performans Parametreleri

Map reduce framework is a programming model brought to information world by Google that enables very large data analyzed in easy way on distributed architecture. This study analyses hadoop map reduce algorithm in a way that it describes different phases of map reduce operations, usage of configuration parameters in the map reduce job. It explains the configuration parameters, their default values, advantages, disadvantages, and creates a "Configuration Parameter Model" with suggested values in different conditions for this cluster. In order to create Configuration Parameter Model, hadoop map reduce cluster is created on environment for experiment which has five computers and has got one main computer which enables coordinating with master node and four computers which are slave nodes. The experiments are made on parameters which is trouble for cluster, optimum parameters values detected made by running tests. Our goal is to expose suggested "Configuration Parameter Model" by finding optimum configuration parameters using cluster and by decreasing hardware cost minimum. Keywords: Hadoop, Map Reduce, Hdfs, Map Reduce Performance Parameters