Derin öğrenme ile metin özetleme

Abstract

Günümüzde teknolojinin gelişimi ile birlikte yapay zekanın uygulamaları hayatımızda yaygınlaşmaya başlamıştır. Sürücüsüz araçlar, sesli komut algılayan sistemler, değişik mimik ve tepkiler veren yardımcı robotlar, drone vb. benzeri araçlar hayatlarımıza girmekte ve daha pek çoğu giriş yapmaya devam etmektedir. Yapay sinir ağı, beyinde bulunan nöronlardan yola çıkarak tasarlanmış basit işlemcilerdir. İnsan beyninin öğrenme şekli esas alınarak geliştirilmiştir. Belirli karmaşık problemlerin çözümü için aynen sinir hücrelerimizde olduğu gibi bu düğümler arasında da bilgi akışı ve öğrenmeyi sağlayan bağlantılar vardır. Beyindeki gibi eğitilerek testler sonucunda doğruluk oranı saptanmaktadır. Metin özetleme, bir belgeyi girdi olarak alıp daha kısa, yalın ve anlaşılır hali ile kullanıcıya sunmaktır. Günlük hayat koşturmacasında gerekliliği tartışılamaz bir konudur. Dergi, gazete, makale gibi günlük uygulamalar özetlemenin faydasının üst düzeyde görülebileceği alanlardır. Metin özetleme ile ilgili ilk çalışmalar yaklaşık elli yıl önce İngilizce için yapılmıştır. İlk zamanlar çeşitli istatistiksel yöntemler kullanılmış olup, bu yöntemler yüksek başarım ve düşük maliyet hedefini tutturduğu için geçerliliğini korumaktadır. Türkçe sondan eklemeli ve kurallı bir dil olduğu için, dil seçimi konusunda biçilmiş kaftan olmuştur. Bu tez çalışmasında, yapay zekanın alt dallarından biri olan makine öğrenmesinin dalı olan, derin öğrenme kullanılarak metin özetleme ele alınmış ve Tensorflow alt yapısını kullanan Keras kütüphanesi kullanılarak girilen metnin bir özeti elde edilmiştir. Türkçe metin özetleme için hali hazırda çok az veri seti vardır. Genelde veri setleri İngilizce ağırlıktadır. Bu tez çalışmasında çeşitli verisetlerinden alınarak Türkçe ve İngilizce için veri setleri oluşturulmuştur ve ilgili diller için metin özetleme çalışmalarına yer verilmiştir. Yapılan tez çalışmasının literatüre önemli derecede katkılar sağlayacağı düşünülmektedir. Anahtar Kelimeler: Metin Özetleme, Derin Öğrenme, Yapay Sinir Ağları, Vektör, Keras, Yapay Zeka, Makine Öğrenmesi

Today, with the development of technology, applications of artificial intelligence have started to become widespread in our lives. Driverless vehicles, systems that detect voice commands, auxiliary robots that give different gestures and responses, drone etc. similar vehicles enter our lives and many more continue to enter. Artificial neural network are simple processors designed based on neurons in the brain. It has been developed based on the learning style of the human brain. Just as in our nerve cells, there are connections that provide information flow and learning between these nodes for the solution of certain complex problems. By training as in the brain, the accuracy rate is determined as a result of tests. Text summarization is to take a document as input and present it to the user in a shorter, simpler and more understandable form. The necessity in daily life is an indisputable issue. Daily applications such as magazines, newspapers and articles are areas where the benefits of summarizing can be seen at a high level. The first studies on text summarization were done in English about fifty years ago. Various statistical methods were used for the first time, and these methods remain valid because they meet the high performance and low cost targets. Since Turkish is an additive and canonical language, it has been cut out for language selection. In this thesis, text summarization, which is the branch of machine learning, which is one of the sub-branches of artificial intelligence, is discussed using deep learning and a summary of the text entered using the Keras library using the Tensorflow infrastructure is obtained. Very few data sets are currently available for Turkish text summarization. Generally, data sets are in English. In this thesis study, data sets for Turkish and English have been created from various databases and text summarization studies for related languages are included. It is thought that the thesis study will contribute significantly to the literature. Keywords: Text Summarization, Deep Learning, Artificial Neural Networks, Vector, Keras, Artificial Intelligence, Machine Learning