Natural scene image text detection and recognition using a novel global curvature feature

Abstract

This thesis deals with scene text detection and recognition as a multiple object detection and recognition problem. That is, texts that are buried within an image naturally are detected and recognized character by character. As a result, the recognition process is usually termed as segmented or cropped character recognition. Two approaches for scene character detection are introduced. The first one is clustering based segmentation technique for multi-color scene text detection. This approach is designed to scene image texts, especially with intra-word color variance. That is, characters within the same word have distinct colors. The second approach is inspired by Maximally Stable Extremal Regions (MSER) for connected component generation. However, in this thesis, instead of stable regions, unstable regions are considered to generate candidate characters. The approach is termed as Maximally Unstable Extremal Regions (MUER) throughout the thesis. For cropped scene character recognition, a classical approach for general object recognition is employed. That is, descriptive image features are hand-engineered and are used to train a supervised learning algorithm for recognition. Therefore, a keypoint detection and description strategy is introduced to describe the shape of character images globally. Curvature information is the primary geometric property that is employed to identify qualified keypoints. The description is dependent on major properties such as physical separation and the angle between relevant image keypoints. As a classifier, SVM of various kernels is trained separately. Lastly, the description power of the global feature introduced in this thesis is compared to a well-known feature descriptor, SIFT. The results demonstrate that global shape descriptors that rely on curvature information are competitive and can ultimately lead to a better cropped character recognition.

Bu tez, sahne metni tespiti ve tanımasini çoklu nesne tespiti ve tanıma yaklasim ile cozulmesi ile ilgilidir. Başka bir deyişle, bir görüntünün içine doğal olarak gömülü olan metinler algılanır ve karakterleri birer birer tanınır. Bu nedenle, tanıma işlemi genellikle bölümlenmiş veya kırpılmış karakter tanıma olarak adlandırılır. Sahne karakteri tespiti için iki yaklaşım tanıtıldı. Birincisi, çok renkli sahne metin tespiti için kümeleme temelli segmentasyon tekniğidir. Bu yaklaşım, özellikle metin içi renk farkı ile görüntü metinlerini sahnelemek için tasarlanmıştır. Yani, aynı kelime içindeki karakterlerin farklı renkleri vardır. İkinci yaklaşım, bağlı bileşen üretimi için Maksimum Kararlı Ekstrem Bölgelerden esinlenmiştir. Ancak, bu tezde, istikrarlı bölgeler yerine, dengesiz bölgelerin aday karakterler ürettiği düşünülmektedir. Yaklaşım tez boyunca Maksimum Kararsız Ekstrem Bölgeler olarak adlandırılır. Kırpılmış sahne karakteri tanıma için, genel nesne tanıma için klasik bir yaklaşım kullanılır. Başka bir deyişle, tanımlayıcı resim özellikleri el yapımıdır ve tanınma için denetimli bir öğrenme algoritması yetiştirmek için kullanılır. Bu nedenle, karakter görüntülerinin global olarak şeklini tanımlamak için bir anahtar nokta tespit ve tanımlama stratejisi tanıtılmıştır. Eğrilik bilgisi, nitelikli kilit noktaları tanımlamak için kullanılan birincil geometrik özelliktir. Tanım, ilgili görüntü kilit noktaları arasındaki fiziksel ayrılma ve açı gibi ana özelliklere bağlıdır. Bir sınıflandırıcı olarak, çeşitli çekirdeklerin Destek Vektör Makinesi'si kullanılır. Son olarak, bu tezde tanıtılan küresel özelliğin açıklama gücü, iyi bilinen bir özellik tanımlayıcı SIFT ile karşılaştırılmıştır. Sonuçlar, eğrilik bilgisine dayanan küresel şekil tanımlayıcılarının rekabetçi olduğunu ve sonuçta daha iyi bir tanıma yol açabileceğini göstermektedir.