Travma sonrası kemik kırıklarının tespitinde bilgisayarlı görü ve derin öğrenme algoritmaları = Computer vision and deep learning algorithms on post-traumatic bone fractures detection

Abstract

1950'li yıllarda makinelerin düşünebileceği ve öğrenebileceği görüşünün ortaya atılmasından hemen sonra yapay zekâ kavramı ortaya çıkmıştır. 21.yy. geldiğimizde GPU ve CPU'ların gelişimi ile birlikte makine öğrenmesi kavramının içerisinde yer alan derin öğrenme insanoğlunun hayatında vazgeçemeyeceği bir noktaya erişmiştir. Gündelik yaşantıda insanoğlu artık ulaşımdan, güvenliğe, üretimden sağlığa kadar birçok alanda bilgisayarlı görüde derin öğrenme algoritmalarının kullanılmasının faydasını görmektedir. Bu çalışmada özellikle yaşlı popülasyonun karşılaştığı en kritik ve ölüm/sakatlanma gibi sonuçların en çok ortaya çıktığı sağlık problemlerinden biri olan femur üst bölge (kalça) kırıkları odağa alınmıştır. Dünya genelinde yapılan araştırmalar yaşlı popülasyonun karşılaştığı en kritik sağlık problemlerinden biri kalça kırıkları olduğunu göstermektedir. Beklenen yaşam süresinin uzamasıyla birlikte yapılan araştırmalar 2040 yılına kadar kalça kırıklarının iki kat artması beklenmektedir. Özellikle ortopedi hekimlerinin çözümledikleri bu kalça kırığı vakalarının, dünya genelinde 1990 yılında 1,26 milyon gerçekleşmesine karşın, 2050 yılına gelindiğinde 4,5 Milyona yükseleceği yapılan araştırmalarca ortaya konulmaktadır. Bütün ortopedik kemik kırıkları değerlendirildiğinde sakat kalma ve örüm oranı en yüksek kırık olduğu görülmektedir. Söz konusu femur üst bölge kalça kırıkları; derin öğrenme ve bilgisayarlı görünün en başarılı algoritmaları arasında yer alan "You Look Only Once - YOLO Darknet v4 algoritması, Faster R-CNN – Inception v2 Algoritması ve SSD - Mobilenet v2 algoritması ile ele alınmıştır. Söz konusu algoritmanın yeniden eğitilmesi adına nüfusu en kalabalık metropollerden biri olan İstanbul'da, kalça kırığı şikâyeti ile ortopedi servisine başvurmuş yaşları 22 ile 105 aralığında bulunan 500 üzeri hastanın X-ray görüntüsünde inceleme yapılmıştır. Bu incelemeler sonunda 410 hastanın X-ray görüntüsü veri çoklandırma tekniklerinden döndürme, ölçeklendirme kırpma ve yeniden boyutlandırma ile 820'ye çıkarılmıştır. Toplamda 1514 ((820-63)x2) adet femur üst bölge görüntüsüne yer verilmiştir. Söz konusu 820 X-ray görüntüsü %80 eğitim ve %20 doğrulama veri seti olarak ayrıştırılmıştır. Daha önce COCO – Common Object in Context veri setinde eğitilmiş olan YOLO Algoritması, dünyanın en güçlüsü olarak kabul edilmiş GPUlarından biri olan Tesla K80 24 GB GDDR5 GPUsu ile Google Colab üzerinden eğitim 5.000 iterasyon süresince eğitilmiştir. Bu eğitim 13 saat 6 dakikada tamamlanmıştır. Daha önce COCO veri setinde eğitilmiş olan Faster R-CNN algoritması ise Core i5-8300H CPU ve NVIDIA GeForce GTX 1050 GPU ya sahip iş istasyonu GPU'su ile eğitimi gerçekleştirilmiş, söz konusu 5000 adımdan oluşan eğitim 31,9 dakika sürmüştür. Yine daha önce COCO veri setinde eğitilmiş olan SSD Algoritması da yine Faster R-CNN Algoritması gibi Core i5-8300H CPU ve NVIDIA GeForce GTX 1050 GPU ya sahip iş istasyonu kullanılmış, toplamda 5000 iterasyona sahip eğitim 55,92 dk. da tamamlanmıştır. Ortopedi uzman doktorları ve asistanlarından oluşan 1. ekip %91,42 doğrulukta, yeniden eğitilerek ortaya çıkarılan YOLO algoritması doğrulukta %90,33 başarı gösterirken, yeniden eğitilen Faster R-CNN algoritması %84,29, pratisyen hekimlerden oluşan 2. grup %81,30 doğrulukta, yeniden eğitilen SSD Algoritması %72,74 oranında doğrulukta, başarı göstermiştir. Doğru pozitif oranı olarak ele alındığında en yüksek performans yine %91,67 ile ortopedi uzman doktorları ve asistanlarının olurken sırası ile Faster R-CNN Algoritması %90,64, YOLO Algoritması %87,67, SSD algoritması %78,32, Pratisyen hekim grubu ise %74,80 oranında başarı göstermiştir. Doğru negatif oranında ise en yüksek başarı oranı %92,98 oranı ile YOLO algoritmasının olurken, %91,17 ile bu sonucu, ortopedi uzmanı ve asistanları izlemiş, %87,80 ile pratisyen hekim grubu takip ederken, Faster R-CNN algoritmasının başarısı %77,94 seviyesinde kalırken, SSD algoritması %67,16 seviyesinde başarı gösterebilmiştir. Bu yapılan çalışma ile Yapay Sinir Ağlarının kullanıldığı algoritmaların kabuklarının dışına çıkarak resimlerdeki; hayvan, bitki ve nesneler dışında konumları ve şekilleri oldukça farklılaşabilen femur üst bölge kırıklarını da tespit edebileceği ve bu alanda ne kadar başarı elde edebileceğini tarafsız bir test veri seti ile ortaya koymuştur. Yapılan çalışma ile hekimlerin gerçekleştireceği teşhislerde kendilerine saniyeler içerisinde destek olacak birden fazla yapı geliştirilmesi de sağlanmıştır.

The concept of artificial intelligence emerged shortly after the proposition that machines can think and learn in the 1950s. The beginning of 21st century, with the improvement of GPU and CPU technologies, deep learning which is the concept under machine learning, has become an indispensable part of human life. In daily every daily activity, humans can now see the benefits of using deep learning algorithms in various areas such as transportation, security, production, and healthcare through computer vision. This study focuses on one of the most critical health problems faced by the elderly population, which is femoral proximal (hip) fractures, mostly caused to death or disability. Research conducted worldwide indicates that one of the most critical health problems faced by the elderly population is hip fractures. Studies suggest that with the increasing life expectancy, the incidence of hip fractures is expected to double by the end of 2040. Specifically, regarding these hip fracture cases treated by orthopedist, research reveals that while there were 1.26 million occurrences globally in 1990, it is projected to rise to 4.5 million by the year 2050. When evaluating all orthopedic bone fractures, it is evident that hip fractures have the highest rates of disability and mortality. In this study, femoral proximal fractures were focused using the deep learning algorithms such as the "You Look Only Once - YOLO Darknet v4" algorithm, the "Faster R-CNN – Inception v2" algorithm, and the "SSD - Mobilenet v2" algorithm, which are among the most successful algorithms in computer vision using deep learning. For the retraining of the algorithm, X-ray images were examined which were taking over 500 patients in aged between 22 to 105 with complaints of hip fracture in the orthopedic service of Istanbul, one of the most populous metropolises. As a result of these examinations, the X-ray images of 410 patients were augmented using data augmentation techniques such as rotation, scaling, cropping, and resizing, increasing the number of images to 820. A total of 1514 (820-63*2) femoral proximal images were included. The 820 X-ray images were divided into 80% training and 20% validation datasets. The YOLO algorithm which is considered one of the most powerful algorithms in the world, previously trained on the COCO (Common Object in Context). The new dataset was used for the retraining on the Tesla K80 24 GB GDDR5 GPU using Google Colab. The training duration is 5,000 iterations. This training was completed in 13 hours and 6 minutes. The Faster R-CNN algorithm which is also previously trained on the COCO dataset, was retrained using the Core i5-8300H CPU and NVIDIA GeForce GTX 1050 GPU. The retraining consisting of 5,000 steps and completed 31.9 minutes. Similarly, the SSD algorithm, previously trained on the COCO dataset, was trained using the Core i5-8300H CPU and NVIDIA GeForce GTX 1050 GPU on a workstation, and the training consisting of 5,000 iterations was completed in 55.92 minutes. In terms of accuracy, the first group consisting of orthopedic specialist doctors and assistants achieves a 91.42% accuracy rate. The retrained YOLO algorithm achieves a 90.33% accuracy rate, while the retrained Faster R-CNN algorithm achieves an 84.29% accuracy rate. The second group, consisting of general practitioners, achieves an accuracy rate of 81.30%. The retrained SSD algorithm achieves a 72.74% accuracy rate. When considering the true positive rate, the orthopedic specialist doctors and assistants achieve the highest performance with 91.67%, followed by the Faster R-CNN algorithm with 90.64%, the YOLO algorithm with 87.67%, the SSD algorithm with 78.32%, and the general practitioner group with 74.80%. As for the true negative rate, the YOLO algorithm achieves the highest success rate of 92.98%, followed by the orthopedic specialist doctors and assistants with 91.17%, the general practitioner group with 87.80%, the Faster R-CNN algorithm with 77.94%, and the SSD algorithm with 67.16%. This study has demonstrated that algorithms leveraging Artificial Neural Networks can extend beyond their conventional applications in recognizing animals, plants, and objects in images. They can also effectively detect femoral proximal fractures, which exhibit significant variations in both location and shape. The study substantiates the potential success rates achievable in this domain through the utilization of an impartial test dataset. Furthermore, the study has facilitated the development of multiple software that can provide instantaneous support to healthcare practitioners during the diagnostic process.