Çeşitli Çekirdek Fonksiyonları ile Oluşturulan Destek Vektör Makinesi Modellerinin Performanslarının İncelenmesi: Bir Klinik Uygulama
1İnönü Üniversitesi Tıp Fakültesi, Biyoistatistik ve Tıp Bilişimi Anabilim Dalı, Malatya, Türkiye
2İnönü Üniversitesi, Turgut Özal Tıp Merkezi, Kardiyoloji Anabilim Dalı, Malatya, Türkiye
Anahtar Kelimeler: Destek Vektör Makinesi, Çekirdek Fonksiyonları, Akut Koroner Sendromu, Tip II Diabetes Mellitus, Support Vector Machine, Kernel Functions, Acute Coronary Syndrome, Type II Diabetes Mellitus
3.903 görüntülenme 1.780 indirme
Gereç ve Yöntem: Bu çalışmada incelenen veriler, İnönü Üniversitesi Turgut Özal Tıp Merkezi Kardiyoloji Anabilim Dalı için geliştirilen veritaba-nından geriye yönelik (retrospektif) olarak seçilmiştir. Çalışmadaki söz konusu veriler Akut Koroner Sendromlu hastalarda tip 2 diabetes mellitus ile değişik demografik ve klinik değişkenleri içermektedir. Akut Koroner Sendromlu hastalarda tip 2 diabetes mellitusun sınıflandırılması için Destek Vektör Makinesi modelleri kullanılmıştır. İlgili modeller, ANOVA radyal tabanlı fonksiyon, bessel, doğrusal, Gaussian radyal tabanlı fonksiyon, laplace, polinomiyal ve sigmoid çekirdekleri ile oluşturulmuştur.
Bulgular: Laplace çekirdek fonksiyonu ile oluşturulan en iyi sınıflama performansına sahip destek vektör makinesi modeline ilişkin doğruluk, ROC eğrisi altında kalan alan, duyarlılık ve özgüllük [seçicilik] ölçütleri ile % 95 güven aralığı değerleri sırasıyla; 0.9804 (0.9716 - 0.987), 0.9332 (0.9096 - 0.9567), 0.9999 (0.9791 1.000) ve 0.9776 (0.9675 0.9852) olarak elde edilmiştir.
Sonuç: İncelenen değişik çekirdek fonksiyonları ile oluşturulan modeller arasında söz konusu performans ölçütleri dikkate alındığında, en iyi sınıflama performansı laplace Destek Vektör Makinesi modelinden elde edilmiştir. İlerleyen çalışmalarda, farklı klinik verilerde değişik çekirdek fonksiyonlu Destek Vektör Makinesi modelleri ile diğer makine öğrenmesi ya da veri madenciliği algoritmalarının kullanılması hastalıkların sınıflandırma başarısını artırabilecektir.
Material and Method: The data examined in this study were selected retrospectively from_ the database developed for Inonu University Turgut Ozal Medical Center Cardiology Department. The study included_ type 2 diabetes mellitus and various demographic and clinical variables in acute coronary syndrome patients. The Support Vector Machine model was used to classify type 2 diabetes mellitus in acute coronary syndrome patients. The related models are constructed by ANOVA radial basis function, bessel, linear, Gaussian radial basis function, laplace, polynomial and sigmoid kernel functions.
Results: The best classification performance was obtained by Support Vector Machine model constructed by laplace kernel function based on the results of performance metrics. The accuracy, area under ROC curve, sensitivity and specificity metrics with 95% CI were calculated as; 0.9804 (0.9716 - 0.987), 0.9332 (0.9096 - 0.9567), 0.9999 (0.9791 1.000) and 0.9776 (0.9675 0.9852), respectively.
Conclusion: When the performance metrics were taken into account, the best classification performance was achieved from the Laplace Support Vector Machine model. In subsequent studies, the use of Support Vector Machine models with different kernel functions and other machine learning or data mining algorithms in different clinical trials may improve the classification success of the diseases.
Giriş
Diabetes mellitus (DM), kandaki glikoz düzeyinin yükselmesiyle neticelenen, çoğunlukla kalıtsal ve çevre ile ilgili faktörlerin bir araya gelmesi ile meydana gelen bir hastalıktır. Dünya Sağlık Örgütü (WHO) verilerine göre, diyabetli insanların sayısı 1980'de 108 milyon iken, 2014te bu sayı 422 milyona; hastalığın 18 yaş üstü erişkinlerde genel prevalansı ise 1980de % 4.7 iken, 2014de % 8.5e yükselmiştir. Diyabetin 2030da tüm dünyadaki ölüm nedenleri arasında 7. sırada olacağı öngörülmektedir. Orta ve düşük gelirli ülkelerde, diyabet prevelansı hızla artmaktadır. Ayrıca, diyabet; körlük, böbrek yetmezliği, kalp krizi, inme ve alt ekstremite amputasyonunun ana nedenlerindendir4.
Destek vektör makinesi modelleri son zamanlarda popüler bir algoritma haline gelmektedir. Destek vektör makineleri, sınıflandırma veya regresyon problemleri için kullanılabilen denetimli/danışmanlı bir makine öğrenme/veri madenciliği algoritmasıdır. Bu süreçte verileri dönüştürmek için çekirdek çözümü (kernel trick) adı verilen bir teknik kullanır. Bu çekirdek çözümü, veri dönüşümlerine dayanarak olası çıktılar arasında en uygun sınırı bulur. Başka bir ifadeyle, çekirdek çözümü son derece karmaşık veri dönüşümleri yapar ve daha sonra bu verilerin, tanımlanan etiketler veya çıktılara dayalı olarak nasıl ayrıldığı belirlenir. Destek vektör makineleri, optimal bir hiperdüzlem oluşturmak için hata fonksiyonunu en aza indirgemek amacıyla kullanılan yinelemeli bir eğitim algoritması kullanır. Bu sayılan esnek ve önemli özellikleri nedeniyle, bu çalışmada ele alınan sınıflama probleminin çözümünde değişik çekirdek fonksiyonlarının tahmin performanslarını incelemek için destek vektör makineleri seçilmiştir.
Bu araştırmanın birincil amacı; çeşitli çekirdek fonksiyonları ile oluşturulan destek vektör makinesi modellerinin, Akut Koroner Sendromlu hastalarda diabetes mellitusu sınıflandırma performanslarının incelenmesi ve karşılaştırılmasıdır. Bu araştırmanın ikincil amacı ise, destek vektör makinesi modeli oluşturulurken kullanılan çeşitli çekirdek fonksiyonlarının parametrelerini optimize ederek en iyi sınıflandırma performansını elde etmeye çalışmaktır.
Materyal ve Metot
Tablo 1: Çalışmada kullanılan değişkenlerin tanımları
İki grup arası tahmini glikoz düzeyi farkı 20, varsayılan ortak standart sapması 55, tip I hata (alfa) 0.05 ve tip II hata (beta) 0.10 olduğunda, her grupta en az 160 olmak üzere toplamda en az 320 birey gerektiği güç analizi ile hesaplandı5. Bu planlanan araştırma kapsamına 1378 bireye ilişkin veriler alınmıştır.
Bu çalışmada uygulanan veritabanlarında bilgi keşfi (VTBK) süreci aşamaları aşağıda verilmiştir:
a. Veri seçimi: Veritabanlarından elde edilen ve bu araştırmada bağımlı/hedef değişken olarak DM, bağımsız/tahminleyici değişkenler olarak ise Tablo 1de detaylıca açıklanan faktörler veri seçimi kapsamında incelenmiştir.
b. Veri önişleme: Veri setindeki kayıp değer bulunan sınıflar verisetinden çıkarılmıştır. Aşırı/aykırı değer tespiti lokal aykırı faktörü (LOF) analizi ile yapılmış ve tespit edilen aşırı/aykırı değerler verisetinden çıkarılmıştır. Aşırı/aykırı değer tespitinde, yerel aykırı faktör (LOF) algoritması6 kullanıldı. LOF, yakın zamanda geliştirilmiş olan yoğunluğa dayalı aşırı/aykırı gözlem tespitinde kullanılan yöntemlerden biridir. LOF, diğer aşırı/aykırı gözlem saptama algoritmalarıyla karşılaştırıldığında birçok avantaja sahiptir. LOF, bir gözlemin diğer komşu nesnelere olan uzaklığını bir sayısal ölçeğe dönüştürerek, yerel aşırı/aykırı gözlemlerin tespit edilmesini sağlar7.
c. Veri dönüşümü ve veri indirgeme: Veri setindeki sayısal değişkenler için standardizasyon (Z-dönüşümü) uygulanmıştır. Standardizasyona ilişkin denklem aşağıda verilmiştir:

Burada 
örneklem aritmetik ortalamasını ve örneklem standart sapmasını ifade etmektedir8.
d. Veri madenciliği: Çeşitli çekirdek fonksiyonları kullanılarak oluşturulan DVM modelleri kullanılarak veri setinden ilişki, örüntüler çıkarma ve tahminler yapılmıştır. Bu çalışmada çeşitli DVM modelleri, Tablo 2de ayrıntılı şekilde tanımlanan değişik çekirdek fonksiyonları ile oluşturulmuş ve incelenen veri setine uygulanmıştır. Hiperparametre optimizasyonu için en yaygın ve en çok bilinen ızgara araması (grid search) yönteminde, hiperpara-metreler tespit edilen sabit bir adım büyüklüğü ile kullanılabilecek olan en büyük aralıkta uygulanır ve her bir sıralanış biçimi (kombinasyon) için performans ölçütlerine göre değerlendirilir9. Tablo 3de DVM modelinin oluşturulmasında kullanılan çekirdek fonksiyonlarının optimizasyon parametreleri, aralıkları ve kombinasyon sayıları verilmiştir.
Tablo 2: Çekirdek tipleri ve fonksiyonları
Tablo 3: Çekirdek fonksiyonlarının optimizasyon parametrelerine ilişkin tanımlayıcı bilgiler
C (cost, maliyet) parametresi, ayırıcı hiperdüzlemin düzgünlüğü ile eğitim verilerinin yanlış sınıflandırılması arasındaki dengeyi kontrol eder10. Maliyet parametresinin aksine σ (sigma), scale (ölçek) ve degree (derece) parametreleri çekirdek fonksiyonu parametreleridir. Sigma; Gaussian RBF, Laplace, ANOVA RBF ve Bessel çekirdek fonksiyonlarının parametresi, ölçek; Hiperbolik Tanjant (Sigmoid) ve Polinomiyal çekirdek fonksiyonlarının parametresi, derece; Polinomiyal, ANOVA RBF ve Bessel çekirdek fonksiyonlarının parametresidir.
e. Değerlendirme ve yorumlama: Çeşitli çekirdek fonksiyonları kullanılarak oluşturulan DVM modellerinin tahmin performansları; 10-katlı çapraz geçerlilik tekniği ile değerlendirilmiştir. Ayrıca, performans metriklerinden doğruluk, duyarlılık, özgüllük (seçicilik) ve ROC eğrisi altında kalan kullanılarak ilgili model çıktıları yorumlanmıştır. Bu metriklere ilişkin ayrıntılı formül tanımlamaları aşağıda verilmiştir:
Doğruluk = (DP+DN)/(DP+DN+YP+YN)
Duyarlılık = DP/(DP+YP)
Özgüllük (Seçicilik) = DN/(DN+YN)
Pozitif tahmin değeri = DP/(DP+YN)
Negatif tahmin değeri =DN/(DN+YP)
Burada; DP: doğru pozitif sayısı, DN: doğru negatif sayısı, YP: yanlış pozitif sayısı, YN: yanlış negatif sayısı olarak tanımlanır.
VTBK sürecindeki analizlerde RStudio Version 1.0.143 yazılımı11 ve yazılım içindeki ilgili paketler kullanılmıştır. Kullanılan paketler; LOF analizi için DMwR12, veri madenciliği aşaması için caret13 ve kernlab14, ROC eğrisi çizimi için ggplot215 ve ROCR16 paketleridir.
Biyoistatistiksel Analiz
Nicel veriler ortalama ve standart sapma, nitel veriler ise sayı ve yüzde özetlendi. Verilerin normal dağılıma uygunluğu Kolmogorov Smirnov testi ve varyansların homojenlik kontrolü ise Levene testi ile değerlendirildi. Verilerin analizinde bağımsız örneklerde t-testi, Pear-son Ki-kare testi, Yates Düzeltilmiş Ki-kare testi ve Fisher Kesin Ki-kare testi uygun olan yerlerde kesin (exact) yaklaşıma dayalı olarak kullanıldı. Analizlerde IBM SPSS Statistics version 24.0 for Windows paket programı17 kullanıldı. p<0.05 değeri istatistiksel olarak önemli kabul edildi.
Bulgular
Tablo 4: DM değişkenin dağılımı
Nitel değişkenlerin DMnin varlığı ve yokluğuna göre dağılımı Tablo 5de verilmiştir. Bu bulgulara göre, cinsiyet, anjiyotensin dönüştürücü enzim inhibitör, anjiotensin reseptör bloker diğer, aspirin, beta bloker, diüretik, statin, hipertansiyon, kalp yetmezliği öyküsü, miyokardiyal enfarktüs öyküsü, renal yetmezlik öyküsü ve sigara içme durumu değişkenleri açısından DM varlığı ve yokluğu arasında istatistiksel olarak fark vardır (p<0.05). Buna karşın, kalsiyum kanal bloker, clopidogrel, Akut Koroner Sendrom aile öyküsü, koroner arter bypass öyküsü, hiperlipidemi, kalp yetmezliği öyküsü, malignite öyküsü, periferik arter öyküsü ve inme hastalığı öyküsü değişkenleri açısından DM varlığı ve yokluğu arasında istatistiksel olarak fark yoktur (p>0.05).
Tablo 5: Nitel değişkenlerin DMnin varlığı ve yokluğuna göre dağılımı
Nicel değişkenlerin DMnin varlığına ve yokluğuna göre tanımlayıcı istatistikleri Tablo 6da verilmiştir. Tablo 6 incelendiğinde, kan üre azotu, glikoz, yüksek yoğunluklu lipoprotein, vücut kitle indeki değişkenleri açısından DM varlığı ve yokluğu arasında istatistiksel olarak fark varken (p<0.05), Düşük yoğunluklu lipoprotein, trigliserid, nabız, diastolik kan basıncı, sistolik kan basıncı, kolesterol değişkenleri açısından DM varlığı ve yokluğu arasında istatistiksel olarak farklılık yoktur (p>0.05).
Tablo 6: Nicel değişkenlerin DMnin varlığına ve yokluğuna göre tanımlayıcı istatistikleri
DVMnin tüm çekirdek fonksiyonlarının çeşitli performans metriklerine göre sınıflandırma performansları (% 95 güven aralığı ile) Tablo 7de verilmiştir.
Tablo 7: DVMnin tüm çekirdek fonksiyonlarının çeşitli performans metriklerine göre sınıflandırma performansları (%95 güven aralığı ile)
Tartışma
Bu çalışmada, Tip 2 DM olan Akut Koroner Sendromlu bireylerden oluşan bir hasta örnekleminde, KAH gelişmesini etkilediği kabul edilen DMnin sınıflandırılması için değişik çekirdek fonksiyonları ile geliştirilen DVM modellerinin tahmin performanslarının değerlendirilmesi amaçlanmıştır. Yapılan yayın taraması bulgularına göre, koroner arter hastalığının özel bir türü olan Akut Koroner Sendromlu hastalardan oluşan bireylerde tip 2 diyabet mellitusun varlığı ya da yokluğunu tıbbi bilgi keşfi süreci ile inceleyen bir çalışmaya rastlanmamıştır. Bu bağlamda, ANOVA RBF, bessel, doğrusal, Gaussian RBF, laplace, polinomiyal ve sigmoid çekirdek fonksiyonları ile geliştirilen DVM modelleri elde edilmiştir. Bu DVM modelleri arasında, DMyi sınıflamada en yüksek doğruluk değeri Laplace çekirdek fonksiyonu (0.9804) ile hesaplandı. Doğruluk değeri dikkate alındığında, DMyi sınıflamada en yüksek değerler sırasıyla; Gaussian RBF (0.9448), Polinomial (0.8846), Bessel (0.8832), ANOVA RBF (0.8803), Hyperbolic tangent (Sigmoid) (0.8716) ve doğrusal (0.8788) olarak elde edilmiştir. ROC eğrisi altında kalan alan açısından tahminlenen değişik DVM modelleri değerlendirildiğinde, çekirdek fonksiyonlarına ilişkin en yüksek değerler sırasıyla; Laplace (0.9804), Gaussian RBF (0.8139), Polinomial (0.6495), Bessel (0.6261), doğrusal (0.6256), ANOVA RBF (0.6182) ve Sigmoid (0.5906) olarak bulunmuştur. Performans ölçütleri arasından duyarlılık değerleri büyükten küçüğe sıralandığında; Laplace (0.9999), Gaussian RBF (0.9922), Bessel (0.8154), ANOVA RBF (0.7937), Polinomial (0.7529), doğrusal (0.7397)
ve Sigmoid (0.7359 ) olarak elde edilmiştir. Ayrıca, oluşturulan modeller özgüllük [seçicilik] değerleri açısından incelendiğinde, en yüksek özgüllük [seçicilik] değerleri sırasıyla; Laplace (0.9776), Gaussian RBF (0.94), Polinomial (0.8933), Bessel (0.8865), ANOVA RBF (0.8844), doğrusal (0.8857) ve Sigmoid (0.877) olarak bulunmuştur.
Sonuç olarak; incelenen değişik çekirdek fonksiyonları ile oluşturulan modeller arasında söz konusu performans ölçütlerinden; doğruluk, duyarlılık, özgüllük (seçicilik) ve ROC eğrisi altında kalan alan değerleri dikkate alındığında, en iyi sınıflama performansı Laplace Destek Vektör Makinesi modelinden elde edilmiştir. İlerleyen çalışmalarda, farklı klinik verilerde değişik çekirdek fonksiyonlu Destek Vektör Makinesi modelleri ile diğer makine öğrenmesi ya da veri madenciliği algoritmalarının kullanılması hastalıkların sınıflandırma başarısını artırabilecektir.
Kaynaklar
1)Sezgin AT, Yıldırır A, Müderrisoğlu H. Akut Koroner Sendromlar III: Kararsız angina pektoris/ST yükselmesiz miyokard infarktüsü. İç Hastalıkları Dergisi 2003; 10: 121-30.
2)Amsterdam EA, Wenger NK, Brindis RG, et al. 2014 AHA/ACC Guideline for the management of patients with non-ST-elevation acute coronary syndromes: executive summary: a report of the American College of Cardiology/American Heart Association Task Force on Practice Guidelines. Circulation 2014; 130: 2354.
3)Grech ED, Ramsdale DR. Acute coronary syndrome: unstable angina and non-ST segment elevation myocardial infarction. BMJ 2003; 326: 1259-61.
4)Guariguata L, Whiting DR, Hambleton I, Beagley J, Linnenkamp U, Shaw JE. Global estimates of diabetes prevalence for 2013 and projections for 2035. Diabetes Res Clin Pract 2014; 103: 137-49.
5)Minitab I. MINITAB statistical software. Minitab Release 2015; 16.
6)Breunig MM, Kriegel H-P, Ng RT, Sander J, editors. LOF: identifying density-based local outliers. In: ACM Sigmod Record 2000; 29; 93-104.
7)Lee J, Kang B, Kang S-H. Integrating independent component analysis and local outlier factor for plant-wide process monitoring. J Process Control 2011; 21: 1011-21.
8)Pathak J, Bailey KR, Beebe CE, et al. Normalization and standardization of electronic health records for high-throughput phenotyping: the SHARPn consortium. J Am Med Inform Assoc 2013; 20: e341-e8.
9)Eminoğlu U. Matlab GUI kullanılarak rüzgâr türbini sistemleri için tasarım optimizasyonu paketinin geliştirilmesi ELECO 2012 Elektrik-Elektronik ve Bilgisayar Mühendisliği Sempozyumu; 29 Kasım - 01 Aralık 2012; Bursa.
10)Cortes C, Vapnik V. Support-vector networks. Machine Learning 1995; 20: 273-97.
11)Team R. RStudio: Integrated Development for R. RStudio, Inc., Boston, MA. 2016.
12)Torgo L, Torgo ML. Package DMwR. Comprehensive R Archive Network. 2013.
13)Kuhn M. Caret package. J Stat Softw 2008; 28: 1-26.
14)Zeileis A, Hornik K, Smola A, Karatzoglou A. Kernlaban S4 package for kernel methods in R. J Stat Softw 2004; 11: 1-20.
15)Wickham H. ggplot2: elegant graphics for data analysis. J Stat Softw 2010; 35: 65-88.
16)Sing T, Sander O, Beerenwinkel N, Lengauer T. ROCR: visualizing classifier performance in R. Bioinformatics 2005; 21: 3940-1.
17)Corp I. IBM SPSS Statistics for Windows, version 24.0. IBM Corp Armonk, NY; 2017.
18)Inzucchi SE, Bergenstal RM, Buse JB, et al. Management of hyperglycaemia in type 2 diabetes: a patientcentered approach. Position statement of the American Diabetes Association (ADA) and the European Association for the Study of Diabetes (EASD). Diabetologia 2012; 55: 1577-96.
© 2017 Fırat Tıp Dergisi. Tüm hakları saklıdır.

