Neden 99.4% Doğruluk Yeterli Olmayabilir?

Yüksek doğruluk oranına sahip ama tamamen işe yaramaz bir sistemle karşılaşmak mümkün mü? Bu makalede, istatistiksel olarak etkileyici görünen ancak gerçek dünya problemlerini çözmede yetersiz kalan modellerin ardındaki nedenleri derinlemesine inceleyeceğiz. 99.4% doğruluk, kulağa harika gelse de, doğru bağlamda kullanılmadığında veya yanlış metriklerle değerlendirildiğinde yanıltıcı olabilir. Bu durumun teknik temellerini, potansiyel tuzaklarını ve bu tür senaryolardan nasıl kaçınılacağını adım adım ele alacağız. Özellikle makine öğrenmesi ve veri bilimi alanlarında karşımıza çıkan bu paradoksu anlamak, daha etkili ve anlamlı çözümler geliştirmemize yardımcı olacaktır.

Neden 99.4% Doğruluk Yeterli Olmayabilir?

Bir modelin veya sistemin “doğruluğunu” ölçmek, genellikle ilk bakışta en sezgisel metrik gibi görünür. Ancak, özellikle dengesiz veri setleri veya belirli sınıflandırma görevlerinde, yüksek doğruluk oranı yanıltıcı olabilir. Örneğin, bir hastalık teşhis sistemi düşünelim. Eğer popülasyonda hastalığın görülme sıklığı çok düşükse (%0.1 gibi), sistem tüm vakaları “hasta değil” olarak sınıflandırdığında bile %99.9 gibi bir doğruluk oranına ulaşabilir. Bu durumda, gerçek hasta vakalarını tespit etme yeteneği sıfır olurken, doğruluk oranı son derece yüksek kalır. İşte 99.4% gibi bir doğruluk oranı da benzer bir tuzak barındırabilir. Bu durum, özellikle nadir olayları tespit etmeye çalıştığımız senaryolarda karşımıza çıkar. Örneğin, bir güvenlik sisteminde nadir görülen bir siber saldırı türünü tespit etmeye çalışırken, sistemin genel olarak doğru tahminler yapması, bu nadir saldırıları kaçırmasına engel olmayabilir. Bu nedenle, sadece genel doğruluk oranına odaklanmak yerine, problemin bağlamına uygun diğer metrikleri de göz önünde bulundurmak büyük önem taşır.

Temel Kavramlar: Doğruluk ve Ötesi

Makine öğrenmesinde bir modelin performansını değerlendirirken kullandığımız birçok metrik bulunur. Genel doğruluk (accuracy), doğru tahminlerin toplam tahminlere oranıdır. Ancak bu metrik, veri setindeki sınıfların dengesizliği karşısında zayıf kalır. Örneğin, 1000 adet veri noktasından 990’ı “A” sınıfına, 10’u ise “B” sınıfına aitse ve modelimiz tüm veri noktalarını “A” olarak tahmin ederse, doğruluk oranı %99 olur. Bu, modelin “B” sınıfını hiç yakalayamadığı anlamına gelir ki bu da çoğu durumda kabul edilemez bir sonuçtur. Bu noktada, daha spesifik metrikler devreye girer:

• Kesinlik (Precision): Modelin pozitif olarak tahmin ettiği durumların ne kadarının gerçekten pozitif olduğunu gösterir. Yanlış pozitifleri (False Positives) minimize etmek önemlidir.
• Geri Çağırma (Recall) / Duyarlılık (Sensitivity): Gerçek pozitif vakaların ne kadarının model tarafından doğru bir şekilde pozitif olarak tahmin edildiğini gösterir. Yanlış negatifleri (False Negatives) minimize etmek önemlidir.
• F1 Skoru: Kesinlik ve geri çağırmanın harmonik ortalamasıdır. Dengeli bir performans ölçütü sunar.
• AUC (Area Under the ROC Curve): Farklı eşik değerlerinde modelin performansını gösteren bir eğrinin altındaki alandır. Sınıflandırma modellerinin genel ayırt edici gücünü ölçer.

Bu metrikler, modelin sadece genel başarı oranını değil, aynı zamanda belirli hata türlerini ne kadar iyi yönettiğini de anlamamızı sağlar. 99.4% doğruluk oranı, bu metrikler incelendiğinde aslında çok da etkileyici olmayabilir. Özellikle geri çağırma oranının düşük olması, önemli vakaların gözden kaçırılmasına neden olabilir.

Vaka Analizi 1: Tıbbi Teşhis Sistemi Paradoksu

Diyelim ki, nadir görülen bir kanser türünü tespit etmek için geliştirilmiş bir makine öğrenmesi modelimiz var. Bu kanser türü, genel nüfusun yalnızca %0.5’inde görülüyor. Modelimiz, 100.000 kişiyi tarıyor ve 500 kişide bu kanseri tespit ediyor. Eğer modelimiz, bu 500 kişinin tamamını doğru bir şekilde “kanserli” olarak işaretlerse ve geri kalan 99.500 kişiyi de doğru bir şekilde “kanserli değil” olarak işaretlerse, modelimizin doğruluk oranı %100 olur. Ancak, pratikte bu kadar mükemmel bir model bulmak neredeyse imkansızdır. Gerçekçi bir senaryoda, modelimiz %99.4 doğruluk oranına ulaşabilir. Bu ne anlama gelir? Bu, modelin genel olarak doğru tahminler yaptığını gösterir. Ancak, eğer modelimiz tüm 100.000 kişiyi “kanserli değil” olarak sınıflandırırsa bile, doğruluk oranı %99.5 olurdu. Eğer modelimiz, aslında kanserli olmayan 100 kişiyi yanlışlıkla kanserli olarak işaretlerse (yanlış pozitif) ve kanserli olan 400 kişiyi doğru tespit ederse (doğru pozitif), toplam tahmin sayısı 100.000’dir. Doğru tahmin sayısı 400 (doğru pozitif) + 99.500 (gerçekte kanserli olmayan ve yanlışlıkla kanserli olmayan olarak tahmin edilenler) = 99.900 olur. Bu durumda doğruluk oranı 99.900 / 100.000 = %99.9 olur. Fakat bu senaryoda, modelin gerçek kanser vakalarını tespit etme kabiliyeti, yani geri çağırma (recall) oranı, 400 / 500 = %80 olurdu. Peki ya modelimiz, sadece 100 kişiyi kanserli olarak işaretlerse ve bunların 50’si gerçekten kanserliyse (doğru pozitif) ve 50’si kanserli değilse (yanlış pozitif)? Geriye kalan 99.900 kişiyi de kanserli değil olarak işaretlerse ve bunların 450’si kanserliyse (yanlış negatif) ve 99.450’si kanserli değilse (doğru negatif). Bu durumda toplam doğru tahmin sayısı 50 (doğru pozitif) + 99.450 (doğru negatif) = 99.500 olur. Doğruluk oranı 99.500 / 100.000 = %99.5 olur. İşte bu senaryoda, yanlış negatif sayısı 450 olurdu. Eğer modelimiz %99.4 doğruluk oranına ulaşırsa, bu 100.000 kişiden 994 tanesini doğru tahmin etmiş demektir. Kalan 600 kişi ise yanlış tahmin edilmiştir. Eğer bu 600 yanlış tahminin büyük çoğunluğu kanserli olan vakalarsa (yani yanlış negatifler), o zaman modelimiz yüksek doğruluk oranına rağmen işe yaramaz hale gelir. Bu durumda, 500 kanserli vakadan sadece 440’ını tespit etmiş oluruz (doğru pozitif), bu da %88’lik bir geri çağırma oranına denk gelir. Kalan 60 kanserli vakayı ise kaçırmış oluruz. Bu, hayat kurtaran bir teşhis sisteminde kabul edilemez bir durumdur.

Bu örnekte görüldüğü gibi, %99.4 doğruluk oranı, aslında 60 adet kanserli vakayı kaçırdığımız anlamına gelebilir. Bu da, hastalığın erken teşhis edilmemesi ve tedavinin gecikmesi gibi ciddi sonuçlara yol açabilir. Bu nedenle, tıbbi teşhis gibi kritik alanlarda sadece genel doğruluk oranına bakmak yerine, yanlış negatif oranının ne kadar düşük tutulduğu gibi metrikler çok daha önemlidir. Geri çağırma (recall) oranının yüksek olması, yani gerçek pozitif vakaların büyük çoğunluğunun tespit edilmesi, bu tür sistemlerde öncelikli hedef olmalıdır.

Neden Veri Dengesizliği Bir Sorun Haline Geliyor?

Veri dengesizliği, makine öğrenmesi modellerinin performansını olumsuz etkileyen en yaygın sorunlardan biridir. Bir veri setindeki sınıflar arasında büyük farklılıklar olduğunda, model çoğunluk sınıfına doğru eğilim gösterir. Bu durum, azınlık sınıfındaki örnekleri doğru bir şekilde öğrenmesini zorlaştırır. Örneğin, bankacılık dolandırıcılık tespiti senaryosunda, dolandırıcılık işlemleri genellikle toplam işlem sayısının çok küçük bir kısmını oluşturur. Eğer bir model, tüm işlemleri “dolandırıcılık değil” olarak sınıflandırırsa, doğruluk oranı çok yüksek olabilir. Ancak, gerçek dolandırıcılıkları tespit etme yeteneği sıfır olacaktır. Bu, finansal kayıplara yol açabilir. Bu dengesizliği gidermek için çeşitli teknikler kullanılır:

• Aşırı Örnekleme (Oversampling): Azınlık sınıfındaki örneklerin sayısını artırmak. Bu, çoğunluk sınıfındaki örneklerin kopyalanması veya sentetik veri üretimi yoluyla yapılabilir.
• Az Örnekleme (Undersampling): Çoğunluk sınıfındaki örneklerin sayısını azaltmak. Bu, rastgele örneklerin silinmesi veya daha akıllı yöntemlerle yapılabilir.
• Sentetik Veri Üretimi (SMOTE – Synthetic Minority Over-sampling Technique): Azınlık sınıfındaki örnekler arasındaki boşlukları doldurarak yeni sentetik örnekler oluşturmak.
• Model Tabanlı Yaklaşımlar: Maliyet duyarlı öğrenme (cost-sensitive learning) gibi teknikler, yanlış sınıflandırmaların maliyetini farklı sınıflar için ayarlayarak modelin azınlık sınıfına daha fazla odaklanmasını sağlar.

Bu teknikler, veri setini daha dengeli hale getirerek modelin azınlık sınıfını daha iyi öğrenmesini sağlar. Aksi takdirde, %99.4 doğruluk oranı, aslında çoğunluk sınıfını doğru tahmin etmekten ibaret olabilir ve azınlık sınıfındaki önemli olayları gözden kaçırabilir.

Vaka Analizi 2: Sahtecilik Tespiti Sisteminin Tuzakları

Bir kredi kartı şirketi, milyonlarca işlemi işlerken dolandırıcılıkları tespit etmek için bir sistem geliştiriyor. İşlemlerin sadece %0.1’i dolandırıcılık olarak gerçekleşiyor. Geliştirilen model, tüm işlemlerin %99.9’unu doğru bir şekilde “dolandırıcılık değil” olarak sınıflandırarak %99.9 doğruluk oranına ulaşıyor. Bu kulağa harika gelse de, gerçekte durum farklıdır. Eğer modelimiz, 10 milyon işlemden sadece 10.000 tanesinin dolandırıcılık olduğunu biliyorsak ve tüm işlemleri “dolandırıcılık değil” olarak sınıflandırırsa, doğruluk oranı yine %99.9 olacaktır. Ancak, bu durumda hiçbir dolandırıcılık vakası tespit edilemez ve şirket büyük zarara uğrar. Senaryoyu biraz daha gerçekçi hale getirelim: Modelimiz, 10 milyon işlemde %99.4 doğruluk oranına ulaşıyor. Bu, 60.000 işlemin yanlış tahmin edildiği anlamına geliyor. Eğer bu yanlış tahminlerin 9.000 tanesi gerçek dolandırıcılık vakasıysa (yani modelimiz 10.000 dolandırıcılıktan sadece 1.000’ini tespit edebilmişse), o zaman geri çağırma oranı %10 olur. Bu, şirketin dolandırıcılıkları tespit etme yeteneğinin son derece zayıf olduğunu gösterir. Diğer yandan, eğer bu 60.000 yanlış tahminin büyük çoğunluğu, aslında dolandırıcılık olmayan ama model tarafından yanlışlıkla dolandırıcılık olarak işaretlenen işlemlerse (yanlış pozitif), o zaman bu durum da müşteri memnuniyetini düşürebilir ve operasyonel maliyetleri artırabilir. Bu nedenle, dolandırıcılık tespiti gibi alanlarda kesinlik (precision) ve geri çağırma (recall) metrikleri, genel doğruluk oranından çok daha önemlidir. Yüksek bir geri çağırma oranı, yani mümkün olduğunca çok dolandırıcılık vakasının tespit edilmesi, öncelikli hedef olmalıdır. Bu, bazen daha fazla yanlış pozitifin kabul edilmesi anlamına gelse bile, mali kayıpları önlemek adına daha iyi bir strateji olabilir.

Doğru Metriği Seçmek: Problemin Bağlamı Neden Önemli?

Bir modelin başarısını değerlendirirken doğru metrikleri seçmek, problemin doğasına ve iş hedeflerine bağlıdır. Örneğin, spam e-posta filtresi geliştiriyorsak, önemli olan, önemli e-postaların spam olarak işaretlenmemesidir (düşük yanlış pozitif). Bu durumda kesinlik (precision) daha ön planda olabilir. Ancak, bir tıbbi teşhis sisteminde, kanserli bir hastanın gözden kaçırılmaması (düşük yanlış negatif) daha kritiktir. Bu durumda geri çağırma (recall) daha önemlidir. 99.4% doğruluk oranı, hangi metriklerin göz ardı edildiğini veya yeterince iyi olmadığını bize söylemez. Bu nedenle, bir modelin performansını değerlendirirken aşağıdaki soruları kendimize sormalıyız:

• Bu modelin yanlış tahminlerinin maliyeti nedir?
• Hangi tür hatalar (yanlış pozitif veya yanlış negatif) daha kabul edilemez?
• Modelin hedeflediği iş problemi nedir ve bu problemi çözmek için hangi performans göstergeleri en uygunudur?

Bu soruların cevapları, hangi metriklerin daha fazla odaklanılması gerektiğini belirleyecektir. Sadece yüksek bir doğruluk oranı, problemin tam olarak çözüldüğü anlamına gelmez. Örneğin, bir öneri sisteminde, kullanıcıların %99.4’üne rastgele ürünler önermek ve sadece %0.6’sına gerçekten ilgi duyacakları ürünleri önermek, %99.4 doğruluk oranı (eğer doğruluk, doğru bir şekilde ilgisiz ürün önerme olarak tanımlanırsa) elde etmemizi sağlayabilir. Ancak bu, sistemin asıl amacını yerine getirmediği anlamına gelir. Kullanıcıların ilgisini çekecek ürünleri doğru bir şekilde önermesi, yani yüksek bir hassasiyet ve geri çağırma ile çalışması gerekir.

Uygulamalı Kısım: Python ile Metrikleri Hesaplama

Python’da scikit-learn kütüphanesi, model performansını değerlendirmek için çeşitli metrikler sunar. Aşağıda, örnek bir veri seti üzerinden bu metriklerin nasıl hesaplanacağını gösteren bir kod örneği bulunmaktadır. Bu örnekte, dengesiz bir veri seti ve bir sınıflandırma modeli kullanacağız.

Öncelikle gerekli kütüphaneleri içe aktaralım:

<div class="code-container">
      <pre><code>
    from sklearn.model_selection import train_test_split
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score
    from sklearn.linear_model import LogisticRegression
    from sklearn.datasets import make_classification
    import pandas as pd
      </code></pre>
    </div>

Şimdi dengesiz bir veri seti oluşturalım. Burada n_samples toplam örnek sayısını, weights ise sınıfların oranını belirtir. weights=[0.95, 0.05] ile %95’i bir sınıfa, %5’i diğer sınıfa ait bir veri seti oluşturuyoruz.

<div class="code-container">
      <pre><code>
    X, y = make_classification(n_samples=1000, n_features=20, n_informative=10, n_redundant=5,
                               n_classes=2, weights=[0.95, 0.05], flip_y=0.01, random_state=42)

    # Veriyi eğitim ve test setlerine ayırma
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
      </code></pre>
    </div>

Bir lojistik regresyon modeli eğitelim ve test seti üzerinde tahminler yapalım.

<div class="code-container">
      <pre><code>
    model = LogisticRegression(solver='liblinear', random_state=42)
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    y_pred_proba = model.predict_proba(X_test)[:, 1] # Pozitif sınıf olasılıkları
      </code></pre>
    </div>

Şimdi hesapladığımız metrikleri bir DataFrame içinde gösterelim.

<div class="code-container">
      <pre><code>
    accuracy = accuracy_score(y_test, y_pred)
    precision = precision_score(y_test, y_pred)
    recall = recall_score(y_test, y_pred)
    f1 = f1_score(y_test, y_pred)
    roc_auc = roc_auc_score(y_test, y_pred_proba)

    metrics_df = pd.DataFrame({
        'Metric': ['Accuracy', 'Precision', 'Recall', 'F1 Score', 'ROC AUC'],
        'Score': [accuracy, precision, recall, f1, roc_auc]
    })

    print(metrics_df)
      </code></pre>
    </div>

Bu kod çıktısı, modelimizin farklı metriklerdeki performansını açıkça gösterecektir. Eğer doğruluk oranı yüksek iken geri çağırma oranı düşükse, bu, modelin azınlık sınıfını (bu örnekte genellikle dolandırıcılık veya nadir hastalık gibi) yeterince iyi tespit edemediğini gösterir. Bu durumda, %99.4 gibi bir doğruluk oranı yanıltıcı olabilir.

İleri Düzey: Modelin Performansını Artırma Yolları

Eğer bir modelin %99.4 doğruluk oranına sahip olmasına rağmen işe yaramaz olduğunu fark edersek, bu durumu iyileştirmek için atabileceğimiz adımlar vardır. Öncelikle, problemin doğru bir şekilde tanımlandığından ve uygun metriklerin seçildiğinden emin olmalıyız. Ardından, aşağıdaki stratejileri uygulayabiliriz:

• Veri Artırma ve Ön İşleme: Daha fazla veri toplamak, mevcut verileri temizlemek ve özellik mühendisliği (feature engineering) ile daha anlamlı özellikler çıkarmak performans artışına katkı sağlayabilir.
• Dengesiz Veri Seti Teknikleri: Yukarıda bahsedilen aşırı örnekleme, az örnekleme veya SMOTE gibi teknikler, modelin azınlık sınıflarını daha iyi öğrenmesine yardımcı olabilir.
• Farklı Algoritmalar Denemek: Lojistik regresyon yerine, karar ağaçları (decision trees), rastgele ormanlar (random forests), gradient boosting makineleri (GBM) veya sinir ağları (neural networks) gibi daha karmaşık algoritmalar, özellikle karmaşık ilişkileri yakalamada daha başarılı olabilir.
• Hiperparametre Optimizasyonu: Modelin hiperparametrelerini ayarlamak (örneğin, öğrenme oranı, ağaç derinliği gibi), performans üzerinde önemli bir etkiye sahip olabilir. Grid Search veya Random Search gibi yöntemler kullanılabilir.
• Model Toplulukları (Ensemble Methods): Birden fazla modeli bir araya getirerek daha güçlü bir model oluşturmak. Örneğin, rastgele ormanlar, birden fazla karar ağacını birleştirir.
• Maliyet Duyarlı Öğrenme (Cost-Sensitive Learning): Yanlış sınıflandırmaların maliyetini farklı sınıflar için farklı ayarlayarak, modelin daha kritik sınıflara daha fazla odaklanmasını sağlamak.

Bu adımlar, modelin sadece genel doğruluk oranını değil, aynı zamanda problemin özünü oluşturan kritik görevleri de yerine getirmesini sağlayacaktır. Örneğin, bir finansal dolandırıcılık tespit sisteminde, bir yanlış negatifin maliyeti, bir yanlış pozitifin maliyetinden çok daha yüksek olabilir. Maliyet duyarlı öğrenme ile bu durumu modelimize yansıtabiliriz.

Sonuç: Doğruluk Tek Başına Yeterli Değil

Sonuç olarak, bir modelin veya sistemin %99.4 gibi yüksek bir doğruluk oranına sahip olması, tek başına onun başarılı veya işe yarar olduğu anlamına gelmez. Bu yüksek doğruluk oranı, özellikle dengesiz veri setlerinde veya yanlış metriklerle değerlendirildiğinde yanıltıcı olabilir. Problemin bağlamını anlamak, doğru performans metriklerini seçmek ve bu metrikler üzerinden modelin performansını değerlendirmek büyük önem taşır. Tıbbi teşhis, finansal dolandırıcılık tespiti, siber güvenlik gibi alanlarda, yanlış negatiflerin veya yanlış pozitiflerin sonuçları çok ciddi olabilir. Bu nedenle, sadece genel doğruluk oranına odaklanmak yerine, kesinlik, geri çağırma, F1 skoru ve AUC gibi metrikleri de dikkate alarak daha kapsamlı bir değerlendirme yapmak gereklidir. Yüksek doğruluk oranına rağmen işe yaramayan sistemler, genellikle veri dengesizliği, yanlış metrik seçimi veya problemin yanlış anlaşılmasından kaynaklanır. Bu tuzaklardan kaçınmak ve gerçek dünya problemlerini etkili bir şekilde çözebilen modeller geliştirmek için dikkatli bir analiz ve doğru değerlendirme yöntemleri şarttır.

Sıkça Sorulan Sorular

• Soru: Bir modelin doğruluk oranı %99.4 iken neden işe yaramaz olabilir?
  Cevap: Bu durum genellikle dengesiz veri setlerinden kaynaklanır. Eğer veri setindeki sınıflardan biri diğerinden çok daha fazlaysa, model çoğunluk sınıfını doğru tahmin ederek yüksek doğruluk oranına ulaşabilir, ancak azınlık sınıfındaki önemli olayları kaçırabilir. Örneğin, nadir bir hastalığı tespit eden bir sistemde, hastalığın görülme oranı çok düşükse, sistem tüm vakaları “sağlıklı” olarak işaretlese bile yüksek doğruluk oranına ulaşabilir.
• Soru: Dengesiz veri setleriyle başa çıkmak için hangi yöntemler kullanılır?
  Cevap: Dengesiz veri setleriyle başa çıkmak için aşırı örnekleme (oversampling), az örnekleme (undersampling), sentetik veri üretimi (SMOTE) ve maliyet duyarlı öğrenme (cost-sensitive learning) gibi teknikler kullanılır. Bu yöntemler, azınlık sınıfının model tarafından daha iyi öğrenilmesini sağlamayı hedefler.
• Soru: Doğruluk oranı dışında hangi metrikler önemlidir?
  Cevap: Problemin bağlamına bağlı olarak kesinlik (precision), geri çağırma (recall), F1 skoru ve AUC (Area Under the ROC Curve) gibi metrikler de çok önemlidir. Tıbbi teşhis gibi alanlarda geri çağırma, finansal dolandırıcılık tespitinde ise hem kesinlik hem de geri çağırma değerleri kritik önem taşır.
• Soru: Bir modelin performansını değerlendirirken en iyi yaklaşım nedir?
  Cevap: En iyi yaklaşım, problemin amacını ve yanlış tahminlerin potansiyel sonuçlarını anlamaktır. Tek bir metriğe odaklanmak yerine, problemin doğasına en uygun birkaç metriği birlikte değerlendirmek ve modelin bu metriklerdeki performansını analiz etmek daha doğru bir değerlendirme sağlar.

#MakineÖğrenmesi #VeriBilimi #YapayZeka #ModelDeğerlendirme #DoğrulukOranı