Karar Ağaçları Basitleştirildi: Makine Öğrenimi Açıklaması
Makine öğrenimi, günümüzün en heyecan verici ve dönüştürücü teknoloji alanlarından biridir. Verilerden öğrenerek tahminler yapabilen veya kararlar alabilen sistemler oluşturma bilimidir. Bu geniş alan içinde, Karar Ağaçları (Decision Trees) hem basitlikleri hem de güçlü performansları nedeniyle öne çıkan, temel ve anlaşılması kolay algoritmalardan biridir. Bu makalede, Karar Ağaçlarının ne olduğunu, nasıl çalıştığını, avantajlarını, dezavantajlarını ve modern makine öğrenimindeki yerini derinlemesine ancak anlaşılır bir dille inceleyeceğiz.
Makine Öğrenimine Giriş ve Karar Ağaçlarının Yeri
Makine öğrenimi, bilgisayarlara açıkça programlanmadan öğrenme yeteneği kazandıran bir yapay zeka dalıdır. Temelde, algoritmalar büyük veri kümelerindeki örüntüleri keşfeder ve bu örüntüleri gelecekteki tahminler veya kararlar için kullanır. Bu algoritmalar genellikle denetimli öğrenme, denetimsiz öğrenme ve pekiştirmeli öğrenme olmak üzere üç ana kategoriye ayrılır. Karar Ağaçları, genellikle hem sınıflandırma (örneğin, bir e-postanın spam olup olmadığını belirleme) hem de regresyon (örneğin, bir evin fiyatını tahmin etme) görevleri için kullanılan denetimli öğrenme algoritmaları sınıfına girer.
Karar Ağaçları, adından da anlaşılacağı gibi, bir dizi karar kuralını temsil eden bir ağaç yapısı oluşturur. Bu ağaç yapısı, bir sorunun çözümüne veya bir hedefin tahminine ulaşmak için ardışık sorular sormaya benzer. Örneğin, bir kredi başvurusunu değerlendiren bir banka, başvuranın gelirine, kredi geçmişine ve mevcut borçlarına göre ardışık kararlar alarak kredi verme veya reddetme sonucuna ulaşabilir. Karar ağaçlarının popülaritesi, özellikle yorumlanabilirlik ve anlaşılabilirlik konusundaki üstünlüklerinden kaynaklanmaktadır. Birçok “kara kutu” makine öğrenimi modelinin aksine, Karar Ağaçlarının karar verme süreci kolayca görselleştirilebilir ve insan tarafından anlaşılabilir.
Karar Ağaçlarının Temel Yapısı ve İşleyişi
Bir karar ağacı, bir akış şemasına benzer bir yapıdır. Her iç düğüm (internal node), bir özellik üzerinde bir test veya soru temsil ederken, her dal (branch) testin olası sonuçlarından birini temsil eder. Her yaprak düğüm (leaf node) ise bir sınıf etiketi (sınıflandırma için) veya sayısal bir değer (regresyon için) ile temsil edilen nihai kararı veya tahmini verir.
Düğüm Türleri
* Kök Düğüm (Root Node): Ağacın en üstündeki düğümdür ve tüm veri setini temsil eder. İlk karar veya test burada yapılır.
* İç Düğüm (Internal/Decision Node): Kök düğüm dışındaki tüm dallanma düğümleridir. Bir özelliği test eder ve veriyi daha küçük alt kümelere böler.
* Yaprak Düğüm (Leaf Node): Ağacın son düğümleridir ve daha fazla bölünemezler. Nihai kararı veya tahmini temsil ederler.
Bölme Kriterleri
Karar ağaçlarının nasıl inşa edildiğinin kalbi, veriyi en iyi şekilde bölen özellikleri ve bölme noktalarını seçme sürecidir. Bu sürece “bölme” (splitting) denir ve düğümlerin “saflığını” (purity) artırmayı hedefler. Bir düğüm ne kadar safsa, o düğümdeki örneklerin çoğu aynı sınıfa aittir.
Sınıflandırma Ağaçları İçin Bölme Kriterleri
Sınıflandırma problemleri için en yaygın kullanılan bölme kriterleri Gini Safsızlığı (Gini Impurity) ve Bilgi Kazancı (Information Gain) ile Entropi’dir.
* Gini Safsızlığı (Gini Impurity):
Gini safsızlığı, bir düğümdeki rastgele seçilen bir örneğin yanlış sınıflandırılma olasılığının bir ölçüsüdür. Düşük Gini safsızlığı, düğümün daha saf olduğu anlamına gelir. Bir düğümdeki tüm örnekler aynı sınıfa aitse, Gini safsızlığı 0’dır (maksimum saflık).
Formülü genellikle şöyledir:
$Gini(p) = 1 – \sum_{i=1}^{c} p_i^2$
Burada $p_i$, bir düğümdeki örneklerin $i$ sınıfına ait olma olasılığıdır ve $c$ sınıf sayısıdır. Algoritma, her bölünmede Gini safsızlığını en çok azaltan özelliği ve bölme noktasını seçmeye çalışır.
* Entropi ve Bilgi Kazancı (Entropy and Information Gain):
Entropi, bir düğümdeki veri kümesinin düzensizliğinin veya belirsizliğinin bir ölçüsüdür. Gini safsızlığı gibi, Entropi de 0 olduğunda maksimum saflığı gösterir. Bir düğümdeki örnekler farklı sınıflara eşit olarak dağılmışsa, Entropi maksimum değerine ulaşır.
Formülü genellikle şöyledir:
$Entropy(p) = – \sum_{i=1}^{c} p_i \log_2(p_i)$
Bilgi Kazancı ise, bir özellik üzerinde bölme yapıldığında Entropi’deki azalmayı ölçer. Algoritma, her adımda bilgi kazancını en üst düzeye çıkaran özelliği seçer.
$Information Gain(D, A) = Entropy(D) – \sum_{v \in Values(A)} \frac{|D_v|}{|D|} Entropy(D_v)$
Burada $D$ ana veri kümesi, $A$ bölme yapılan özellik, $Values(A)$ özelliğin olası değerleri, $|D_v|$ özelliğin $v$ değerine sahip örnek sayısı ve $|D|$ toplam örnek sayısıdır.
Regresyon Ağaçları İçin Bölme Kriterleri
Regresyon problemleri için, amaç ortalama kare hata (Mean Squared Error – MSE) veya ortalama mutlak hata (Mean Absolute Error – MAE) gibi bir hata ölçüsünü minimize etmektir. En yaygın kullanılanı MSE’dir.
* Ortalama Kare Hata (Mean Squared Error – MSE):
MSE, bir düğümdeki gerçek değerler ile o düğümdeki örneklerin ortalama değeri arasındaki farkların karelerinin ortalamasıdır. Amaç, her bölünmede MSE’yi en çok azaltan özelliği ve bölme noktasını bulmaktır. Düğümdeki tüm örneklerin hedef değerleri aynıysa, MSE 0’dır.
Formülü genellikle şöyledir:
$MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i – \hat{y})^2$
Burada $N$ düğümdeki örnek sayısı, $y_i$ gerçek değer ve $\hat{y}$ düğümdeki örneklerin ortalama hedef değeridir.
Karar Ağaçları Nasıl Oluşturulur?
Karar ağaçları genellikle özyinelemeli (recursive) ve açgözlü (greedy) bir yaklaşımla yukarıdan aşağıya doğru inşa edilir. Bu süreç genellikle CART (Classification and Regression Trees) algoritması gibi algoritmalar tarafından yönetilir.
1. En İyi Bölmeyi Bulma: Ağacın kök düğümünden başlayarak, algoritma mevcut veri kümesindeki her bir özellik için olası tüm bölme noktalarını değerlendirir. Sınıflandırma için Gini safsızlığını veya bilgi kazancını en çok azaltan, regresyon için ise MSE’yi en çok azaltan özelliği ve bölme noktasını seçer.
2. Düğümü Bölme: Seçilen en iyi bölme noktasına göre veri kümesi iki veya daha fazla alt kümeye ayrılır ve bu alt kümeler için yeni alt düğümler oluşturulur.
3. Özyinelemeli Süreç: Bu süreç, her bir alt düğüm için özyinelemeli olarak tekrarlanır. Her alt düğüm kendi içinde bir veri kümesi olarak ele alınır ve en iyi bölme noktası aranır.
4. Durma Kriterleri: Ağaç sonsuza kadar büyüyemez. Belirli durma kriterlerine ulaşıldığında bölme işlemi durur ve düğüm bir yaprak düğüm haline gelir. Yaygın durma kriterleri şunlardır:
* Bir düğümdeki tüm örnekler aynı sınıfa aitse (sınıflandırma) veya aynı değere sahipse (regresyon).
* Ağacın belirli bir maksimum derinliğe ulaşması.
* Bir düğümdeki örnek sayısının belirli bir minimum eşiğin altına düşmesi.
* Bölme işleminden elde edilen bilgi kazancının veya safsızlık azalmasının belirli bir eşiğin altında kalması (yani, daha fazla bölmenin önemli bir iyileşme sağlamaması).
Bu açgözlü yaklaşım, her adımda yerel olarak en iyi kararı verir, ancak bu, ağacın genel olarak küresel optimumu bulduğu anlamına gelmez.
Karar Ağaçlarının Avantajları
Karar ağaçları, basitlikleri ve esneklikleri nedeniyle birçok avantaj sunar:
* Yorumlanabilirlik ve Anlaşılabilirlik: Karar ağaçlarının en büyük avantajı, karar verme süreçlerinin şeffaf olmasıdır. Bir karar ağacı görselleştirilebilir ve bir insanın kolayca takip edebileceği bir dizi “eğer-o zaman” kuralı olarak yorumlanabilir. Bu, “kara kutu” modellerin aksine, neden belirli bir tahminin yapıldığını anlamayı sağlar.
* Veri Ön İşleme İhtiyacının Azalması: Karar ağaçları, veri normalizasyonu, standartizasyonu veya ölçeklendirmesi gibi yoğun ön işleme adımlarına genellikle ihtiyaç duymazlar. Kategorik ve sayısal özellikleri aynı anda işleyebilirler.
* Non-lineer İlişkileri Yakalayabilme: Lineer modellere kıyasla, karar ağaçları karmaşık non-lineer ilişkileri ve etkileşimleri veri içinde doğal olarak modelleyebilirler.
* Hızlı Eğitim ve Tahmin: Genellikle diğer karmaşık modellere göre daha hızlı eğitilirler ve tahmin yaparken de oldukça hızlıdırlar.
* Çoklu Çıkış Problemlerini Destekleme: Tek bir modelle birden fazla hedef değişkeni tahmin etmek mümkündür.
* Aykırı Değerlere Karşı Dayanıklılık: Bölme kriterleri genellikle veri sıralamasına dayandığı için, aykırı değerlerin ağacın yapısı üzerindeki etkisi diğer bazı algoritmalara göre daha az olabilir.
Karar Ağaçlarının Dezavantajları
Avantajlarına rağmen, karar ağaçlarının bazı önemli dezavantajları da vardır:
* Aşırı Uyum (Overfitting): Karar ağaçlarının en büyük dezavantajı aşırı uyuma yatkın olmalarıdır. Ağaç çok derin büyürse ve eğitim verisindeki gürültüyü veya aykırı değerleri öğrenirse, yeni, görülmemiş veriler üzerinde kötü performans gösterebilir. Bu, modelin eğitim verisine çok iyi uyum sağlaması ancak genelleme yeteneğini kaybetmesi anlamına gelir.
* Kararsızlık (Instability): Eğitim verisindeki küçük değişiklikler (örneğin, birkaç örneğin eklenmesi veya çıkarılması), ağacın yapısında önemli değişikliklere yol açabilir. Bu, modelin oldukça değişken olduğu anlamına gelir.
* Lokal Optimum: Karar ağaçları açgözlü bir yaklaşımla inşa edildiği için, her adımda yerel olarak en iyi bölmeyi seçerler. Bu, genel olarak küresel optimum çözümü bulamadıkları anlamına gelebilir.
* Dengesiz Verilerle Sorunlar: Eğer sınıflar arasında büyük bir dengesizlik varsa (bir sınıf diğerlerinden çok daha az örneğe sahipse), karar ağacı azınlık sınıfını göz ardı etme eğiliminde olabilir.
* Yüksek Varyans: Tek bir karar ağacı genellikle yüksek varyansa sahiptir, yani eğitim verisindeki küçük değişikliklere karşı çok hassastır.
Aşırı Uyumla Başa Çıkma: Budama (Pruning)
Aşırı uyum, karar ağaçları için ciddi bir sorun olduğundan, bu sorunu hafifletmek için “budama” (pruning) adı verilen teknikler kullanılır. Budama, ağacın karmaşıklığını azaltarak genelleme yeteneğini artırmayı amaçlar.
* Ön Budama (Pre-pruning / Top-down pruning): Ağaç oluşturulurken bölme işlemini durdurarak aşırı büyümeyi engellemeyi içerir. Bunun için kullanılan yaygın kriterler şunlardır:
* Maksimum ağaç derinliği belirleme.
* Bir düğümdeki minimum örnek sayısını belirleme (bu sayının altına düşerse bölünmez).
* Bölme sonrası elde edilen bilgi kazancının veya safsızlık azalmasının belirli bir eşiğin altında kalması durumunda bölmeyi durdurma.
Ön budama, ağacın daha basit ve daha hızlı oluşmasını sağlar, ancak bazen en iyi ağacı bulmayı engeller çünkü bazı potansiyel olarak faydalı dallar erken kesilebilir.
* Son Budama (Post-pruning / Bottom-up pruning): Bu yaklaşımda, ağaç önce mümkün olduğunca tam olarak büyütülür (genellikle durma kriterleri olmadan veya çok gevşek kriterlerle). Daha sonra, en alttaki dallardan başlayarak, her bir dalın kesilmesinin doğrulama seti üzerindeki performansı nasıl etkilediği değerlendirilir. Eğer bir dalın kesilmesi modelin genelleme performansını artırıyorsa (veya önemli ölçüde kötüleştirmiyorsa), o dal kesilir ve ilgili düğüm bir yaprak düğüm haline gelir. Maliyet karmaşıklığı budaması (Cost-Complexity Pruning) veya en zayıf bağlantı budaması (Weakest Link Pruning) gibi yöntemler bu kategoriye girer. Son budama, genellikle ön budamadan daha iyi sonuçlar verir çünkü ağacın tüm potansiyel dallanmalarını görme fırsatı sunar.
Topluluk Öğrenmesi ve Karar Ağaçları
Karar ağaçlarının tek başına bazı dezavantajları olsa da, “topluluk öğrenmesi” (ensemble learning) adı verilen güçlü bir teknikle birleştirildiklerinde inanılmaz derecede güçlü ve esnek modeller haline gelirler. Topluluk öğrenmesi, birden fazla öğrenme algoritmasının (veya aynı algoritmanın farklı varyasyonlarının) birleştirilerek tek bir modelden daha iyi tahminler yapmasını sağlayan bir yaklaşımdır. Karar ağaçları, topluluk öğrenmesi algoritmaları için temel yapı taşı olarak sıklıkla kullanılır.
* Rastgele Ormanlar (Random Forests):
Rastgele Ormanlar, en popüler ve etkili topluluk öğrenmesi algoritmalarından biridir. Birçok karar ağacının bir araya gelmesiyle oluşur. Her ağaç, eğitim verisinin rastgele bir alt kümesi üzerinde ve özelliklerin rastgele bir alt kümesi kullanılarak eğitilir. Bu iki rastgelelik boyutu (veri örneklemesi ve özellik örneklemesi), ağaçların birbirlerinden bağımsız olmasını ve aşırı uyumu azaltmasını sağlar. Tahmin yaparken, sınıflandırma için ağaçların çoğunluk oyu alınır, regresyon için ise tahminlerin ortalaması alınır. Rastgele Ormanlar, tek bir karar ağacının yüksek varyans sorununu çözerken, modelin genelleme yeteneğini önemli ölçüde artırır.
* Boosting Algoritmaları (Gradient Boosting, AdaBoost, XGBoost, LightGBM, CatBoost):
Boosting, zayıf öğrenicileri (genellikle sığ karar ağaçları) art arda eğiterek güçlü bir öğrenici oluşturan başka bir topluluk öğrenmesi tekniğidir. Boosting algoritmaları, her yeni ağacı önceki ağaçların yanlış yaptığı örnekleri daha iyi tahmin etmeye odaklanarak eğitir. Bu, modelin hatalarını kademeli olarak düzeltmesini ve performansı artırmasını sağlar. Gradient Boosting Machine (GBM), AdaBoost, ve bunların daha gelişmiş versiyonları olan XGBoost, LightGBM ve CatBoost, makine öğrenimi yarışmalarında ve gerçek dünya uygulamalarında sıklıkla en iyi performansı gösteren algoritmalar arasındadır ve hepsi temel olarak karar ağaçlarını kullanır.
Bu topluluk yaklaşımları, Karar Ağaçlarının yorumlanabilirlik avantajından bir miktar ödün verse de (çünkü yüzlerce ağacı yorumlamak zordur), genelleme performansını ve doğruluğunu dramatik bir şekilde artırır.
Karar Ağaçlarının Uygulama Alanları
Karar ağaçları ve onlara dayalı topluluk modelleri, çok çeşitli sektörlerde ve problemlerde yaygın olarak kullanılmaktadır:
* Tıbbi Teşhis: Hastaların semptomlarına ve tıbbi test sonuçlarına dayanarak hastalıkları teşhis etmek.
* Müşteri Segmentasyonu: Müşterileri satın alma davranışları, demografik özellikleri veya ilgi alanlarına göre gruplandırmak.
* Kredi Riski Değerlendirmesi: Bir başvuranın kredi ödeme olasılığını tahmin etmek.
* Pazarlama Analizi: Bir müşterinin belirli bir ürünü satın alma veya bir kampanyaya yanıt verme olasılığını tahmin etmek.
* Dolandırıcılık Tespiti: Finansal işlemlerde veya sigorta taleplerinde dolandırıcılık faaliyetlerini belirlemek.
* Doğal Dil İşleme: Metin sınıflandırması veya duygu analizi gibi görevlerde kullanılabilirler.
* Görüntü İşleme: Nesne tanıma veya görüntü sınıflandırması gibi temel görevlerde özellik vektörleriyle birlikte kullanılabilirler.
Sonuç
Karar Ağaçları, makine öğrenimi alanında temel, güçlü ve anlaşılması kolay algoritmalardan biridir. Bir akış şemasına benzeyen sezgisel yapıları, onları hem yeni başlayanlar için ideal bir başlangıç noktası hem de deneyimli veri bilimcileri için değerli bir araç haline getirir. Yorumlanabilirlikleri, birçok iş kararı için kritik öneme sahip olan modelin nasıl çalıştığını anlamamızı sağlar.
Tek başına kullanıldıklarında aşırı uyum ve kararsızlık gibi dezavantajları olsa da, budama teknikleri ile bu sorunlar hafifletilebilir. Dahası, Rastgele Ormanlar ve Boosting gibi topluluk öğrenmesi yöntemleriyle birleştirildiklerinde, Karar Ağaçları inanılmaz derecede yüksek performanslı ve sağlam modeller oluşturabilirler. Günümüzün en gelişmiş makine öğrenimi algoritimlerinin birçoğunun temelinde karar ağaçları yatmaktadır.
Veri bilimcileri için Karar Ağaçlarını anlamak, sadece bu özel algoritmayı değil, aynı zamanda makine öğreniminin temel prensiplerini ve daha karmaşık modellerin nasıl çalıştığını kavramak için de sağlam bir temel oluşturur. Basitlik ve gücün mükemmel bir birleşimi olan Karar Ağaçları, şüphesiz makine öğrenimi araç kutusunun vazgeçilmez bir parçası olmaya devam edecektir.