Tahmine dayal\u0131 modelleme d\u00fcnyas\u0131nda, do\u011fru ve g\u00fcvenilir sonu\u00e7lar elde etmek her zaman en b\u00fcy\u00fck hedeftir. Ancak bu hedefe ula\u015f\u0131rken, modellerin \u00f6\u011frenme a\u015famas\u0131nda a\u015f\u0131r\u0131ya ka\u00e7arak (overfitting) genelleme yeteneklerini kaybetme riskiyle s\u0131k\u00e7a kar\u015f\u0131la\u015f\u0131l\u0131r. \u0130\u015fte tam bu noktada, makine \u00f6\u011frenmesi algoritmalar\u0131 aras\u0131nda bir y\u0131ld\u0131z gibi parlayan XGBoost devreye girer. Peki, XGBoost nedir ve karma\u015f\u0131k veri k\u00fcmelerinden bile neden bu kadar etkili tahminler yapabilir? Bu makalede, Gradient Boosting’in temel mant\u0131\u011f\u0131ndan ba\u015flayarak, XGBoost’u rakiplerinden ay\u0131ran d\u00fczenlile\u015ftirme ve optimizasyon tekniklerine derinlemesine inecek, ger\u00e7ek d\u00fcnya senaryolar\u0131yla bu g\u00fc\u00e7l\u00fc algoritman\u0131n potansiyelini ke\u015ffedece\u011fiz.<\/p>\n
Makine \u00f6\u011frenmesi alan\u0131nda, tek bir modelin her zaman en iyi performans\u0131 g\u00f6stermesi beklenemez. Bu nedenle, birden fazla modelin bir araya getirilerek daha g\u00fc\u00e7l\u00fc bir tahmin sistemi olu\u015fturulmas\u0131 fikri olan “Topluluk \u00d6\u011frenmesi” (Ensemble Learning) kavram\u0131 ortaya \u00e7\u0131km\u0131\u015ft\u0131r. Gradient Boosting, bu topluluk \u00f6\u011frenmesi tekniklerinden biridir ve \u00f6zellikle y\u00fcksek do\u011fruluk gerektiren g\u00f6revlerde kendini kan\u0131tlam\u0131\u015ft\u0131r. Peki, Gradient Boosting tam olarak nas\u0131l \u00e7al\u0131\u015f\u0131r ve bu kadar etkili olmas\u0131n\u0131n s\u0131rr\u0131 nedir?<\/p>\n
Her \u015feyden \u00f6nce, Gradient Boosting’in temel yap\u0131 ta\u015f\u0131 karar a\u011fa\u00e7lar\u0131d\u0131r (Decision Trees). Karar a\u011fa\u00e7lar\u0131, basit bir “evet\/hay\u0131r” mant\u0131\u011f\u0131yla \u00e7al\u0131\u015fan, veriyi b\u00f6lerek tahminler yapan modellerdir. Ancak tek ba\u015f\u0131na bir karar a\u011fac\u0131, \u00f6zellikle derin ve karma\u015f\u0131k oldu\u011funda a\u015f\u0131r\u0131 uyum (overfitting) e\u011filimi g\u00f6sterebilir. Bu sorunu a\u015fmak i\u00e7in, Gradient Boosting, zay\u0131f \u00f6\u011frenicileri (genellikle s\u0131\u011f karar a\u011fa\u00e7lar\u0131) ard\u0131\u015f\u0131k bir \u015fekilde bir araya getirerek g\u00fc\u00e7l\u00fc bir \u00f6\u011frenici olu\u015fturur.<\/p>\n
Gradient Boosting’in ana fikri, her yeni a\u011fac\u0131n, \u00f6nceki a\u011fa\u00e7lar\u0131n yapt\u0131\u011f\u0131 hatalar\u0131 d\u00fczeltmeye odaklanmas\u0131d\u0131r. Bu s\u00fcre\u00e7, bir “kal\u0131nt\u0131” (residual) veya “hata” de\u011feri \u00fczerinden i\u015fler. \u0130lk a\u011fa\u00e7, hedef de\u011fi\u015fkeni tahmin etmeye \u00e7al\u0131\u015f\u0131r. Bu ilk tahminin hatalar\u0131 hesaplan\u0131r. \u0130kinci a\u011fa\u00e7 ise, do\u011frudan hedef de\u011fi\u015fkeni tahmin etmek yerine, bu hatalar\u0131 tahmin etmeye \u00e7al\u0131\u015f\u0131r. Yani, modelin nerede yanl\u0131\u015f yapt\u0131\u011f\u0131n\u0131 \u00f6\u011frenmeye odaklan\u0131r. Bu d\u00f6ng\u00fc, belirli bir say\u0131da a\u011fa\u00e7 eklenene veya hatalar kabul edilebilir bir seviyeye d\u00fc\u015fene kadar devam eder. Her yeni a\u011fa\u00e7, bir \u00f6nceki modelin eksik kald\u0131\u011f\u0131 noktalar\u0131 yakalamaya ve d\u00fczeltmeye \u00e7al\u0131\u015f\u0131r.<\/p>\n
Bu ard\u0131\u015f\u0131k d\u00fczeltme s\u00fcreci, algoritmaya ad\u0131n\u0131 veren “gradient” (gradyan) kelimesinden gelir. Her ad\u0131mda, modelin kayb\u0131n\u0131 (hata fonksiyonunu) minimize etmek i\u00e7in gradyan ini\u015fi (gradient descent) y\u00f6ntemine benzer bir yakla\u015f\u0131m kullan\u0131l\u0131r. Basit\u00e7e s\u00f6ylemek gerekirse, modelin hatas\u0131n\u0131n en h\u0131zl\u0131 azald\u0131\u011f\u0131 y\u00f6nde yeni bir a\u011fa\u00e7 eklenir. Bu sayede, model her ad\u0131mda daha karma\u015f\u0131k ili\u015fkileri \u00f6\u011frenir ve tahmin yetene\u011fini art\u0131r\u0131r. Ancak, bu ard\u0131\u015f\u0131k yap\u0131 ayn\u0131 zamanda Gradient Boosting modellerinin paralel olarak e\u011fitilmesini zorla\u015ft\u0131r\u0131r, \u00e7\u00fcnk\u00fc her a\u011fac\u0131n in\u015fas\u0131 bir \u00f6ncekinin sonucuna ba\u011fl\u0131d\u0131r. Bu durum, e\u011fitim s\u00fcresini uzatabilir ve b\u00fcy\u00fck veri k\u00fcmelerinde bir performans darbo\u011faz\u0131 olu\u015fturabilir. Bu zorluklar\u0131n \u00fcstesinden gelmek i\u00e7in, XGBoost gibi optimize edilmi\u015f algoritmalar geli\u015ftirilmi\u015ftir.<\/p>\n
Gradient Boosting’in temel prensipleri g\u00fc\u00e7l\u00fc olsa da, orijinal haliyle baz\u0131 s\u0131n\u0131rlamalara sahiptir. A\u015f\u0131r\u0131 uyum (overfitting) riski, b\u00fcy\u00fck veri k\u00fcmelerinde yava\u015f e\u011fitim s\u00fcreleri ve eksik de\u011ferlerle ba\u015fa \u00e7\u0131kma zorlu\u011fu bunlardan baz\u0131lar\u0131d\u0131r. \u0130\u015fte tam bu noktada, “eXtreme Gradient Boosting” k\u0131saltmas\u0131 olan XGBoost, Gradient Boosting’i yeni bir seviyeye ta\u015f\u0131yarak bu sorunlar\u0131n \u00fcstesinden gelir. XGBoost, sadece tahmin do\u011frulu\u011funu art\u0131rmakla kalmaz, ayn\u0131 zamanda modelin genellenebilirli\u011fini ve e\u011fitim verimlili\u011fini de iyile\u015ftirir.<\/p>\n
XGBoost’u rakiplerinden ay\u0131ran en \u00f6nemli \u00f6zelliklerden biri, kapsaml\u0131 d\u00fczenlile\u015ftirme (regularization) mekanizmalar\u0131d\u0131r. D\u00fczenlile\u015ftirme, modelin a\u015f\u0131r\u0131 karma\u015f\u0131k hale gelmesini ve e\u011fitim verilerini ezberlemesini engelleyerek, yeni, g\u00f6r\u00fcnmeyen verilere kar\u015f\u0131 daha iyi performans g\u00f6stermesini sa\u011flar. XGBoost, bu ama\u00e7la hem L1 (Lasso) hem de L2 (Ridge) d\u00fczenlile\u015ftirmeyi maliyet fonksiyonuna dahil eder. L1 d\u00fczenlile\u015ftirme, modeldeki baz\u0131 \u00f6zelliklerin a\u011f\u0131rl\u0131klar\u0131n\u0131 s\u0131f\u0131ra yakla\u015ft\u0131rarak \u00f6zellik se\u00e7imi yaparken, L2 d\u00fczenlile\u015ftirme, b\u00fcy\u00fck a\u011f\u0131rl\u0131klar\u0131n cezaland\u0131r\u0131lmas\u0131n\u0131 sa\u011flayarak modelin daha yumu\u015fak ve genellenebilir olmas\u0131n\u0131 te\u015fvik eder. Bu sayede, XGBoost, a\u011fa\u00e7lar\u0131n \u00e7ok derinle\u015fmesini veya a\u015f\u0131r\u0131 spesifik dallar olu\u015fturmas\u0131n\u0131 engelleyerek a\u015f\u0131r\u0131 uyumu etkin bir \u015fekilde kontrol alt\u0131nda tutar.<\/p>\n
Bir di\u011fer kritik fark, XGBoost’un maliyet fonksiyonunun sadece kay\u0131p fonksiyonunu (tahmin hatalar\u0131n\u0131 \u00f6l\u00e7en) de\u011fil, ayn\u0131 zamanda bu d\u00fczenlile\u015ftirme terimlerini de i\u00e7ermesidir. Bu, her bir a\u011fac\u0131n olu\u015fturulurken hem tahmin do\u011frulu\u011funu art\u0131rmaya hem de modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 kontrol etmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131 anlam\u0131na gelir. Ayr\u0131ca, XGBoost, a\u011fa\u00e7 budama (pruning) stratejilerini de geli\u015ftirmi\u015ftir. Geleneksel Gradient Boosting’de a\u011fa\u00e7lar tamamen b\u00fcy\u00fcd\u00fckten sonra budan\u0131rken, XGBoost, a\u011fa\u00e7lar\u0131 olu\u015ftururken negatif kazan\u00e7lar\u0131 olan dallar\u0131 otomatik olarak budayarak daha verimli ve genellenebilir a\u011fa\u00e7lar in\u015fa eder.<\/p>\n
XGBoost sadece algoritmik iyile\u015ftirmelerle s\u0131n\u0131rl\u0131 kalmaz, ayn\u0131 zamanda sistem seviyesinde de \u00f6nemli optimizasyonlar sunar. Paralel i\u015fleme yetene\u011fi, XGBoost’un e\u011fitim s\u00fcrecini \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131r\u0131r. A\u011fa\u00e7lar\u0131n her bir d\u00fc\u011f\u00fcm\u00fcndeki en iyi b\u00f6lmeyi bulma i\u015flemi, ba\u011f\u0131ms\u0131z olarak paralel \u00e7al\u0131\u015ft\u0131r\u0131labilir. Ayr\u0131ca, veri s\u0131k\u0131\u015ft\u0131rma ve \u00f6nbellek (cache) fark\u0131ndal\u0131\u011f\u0131 gibi teknikler kullanarak bellek kullan\u0131m\u0131n\u0131 optimize eder. Bu, \u00f6zellikle b\u00fcy\u00fck veri k\u00fcmeleriyle \u00e7al\u0131\u015f\u0131rken, XGBoost’un daha h\u0131zl\u0131 ve daha verimli olmas\u0131n\u0131 sa\u011flar. Eksik de\u011ferlerle (missing values) otomatik olarak ba\u015fa \u00e7\u0131kma yetene\u011fi de, veri \u00f6n i\u015fleme y\u00fck\u00fcn\u00fc azaltarak kullan\u0131c\u0131lar i\u00e7in b\u00fcy\u00fck bir kolayl\u0131k sa\u011flar. Bu \u00f6zelliklerin birle\u015fimi, XGBoost’u hem do\u011fru hem de h\u0131zl\u0131 bir makine \u00f6\u011frenmesi arac\u0131 haline getirir ve onu bir\u00e7ok veri bilimci i\u00e7in tercih edilen bir se\u00e7enek yapar.<\/p>\n
XGBoost’un teorik \u00fcst\u00fcnl\u00fckleri kadar, ger\u00e7ek d\u00fcnya problemlerini \u00e7\u00f6zmedeki pratik etkinli\u011fi de onu bu kadar pop\u00fcler k\u0131lan bir di\u011fer fakt\u00f6rd\u00fcr. Bankac\u0131l\u0131ktan sa\u011fl\u0131\u011fa, e-ticaretten enerji sekt\u00f6r\u00fcne kadar bir\u00e7ok alanda XGBoost, karma\u015f\u0131k veri setlerinden anlaml\u0131 i\u00e7g\u00f6r\u00fcler \u00e7\u0131karmak ve do\u011fru tahminler yapmak i\u00e7in ba\u015far\u0131yla kullan\u0131lmaktad\u0131r. Bu b\u00f6l\u00fcmde, XGBoost’un \u00e7e\u015fitli sekt\u00f6rlerdeki uygulamalar\u0131na ve basit bir Python kodu \u00f6rne\u011fiyle nas\u0131l kullan\u0131labilece\u011fine de\u011finece\u011fiz.<\/p>\n
Telekom\u00fcnikasyon, bankac\u0131l\u0131k ve abonelik tabanl\u0131 hizmetler veren \u015firketler i\u00e7in m\u00fc\u015fteri kayb\u0131 (churn) \u00f6nemli bir sorundur. M\u00fc\u015fterilerin neden ayr\u0131ld\u0131\u011f\u0131n\u0131 tahmin edebilmek, \u015firketlerin proaktif \u00f6nlemler almas\u0131n\u0131 ve m\u00fc\u015fteri sadakatini art\u0131rmas\u0131n\u0131 sa\u011flar. XGBoost, bu t\u00fcr ikili s\u0131n\u0131fland\u0131rma (binary classification) problemlerinde m\u00fckemmel sonu\u00e7lar verir. \u00d6rne\u011fin, bir telekom\u00fcnikasyon \u015firketi, m\u00fc\u015fterilerin demografik bilgileri, kullan\u0131m al\u0131\u015fkanl\u0131klar\u0131, fatura ge\u00e7mi\u015fleri gibi verileri kullanarak hangi m\u00fc\u015fterilerin \u00f6n\u00fcm\u00fczdeki ay i\u00e7inde hizmetlerini iptal etme olas\u0131l\u0131\u011f\u0131n\u0131n y\u00fcksek oldu\u011funu tahmin edebilir. XGBoost’un d\u00fczenlile\u015ftirme yetenekleri, bu t\u00fcr senaryolarda a\u015f\u0131r\u0131 uyumu engelleyerek modelin yeni m\u00fc\u015fteriler \u00fczerinde de g\u00fcvenilir tahminler yapmas\u0131n\u0131 sa\u011flar.<\/p>\n
Emlak sekt\u00f6r\u00fcnde, bir evin fiyat\u0131n\u0131 do\u011fru bir \u015fekilde tahmin etmek hem al\u0131c\u0131lar hem de sat\u0131c\u0131lar i\u00e7in kritik \u00f6neme sahiptir. Evin konumu, b\u00fcy\u00fckl\u00fc\u011f\u00fc, oda say\u0131s\u0131, ya\u015f\u0131, \u00e7evresindeki olanaklar gibi bir\u00e7ok fakt\u00f6r fiyat \u00fczerinde etkilidir. Bu, bir regresyon (regression) problemidir ve XGBoost, bu t\u00fcr s\u00fcrekli de\u011fer tahminlerinde de olduk\u00e7a ba\u015far\u0131l\u0131d\u0131r. \u00c7ok say\u0131da etkile\u015fimli \u00f6zellik oldu\u011funda (\u00f6rne\u011fin, konum ve b\u00fcy\u00fckl\u00fc\u011f\u00fcn birlikte fiyat\u0131 etkilemesi), XGBoost’un a\u011fa\u00e7 tabanl\u0131 yap\u0131s\u0131 bu karma\u015f\u0131k ili\u015fkileri \u00f6\u011frenme konusunda avantaj sa\u011flar. Model, hangi \u00f6zelliklerin (\u00f6rne\u011fin, metrekare veya konum) fiyat \u00fczerinde en b\u00fcy\u00fck etkiye sahip oldu\u011funu da belirleyerek de\u011ferli i\u015f i\u00e7g\u00f6r\u00fcleri sunabilir.<\/p>\n
XGBoost’u Python’da kullanmak olduk\u00e7a kolayd\u0131r. Yukar\u0131daki kod blo\u011fu, XGBoost’un temel kullan\u0131m\u0131n\u0131 g\u00f6stermektedir. XGBoost, kutudan \u00e7\u0131kt\u0131\u011f\u0131 haliyle bile etkileyici sonu\u00e7lar verebilse de, modelin potansiyelini tam olarak ortaya \u00e7\u0131karmak ve en iyi performans\u0131 elde etmek i\u00e7in baz\u0131 ileri d\u00fczey teknikleri ve en iyi uygulamalar\u0131 bilmek \u00f6nemlidir. Bu b\u00f6l\u00fcmde, hiperparametre ayar\u0131ndan erken durdurmaya, model yorumlanabilirli\u011finden da\u011f\u0131t\u0131k hesaplamaya kadar XGBoost’u daha verimli kullanman\u0131za yard\u0131mc\u0131 olacak stratejilere de\u011finece\u011fiz.<\/p>\n XGBoost, bir dizi ayarlanabilir hiperparametreye sahiptir ve bu parametrelerin do\u011fru kombinasyonu, modelin performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde etkileyebilir. En \u00f6nemli hiperparametrelerden baz\u0131lar\u0131 \u015funlard\u0131r:<\/p>\n Bu hiperparametreleri optimize etmek i\u00e7in yayg\u0131n stratejiler \u015funlard\u0131r:<\/p>\n XGBoost, do\u011frudan kategorik de\u011fi\u015fkenleri i\u015fleyemez. Bu nedenle, bu t\u00fcr de\u011fi\u015fkenlerin say\u0131sal formata d\u00f6n\u00fc\u015ft\u00fcr\u00fclmesi gerekir. En yayg\u0131n y\u00f6ntemler \u015funlard\u0131r:<\/p>\n B\u00fcy\u00fck veri k\u00fcmeleriyle \u00e7al\u0131\u015f\u0131rken, XGBoost’un da\u011f\u0131t\u0131k hesaplama yeteneklerinden faydalanmak e\u011fitim s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde azaltabilir. XGBoost, Apache Spark, Dask ve Flink gibi da\u011f\u0131t\u0131k hesaplama \u00e7er\u00e7eveleriyle entegre olabilir. Bu entegrasyonlar, modelin birden fazla makine \u00fczerinde paralel olarak e\u011fitilmesini sa\u011flayarak terabaytlarca veriyi bile verimli bir \u015fekilde i\u015flemeyi m\u00fcmk\u00fcn k\u0131lar.<\/p>\n XGBoost modelleri genellikle “kara kutu” olarak g\u00f6r\u00fclse de, modelin kararlar\u0131n\u0131 anlamak i\u00e7in \u00e7e\u015fitli ara\u00e7lar mevcuttur. \u00d6zellik \u00f6nemleri ( Bu ileri d\u00fczey teknikler ve en iyi uygulamalar, XGBoost’un g\u00fcc\u00fcn\u00fc tam olarak kullanman\u0131z\u0131 ve hem y\u00fcksek performansl\u0131 hem de yorumlanabilir modeller olu\u015fturman\u0131z\u0131 sa\u011flar. Unutmay\u0131n ki her veri seti farkl\u0131d\u0131r ve en iyi sonu\u00e7lar\u0131 elde etmek i\u00e7in s\u00fcrekli deneme ve ayarlama yapmak \u00f6nemlidir.<\/p>\n XGBoost, Gradient Boosting \u00e7er\u00e7evesini d\u00fczenlile\u015ftirme ve sistem optimizasyonlar\u0131yla birle\u015ftirerek makine \u00f6\u011frenmesi d\u00fcnyas\u0131nda devrim yaratm\u0131\u015f bir algoritmad\u0131r. Y\u00fcksek tahmin do\u011frulu\u011fu, a\u015f\u0131r\u0131 uyuma kar\u015f\u0131 diren\u00e7, h\u0131z ve \u00f6l\u00e7eklenebilirlik gibi \u00f6zellikleriyle, veri bilimcileri ve makine \u00f6\u011frenmesi m\u00fchendisleri i\u00e7in vazge\u00e7ilmez bir ara\u00e7 haline gelmi\u015ftir. Finansal doland\u0131r\u0131c\u0131l\u0131k tespitinden t\u0131bbi te\u015fhise, m\u00fc\u015fteri davran\u0131\u015f analizinden enerji t\u00fcketimi tahminine kadar geni\u015f bir yelpazede karma\u015f\u0131k problemleri \u00e7\u00f6zmede ba\u015far\u0131l\u0131 bir \u015fekilde kullan\u0131lmaktad\u0131r.<\/p>\n XGBoost’un ba\u015far\u0131s\u0131, sadece algoritmik yeniliklerle s\u0131n\u0131rl\u0131 kalmay\u0131p, ayn\u0131 zamanda a\u00e7\u0131k kaynak toplulu\u011funun s\u00fcrekli deste\u011fi ve geli\u015ftirilmesiyle de peki\u015fmektedir. Bu sayede, algoritma s\u00fcrekli olarak g\u00fcncellenmekte, yeni \u00f6zellikler eklenmekte ve performans\u0131 daha da art\u0131r\u0131lmaktad\u0131r. Veri bilimi alan\u0131 geli\u015ftik\u00e7e ve daha b\u00fcy\u00fck, daha karma\u015f\u0131k veri setleriyle \u00e7al\u0131\u015fmak standart hale geldik\u00e7e, XGBoost gibi optimize edilmi\u015f ve \u00f6l\u00e7eklenebilir algoritmalar\u0131n \u00f6nemi daha da artacakt\u0131r. Do\u011fru hiperparametre ayar\u0131, erken durdurma ve model yorumlanabilirli\u011fi gibi tekniklerle birle\u015ftirildi\u011finde, XGBoost, i\u015fletmelerin ve ara\u015ft\u0131rmac\u0131lar\u0131n verilerinden maksimum de\u011feri \u00e7\u0131karmalar\u0131na yard\u0131mc\u0131 olmaya devam edecektir. Gelecekte, daha da entegre ve otomatikle\u015ftirilmi\u015f makine \u00f6\u011frenmesi i\u015f ak\u0131\u015flar\u0131nda XGBoost’un kilit bir rol oynamas\u0131 beklenmektedir.<\/p>\n XGBoost ve Random Forest (Rastgele Orman) her ikisi de a\u011fa\u00e7 tabanl\u0131 topluluk \u00f6\u011frenmesi algoritmalar\u0131d\u0131r, ancak farkl\u0131 prensiplerle \u00e7al\u0131\u015f\u0131rlar. Random Forest, birden fazla karar a\u011fac\u0131n\u0131 ba\u011f\u0131ms\u0131z olarak e\u011fitir ve sonu\u00e7lar\u0131n\u0131 ortalama alarak veya oylayarak birle\u015ftirir (bagging). XGBoost ise a\u011fa\u00e7lar\u0131 ard\u0131\u015f\u0131k olarak e\u011fitir; her yeni a\u011fa\u00e7, \u00f6nceki a\u011fa\u00e7lar\u0131n yapt\u0131\u011f\u0131 hatalar\u0131 d\u00fczeltmeye odaklan\u0131r (boosting). XGBoost ayr\u0131ca L1\/L2 d\u00fczenlile\u015ftirme ve sistem optimizasyonlar\u0131 gibi \u00f6zelliklere sahiptir, bu da onu genellikle daha h\u0131zl\u0131 ve daha do\u011fru hale getirir, \u00f6zellikle b\u00fcy\u00fck veri setlerinde.<\/p>\n<\/li>\n XGBoost’un a\u015f\u0131r\u0131 uyuma kar\u015f\u0131 direnci, \u00f6zellikle entegre d\u00fczenlile\u015ftirme mekanizmalar\u0131ndan kaynaklan\u0131r. Maliyet fonksiyonuna dahil edilen L1 (Lasso) ve L2 (Ridge) d\u00fczenlile\u015ftirme terimleri, modelin \u00e7ok karma\u015f\u0131k hale gelmesini ve e\u011fitim verilerini ezberlemesini engeller. Ayr\u0131ca, a\u011fa\u00e7 budama (pruning) stratejileri, XGBoost, hem yap\u0131sal (tablolar halinde d\u00fczenlenmi\u015f) hem de yar\u0131 yap\u0131sal veri setlerinde olduk\u00e7a etkilidir. \u00d6zellikle:<\/p>\n Ancak, \u00e7ok y\u00fcksek boyutlu (\u00e7ok fazla \u00f6zellikli) ve seyrek (\u00e7o\u011fu de\u011feri s\u0131f\u0131r olan) veri setlerinde, \u00f6zellikle metin veya g\u00f6r\u00fcnt\u00fc verileri gibi, derin \u00f6\u011frenme modelleri daha uygun olabilir.<\/p>\n<\/li>\n XGBoost e\u011fitim s\u00fcresini h\u0131zland\u0131rmak i\u00e7in birka\u00e7 y\u00f6ntem vard\u0131r:<\/p>\n XGBoost modellerinin yorumlanabilirli\u011fini art\u0131rmak i\u00e7in birka\u00e7 y\u00f6ntem bulunmaktad\u0131r:<\/p>\n #XGBoost #Makine\u00d6\u011frenmesi #VeriBilimi #GradientBoosting #Regularization<\/p>\nxgboost<\/code> k\u00fct\u00fcphanesi, kullan\u0131c\u0131 dostu bir API sunar. A\u015fa\u011f\u0131daki \u00f6rnek, sentetik bir veri k\u00fcmesi \u00fczerinde basit bir s\u0131n\u0131fland\u0131rma modelinin nas\u0131l e\u011fitilece\u011fini g\u00f6stermektedir:<\/p>\n\nimport xgboost as xgb\nfrom sklearn.model_selection import train_test_split\nfrom sklearn.metrics import accuracy_score\nimport numpy as np\n\n# Sentetik veri seti olu\u015ftural\u0131m\n# Ger\u00e7ek uygulamalarda bu k\u0131s\u0131m veri y\u00fckleme ve \u00f6n i\u015fleme ad\u0131mlar\u0131n\u0131 i\u00e7erir\nX = np.random.rand(1000, 10) # 1000 \u00f6rnek, 10 \u00f6zellik\ny = np.random.randint(0, 2, 1000) # \u0130kili s\u0131n\u0131fland\u0131rma i\u00e7in 0 veya 1\n\n# Veriyi e\u011fitim ve test setlerine ay\u0131rma\nX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)\n\n# XGBoost modelini tan\u0131mlama\n# objective: s\u0131n\u0131fland\u0131rma i\u00e7in 'binary:logistic', regresyon i\u00e7in 'reg:squarederror'\n# eval_metric: modelin performans\u0131n\u0131 de\u011ferlendirmek i\u00e7in metrik (\u00f6rne\u011fin, 'logloss', 'error')\n# use_label_encoder: Deprecated uyar\u0131s\u0131n\u0131 \u00f6nlemek i\u00e7in False\nmodel = xgb.XGBClassifier(objective='binary:logistic', eval_metric='logloss', use_label_encoder=False, random_state=42)\n\n# Modeli e\u011fitme\nprint(\"XGBoost modeli e\u011fitiliyor...\")\nmodel.fit(X_train, y_train)\nprint(\"Model e\u011fitimi tamamland\u0131.\")\n\n# Test seti \u00fczerinde tahmin yapma\ny_pred = model.predict(X_test)\n\n# Modelin do\u011frulu\u011funu de\u011ferlendirme\naccuracy = accuracy_score(y_test, y_pred)\nprint(f\"Model Do\u011frulu\u011fu: {accuracy:.2f}\")\n\n# \u00d6zellik \u00f6nemini (Feature Importance) g\u00f6r\u00fcnt\u00fcleme\nprint(\"\u00d6zellik \u00d6nemleri:\")\nfor i, importance in enumerate(model.feature_importances_):\n print(f\"\u00d6zellik {i}: {importance:.4f}\")\n <\/code><\/pre>\n<\/p><\/div>\nXGBClassifier<\/code> s\u0131n\u0131f\u0131 s\u0131n\u0131fland\u0131rma g\u00f6revleri i\u00e7in, XGBRegressor<\/code> ise regresyon g\u00f6revleri i\u00e7in kullan\u0131l\u0131r. objective<\/code> parametresi, modelin hangi t\u00fcr problemi \u00e7\u00f6zd\u00fc\u011f\u00fcn\u00fc belirtir. Model e\u011fitildikten sonra, predict<\/code> metodu ile tahminler yap\u0131labilir ve accuracy_score<\/code> gibi metriklerle performans de\u011ferlendirilebilir. Ayr\u0131ca, model.feature_importances_<\/code> \u00f6zelli\u011fi, hangi \u00f6zelliklerin modelin tahminlerinde daha etkili oldu\u011funu anlamak i\u00e7in \u00e7ok de\u011ferli bir ara\u00e7t\u0131r.<\/p>\nXGBoost’u Maksimum Verimlilikle Kullanma: \u0130leri D\u00fczey \u0130pu\u00e7lar\u0131 ve En \u0130yi Uygulamalar<\/h2>\n
Hiperparametre Ayar\u0131 (Hyperparameter Tuning) Stratejileri<\/h3>\n
\n
n_estimators<\/code>: Olu\u015fturulacak a\u011fa\u00e7 say\u0131s\u0131. \u00c7ok fazla a\u011fa\u00e7 a\u015f\u0131r\u0131 uyuma yol a\u00e7abilir.<\/li>\nlearning_rate<\/code> (eta): Her a\u011fac\u0131n katk\u0131s\u0131n\u0131n a\u011f\u0131rl\u0131\u011f\u0131. K\u00fc\u00e7\u00fck de\u011ferler daha sa\u011flam modellere yol a\u00e7ar ancak daha fazla a\u011fa\u00e7 gerektirir.<\/li>\nmax_depth<\/code>: Her bir a\u011fac\u0131n maksimum derinli\u011fi. A\u015f\u0131r\u0131 derin a\u011fa\u00e7lar a\u015f\u0131r\u0131 uyuma neden olabilir.<\/li>\nsubsample<\/code>: Her a\u011fa\u00e7 i\u00e7in e\u011fitim \u00f6rneklerinin y\u00fczdesi. A\u015f\u0131r\u0131 uyumu azaltmaya yard\u0131mc\u0131 olur.<\/li>\ncolsample_bytree<\/code>: Her a\u011fa\u00e7 i\u00e7in \u00f6zelliklerin y\u00fczdesi. A\u015f\u0131r\u0131 uyumu azaltmaya yard\u0131mc\u0131 olur.<\/li>\nlambda<\/code> (L2 d\u00fczenlile\u015ftirme) ve alpha<\/code> (L1 d\u00fczenlile\u015ftirme): D\u00fczenlile\u015ftirme terimlerinin g\u00fcc\u00fcn\u00fc kontrol eder.<\/li>\n<\/ul>\n\n
Erken Durdurma (Early Stopping) ile A\u015f\u0131r\u0131 Uyumu Engelleme<\/h3>\n
n_estimators<\/code> (a\u011fa\u00e7 say\u0131s\u0131) hiperparametresini manuel olarak ayarlamak yerine, erken durdurma tekni\u011fini kullanmak, modelin e\u011fitim veri setinde en iyi performans\u0131 g\u00f6sterdi\u011fi noktada e\u011fitimi durdurarak a\u015f\u0131r\u0131 uyumu engellemenin etkili bir yoludur. Bu y\u00f6ntem, bir do\u011frulama (validation) seti \u00fczerinde modelin performans\u0131n\u0131 izler ve belirli bir say\u0131da yineleme boyunca performans iyile\u015fmedi\u011finde e\u011fitimi durdurur. XGBoost’ta model.fit()<\/code> fonksiyonunda early_stopping_rounds<\/code> parametresi ile kolayca kullan\u0131labilir.<\/p>\n\n# Erken durdurma ile model e\u011fitimi\n# eval_set: do\u011frulama seti, modelin performans\u0131n\u0131 izlemek i\u00e7in kullan\u0131l\u0131r\n# early_stopping_rounds: performans\u0131n iyile\u015fmedi\u011fi tur say\u0131s\u0131\nmodel.fit(X_train, y_train,\n eval_set=[(X_test, y_test)],\n early_stopping_rounds=50, # 50 tur boyunca iyile\u015fme olmazsa durdur\n verbose=False) # E\u011fitim \u00e7\u0131kt\u0131s\u0131n\u0131 gizle\n <\/code><\/pre>\n<\/p><\/div>\nKategorik De\u011fi\u015fkenlerle \u00c7al\u0131\u015fma<\/h3>\n
\n
\u00d6l\u00e7eklenebilirlik ve Da\u011f\u0131t\u0131k Hesaplama<\/h3>\n
Model Yorumlanabilirli\u011fi (Model Interpretability)<\/h3>\n
feature_importances_<\/code>), hangi \u00f6zelliklerin tahminler \u00fczerinde en b\u00fcy\u00fck etkiye sahip oldu\u011funu g\u00f6sterir. Daha geli\u015fmi\u015f yorumlanabilirlik i\u00e7in SHAP (SHapley Additive exPlanations) de\u011ferleri kullan\u0131labilir. SHAP, her bir \u00f6zelli\u011fin bir tahmin \u00fczerindeki katk\u0131s\u0131n\u0131 nicel olarak \u00f6l\u00e7erek, modelin bireysel tahminlerinin neden yap\u0131ld\u0131\u011f\u0131n\u0131 anlamam\u0131z\u0131 sa\u011flar.<\/p>\n\nimport shap\n\n# Bir SHAP a\u00e7\u0131klay\u0131c\u0131 (explainer) olu\u015ftur\nexplainer = shap.TreeExplainer(model)\n\n# Test seti i\u00e7in SHAP de\u011ferlerini hesapla\nshap_values = explainer.shap_values(X_test)\n\n# \u00d6zet bir SHAP grafi\u011fi \u00e7iz (en \u00f6nemli \u00f6zellikleri g\u00f6rselle\u015ftirir)\nshap.summary_plot(shap_values, X_test)\n\n# Tek bir \u00f6rnek i\u00e7in SHAP de\u011ferlerini g\u00f6rselle\u015ftir (ilk test \u00f6rne\u011fi i\u00e7in)\nshap.initjs() # JavaScript g\u00f6rselle\u015ftirmesi i\u00e7in gerekli\nshap.force_plot(explainer.expected_value, shap_values[0,:], X_test[0,:])\n <\/code><\/pre>\n<\/p><\/div>\nSonu\u00e7: XGBoost ile Gelece\u011fi \u015eekillendirmek<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h2>\n
\n
XGBoost ile Random Forest aras\u0131ndaki temel fark nedir?<\/h3>\n
XGBoost neden a\u015f\u0131r\u0131 uyuma (overfitting) kar\u015f\u0131 daha diren\u00e7lidir?<\/h3>\n
subsample<\/code> (\u00f6rnek alt k\u00fcmesi) ve colsample_bytree<\/code> (\u00f6zellik alt k\u00fcmesi) gibi hiperparametreler de a\u015f\u0131r\u0131 uyumu kontrol alt\u0131nda tutmaya yard\u0131mc\u0131 olur. Erken durdurma (early stopping) da modelin do\u011frulama setinde en iyi performans\u0131 g\u00f6sterdi\u011fi noktada e\u011fitimi durdurarak bu riski azalt\u0131r.<\/p>\n<\/li>\nXGBoost’u hangi t\u00fcr veri setlerinde kullanmal\u0131y\u0131m?<\/h3>\n
\n
XGBoost modelinin e\u011fitim s\u00fcresini nas\u0131l h\u0131zland\u0131rabilirim?<\/h3>\n
\n
n_jobs<\/code> parametresini i\u015flemci \u00e7ekirdek say\u0131n\u0131za ayarlayarak paralel \u00e7al\u0131\u015fmay\u0131 etkinle\u015ftirin (\u00f6rne\u011fin, n_jobs=-1<\/code> t\u00fcm \u00e7ekirdekleri kullan\u0131r).<\/li>\ntree_method='gpu_hist'<\/code> parametresini kullanarak e\u011fitimi \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131rabilirsiniz.<\/li>\nmax_depth<\/code>, n_estimators<\/code> gibi parametreleri daha k\u00fc\u00e7\u00fck de\u011ferlere ayarlamak, modelin daha h\u0131zl\u0131 e\u011fitilmesini sa\u011flar (ancak performans\u0131 etkileyebilir).<\/li>\nXGBoost modellerini nas\u0131l yorumlayabilirim?<\/h3>\n
\n
model.feature_importances_<\/code> \u00f6zelli\u011fi, her bir \u00f6zelli\u011fin modelin genel tahminlerindeki g\u00f6receli \u00f6nemini g\u00f6sterir. Bu, hangi \u00f6zelliklerin en etkili oldu\u011funu anlamak i\u00e7in iyi bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r.<\/li>\n