Makine \u00f6\u011frenimi d\u00fcnyas\u0131nda, karma\u015f\u0131k veri k\u00fcmelerinden anlaml\u0131 i\u00e7g\u00f6r\u00fcler \u00e7\u0131karmak ve do\u011fru tahminler yapmak i\u00e7in bir\u00e7ok g\u00fc\u00e7l\u00fc algoritma geli\u015ftirilmi\u015ftir. Bu algoritmalar aras\u0131nda, \u00f6zellikle s\u0131n\u0131fland\u0131rma ve regresyon problemlerinde \u00fcst\u00fcn performans\u0131yla \u00f6ne \u00e7\u0131kanlardan biri de Gradyan Art\u0131rma (Gradient Boosting) algoritmalar\u0131d\u0131r. Kaggle gibi veri bilimi yar\u0131\u015fmalar\u0131n\u0131n vazge\u00e7ilmezi haline gelen bu y\u00f6ntemler, hem teorik derinli\u011fi hem de pratik etkinli\u011fi ile dikkat \u00e7eker. Bu rehberde, Gradyan Art\u0131rma’n\u0131n s\u0131n\u0131fland\u0131rma problemlerindeki temel prensiplerini, ad\u0131m ad\u0131m nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131, \u00f6nemli parametrelerini, avantajlar\u0131n\u0131 ve dezavantajlar\u0131n\u0131 detayl\u0131 bir \u015fekilde inceleyece\u011fiz. Amac\u0131m\u0131z, bu karma\u015f\u0131k g\u00f6r\u00fcnen algoritman\u0131n ard\u0131ndaki mant\u0131\u011f\u0131 net ve anla\u015f\u0131l\u0131r bir dille ortaya koymakt\u0131r.<\/p>\n
Gradyan Art\u0131rma, “topluluk \u00f6\u011frenme” (ensemble learning) ad\u0131 verilen bir makine \u00f6\u011frenimi paradigmalar\u0131 ailesine aittir. Topluluk \u00f6\u011frenme, tek bir modelin tahminleri yerine birden fazla modelin tahminlerini birle\u015ftirerek daha g\u00fc\u00e7l\u00fc ve daha do\u011fru bir nihai model olu\u015fturmay\u0131 hedefler. Bu yakla\u015f\u0131m, genellikle tek bir modelin sahip olabilece\u011fi zay\u0131fl\u0131klar\u0131 (y\u00fcksek varyans veya y\u00fcksek sapma) telafi ederek daha iyi genelleme yetene\u011fi sa\u011flar.<\/p>\n
Topluluk \u00f6\u011frenme teknikleri genellikle iki ana kategoriye ayr\u0131l\u0131r: Boosting algoritmalar\u0131, genellikle “zay\u0131f \u00f6\u011freniciler” (weak learners) ad\u0131 verilen basit modelleri bir araya getirerek g\u00fc\u00e7l\u00fc bir model olu\u015fturur. Zay\u0131f \u00f6\u011freniciler, tek ba\u015flar\u0131na rastgele tahminlerden biraz daha iyi performans g\u00f6steren modellerdir; genellikle s\u0131\u011f (shallow) karar a\u011fa\u00e7lar\u0131 (decision stumps veya birka\u00e7 katmanl\u0131 a\u011fa\u00e7lar) kullan\u0131l\u0131r. Boosting’in temel prensipleri \u015funlard\u0131r: Gradyan Art\u0131rma, boosting ailesinin en g\u00fc\u00e7l\u00fc ve en genel algoritmalar\u0131ndan biridir. Leo Breiman’\u0131n “Adaptive Boosting” (AdaBoost) algoritmas\u0131ndan esinlenerek Jerome Friedman taraf\u0131ndan geli\u015ftirilmi\u015ftir. AdaBoost, yanl\u0131\u015f s\u0131n\u0131fland\u0131r\u0131lan \u00f6rneklere a\u011f\u0131rl\u0131k vererek \u00e7al\u0131\u015f\u0131rken, Gradyan Art\u0131rma daha genel bir yakla\u015f\u0131m benimser: mevcut modelin hatalar\u0131na veya “art\u0131klar\u0131na” (residuals) uyum sa\u011flamak i\u00e7in yeni modeller e\u011fitir.<\/p>\n Gradyan Art\u0131rma’n\u0131n temel fikri, bir modelin hatalar\u0131n\u0131 do\u011frudan d\u00fczeltmek yerine, bu hatalar\u0131n (ya da daha genel olarak kay\u0131p fonksiyonunun gradyan\u0131n\u0131n) \u00fczerine yeni bir model in\u015fa etmektir. Regresyon ba\u011flam\u0131nda d\u00fc\u015f\u00fcn\u00fcrsek, modelin yapt\u0131\u011f\u0131 tahminler ile ger\u00e7ek de\u011ferler aras\u0131ndaki farklara “art\u0131klar” denir. Gradyan Art\u0131rma, bu art\u0131klar\u0131 hedefleyerek yeni bir karar a\u011fac\u0131 e\u011fitir. Bu yeni a\u011fa\u00e7, \u00f6nceki a\u011fa\u00e7lar\u0131n yapamad\u0131\u011f\u0131 tahminleri \u00f6\u011frenmeye \u00e7al\u0131\u015f\u0131r. Gradyan Art\u0131rma’n\u0131n kalbinde bir “kay\u0131p fonksiyonu” (loss function) yatar. Kay\u0131p fonksiyonu, modelin tahminlerinin ger\u00e7ek de\u011ferlerden ne kadar sapt\u0131\u011f\u0131n\u0131 \u00f6l\u00e7er. Algoritman\u0131n amac\u0131, bu kay\u0131p fonksiyonunu minimize etmektir. S\u0131n\u0131fland\u0131rma problemlerinde yayg\u0131n olarak kullan\u0131lan kay\u0131p fonksiyonlar\u0131 \u015funlard\u0131r: Gradyan Art\u0131rma, ad\u0131n\u0131 kay\u0131p fonksiyonunu optimize etmek i\u00e7in kullan\u0131lan “gradyan ini\u015fi” (gradient descent) optimizasyon algoritmas\u0131ndan al\u0131r. Gradyan ini\u015fi, bir fonksiyonun minimumunu bulmak i\u00e7in kullan\u0131lan iteratif bir y\u00f6ntemdir. Her ad\u0131mda, fonksiyonun mevcut noktas\u0131ndaki gradyan\u0131 (yani en dik yoku\u015fun y\u00f6n\u00fc) hesaplan\u0131r ve fonksiyonun de\u011ferini azaltmak i\u00e7in bu gradyan\u0131n z\u0131t y\u00f6n\u00fcnde k\u00fc\u00e7\u00fck bir ad\u0131m at\u0131l\u0131r. \u015eimdi, Gradyan Art\u0131rma algoritmas\u0131n\u0131n s\u0131n\u0131fland\u0131rma problemleri i\u00e7in nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ad\u0131m ad\u0131m inceleyelim. \u0130kili s\u0131n\u0131fland\u0131rma \u00f6rne\u011fi \u00fczerinden, log-loss (binary cross-entropy) kay\u0131p fonksiyonunu kullanarak s\u00fcreci a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n Veri Seti:<\/strong> $(x_1, y_1), (x_2, y_2), \\dots, (x_N, y_N)$ \u015feklinde $N$ adet \u00f6rnekten olu\u015fur, burada $x_i$ \u00f6zellik vekt\u00f6r\u00fc ve $y_i \\in \\{0, 1\\}$ s\u0131n\u0131f etiketidir.<\/p>\n 1. Ba\u015flang\u0131\u00e7 Tahmini (Initial Prediction):<\/strong> 2. Iterasyonlar (M A\u011fa\u00e7 Say\u0131s\u0131 Kadar):<\/strong> * a. Pseudo-Art\u0131klar\u0131 Hesaplama:<\/strong> * b. Zay\u0131f \u00d6\u011freniciyi Fit Etme:<\/strong> * c. \u00c7\u0131k\u0131\u015f De\u011ferlerini Hesaplama (Line Search \/ Leaf Node Prediction):<\/strong> * d. Tahmini G\u00fcncelleme:<\/strong> 3. Nihai Tahmin:<\/strong> Gradyan Art\u0131rma’n\u0131n performans\u0131, do\u011fru hiperparametre se\u00e7imine b\u00fcy\u00fck \u00f6l\u00e7\u00fcde ba\u011fl\u0131d\u0131r. Bu parametreler, modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 ve \u00f6\u011frenme s\u00fcrecini kontrol eder.<\/p>\n Bu parametre, topluluk modelinde ka\u00e7 adet zay\u0131f \u00f6\u011frenici (karar a\u011fac\u0131) kullan\u0131laca\u011f\u0131n\u0131 belirler. Daha fazla a\u011fa\u00e7, modelin daha karma\u015f\u0131k ili\u015fkileri \u00f6\u011frenmesine olanak tan\u0131r ancak hesaplama s\u00fcresini art\u0131r\u0131r ve a\u015f\u0131r\u0131 uyuma (overfitting) yol a\u00e7abilir. Genellikle, k\u00fc\u00e7\u00fck bir Her bir a\u011fac\u0131n nihai tahmine yapt\u0131\u011f\u0131 katk\u0131n\u0131n b\u00fcy\u00fckl\u00fc\u011f\u00fcn\u00fc kontrol eder. Genellikle 0 ile 1 aras\u0131nda bir de\u011fer al\u0131r. K\u00fc\u00e7\u00fck bir Her bir zay\u0131f \u00f6\u011frenicinin (karar a\u011fac\u0131) maksimum derinli\u011fini belirler. Gradyan Art\u0131rma’da genellikle s\u0131\u011f a\u011fa\u00e7lar (\u00f6rne\u011fin Bu parametre, her bir karar a\u011fac\u0131n\u0131 e\u011fitirken e\u011fitim veri setinin hangi oranda rastgele alt \u00f6rneklerinin kullan\u0131laca\u011f\u0131n\u0131 belirler. \u00d6rne\u011fin, * min_samples_split:<\/strong> Bir d\u00fc\u011f\u00fcm\u00fc b\u00f6lmek i\u00e7in gereken minimum \u00f6rnek say\u0131s\u0131. Gradyan Art\u0131rma modelinin en iyi performans\u0131n\u0131 elde etmek i\u00e7in hiperparametrelerin dikkatlice ayarlanmas\u0131 gerekir. Yayg\u0131n stratejiler \u015funlard\u0131r: Her makine \u00f6\u011frenimi algoritmas\u0131 gibi, Gradyan Art\u0131rma’n\u0131n da kendine \u00f6zg\u00fc g\u00fc\u00e7l\u00fc ve zay\u0131f y\u00f6nleri vard\u0131r.<\/p>\n * Y\u00fcksek Do\u011fruluk:<\/strong> Genellikle di\u011fer algoritmalar\u0131n \u00e7o\u011fundan daha y\u00fcksek tahmin do\u011frulu\u011fu sa\u011flar, bu da onu bir\u00e7ok Kaggle yar\u0131\u015fmas\u0131nda ve end\u00fcstriyel uygulamada pop\u00fcler k\u0131lar. * Hesaplama Maliyeti Y\u00fcksek:<\/strong> S\u0131ral\u0131 yap\u0131s\u0131 nedeniyle, her a\u011fa\u00e7 bir \u00f6ncekinin \u00fczerine in\u015fa edildi\u011finden, e\u011fitim s\u00fcreci paralel olarak h\u0131zland\u0131r\u0131lamaz ve b\u00fcy\u00fck veri k\u00fcmelerinde zaman al\u0131c\u0131 olabilir. Temel Gradyan Art\u0131rma algoritmas\u0131 g\u00fc\u00e7l\u00fc olsa da, performans\u0131n\u0131 ve verimlili\u011fini daha da art\u0131rmak i\u00e7in bir\u00e7ok geli\u015fmi\u015f versiyonu geli\u015ftirilmi\u015ftir. Bunlar aras\u0131nda en pop\u00fcler olanlar \u015funlard\u0131r:<\/p>\n XGBoost, Gradyan Art\u0131rma’n\u0131n optimize edilmi\u015f, da\u011f\u0131t\u0131lm\u0131\u015f ve \u00f6l\u00e7eklenebilir bir uygulamas\u0131d\u0131r. H\u0131z ve performans a\u00e7\u0131s\u0131ndan bir\u00e7ok iyile\u015ftirme sunar: Microsoft taraf\u0131ndan geli\u015ftirilen LightGBM, \u00f6zellikle b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde XGBoost’tan bile daha h\u0131zl\u0131 e\u011fitim s\u00fcreleri ve daha d\u00fc\u015f\u00fck bellek kullan\u0131m\u0131 sunar. Bu, “yaprak bazl\u0131” (leaf-wise) a\u011fa\u00e7 b\u00fcy\u00fcme stratejisi sayesinde m\u00fcmk\u00fcn olur: Yandex taraf\u0131ndan geli\u015ftirilen CatBoost, \u00f6zellikle kategorik \u00f6zelliklerle ba\u015fa \u00e7\u0131kmada \u00fcst\u00fcnl\u00fck sa\u011flar: Gradyan Art\u0131rma algoritmalar\u0131, geni\u015f bir yelpazedeki s\u0131n\u0131fland\u0131rma problemlerinde ba\u015far\u0131l\u0131 bir \u015fekilde uygulanm\u0131\u015ft\u0131r.<\/p>\n * Finans:<\/strong> Kredi risk tahmini, doland\u0131r\u0131c\u0131l\u0131k tespiti, hisse senedi fiyat hareketlerinin tahmini. * Veri \u00d6n \u0130\u015fleme:<\/strong> Eksik de\u011ferleri uygun y\u00f6ntemlerle doldurun (medyan, ortalama, mod). Ayk\u0131r\u0131 de\u011ferleri tespit edin ve gerekti\u011finde ele al\u0131n. Kategorik \u00f6zellikleri (CatBoost kullanm\u0131yorsan\u0131z) say\u0131sal de\u011ferlere d\u00f6n\u00fc\u015ft\u00fcr\u00fcn (one-hot encoding, label encoding). Gradyan Art\u0131rma, makine \u00f6\u011frenimi alan\u0131nda s\u0131n\u0131fland\u0131rma ve regresyon problemlerinde ola\u011fan\u00fcst\u00fc performans sergileyen, g\u00fc\u00e7l\u00fc ve \u00e7ok y\u00f6nl\u00fc bir algoritmad\u0131r. Temelinde, zay\u0131f \u00f6\u011frenicileri s\u0131ral\u0131 bir \u015fekilde birle\u015ftirerek mevcut modelin hatalar\u0131n\u0131 veya kay\u0131p fonksiyonunun gradyan\u0131n\u0131 \u00f6\u011frenme fikri yatar. Bu iteratif s\u00fcre\u00e7, giderek daha do\u011fru ve karma\u015f\u0131k bir topluluk modeli olu\u015fturur.<\/p>\n Her ne kadar hesaplama a\u00e7\u0131s\u0131ndan yo\u011fun ve a\u015f\u0131r\u0131 uyuma yatk\u0131n olabilse de, do\u011fru hiperparametre ayar\u0131 ve erken durdurma gibi tekniklerle bu dezavantajlar y\u00f6netilebilir. XGBoost, LightGBM ve CatBoost gibi geli\u015fmi\u015f t\u00fcrevleri, h\u0131z, \u00f6l\u00e7eklenebilirlik ve \u00f6zel veri t\u00fcrleriyle ba\u015fa \u00e7\u0131kma yetenekleri a\u00e7\u0131s\u0131ndan Gradyan Art\u0131rma’y\u0131 yeni bir seviyeye ta\u015f\u0131m\u0131\u015ft\u0131r.<\/p>\n S\u0131n\u0131fland\u0131rma problemlerinde y\u00fcksek do\u011fruluk hedefleyen her veri bilimcinin ara\u00e7 kutusunda bulunmas\u0131 gereken bir y\u00f6ntem olan Gradyan Art\u0131rma, teorik temellerini ve pratik uygulamalar\u0131n\u0131 anlad\u0131\u011f\u0131n\u0131zda, karma\u015f\u0131k veri k\u00fcmelerinden de\u011ferli i\u00e7g\u00f6r\u00fcler elde etmenize ve rekabet\u00e7i tahmin modelleri geli\u015ftirmenize olanak tan\u0131r. S\u00fcrekli \u00f6\u011frenmeye ve farkl\u0131 veri setleri \u00fczerinde deney yapmaya devam ederek bu g\u00fc\u00e7l\u00fc algoritman\u0131n potansiyelini tam olarak ortaya \u00e7\u0131karabilirsiniz.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"S\u0131n\u0131fland\u0131rmada Gradyan Art\u0131rma (Gradient Boosting) Algoritmas\u0131n\u0131 Anlamak: Kapsaml\u0131 Bir Rehber Makine \u00f6\u011frenimi d\u00fcnyas\u0131nda, karma\u015f\u0131k veri k\u00fcmelerinden anlaml\u0131 i\u00e7g\u00f6r\u00fcler \u00e7\u0131karmak ve do\u011fru tahminler yapmak i\u00e7in bir\u00e7ok g\u00fc\u00e7l\u00fc algoritma geli\u015ftirilmi\u015ftir.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-41677","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Bagging (Bootstrap Aggregating):<\/strong> Bu y\u00f6ntemde, e\u011fitim veri setinden \u00f6ny\u00fckleme (bootstrap) \u00f6rnekleri al\u0131narak paralel olarak ba\u011f\u0131ms\u0131z modeller e\u011fitilir. Her modelin tahmini birle\u015ftirilir (s\u0131n\u0131fland\u0131rmada \u00e7o\u011funluk oylamas\u0131, regresyonda ortalama alma) ve nihai tahmin elde edilir. Random Forest, bagging’in en pop\u00fcler \u00f6rneklerinden biridir. Bagging, modeller aras\u0131ndaki varyans\u0131 azaltarak a\u015f\u0131r\u0131 uyumu engellemeye yard\u0131mc\u0131 olur.
\n* Boosting:<\/strong> Boosting, modelleri s\u0131ral\u0131 (sequential) bir \u015fekilde e\u011fitir. Her yeni model, \u00f6nceki modellerin hatalar\u0131na odaklanarak e\u011fitilir ve bu hatalar\u0131 d\u00fczeltmeye \u00e7al\u0131\u015f\u0131r. Bu s\u00fcre\u00e7, modelin zay\u0131f oldu\u011fu alanlara a\u011f\u0131rl\u0131k vererek genel performans\u0131 art\u0131r\u0131r. Boosting algoritmalar\u0131 genellikle modelin sapmas\u0131n\u0131 (bias) azaltmay\u0131 hedefler. AdaBoost, Gradient Boosting ve t\u00fcrevleri (XGBoost, LightGBM, CatBoost) boosting ailesinin \u00f6nde gelen \u00fcyeleridir.<\/p>\nBoosting’in Temelleri<\/h4>\n
\n1. S\u0131ral\u0131 \u00d6\u011frenme:<\/strong> Modeller birbirini takip eden bir s\u0131ra ile e\u011fitilir.
\n2. Hatalara Odaklanma:<\/strong> Her yeni model, \u00f6nceki modellerin yapt\u0131\u011f\u0131 hatalar\u0131 veya yanl\u0131\u015f s\u0131n\u0131fland\u0131rmalar\u0131 d\u00fczeltmeye \u00e7al\u0131\u015f\u0131r. Bu, modelin veri setinin zorlu b\u00f6lgelerine daha fazla dikkat etmesini sa\u011flar.
\n3. A\u011f\u0131rl\u0131kland\u0131rma veya Art\u0131k \u00d6\u011frenme:<\/strong> AdaBoost gibi baz\u0131 boosting algoritmalar\u0131, yanl\u0131\u015f s\u0131n\u0131fland\u0131r\u0131lan \u00f6rneklere daha y\u00fcksek a\u011f\u0131rl\u0131klar vererek sonraki modellerin bu \u00f6rneklere odaklanmas\u0131n\u0131 sa\u011flarken, Gradyan Art\u0131rma mevcut modelin hatalar\u0131n\u0131n (art\u0131klar\u0131n) \u00fczerine yeni modeller in\u015fa eder.<\/p>\nGradyan Art\u0131rma’n\u0131n Temelleri<\/h3>\n
Temel Fikir: Hatalar\u0131 D\u00fczeltmek Yerine Art\u0131klar\u0131 \u00d6\u011frenmek<\/h4>\n
\nS\u0131n\u0131fland\u0131rma ba\u011flam\u0131nda ise durum biraz daha karma\u015f\u0131kt\u0131r, \u00e7\u00fcnk\u00fc “art\u0131k” kavram\u0131 regresyondaki kadar a\u00e7\u0131k de\u011fildir. \u0130\u015fte burada “gradyan” kavram\u0131 devreye girer. Gradyan Art\u0131rma, bir kay\u0131p fonksiyonunun negatif gradyan\u0131n\u0131 (yani, kay\u0131p fonksiyonunu en h\u0131zl\u0131 azaltan y\u00f6n\u00fc) hedefleyerek yeni bir model e\u011fitir. Bu negatif gradyanlar, bir nevi genelle\u015ftirilmi\u015f art\u0131klar olarak d\u00fc\u015f\u00fcn\u00fclebilir.<\/p>\nKay\u0131p Fonksiyonu (Loss Function)<\/h4>\n
\n* \u0130kili S\u0131n\u0131fland\u0131rma i\u00e7in Log-Loss (Binary Cross-Entropy):<\/strong> Bu fonksiyon, bir olay\u0131n ger\u00e7ekle\u015fme olas\u0131l\u0131\u011f\u0131 tahmin edildi\u011finde ve ger\u00e7ek sonu\u00e7 bilindi\u011finde ne kadar “s\u00fcrpriz” oldu\u011funu \u00f6l\u00e7er. Olas\u0131l\u0131k tahminlerinin ger\u00e7ek etiketlerden ne kadar sapt\u0131\u011f\u0131n\u0131 cezaland\u0131r\u0131r. \u00d6zellikle olas\u0131l\u0131k tahminlerinin do\u011fru olmas\u0131n\u0131 istedi\u011fimizde tercih edilir.
\n* \u00dcstel Kay\u0131p (Exponential Loss):<\/strong> AdaBoost taraf\u0131ndan kullan\u0131lan bu kay\u0131p fonksiyonu, yanl\u0131\u015f s\u0131n\u0131fland\u0131r\u0131lan \u00f6rnekleri daha a\u011f\u0131r cezaland\u0131r\u0131r.
\nKay\u0131p fonksiyonunun t\u00fcrevlenebilir olmas\u0131, Gradyan Art\u0131rma’n\u0131n \u00e7al\u0131\u015fmas\u0131 i\u00e7in kritik \u00f6neme sahiptir, \u00e7\u00fcnk\u00fc algoritma kay\u0131p fonksiyonunun gradyan\u0131n\u0131 (t\u00fcrevini) kullanarak y\u00f6n bulur.<\/p>\nGradyan \u0130ni\u015fi (Gradient Descent)<\/h4>\n
\nGradyan Art\u0131rma’da, her yeni zay\u0131f \u00f6\u011frenici, mevcut topluluk modelinin kay\u0131p fonksiyonunun negatif gradyan\u0131n\u0131 tahmin etmek \u00fczere e\u011fitilir. Bu negatif gradyanlar, “s\u00f6zde art\u0131klar” (pseudo-residuals) olarak adland\u0131r\u0131l\u0131r. Yeni \u00f6\u011frenici bu s\u00f6zde art\u0131klar\u0131 en iyi \u015fekilde tahmin etmeye \u00e7al\u0131\u015ft\u0131\u011f\u0131nda, asl\u0131nda kay\u0131p fonksiyonunu en h\u0131zl\u0131 azaltacak y\u00f6nde bir ad\u0131m atm\u0131\u015f olur. Bu s\u00fcre\u00e7, belirli bir say\u0131da iterasyon boyunca veya kay\u0131p fonksiyonu yeterince azald\u0131\u011f\u0131nda durana kadar devam eder.<\/p>\nGradyan Art\u0131rma Algoritmas\u0131 Ad\u0131m Ad\u0131m<\/h3>\n
\nAlgoritma, t\u00fcm \u00f6rnekler i\u00e7in sabit bir ba\u015flang\u0131\u00e7 tahmini $F_0(x)$ ile ba\u015flar. S\u0131n\u0131fland\u0131rmada bu genellikle log-odds formundad\u0131r. \u0130kili s\u0131n\u0131fland\u0131rma i\u00e7in, ba\u015flang\u0131\u00e7 tahmini genellikle t\u00fcm s\u0131n\u0131flar\u0131n ortalama log-olas\u0131l\u0131\u011f\u0131 olarak belirlenir:
\n$F_0(x) = \\text{logit}(\\bar{p}) = \\log\\left(\\frac{\\bar{p}}{1-\\bar{p}}\\right)$
\nBurada $\\bar{p}$, e\u011fitim setindeki pozitif s\u0131n\u0131f\u0131n (y=1) oran\u0131n\u0131 temsil eder. Bu, kay\u0131p fonksiyonunu minimize eden sabit bir de\u011ferdir.<\/p>\n
\nAlgoritma, $m=1, 2, \\dots, M$ (toplam a\u011fa\u00e7 say\u0131s\u0131) kadar iterasyon yapar. Her iterasyonda yeni bir zay\u0131f \u00f6\u011frenici (genellikle bir karar a\u011fac\u0131) eklenir.<\/p>\n
\n Her $i$ \u00f6rne\u011fi i\u00e7in, mevcut topluluk modelinin $F_{m-1}(x_i)$ kay\u0131p fonksiyonunun negatif gradyan\u0131 hesaplan\u0131r. Bu negatif gradyanlar, “pseudo-art\u0131klar” $r_{im}$ olarak adland\u0131r\u0131l\u0131r. \u0130kili s\u0131n\u0131fland\u0131rmada log-loss i\u00e7in, bu pseudo-art\u0131klar \u015f\u00f6yledir:
\n $p_{m-1}(x_i) = \\frac{1}{1 + e^{-F_{m-1}(x_i)}}$ (mevcut modelin tahmin etti\u011fi olas\u0131l\u0131k)
\n $r_{im} = y_i – p_{m-1}(x_i)$
\n Bu pseudo-art\u0131klar, mevcut modelin ne kadar hata yapt\u0131\u011f\u0131n\u0131 ve hangi y\u00f6nde d\u00fczeltilmesi gerekti\u011fini g\u00f6sterir. E\u011fer $y_i=1$ ve $p_{m-1}(x_i)$ d\u00fc\u015f\u00fckse, $r_{im}$ pozitif ve b\u00fcy\u00fckt\u00fcr, yani modelin tahmini art\u0131rmas\u0131 gerekir. E\u011fer $y_i=0$ ve $p_{m-1}(x_i)$ y\u00fcksekse, $r_{im}$ negatif ve b\u00fcy\u00fckt\u00fcr, yani modelin tahmini azaltmas\u0131 gerekir.<\/p>\n
\n Yeni bir zay\u0131f \u00f6\u011frenici $h_m(x)$ (genellikle bir karar a\u011fac\u0131), $x_i$ \u00f6zelliklerini kullanarak pseudo-art\u0131klar $r_{im}$’i tahmin etmek \u00fczere e\u011fitilir. Yani, a\u011fa\u00e7, mevcut modelin hatalar\u0131n\u0131 \u00f6\u011frenmeye \u00e7al\u0131\u015f\u0131r. Bu a\u011fa\u00e7, veri setini $J_m$ adet yaprak d\u00fc\u011f\u00fcm\u00fcne b\u00f6ler. Her yaprak d\u00fc\u011f\u00fcm i\u00e7in bir \u00e7\u0131kt\u0131 de\u011feri $c_{jm}$ (a\u011fac\u0131n tahmini) bulunur.<\/p>\n
\n Her yaprak d\u00fc\u011f\u00fcmdeki $c_{jm}$ de\u011ferleri do\u011frudan pseudo-art\u0131klar\u0131n ortalamas\u0131 de\u011fildir. Bunun yerine, her yaprak d\u00fc\u011f\u00fcmdeki \u00f6rnekler i\u00e7in kay\u0131p fonksiyonunu minimize edecek optimal bir ad\u0131m b\u00fcy\u00fckl\u00fc\u011f\u00fc (gamma) veya \u00e7\u0131k\u0131\u015f de\u011feri $\\gamma_{jm}$ belirlenir. Bu, mevcut $F_{m-1}(x)$ ve yeni $h_m(x)$’in kombinasyonunun kay\u0131p fonksiyonunu en iyi \u015fekilde azaltmas\u0131n\u0131 sa\u011flar. \u0130kili s\u0131n\u0131fland\u0131rmada log-loss i\u00e7in, bir yaprak d\u00fc\u011f\u00fcmdeki $\\gamma_{jm}$ genellikle \u015fu \u015fekilde hesaplan\u0131r:
\n $\\gamma_{jm} = \\frac{\\sum_{x_i \\in R_{jm}} r_{im}}{\\sum_{x_i \\in R_{jm}} p_{m-1}(x_i)(1 – p_{m-1}(x_i))}$
\n Burada $R_{jm}$, $m$. a\u011fac\u0131n $j$. yaprak d\u00fc\u011f\u00fcm\u00fcne d\u00fc\u015fen \u00f6rneklerin k\u00fcmesidir.<\/p>\n
\n Mevcut topluluk modeli $F_{m-1}(x)$, yeni e\u011fitilen a\u011fac\u0131n katk\u0131s\u0131yla g\u00fcncellenir. Bu katk\u0131, genellikle bir “\u00f6\u011frenme oran\u0131” (learning rate) $\\nu$ ile \u00e7arp\u0131larak eklenir:
\n $F_m(x) = F_{m-1}(x) + \\nu \\cdot \\sum_{j=1}^{J_m} \\gamma_{jm} \\cdot \\mathbf{1}(x \\in R_{jm})$
\n Burada $\\mathbf{1}(x \\in R_{jm})$ g\u00f6sterge fonksiyonudur, $x$ \u00f6rne\u011fi $R_{jm}$ yaprak d\u00fc\u011f\u00fcm\u00fcne d\u00fc\u015ferse 1, aksi takdirde 0 olur. \u00d6\u011frenme oran\u0131 $\\nu \\in (0, 1]$ genellikle k\u00fc\u00e7\u00fck bir de\u011ferdir (\u00f6rne\u011fin 0.01 veya 0.1). K\u00fc\u00e7\u00fck bir \u00f6\u011frenme oran\u0131, modelin daha yava\u015f ve daha dikkatli \u00f6\u011frenmesini sa\u011flayarak a\u015f\u0131r\u0131 uyumu azaltmaya yard\u0131mc\u0131 olur, ancak daha fazla a\u011fa\u00e7 (iterasyon) gerektirir.<\/p>\n
\n$M$ iterasyon tamamland\u0131ktan sonra, nihai topluluk modeli $F_M(x)$ elde edilir. S\u0131n\u0131fland\u0131rma i\u00e7in, bu modelin \u00e7\u0131kt\u0131s\u0131 genellikle bir log-odds de\u011feri oldu\u011fundan, nihai olas\u0131l\u0131k tahminini elde etmek i\u00e7in lojistik sigmoid fonksiyonu uygulan\u0131r:
\n$\\text{Olas\u0131l\u0131k}(y=1|x) = \\frac{1}{1 + e^{-F_M(x)}}$
\nBu olas\u0131l\u0131k de\u011feri, bir e\u015fik de\u011feri (genellikle 0.5) ile kar\u015f\u0131la\u015ft\u0131r\u0131larak nihai s\u0131n\u0131f etiketi belirlenir.<\/p>\n\u00d6nemli Parametreler ve Hiperparametre Ayar\u0131<\/h3>\n
n_estimators (A\u011fa\u00e7 Say\u0131s\u0131)<\/h4>\n
learning_rate<\/code> ile birlikte y\u00fcksek bir n_estimators<\/code> de\u011feri tercih edilir ve erken durdurma (early stopping) ile en uygun a\u011fa\u00e7 say\u0131s\u0131 bulunur.<\/p>\nlearning_rate (\u00d6\u011frenme Oran\u0131 \/ Shrinkage)<\/h4>\n
learning_rate<\/code> (\u00f6rne\u011fin 0.01 veya 0.05), modelin daha yava\u015f ve daha dikkatli \u00f6\u011frenmesini sa\u011flar. Bu, modelin genelleme yetene\u011fini art\u0131rabilir ancak daha fazla n_estimators<\/code> gerektirir. K\u00fc\u00e7\u00fck \u00f6\u011frenme oran\u0131, modelin kay\u0131p fonksiyonu \u00fczerindeki her ad\u0131m\u0131 daha k\u00fc\u00e7\u00fck hale getirerek daha sa\u011flam bir optimizasyon yolu bulmas\u0131na yard\u0131mc\u0131 olur.<\/p>\nmax_depth (Maksimum A\u011fa\u00e7 Derinli\u011fi)<\/h4>\n
max_depth<\/code> 3 ila 8) tercih edilir, \u00e7\u00fcnk\u00fc her a\u011fac\u0131n sadece mevcut hatalar\u0131n k\u00fc\u00e7\u00fck bir k\u0131sm\u0131n\u0131 \u00f6\u011frenmesi beklenir. Daha derin a\u011fa\u00e7lar, tek bir a\u011fac\u0131n daha fazla bilgi \u00f6\u011frenmesine neden olabilir, ancak bu, modelin a\u015f\u0131r\u0131 uyumunu art\u0131rma riskini ta\u015f\u0131r.<\/p>\nsubsample (\u00d6rnekleme Oran\u0131)<\/h4>\n
subsample=0.8<\/code> ise, her a\u011fa\u00e7 e\u011fitim verisinin %80’i \u00fczerinde e\u011fitilir. Bu teknik, “Stokastik Gradyan Art\u0131rma” (Stochastic Gradient Boosting) olarak bilinir. Random Forest’taki bagging’e benzer \u015fekilde, subsample<\/code> a\u015f\u0131r\u0131 uyumu azaltmaya ve modelin genelleme yetene\u011fini art\u0131rmaya yard\u0131mc\u0131 olur. Genellikle 0.5 ile 1 aras\u0131nda bir de\u011fer al\u0131r.<\/p>\nDi\u011fer Parametreler<\/h4>\n
\n* min_samples_leaf:<\/strong> Bir yaprak d\u00fc\u011f\u00fcmde bulunmas\u0131 gereken minimum \u00f6rnek say\u0131s\u0131.
\n* max_features:<\/strong> Her b\u00f6lmede de\u011ferlendirilecek \u00f6zelliklerin maksimum say\u0131s\u0131 (Random Forest’taki gibi). Bu, a\u011fa\u00e7lar\u0131n \u00e7e\u015fitlili\u011fini art\u0131rarak a\u015f\u0131r\u0131 uyumu azaltabilir.<\/p>\nHiperparametre Ayar\u0131 Stratejileri<\/h4>\n
\n* Grid Search:<\/strong> Belirli parametre de\u011ferlerinin t\u00fcm kombinasyonlar\u0131n\u0131 sistematik olarak dener.
\n* Random Search:<\/strong> Parametre alan\u0131nda rastgele \u00f6rneklenmi\u015f kombinasyonlar\u0131 dener. Genellikle Grid Search’ten daha verimlidir.
\n* Bayesian Optimization:<\/strong> \u00d6nceki denemelerin sonu\u00e7lar\u0131n\u0131 kullanarak bir sonraki en iyi parametre kombinasyonunu tahmin eder. Daha verimli bir arama sa\u011flar.
\n* \u00c7apraz Do\u011frulama (Cross-Validation):<\/strong> Hiperparametreleri de\u011ferlendirirken modelin genelleme yetene\u011fini g\u00fcvenilir bir \u015fekilde \u00f6l\u00e7mek i\u00e7in kullan\u0131l\u0131r.
\n* Erken Durdurma (Early Stopping):<\/strong> Modelin e\u011fitim performans\u0131n\u0131n (genellikle bir do\u011frulama seti \u00fczerindeki) iyile\u015fmeyi durdurdu\u011fu noktada e\u011fitimi durdurarak n_estimators<\/code> parametresini otomatik olarak ayarlar ve a\u015f\u0131r\u0131 uyumu engeller.<\/p>\nGradyan Art\u0131rman\u0131n Avantajlar\u0131 ve Dezavantajlar\u0131<\/h3>\n
Avantajlar\u0131<\/h4>\n
\n* \u00c7e\u015fitli Veri T\u00fcrleri \u00dczerinde \u0130yi Performans:<\/strong> Hem say\u0131sal hem de kategorik \u00f6zelliklerle iyi ba\u015fa \u00e7\u0131kabilir. \u00d6zellik \u00f6l\u00e7eklendirme veya normalle\u015ftirme gibi \u00f6n i\u015flemlere karar a\u011fa\u00e7lar\u0131 temelinde \u00e7al\u0131\u015ft\u0131\u011f\u0131 i\u00e7in daha az ba\u011f\u0131ml\u0131d\u0131r.
\n* \u00d6zellik M\u00fchendisli\u011fine Daha Az Ba\u011f\u0131ml\u0131l\u0131k:<\/strong> Karar a\u011fa\u00e7lar\u0131, \u00f6zellikler aras\u0131ndaki karma\u015f\u0131k etkile\u015fimleri ve do\u011frusal olmayan ili\u015fkileri otomatik olarak yakalayabilir, bu da kapsaml\u0131 \u00f6zellik m\u00fchendisli\u011fi ihtiyac\u0131n\u0131 azalt\u0131r.
\n* Ayk\u0131r\u0131 De\u011ferlere Kar\u015f\u0131 Nispeten Diren\u00e7li:<\/strong> Kay\u0131p fonksiyonunun se\u00e7imiyle (\u00f6rne\u011fin regresyonda Huber veya Quantile kayb\u0131) ayk\u0131r\u0131 de\u011ferlere kar\u015f\u0131 daha sa\u011flam hale getirilebilir.
\n* Yorumlanabilirlik:<\/strong> Model, \u00f6zellik \u00f6nem derecelerini (feature importance) sa\u011flayarak hangi \u00f6zelliklerin tahminler \u00fczerinde en b\u00fcy\u00fck etkiye sahip oldu\u011funu anlamam\u0131za yard\u0131mc\u0131 olabilir.<\/p>\nDezavantajlar\u0131<\/h4>\n
\n* A\u015f\u0131r\u0131 Uyuma Yatk\u0131nl\u0131k:<\/strong> \u0130yi hiperparametre ayar\u0131 olmadan, \u00f6zellikle learning_rate<\/code> \u00e7ok y\u00fcksek veya n_estimators<\/code> \u00e7ok fazla oldu\u011funda, model e\u011fitim verilerine a\u015f\u0131r\u0131 uyum sa\u011flayabilir ve yeni verilere k\u00f6t\u00fc genelleme yapabilir.
\n* Paralelle\u015ftirilmesi Zor:<\/strong> Algoritman\u0131n s\u0131ral\u0131 do\u011fas\u0131, e\u011fitim s\u00fcrecinin modern \u00e7ok \u00e7ekirdekli i\u015flemcilerden tam olarak yararlanmas\u0131n\u0131 zorla\u015ft\u0131r\u0131r. (Ancak XGBoost ve LightGBM gibi geli\u015fmi\u015f versiyonlar bu konuda \u00f6nemli iyile\u015ftirmeler yapm\u0131\u015ft\u0131r.)
\n* Veri \u00d6l\u00e7eklendirmeye Ba\u011f\u0131ml\u0131l\u0131k (Baz\u0131 T\u00fcrevlerinde):<\/strong> Temel algoritma olmasa da, baz\u0131 optimizasyon teknikleri veya kay\u0131p fonksiyonlar\u0131, \u00f6zelliklerin \u00f6l\u00e7eklendirilmesine daha duyarl\u0131 olabilir.<\/p>\nGradyan Art\u0131rman\u0131n Geli\u015fmi\u015f Versiyonlar\u0131<\/h3>\n
XGBoost (eXtreme Gradient Boosting)<\/h4>\n
\n* Regularizasyon:<\/strong> L1 (Lasso) ve L2 (Ridge) regularizasyon terimleri ekleyerek a\u015f\u0131r\u0131 uyumu azalt\u0131r.
\n* Paralel \u0130\u015flem Yetene\u011fi:<\/strong> A\u011fa\u00e7 yap\u0131s\u0131n\u0131 olu\u015ftururken ve d\u00fc\u011f\u00fcmleri b\u00f6lerken paralel i\u015flem yetene\u011fini kullan\u0131r.
\n* Eksik De\u011ferleri \u0130\u015fleme:<\/strong> Eksik de\u011ferleri do\u011frudan i\u015fleyebilir.
\n* H\u0131zl\u0131 ve \u00d6l\u00e7eklenebilir:<\/strong> Veri bilimi yar\u0131\u015fmalar\u0131nda s\u0131k\u00e7a kazanmas\u0131n\u0131n nedenlerinden biri, h\u0131z\u0131 ve b\u00fcy\u00fck veri k\u00fcmeleriyle ba\u015fa \u00e7\u0131kabilme yetene\u011fidir.<\/p>\nLightGBM (Light Gradient Boosting Machine)<\/h4>\n
\n* Yaprak Bazl\u0131 A\u011fa\u00e7 B\u00fcy\u00fcme:<\/strong> Geleneksel Gradyan Art\u0131rma ve XGBoost “derinlik bazl\u0131” (level-wise) a\u011fa\u00e7 b\u00fcy\u00fcmesi kullan\u0131rken, LightGBM en \u00e7ok kazanc\u0131 sa\u011flayan yapra\u011f\u0131 b\u00f6ler. Bu, daha karma\u015f\u0131k ve derin a\u011fa\u00e7lar olu\u015fturmas\u0131na olanak tan\u0131rken, daha az yineleme ile ayn\u0131 veya daha iyi performansa ula\u015fmas\u0131n\u0131 sa\u011flar.
\n* Histogram Tabanl\u0131 Algoritma:<\/strong> \u00d6zellik de\u011ferlerini \u00f6nceden ayr\u0131kla\u015ft\u0131rarak (binning) histogramlar olu\u015fturur, bu da hesaplama h\u0131z\u0131n\u0131 art\u0131r\u0131r.<\/p>\nCatBoost (Categorical Boosting)<\/h4>\n
\n* Kategorik \u00d6zellikleri Do\u011frudan \u0130\u015fleme:<\/strong> Di\u011fer algoritmalar\u0131n aksine, kategorik \u00f6zellikleri say\u0131sal g\u00f6sterimlere d\u00f6n\u00fc\u015ft\u00fcrmek i\u00e7in \u00f6zel \u00f6n i\u015fleme (\u00f6rne\u011fin one-hot encoding) gerektirmez. Bunun yerine, s\u0131ral\u0131 istatistikler ve “permutasyon duyarl\u0131” yakla\u015f\u0131mlar kullanarak bunlar\u0131 do\u011frudan i\u015fler.
\n* Overfitting’i Azaltmak \u0130\u00e7in S\u0131ral\u0131 Gradyan Art\u0131rma (Ordered Boosting):<\/strong> Geleneksel Gradyan Art\u0131rma’da, her a\u011fac\u0131n gradyanlar\u0131 ayn\u0131 veri setinde hesaplan\u0131r. CatBoost, bu gradyanlar\u0131 hesaplamak i\u00e7in farkl\u0131 alt \u00f6rnekler kullanarak tahmin sapmas\u0131n\u0131 (prediction shift) azalt\u0131r ve a\u015f\u0131r\u0131 uyumu engeller.<\/p>\nUygulama Alanlar\u0131 ve Pratik \u0130pu\u00e7lar\u0131<\/h3>\n
Uygulama Alanlar\u0131<\/h4>\n
\n* Sa\u011fl\u0131k:<\/strong> Hastal\u0131k te\u015fhisi (\u00f6rne\u011fin kanser tespiti), ila\u00e7 yan\u0131t\u0131n\u0131n tahmini.
\n* E-ticaret:<\/strong> M\u00fc\u015fteri segmentasyonu, \u00fcr\u00fcn \u00f6neri sistemleri, churn tahmini.
\n* Pazarlama:<\/strong> M\u00fc\u015fteri kazan\u0131m\u0131 ve elde tutma stratejileri, kampanya yan\u0131t tahmini.
\n* Do\u011fal Dil \u0130\u015fleme (NLP) ve G\u00f6r\u00fcnt\u00fc \u0130\u015fleme:<\/strong> \u00d6zellikler \u00e7\u0131kar\u0131ld\u0131ktan sonra metin s\u0131n\u0131fland\u0131rma, duygu analizi, g\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma gibi g\u00f6revlerde kullan\u0131labilir.<\/p>\nPratik \u0130pu\u00e7lar\u0131<\/h4>\n
\n* \u00d6zellik M\u00fchendisli\u011fi:<\/strong> Modelin performans\u0131n\u0131 art\u0131rmak i\u00e7in mevcut \u00f6zelliklerden yeni, daha anlaml\u0131 \u00f6zellikler t\u00fcretmeyi d\u00fc\u015f\u00fcn\u00fcn.
\n* \u00c7apraz Do\u011frulama:<\/strong> Hiperparametre ayar\u0131 yaparken ve model performans\u0131n\u0131 de\u011ferlendirirken her zaman \u00e7apraz do\u011frulama kullan\u0131n. Bu, modelin yeni verilere ne kadar iyi genellenece\u011fini daha ger\u00e7ek\u00e7i bir \u015fekilde \u00f6l\u00e7menizi sa\u011flar.
\n* Erken Durdurma (Early Stopping):<\/strong> \u00d6zellikle n_estimators<\/code> parametresini ayarlarken erken durdurmay\u0131 kullan\u0131n. Bu, modelin belirli bir iterasyon say\u0131s\u0131ndan sonra do\u011frulama seti \u00fczerindeki performans\u0131n\u0131n d\u00fc\u015fmeye ba\u015flad\u0131\u011f\u0131 noktada e\u011fitimi durdurarak a\u015f\u0131r\u0131 uyumu \u00f6nler ve e\u011fitim s\u00fcresini optimize eder.
\n* Model Yorumlanabilirli\u011fi:<\/strong> feature_importances_<\/code> \u00f6zniteli\u011fini kullanarak hangi \u00f6zelliklerin modelin tahminleri \u00fczerinde en b\u00fcy\u00fck etkiye sahip oldu\u011funu anlay\u0131n. Bu, i\u015f bilgisi edinmek ve modelin kararlar\u0131n\u0131 a\u00e7\u0131klamak i\u00e7in \u00f6nemlidir.
\n* Geli\u015fmi\u015f Versiyonlar\u0131 Deneyin:<\/strong> Projenizin ihtiya\u00e7lar\u0131na ve veri setinizin b\u00fcy\u00fckl\u00fc\u011f\u00fcne ba\u011fl\u0131 olarak XGBoost, LightGBM veya CatBoost gibi optimize edilmi\u015f k\u00fct\u00fcphaneleri kullan\u0131n. Genellikle daha iyi performans ve daha h\u0131zl\u0131 e\u011fitim s\u00fcreleri sunarlar.<\/p>\nSonu\u00e7<\/h3>\n