Makine \u00f6\u011frenimi, g\u00fcn\u00fcm\u00fcz teknolojisinin en temel ta\u015flar\u0131ndan biri haline gelmi\u015f, veri y\u0131\u011f\u0131nlar\u0131ndan anlaml\u0131 i\u00e7g\u00f6r\u00fcler \u00e7\u0131karmam\u0131z\u0131 ve gelece\u011fe y\u00f6nelik tahminler yapmam\u0131z\u0131 sa\u011flam\u0131\u015ft\u0131r. Ancak, bu g\u00fc\u00e7l\u00fc ara\u00e7lar\u0131n etkin bir \u015fekilde kullan\u0131labilmesi i\u00e7in baz\u0131 temel zorluklar\u0131n \u00fcstesinden gelinmesi gerekmektedir. Bu zorluklar\u0131n ba\u015f\u0131nda, modellerin “a\u015f\u0131r\u0131 uyum” (overfitting) problemi gelir. Bir modelin a\u015f\u0131r\u0131 uyum sa\u011flamas\u0131, e\u011fitim verisindeki g\u00fcr\u00fclt\u00fcy\u00fc ve rastlant\u0131sal desenleri de \u00f6\u011frenmesi anlam\u0131na gelir ki bu durum, modelin yeni, daha \u00f6nce g\u00f6rmedi\u011fi veriler \u00fczerinde zay\u0131f performans g\u00f6stermesine yol a\u00e7ar. \u0130\u015fte tam da bu noktada, “d\u00fczenlile\u015ftirme” (regularization) teknikleri devreye girerek modellerin genelle\u015ftirme yetene\u011fini art\u0131rmay\u0131 hedefler.<\/p>\n
D\u00fczenlile\u015ftirme, modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 kontrol alt\u0131na alarak a\u015f\u0131r\u0131 uyumu engellemeye yard\u0131mc\u0131 olan bir dizi teknikler b\u00fct\u00fcn\u00fcd\u00fcr. Temel amac\u0131, modelin e\u011fitim verisine “\u00e7ok iyi” uyum sa\u011flamas\u0131n\u0131 engelleyerek, ger\u00e7ek d\u00fcnya verilerindeki genel desenleri daha iyi yakalamas\u0131n\u0131 sa\u011flamakt\u0131r. Bu makalede, d\u00fczenlile\u015ftirmenin temel prensiplerini, en yayg\u0131n kullan\u0131lan tekniklerden olan Ridge (L2), Lasso (L1) regresyonlar\u0131n\u0131 ve bu ikisinin birle\u015fimi olan Elastic Net’i derinlemesine inceleyece\u011fiz. Her bir tekni\u011fin matematiksel temellerini, katsay\u0131lar \u00fczerindeki etkilerini, avantajlar\u0131n\u0131 ve s\u0131n\u0131rlamalar\u0131n\u0131 ele alarak, bu karma\u015f\u0131k kavramlar\u0131 basitle\u015ftirmeyi ve pratik uygulamalar i\u00e7in anla\u015f\u0131l\u0131r k\u0131lmay\u0131 hedefliyoruz.<\/p>\n
Makine \u00f6\u011frenimi modelleri, genellikle belirli bir e\u011fitim veri k\u00fcmesi \u00fczerinde e\u011fitilir. Bu e\u011fitim s\u00fcreci boyunca model, veri i\u00e7indeki desenleri ve ili\u015fkileri \u00f6\u011frenmeye \u00e7al\u0131\u015f\u0131r. Ancak, modelin \u00e7ok karma\u015f\u0131k olmas\u0131 veya e\u011fitim verisinin s\u0131n\u0131rl\u0131 olmas\u0131 durumunda, model sadece ger\u00e7ek ili\u015fkileri de\u011fil, ayn\u0131 zamanda e\u011fitim verisine \u00f6zg\u00fc rastgele g\u00fcr\u00fclt\u00fcy\u00fc de ezberleyebilir. Bu duruma a\u015f\u0131r\u0131 uyum denir. A\u015f\u0131r\u0131 uyum sa\u011flam\u0131\u015f bir model, e\u011fitim verisi \u00fczerinde neredeyse m\u00fckemmel bir performans sergilerken, test verisi veya ger\u00e7ek d\u00fcnya verileri \u00fczerinde beklenenden \u00e7ok daha k\u00f6t\u00fc sonu\u00e7lar verir. Bunun nedeni, modelin genelle\u015ftirme yetene\u011fini kaybetmesidir; yani, \u00f6\u011frendi\u011fi bilgiyi yeni durumlara ba\u015far\u0131l\u0131 bir \u015fekilde uygulayamaz.<\/p>\n
Genelle\u015ftirme yetene\u011fi, bir makine \u00f6\u011frenimi modelinin temel hedeflerinden biridir. \u0130yi bir model, e\u011fitim verisindeki temel ili\u015fkileri \u00f6\u011frenmeli ve bu bilgiyi daha \u00f6nce g\u00f6rmedi\u011fi verilere ba\u015far\u0131l\u0131 bir \u015fekilde uygulayabilmelidir. A\u015f\u0131r\u0131 uyumun tersi olan eksik uyum (underfitting) ise, modelin e\u011fitim verisindeki temel desenleri bile \u00f6\u011frenemeyecek kadar basit olmas\u0131 durumudur. Bu durumda da model hem e\u011fitim hem de test verilerinde k\u00f6t\u00fc performans g\u00f6sterir. D\u00fczenlile\u015ftirme teknikleri, bu iki u\u00e7 nokta aras\u0131nda ideal dengeyi bulmaya yard\u0131mc\u0131 olur.<\/p>\n
A\u015f\u0131r\u0131 uyum ve eksik uyum kavramlar\u0131n\u0131 daha iyi anlamak i\u00e7in makine \u00f6\u011freniminin temel prensiplerinden biri olan Bias-Varyans Takas\u0131’n\u0131 incelemek faydal\u0131d\u0131r. Bir modelin toplam hata oran\u0131, genellikle \u00fc\u00e7 bile\u015fenin toplam\u0131 olarak ifade edilir: bias (yanl\u0131l\u0131k) karesi, varyans ve indirgenemez hata (g\u00fcr\u00fclt\u00fc).<\/p>\n
* Bias (Yanl\u0131l\u0131k):<\/strong> Modelin ger\u00e7ek ili\u015fkileri \u00f6\u011frenememesinden kaynaklanan sistematik hatad\u0131r. Y\u00fcksek bias’a sahip bir model genellikle \u00e7ok basittir (\u00f6rne\u011fin, do\u011frusal bir modelin do\u011frusal olmayan bir ili\u015fkiyi modellemeye \u00e7al\u0131\u015fmas\u0131). Bu t\u00fcr modeller e\u011fitim verisine bile tam olarak uyamaz (eksik uyum). Bias-Varyans takas\u0131, bu iki hata t\u00fcr\u00fc aras\u0131nda bir denge bulma ihtiyac\u0131n\u0131 ifade eder. Genellikle, birini azaltmaya \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131zda di\u011feri artar. \u00d6rne\u011fin, model karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 art\u0131rmak (daha fazla \u00f6zellik, daha karma\u015f\u0131k algoritmalar) bias’\u0131 azalt\u0131rken varyans\u0131 art\u0131r\u0131r ve a\u015f\u0131r\u0131 uyuma yol a\u00e7abilir. Tersine, model karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 azaltmak bias’\u0131 art\u0131r\u0131rken varyans\u0131 azalt\u0131r ve eksik uyuma yol a\u00e7abilir. D\u00fczenlile\u015ftirme teknikleri, varyans\u0131 azaltarak ve dolay\u0131s\u0131yla genelle\u015ftirme yetene\u011fini art\u0131rarak bu takasta daha iyi bir denge bulmam\u0131za yard\u0131mc\u0131 olur. Bunu, modelin katsay\u0131lar\u0131n\u0131 k\u00fc\u00e7\u00fclterek ve b\u00f6ylece modelin e\u011fitim verisine a\u015f\u0131r\u0131 derecede “g\u00fcvenmesini” engelleyerek yapar.<\/p>\n Ridge regresyon, do\u011frusal regresyonun bir uzant\u0131s\u0131d\u0131r ve a\u015f\u0131r\u0131 uyum sorununu \u00e7\u00f6zmek i\u00e7in geli\u015ftirilmi\u015ftir. Temel amac\u0131, modelin katsay\u0131lar\u0131n\u0131n (\u00f6zellik a\u011f\u0131rl\u0131klar\u0131n\u0131n) mutlak b\u00fcy\u00fckl\u00fcklerini k\u0131s\u0131tlayarak varyans\u0131 azaltmakt\u0131r. Bunu yaparken, katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131r\u0131r ancak hi\u00e7bir zaman tam olarak s\u0131f\u0131r yapmaz. Bu \u00f6zellik, Ridge’i \u00f6zellik se\u00e7imi yapmayan, ancak t\u00fcm \u00f6zelliklerin modelde kalmas\u0131n\u0131 sa\u011flayan bir d\u00fczenlile\u015ftirme tekni\u011fi yapar.<\/p>\n Standart en k\u00fc\u00e7\u00fck kareler (OLS) regresyonu, hata kareleri toplam\u0131n\u0131 (Residual Sum of Squares – RSS) minimize etmeyi hedefler: Ridge regresyon, bu maliyet fonksiyonuna bir “ceza terimi” (penalty term) ekler. Bu ceza terimi, katsay\u0131lar\u0131n karelerinin toplam\u0131d\u0131r (L2 normu): Bu form\u00fclde: $\\lambda$ de\u011feri, d\u00fczenlile\u015ftirmenin ne kadar g\u00fc\u00e7l\u00fc olaca\u011f\u0131n\u0131 belirler: Ridge regresyon, katsay\u0131lar\u0131 k\u00fc\u00e7\u00fclterek (shrinkage) modelin varyans\u0131n\u0131 d\u00fc\u015f\u00fcr\u00fcr. Bu k\u00fc\u00e7\u00fcltme, \u00f6zellikle \u00e7oklu do\u011frusall\u0131k (multicollinearity) problemi olan durumlarda faydal\u0131d\u0131r. \u00c7oklu do\u011frusall\u0131k, ba\u011f\u0131ms\u0131z de\u011fi\u015fkenler aras\u0131nda y\u00fcksek korelasyon oldu\u011funda ortaya \u00e7\u0131kar ve OLS regresyonunda katsay\u0131 tahminlerinin karars\u0131z olmas\u0131na ve y\u00fcksek varyansa sahip olmas\u0131na neden olabilir. Ridge regresyon, korelasyonlu \u00f6zelliklerin katsay\u0131lar\u0131n\u0131 dengeleyerek bu sorunu hafifletir. \u00d6rne\u011fin, iki y\u00fcksek korelasyonlu \u00f6zellik oldu\u011funda, OLS bunlardan birine \u00e7ok b\u00fcy\u00fck pozitif, di\u011ferine \u00e7ok b\u00fcy\u00fck negatif bir katsay\u0131 atayabilir. Ridge ise bu katsay\u0131lar\u0131 k\u00fc\u00e7\u00fclterek daha dengeli ve kararl\u0131 bir \u00e7\u00f6z\u00fcm sunar.<\/p>\n Ridge regresyonu, katsay\u0131lar\u0131n tahminini karesel bir k\u0131s\u0131t b\u00f6lgesi i\u00e7inde ger\u00e7ekle\u015ftirir. OLS, t\u00fcm katsay\u0131 uzay\u0131nda en k\u00fc\u00e7\u00fck kareler hatas\u0131n\u0131 minimize etmeye \u00e7al\u0131\u015f\u0131rken, Ridge bu minimizasyonu $\\sum_{j=1}^p \\beta_j^2 \\le t$ \u015feklinde dairesel veya k\u00fcresel bir k\u0131s\u0131t b\u00f6lgesi i\u00e7inde yapar. $\\lambda$ de\u011feri b\u00fcy\u00fcd\u00fck\u00e7e, bu k\u0131s\u0131t b\u00f6lgesi k\u00fc\u00e7\u00fcl\u00fcr ve katsay\u0131lar s\u0131f\u0131ra daha yak\u0131n olmaya zorlan\u0131r. Tahmin edilen katsay\u0131lar, en k\u00fc\u00e7\u00fck kareler hatas\u0131 elipsinin bu k\u0131s\u0131t b\u00f6lgesine ilk de\u011fdi\u011fi nokta olacakt\u0131r.<\/p>\n Avantajlar\u0131:<\/strong> S\u0131n\u0131rlamalar\u0131:<\/strong> Lasso (Least Absolute Shrinkage and Selection Operator) regresyon, Ridge regresyon gibi a\u015f\u0131r\u0131 uyumu azaltmay\u0131 hedefler, ancak bunu farkl\u0131 bir ceza terimi kullanarak yapar. Lasso’nun en \u00f6nemli \u00f6zelli\u011fi, baz\u0131 katsay\u0131lar\u0131 tam olarak s\u0131f\u0131r yapabilmesidir. Bu, Lasso’yu sadece bir d\u00fczenlile\u015ftirme tekni\u011fi de\u011fil, ayn\u0131 zamanda etkili bir \u00f6zellik se\u00e7imi (feature selection) y\u00f6ntemi haline getirir.<\/p>\n Lasso regresyon, OLS maliyet fonksiyonuna katsay\u0131lar\u0131n mutlak de\u011ferlerinin toplam\u0131n\u0131 (L1 normu) i\u00e7eren bir ceza terimi ekler: Bu form\u00fclde: Ridge’de oldu\u011fu gibi, $\\lambda$ de\u011feri d\u00fczenlile\u015ftirmenin g\u00fcc\u00fcn\u00fc belirler: Lasso’nun L1 ceza terimi, maliyet fonksiyonunun s\u0131f\u0131rda t\u00fcrevlenemez olmas\u0131na neden olan “k\u00f6\u015feli” bir yap\u0131ya sahiptir. Bu matematiksel \u00f6zellik, Lasso’nun katsay\u0131lar\u0131 k\u00fc\u00e7\u00fclt\u00fcrken ayn\u0131 zamanda baz\u0131lar\u0131n\u0131 tam olarak s\u0131f\u0131r yapmas\u0131n\u0131 sa\u011flar. Bu, modelden en az \u00f6nemli olan veya gereksiz g\u00f6r\u00fclen \u00f6zellikleri otomatik olarak \u00e7\u0131kararak bir \u00f6zellik se\u00e7imi mekanizmas\u0131 g\u00f6revi g\u00f6r\u00fcr. Sonu\u00e7 olarak, Lasso daha az say\u0131da \u00f6zellik i\u00e7eren, daha sade ve daha yorumlanabilir modeller olu\u015fturabilir.<\/p>\n \u00d6rne\u011fin, 100 \u00f6zellikli bir veri setinde, Lasso bu \u00f6zelliklerden 80’inin katsay\u0131s\u0131n\u0131 s\u0131f\u0131r yaparak modelde sadece en etkili 20 \u00f6zelli\u011fi b\u0131rakabilir. Bu, modelin hem a\u015f\u0131r\u0131 uyumunu azalt\u0131r hem de modelin yorumlanmas\u0131n\u0131 ve hesaplama maliyetini basitle\u015ftirir.<\/p>\n Lasso regresyonu, katsay\u0131lar\u0131n tahminini elmas (e\u015fkenar d\u00f6rtgen) \u015feklinde bir k\u0131s\u0131t b\u00f6lgesi i\u00e7inde ger\u00e7ekle\u015ftirir. Bu k\u0131s\u0131t b\u00f6lgesi $\\sum_{j=1}^p |\\beta_j| \\le t$ ile tan\u0131mlan\u0131r. Bu elmas \u015feklinin “k\u00f6\u015feleri” vard\u0131r ve en k\u00fc\u00e7\u00fck kareler hatas\u0131 elipsinin bu k\u00f6\u015felere de\u011fme olas\u0131l\u0131\u011f\u0131 daha y\u00fcksektir. K\u00f6\u015felerden birine de\u011fdi\u011finde, ilgili katsay\u0131lardan biri veya birka\u00e7\u0131 s\u0131f\u0131r olur. $\\lambda$ de\u011feri b\u00fcy\u00fcd\u00fck\u00e7e, bu elmas k\u0131s\u0131t b\u00f6lgesi k\u00fc\u00e7\u00fcl\u00fcr ve katsay\u0131lar\u0131n s\u0131f\u0131r olma olas\u0131l\u0131\u011f\u0131 artar.<\/p>\n Avantajlar\u0131:<\/strong> S\u0131n\u0131rlamalar\u0131:<\/strong> Ridge ve Lasso, her ikisi de do\u011frusal regresyon modellerinde a\u015f\u0131r\u0131 uyumu azaltmak i\u00e7in kullan\u0131lan g\u00fc\u00e7l\u00fc d\u00fczenlile\u015ftirme teknikleridir, ancak bunu farkl\u0131 yollarla yaparlar.<\/p>\n * Her ikisi de modelin katsay\u0131lar\u0131n\u0131 k\u00fc\u00e7\u00fclterek (shrinkage) a\u015f\u0131r\u0131 uyumu azalt\u0131r. | \u00d6zellik | Ridge Regresyon (L2) | Lasso Regresyon (L1) | * Ridge’i Kullan\u0131n:<\/strong> Ridge ve Lasso regresyonlar\u0131n\u0131n her birinin kendine \u00f6zg\u00fc avantajlar\u0131 ve s\u0131n\u0131rlamalar\u0131 vard\u0131r. Lasso’nun g\u00fc\u00e7l\u00fc \u00f6zellik se\u00e7imi yetene\u011fi, Ridge’in \u00e7oklu do\u011frusall\u0131kla ba\u015fa \u00e7\u0131kmadaki kararl\u0131l\u0131\u011f\u0131 ile birle\u015fti\u011finde daha \u00fcst\u00fcn bir \u00e7\u00f6z\u00fcm sunabilir. Elastic Net regresyonu, bu iki tekni\u011fin en iyi y\u00f6nlerini bir araya getirmek amac\u0131yla geli\u015ftirilmi\u015ftir. \u00d6zellikle iki temel senaryoda Lasso’nun s\u0131n\u0131rlamalar\u0131n\u0131 a\u015fmay\u0131 hedefler: Elastic Net regresyonu, Ridge (L2) ve Lasso (L1) ceza terimlerinin a\u011f\u0131rl\u0131kl\u0131 bir kombinasyonunu kullan\u0131r. Maliyet fonksiyonu \u015fu \u015fekildedir: Bu form\u00fclde: $\\rho$ parametresi, Elastic Net’in davran\u0131\u015f\u0131n\u0131 belirler: Elastic Net, hem Ridge’in katsay\u0131 k\u00fc\u00e7\u00fcltme ve \u00e7oklu do\u011frusall\u0131kla ba\u015fa \u00e7\u0131kma yetene\u011fini hem de Lasso’nun \u00f6zellik se\u00e7imi yetene\u011fini sergiler. * Lasso’nun S\u0131n\u0131rlamalar\u0131n\u0131 Giderir:<\/strong> Y\u00fcksek korelasyonlu \u00f6zelliklerdeki karars\u0131zl\u0131k sorununu \u00e7\u00f6zer ve $p > n$ durumunda daha fazla \u00f6zellik se\u00e7ebilir. Elastic Net, \u00f6zellikle a\u015fa\u011f\u0131daki durumlarda tercih edilmelidir: D\u00fczenlile\u015ftirme tekniklerini uygularken baz\u0131 pratik noktalara dikkat etmek gereklidir:<\/p>\n * Veri \u00d6l\u00e7eklendirme:<\/strong> Ridge, Lasso ve Elastic Net gibi d\u00fczenlile\u015ftirme teknikleri, katsay\u0131lar\u0131n b\u00fcy\u00fckl\u00fc\u011f\u00fcne duyarl\u0131d\u0131r. E\u011fer \u00f6zellikler farkl\u0131 \u00f6l\u00e7eklerdeyse (\u00f6rne\u011fin, bir \u00f6zellik 0-1 aral\u0131\u011f\u0131nda, di\u011feri 0-1000 aral\u0131\u011f\u0131nda), b\u00fcy\u00fck \u00f6l\u00e7ekli \u00f6zelliklerin katsay\u0131lar\u0131 daha b\u00fcy\u00fck bir cezaya maruz kalabilir. Bu nedenle, d\u00fczenlile\u015ftirme tekniklerini uygulamadan \u00f6nce veriyi standartla\u015ft\u0131rmak (ortalama 0, standart sapma 1) veya normalize etmek (0-1 aral\u0131\u011f\u0131na getirmek) kritik \u00f6neme sahiptir. D\u00fczenlile\u015ftirme, makine \u00f6\u011frenimi modellerinin a\u015f\u0131r\u0131 uyum sorununu \u00e7\u00f6zmek ve genelle\u015ftirme yeteneklerini art\u0131rmak i\u00e7in vazge\u00e7ilmez bir ara\u00e7t\u0131r. Bu makalede, en pop\u00fcler \u00fc\u00e7 d\u00fczenlile\u015ftirme tekni\u011fini inceledik: Ridge, Lasso ve Elastic Net.<\/p>\n * Ridge Regresyon (L2):<\/strong> Katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131r\u0131r ancak tam olarak s\u0131f\u0131r yapmaz. A\u015f\u0131r\u0131 uyumu azalt\u0131r ve \u00f6zellikle \u00e7oklu do\u011frusall\u0131k durumlar\u0131nda kararl\u0131 tahminler sa\u011flar. T\u00fcm \u00f6zelliklerin \u00f6nemli oldu\u011fu durumlarda tercih edilir. Hangi d\u00fczenlile\u015ftirme tekni\u011finin se\u00e7ilece\u011fi, veri setinin \u00f6zelliklerine, modelin hedeflerine (tahmin performans\u0131 m\u0131, yorumlanabilirlik mi?) ve kar\u015f\u0131la\u015f\u0131lan spesifik sorunlara (\u00e7oklu do\u011frusall\u0131k, \u00e7ok say\u0131da \u00f6zellik vb.) ba\u011fl\u0131d\u0131r. Genellikle, Elastic Net, Ridge ve Lasso’nun g\u00fc\u00e7l\u00fc y\u00f6nlerini birle\u015ftirerek \u00e7o\u011fu durumda iyi bir varsay\u0131lan se\u00e7enek sunar.<\/p>\n D\u00fczenlile\u015ftirme tekniklerini anlamak ve do\u011fru bir \u015fekilde uygulamak, daha g\u00fcvenilir, daha sa\u011flam ve daha genellenebilir makine \u00f6\u011frenimi modelleri olu\u015fturman\u0131n anahtar\u0131d\u0131r. “D\u00fczenlile\u015ftirmenin Basitle\u015ftirilmesi” serimizin bu ilk b\u00f6l\u00fcm\u00fcnde, en temel ve yayg\u0131n teknikleri ele ald\u0131k. Gelecek b\u00f6l\u00fcmlerde, di\u011fer d\u00fczenlile\u015ftirme y\u00f6ntemlerini ve daha ileri konular\u0131 ke\u015ffetmeye devam edece\u011fiz.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"D\u00fczenlile\u015ftirmenin Basitle\u015ftirilmesi B\u00f6l\u00fcm 1: Ridge’den Elastic Net’e\nGiri\u015f: D\u00fczenlile\u015ftirme Neden \u00d6nemli?\nMakine \u00f6\u011frenimi, g\u00fcn\u00fcm\u00fcz tek","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-38133","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Varyans:<\/strong> Modelin e\u011fitim veri setindeki k\u00fc\u00e7\u00fck de\u011fi\u015fikliklere ne kadar duyarl\u0131 oldu\u011funun bir \u00f6l\u00e7\u00fcs\u00fcd\u00fcr. Y\u00fcksek varyansl\u0131 bir model, farkl\u0131 e\u011fitim veri setleri \u00fczerinde e\u011fitildi\u011finde \u00e7ok farkl\u0131 sonu\u00e7lar \u00fcretebilir. Bu t\u00fcr modeller genellikle \u00e7ok karma\u015f\u0131kt\u0131r ve e\u011fitim verisindeki g\u00fcr\u00fclt\u00fcy\u00fc de ezberleyerek a\u015f\u0131r\u0131 uyum sa\u011flar.
\n* \u0130ndirgenemez Hata:<\/strong> Verinin do\u011fas\u0131ndan gelen, hi\u00e7bir modelin azaltamayaca\u011f\u0131 hatad\u0131r.<\/p>\nRidge Regresyon (L2 D\u00fczenlile\u015ftirme)<\/h3>\n
Temelleri ve Amac\u0131<\/h4>\n
Matematiksel Form\u00fclasyon<\/h4>\n
\n$J_{OLS}(\\beta) = \\sum_{i=1}^n (y_i – \\hat{y}_i)^2$
\nBurada $y_i$ ger\u00e7ek de\u011fer, $\\hat{y}_i$ tahmin edilen de\u011fer ve $\\beta$ model katsay\u0131lar\u0131d\u0131r.<\/p>\n
\n$J_{Ridge}(\\beta) = \\sum_{i=1}^n (y_i – \\hat{y}_i)^2 + \\lambda \\sum_{j=1}^p \\beta_j^2$<\/p>\n
\n* $\\sum_{i=1}^n (y_i – \\hat{y}_i)^2$: Geleneksel OLS maliyet fonksiyonu (hata kareleri toplam\u0131).
\n* $\\lambda \\sum_{j=1}^p \\beta_j^2$: Ridge ceza terimi. $\\beta_j$ her bir \u00f6zelli\u011fin katsay\u0131s\u0131d\u0131r ve $p$ toplam \u00f6zellik say\u0131s\u0131d\u0131r.
\n* $\\lambda$ (lambda): D\u00fczenlile\u015ftirme g\u00fcc\u00fcn\u00fc kontrol eden hiperparametredir. $\\lambda \\ge 0$ olmal\u0131d\u0131r.<\/p>\n
\n* $\\lambda = 0$ oldu\u011funda, Ridge regresyonu standart OLS regresyonuna d\u00f6n\u00fc\u015f\u00fcr.
\n* $\\lambda$ de\u011feri artt\u0131k\u00e7a, katsay\u0131lar\u0131n b\u00fcy\u00fckl\u00fc\u011f\u00fcn\u00fc azaltmaya y\u00f6nelik ceza artar. Bu durum, katsay\u0131lar\u0131 s\u0131f\u0131ra do\u011fru iter, ancak onlar\u0131 tam olarak s\u0131f\u0131r yapmaz.<\/p>\nKatsay\u0131lar \u00dczerindeki Etkisi ve \u00c7oklu Do\u011frusall\u0131k<\/h4>\n
Geometrik Yorum<\/h4>\n
Avantajlar\u0131 ve S\u0131n\u0131rlamalar\u0131<\/h4>\n
\n* A\u015f\u0131r\u0131 Uyum Azaltma:<\/strong> Modelin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 kontrol ederek a\u015f\u0131r\u0131 uyumu engeller.
\n* \u00c7oklu Do\u011frusall\u0131kla Ba\u015fa \u00c7\u0131kma:<\/strong> Y\u00fcksek korelasyonlu \u00f6zellikler oldu\u011funda daha kararl\u0131 katsay\u0131 tahminleri sa\u011flar.
\n* T\u00fcm \u00d6zellikleri Koruma:<\/strong> Hi\u00e7bir katsay\u0131y\u0131 tam olarak s\u0131f\u0131r yapmad\u0131\u011f\u0131 i\u00e7in, modelde potansiyel olarak faydal\u0131 olabilecek hi\u00e7bir \u00f6zelli\u011fi d\u0131\u015flamaz.<\/p>\n
\n* \u00d6zellik Se\u00e7imi Yapmaz:<\/strong> T\u00fcm katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131rsa da, hi\u00e7birini tam olarak s\u0131f\u0131r yapmaz. Bu durum, \u00e7ok say\u0131da \u00f6zellik i\u00e7eren modellerde modelin yorumlanabilirli\u011fini azaltabilir.
\n* Model Karma\u015f\u0131kl\u0131\u011f\u0131:<\/strong> T\u00fcm \u00f6zellikler modelde kald\u0131\u011f\u0131 i\u00e7in, model hala karma\u015f\u0131k olabilir.<\/p>\nLasso Regresyon (L1 D\u00fczenlile\u015ftirme)<\/h3>\n
Temelleri ve Amac\u0131<\/h4>\n
Matematiksel Form\u00fclasyon<\/h4>\n
\n$J_{Lasso}(\\beta) = \\sum_{i=1}^n (y_i – \\hat{y}_i)^2 + \\lambda \\sum_{j=1}^p |\\beta_j|$<\/p>\n
\n* $\\sum_{i=1}^n (y_i – \\hat{y}_i)^2$: Geleneksel OLS maliyet fonksiyonu.
\n* $\\lambda \\sum_{j=1}^p |\\beta_j|$: Lasso ceza terimi. $\\beta_j$ her bir \u00f6zelli\u011fin katsay\u0131s\u0131d\u0131r.
\n* $\\lambda$ (lambda): D\u00fczenlile\u015ftirme g\u00fcc\u00fcn\u00fc kontrol eden hiperparametredir.<\/p>\n
\n* $\\lambda = 0$ oldu\u011funda, Lasso regresyonu da standart OLS regresyonuna d\u00f6n\u00fc\u015f\u00fcr.
\n* $\\lambda$ de\u011feri artt\u0131k\u00e7a, katsay\u0131lar\u0131n mutlak de\u011ferlerini azaltmaya y\u00f6nelik ceza artar. Lasso’nun L1 ceza teriminin do\u011fas\u0131 gere\u011fi, baz\u0131 katsay\u0131lar\u0131 tam olarak s\u0131f\u0131r yapma e\u011filimi g\u00f6sterir.<\/p>\nKatsay\u0131lar \u00dczerindeki Etkisi ve \u00d6zellik Se\u00e7imi<\/h4>\n
Geometrik Yorum<\/h4>\n
Avantajlar\u0131 ve S\u0131n\u0131rlamalar\u0131<\/h4>\n
\n* \u00d6zellik Se\u00e7imi:<\/strong> En \u00f6nemli avantaj\u0131, \u00f6nemsiz \u00f6zellikleri modelden \u00e7\u0131kararak otomatik \u00f6zellik se\u00e7imi yapmas\u0131d\u0131r. Bu, daha yorumlanabilir ve daha az karma\u015f\u0131k modeller sa\u011flar.
\n* A\u015f\u0131r\u0131 Uyum Azaltma:<\/strong> Ridge gibi, a\u015f\u0131r\u0131 uyumu azalt\u0131r ve genelle\u015ftirme yetene\u011fini art\u0131r\u0131r.
\n* Daha Az Karma\u015f\u0131k Modeller:<\/strong> Daha az say\u0131da \u00f6zellik i\u00e7eren modeller, hesaplama a\u00e7\u0131s\u0131ndan daha verimli olabilir.<\/p>\n
\n* Y\u00fcksek Korelasyonlu \u00d6zelliklerde Karars\u0131zl\u0131k:<\/strong> E\u011fer veri setinde y\u00fcksek oranda korelasyonlu (birbirine ba\u011f\u0131ml\u0131) \u00f6zellikler varsa, Lasso bu \u00f6zelliklerden rastgele birini se\u00e7ip di\u011ferlerini s\u0131f\u0131rlama e\u011filimindedir. Bu, modelin kararl\u0131l\u0131\u011f\u0131n\u0131 azaltabilir ve her \u00e7al\u0131\u015ft\u0131rmada farkl\u0131 \u00f6zellikler se\u00e7ilmesine neden olabilir.
\n* S\u0131n\u0131rl\u0131 \u00d6zellik Say\u0131s\u0131:<\/strong> \u00d6zellik say\u0131s\u0131 g\u00f6zlem say\u0131s\u0131ndan fazlaysa ($p > n$), Lasso en fazla $n$ kadar \u00f6zellik se\u00e7ebilir.
\n* Baz\u0131 Durumlarda Zay\u0131f Tahmin Performans\u0131:<\/strong> \u00d6zellikle t\u00fcm \u00f6zelliklerin \u00f6nemli oldu\u011fu ve katsay\u0131lar\u0131n s\u0131f\u0131r olmamas\u0131 gerekti\u011fi durumlarda, Lasso’nun tahmin performans\u0131 Ridge’den daha k\u00f6t\u00fc olabilir.<\/p>\nRidge ve Lasso Regresyon Kar\u015f\u0131la\u015ft\u0131rmas\u0131<\/h3>\n
Benzerlikler:<\/h4>\n
\n* Her ikisi de modelin varyans\u0131n\u0131 d\u00fc\u015f\u00fcr\u00fcr ve genelle\u015ftirme yetene\u011fini art\u0131r\u0131r.
\n* Her ikisi de d\u00fczenlile\u015ftirme g\u00fcc\u00fcn\u00fc kontrol eden bir $\\lambda$ hiperparametresine sahiptir.<\/p>\nFarkl\u0131l\u0131klar:<\/h4>\n
\n| :———————- | :————————————————- | :——————————————————- |
\n| Ceza Terimi<\/strong> | Katsay\u0131lar\u0131n karelerinin toplam\u0131 ($\\sum \\beta_j^2$) | Katsay\u0131lar\u0131n mutlak de\u011ferlerinin toplam\u0131 ($\\sum |\\beta_j|$) |
\n| Katsay\u0131lar \u00dczerine Etki<\/strong> | Katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131r\u0131r, ancak asla tam olarak s\u0131f\u0131r yapmaz. | Katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131r\u0131r ve baz\u0131lar\u0131n\u0131 tam olarak s\u0131f\u0131r yapar. |
\n| \u00d6zellik Se\u00e7imi<\/strong> | Yapmaz. T\u00fcm \u00f6zellikler modelde kal\u0131r. | Yapar. \u00d6nemsiz \u00f6zellikleri modelden \u00e7\u0131kar\u0131r. |
\n| Model Karma\u015f\u0131kl\u0131\u011f\u0131<\/strong> | Azalt\u0131r, ancak modeldeki \u00f6zellik say\u0131s\u0131n\u0131 de\u011fi\u015ftirmez. | Azalt\u0131r ve modeldeki \u00f6zellik say\u0131s\u0131n\u0131 da azalt\u0131r. |
\n| Korelasyonlu \u00d6zellikler<\/strong> | Y\u00fcksek korelasyonlu \u00f6zelliklerin katsay\u0131lar\u0131n\u0131 dengeler ve hepsini modelde tutar. | Y\u00fcksek korelasyonlu \u00f6zelliklerden rastgele birini se\u00e7ip di\u011ferlerini s\u0131f\u0131rlar. |
\n| Geometrik K\u0131s\u0131t<\/strong> | Dairesel\/K\u00fcresel | Elmas\/E\u015fkenar D\u00f6rtgen |
\n| Yorumlanabilirlik<\/strong> | Daha az yorumlanabilir (\u00e7ok say\u0131da \u00f6zellik varsa). | Daha yorumlanabilir (daha az \u00f6zellikle). |<\/p>\nNe Zaman Hangisi Kullan\u0131lmal\u0131?<\/h4>\n
\n * T\u00fcm \u00f6zelliklerin model i\u00e7in \u00f6nemli oldu\u011funu d\u00fc\u015f\u00fcnd\u00fc\u011f\u00fcn\u00fczde ve hi\u00e7birini atmak istemedi\u011finizde.
\n * \u00d6zellikler aras\u0131nda y\u00fcksek korelasyon oldu\u011funda ve bu korelasyonun katsay\u0131 tahminlerini karars\u0131zla\u015ft\u0131rmas\u0131n\u0131 istemedi\u011finizde.
\n * Modelin yorumlanabilirli\u011fi, \u00f6zellik se\u00e7imi kadar kritik olmad\u0131\u011f\u0131nda.
\n* Lasso’yu Kullan\u0131n:<\/strong>
\n * \u00c7ok say\u0131da \u00f6zelli\u011finiz oldu\u011funda ve modelinizi basitle\u015ftirmek, en \u00f6nemli \u00f6zellikleri se\u00e7mek istedi\u011finizde.
\n * Baz\u0131 \u00f6zelliklerin ger\u00e7ekten \u00f6nemsiz oldu\u011funa inand\u0131\u011f\u0131n\u0131zda ve modelden \u00e7\u0131kar\u0131lmas\u0131n\u0131n faydal\u0131 olaca\u011f\u0131na d\u00fc\u015f\u00fcnd\u00fc\u011f\u00fcn\u00fczde.
\n * Daha yorumlanabilir bir model aray\u0131\u015f\u0131nda oldu\u011funuzda.<\/p>\nElastic Net Regresyon: Ridge ve Lasso’nun G\u00fc\u00e7lerini Birle\u015ftirmek<\/h3>\n
Motivasyon<\/h4>\n
\n1. Y\u00fcksek Korelasyonlu \u00d6zellikler:<\/strong> Lasso, y\u00fcksek korelasyonlu \u00f6zellikler oldu\u011funda bunlardan sadece birini se\u00e7ip di\u011ferlerini s\u0131f\u0131rlama e\u011filimindedir. Bu, hem tahmin performans\u0131n\u0131 d\u00fc\u015f\u00fcrebilir hem de modelin karars\u0131z olmas\u0131na neden olabilir. Elastic Net, korelasyonlu \u00f6zellikleri “grup halinde” se\u00e7me veya s\u0131f\u0131rlama yetene\u011fine sahiptir.
\n2. \u00d6zellik Say\u0131s\u0131 G\u00f6zlem Say\u0131s\u0131ndan Fazla Oldu\u011funda ($p > n$):<\/strong> Lasso, bu durumda en fazla $n$ kadar \u00f6zellik se\u00e7ebilir, bu da baz\u0131 durumlarda yetersiz kalabilir. Elastic Net, bu s\u0131n\u0131rlamay\u0131 a\u015fabilir.<\/p>\nMatematiksel Form\u00fclasyon<\/h4>\n
\n$J_{ElasticNet}(\\beta) = \\sum_{i=1}^n (y_i – \\hat{y}_i)^2 + \\lambda \\left( \\rho \\sum_{j=1}^p |\\beta_j| + (1-\\rho) \\sum_{j=1}^p \\beta_j^2 \\right)$<\/p>\n
\n* $\\sum_{i=1}^n (y_i – \\hat{y}_i)^2$: Geleneksel OLS maliyet fonksiyonu.
\n* $\\lambda$: Toplam d\u00fczenlile\u015ftirme g\u00fcc\u00fcn\u00fc kontrol eden hiperparametre. $\\lambda \\ge 0$.
\n* $\\rho$ (rho): L1 cezas\u0131n\u0131n L2 cezas\u0131na oran\u0131n\u0131 kontrol eden kar\u0131\u015ft\u0131rma oran\u0131 hiperparametresi. $0 \\le \\rho \\le 1$.<\/p>\n
\n* $\\rho = 1$ oldu\u011funda, Elastic Net tamamen Lasso regresyonuna d\u00f6n\u00fc\u015f\u00fcr (sadece L1 cezas\u0131 uygulan\u0131r).
\n* $\\rho = 0$ oldu\u011funda, Elastic Net tamamen Ridge regresyonuna d\u00f6n\u00fc\u015f\u00fcr (sadece L2 cezas\u0131 uygulan\u0131r).
\n* $0 < \\rho < 1$ oldu\u011funda, hem L1 hem de L2 cezalar\u0131 uygulan\u0131r. Bu, hem \u00f6zellik se\u00e7imi hem de korelasyonlu \u00f6zelliklerin grupland\u0131r\u0131lmas\u0131 etkisini sa\u011flar.\n\nBaz\u0131 implementasyonlarda, iki ayr\u0131 d\u00fczenlile\u015ftirme parametresi ($\\lambda_1$ ve $\\lambda_2$) kullan\u0131l\u0131r:\n$J_{ElasticNet}(\\beta) = \\sum_{i=1}^n (y_i - \\hat{y}_i)^2 + \\lambda_1 \\sum_{j=1}^p |\\beta_j| + \\lambda_2 \\sum_{j=1}^p \\beta_j^2$\nBu durumda $\\lambda_1$ L1 cezas\u0131n\u0131n g\u00fcc\u00fcn\u00fc, $\\lambda_2$ ise L2 cezas\u0131n\u0131n g\u00fcc\u00fcn\u00fc kontrol eder. Bu iki form\u00fclasyon birbiriyle ili\u015fkilidir ve ayn\u0131 etkiyi yarat\u0131r.\n\n\n\nKatsay\u0131lar \u00dczerindeki Etkisi<\/h4>\n
\n* Grup Halinde Se\u00e7im:<\/strong> En \u00f6nemli avantajlar\u0131ndan biri, y\u00fcksek korelasyonlu \u00f6zellikler oldu\u011funda bu \u00f6zellikleri “grup halinde” se\u00e7me veya modelden \u00e7\u0131karma e\u011filiminde olmas\u0131d\u0131r. Lasso rastgele birini se\u00e7erken, Elastic Net korelasyonlu t\u00fcm \u00f6zelliklere benzer katsay\u0131lar atar ve hepsini modelde tutar (e\u011fer \u00f6nemliyse) veya hepsini birlikte s\u0131f\u0131rlar (e\u011fer \u00f6nemsizse). Bu, daha kararl\u0131 ve daha anlaml\u0131 modeller olu\u015fturur.
\n* Hem K\u00fc\u00e7\u00fcltme Hem S\u0131f\u0131rlama:<\/strong> Katsay\u0131lar\u0131 k\u00fc\u00e7\u00fclt\u00fcrken, ayn\u0131 zamanda Lasso gibi baz\u0131lar\u0131n\u0131 tam olarak s\u0131f\u0131r yaparak \u00f6zellik se\u00e7imi yapar.<\/p>\nAvantajlar\u0131<\/h4>\n
\n* Daha Esnek:<\/strong> \u0130ki hiperparametresi sayesinde (veya $\\lambda$ ve $\\rho$ kombinasyonuyla) hem \u00f6zellik se\u00e7imi hem de katsay\u0131 k\u00fc\u00e7\u00fcltme aras\u0131nda ince ayar yapma imkan\u0131 sunar.
\n* Genellikle Daha \u0130yi Performans:<\/strong> Bir\u00e7ok senaryoda, \u00f6zellikle \u00e7ok say\u0131da \u00f6zellik ve\/veya y\u00fcksek korelasyon oldu\u011funda, Ridge veya Lasso’dan daha iyi tahmin performans\u0131 g\u00f6sterebilir.
\n* Sa\u011flaml\u0131k:<\/strong> Modelin daha sa\u011flam olmas\u0131na yard\u0131mc\u0131 olur.<\/p>\nNe Zaman Kullan\u0131lmal\u0131?<\/h4>\n
\n* \u00c7ok say\u0131da \u00f6zelli\u011fe sahip oldu\u011funuzda ve bunlar\u0131n bir\u00e7o\u011funun \u00f6nemsiz olabilece\u011fini d\u00fc\u015f\u00fcnd\u00fc\u011f\u00fcn\u00fczde (\u00f6zellik se\u00e7imi ihtiyac\u0131).
\n* \u00d6zellikler aras\u0131nda y\u00fcksek derecede korelasyon oldu\u011funda ve Lasso’nun bu durumdaki karars\u0131zl\u0131\u011f\u0131ndan ka\u00e7\u0131nmak istedi\u011finizde.
\n* Hem modelin yorumlanabilirli\u011fini art\u0131rmak (\u00f6zellik se\u00e7imi yoluyla) hem de modelin genelle\u015ftirme yetene\u011fini iyile\u015ftirmek (katsay\u0131 k\u00fc\u00e7\u00fcltme yoluyla) istedi\u011finizde.
\n* Hangi d\u00fczenlile\u015ftirme tekni\u011finin (L1 veya L2) en iyi sonucu verece\u011finden emin olmad\u0131\u011f\u0131n\u0131zda, Elastic Net her ikisinin de avantajlar\u0131n\u0131 sunarak iyi bir ba\u015flang\u0131\u00e7 noktas\u0131 olabilir.<\/p>\nPratik Uygulama ve Dikkat Edilmesi Gerekenler<\/h3>\n
\n* Hiperparametre Ayarlamas\u0131:<\/strong> Her \u00fc\u00e7 d\u00fczenlile\u015ftirme tekni\u011fi de bir veya daha fazla hiperparametreye sahiptir ($\\lambda$ i\u00e7in Ridge ve Lasso, $\\lambda$ ve $\\rho$ veya $\\lambda_1, \\lambda_2$ i\u00e7in Elastic Net). Bu hiperparametrelerin do\u011fru de\u011ferlerinin bulunmas\u0131, modelin performans\u0131n\u0131 do\u011frudan etkiler. En yayg\u0131n y\u00f6ntem, \u00e7apraz do\u011frulama (cross-validation) kullanmakt\u0131r. Veri seti e\u011fitim ve do\u011frulama setlerine ayr\u0131l\u0131r, model farkl\u0131 hiperparametre de\u011ferleriyle e\u011fitilir ve do\u011frulama seti \u00fczerindeki performans\u0131 de\u011ferlendirilir. En iyi performans\u0131 veren hiperparametre de\u011ferleri se\u00e7ilir. Python’daki scikit-learn<\/code> k\u00fct\u00fcphanesi, RidgeCV<\/code>, LassoCV<\/code> ve ElasticNetCV<\/code> gibi ara\u00e7larla bu s\u00fcreci kolayla\u015ft\u0131r\u0131r.
\n* Model Yorumlanabilirli\u011fi:<\/strong> D\u00fczenlile\u015ftirme, katsay\u0131lar\u0131 de\u011fi\u015ftirir. Ridge katsay\u0131lar\u0131 k\u00fc\u00e7\u00fclt\u00fcrken, Lasso ve Elastic Net baz\u0131lar\u0131n\u0131 s\u0131f\u0131rlar. Bu durum, modelin yorumlanmas\u0131n\u0131 etkiler. \u00d6zellikle Lasso ile s\u0131f\u0131rlanan katsay\u0131lar, o \u00f6zelli\u011fin model i\u00e7in \u00f6nemsiz oldu\u011fu \u015feklinde yorumlanabilir, bu da i\u015f alan\u0131nda \u00f6nemli i\u00e7g\u00f6r\u00fcler sa\u011flayabilir.<\/p>\nSonu\u00e7<\/h3>\n
\n* Lasso Regresyon (L1):<\/strong> Katsay\u0131lar\u0131 s\u0131f\u0131ra yakla\u015ft\u0131r\u0131r ve baz\u0131lar\u0131n\u0131 tam olarak s\u0131f\u0131r yapar. Bu \u00f6zelli\u011fi sayesinde otomatik \u00f6zellik se\u00e7imi yapar, daha sade ve yorumlanabilir modeller sunar. \u00c7ok say\u0131da \u00f6zellik oldu\u011funda ve en \u00f6nemlilerini belirlemek istedi\u011finizde faydal\u0131d\u0131r.
\n* Elastic Net Regresyon:<\/strong> Ridge ve Lasso’nun ceza terimlerini birle\u015ftirir. Hem katsay\u0131 k\u00fc\u00e7\u00fcltme hem de \u00f6zellik se\u00e7imi yapar. Lasso’nun y\u00fcksek korelasyonlu \u00f6zelliklerdeki karars\u0131zl\u0131k sorununu giderir ve korelasyonlu \u00f6zellikleri grup halinde se\u00e7me yetene\u011fine sahiptir. Genellikle, \u00e7ok say\u0131da \u00f6zellik ve y\u00fcksek korelasyonun oldu\u011fu karma\u015f\u0131k veri setlerinde en iyi performans\u0131 sunan, daha sa\u011flam ve esnek bir \u00e7\u00f6z\u00fcmd\u00fcr.<\/p>\n