Derin \u00f6\u011frenme, yapay zekan\u0131n en h\u0131zl\u0131 geli\u015fen ve en etkili alanlar\u0131ndan biridir. Karma\u015f\u0131k veri setlerinden anlaml\u0131 desenler \u00f6\u011frenme yetene\u011fi sayesinde bilgisayar g\u00f6r\u00fc\u015f\u00fc, do\u011fal dil i\u015fleme, konu\u015fma tan\u0131ma ve daha bir\u00e7ok alanda \u00e7\u0131\u011f\u0131r a\u00e7an ba\u015far\u0131lara imza atm\u0131\u015ft\u0131r. Bu ba\u015far\u0131lar\u0131n temelinde, milyonlarca parametreye sahip derin sinir a\u011flar\u0131n\u0131n verimli bir \u015fekilde e\u011fitilebilmesi yatmaktad\u0131r. Bir derin \u00f6\u011frenme modelini e\u011fitmek, asl\u0131nda modelin tahminleri ile ger\u00e7ek de\u011ferler aras\u0131ndaki fark\u0131 (kay\u0131p fonksiyonu) minimize eden optimal parametre setini bulma s\u00fcrecidir. \u0130\u015fte bu s\u00fcre\u00e7, optimizasyon olarak adland\u0131r\u0131l\u0131r. Optimizasyon algoritmalar\u0131 ve a\u011f\u0131n mimarisinin kritik bir bile\u015feni olan aktivasyon fonksiyonlar\u0131, bu karma\u015f\u0131k parametre aray\u0131\u015f\u0131n\u0131n ba\u015far\u0131s\u0131n\u0131 do\u011frudan etkiler. Bu makalede, derin \u00f6\u011frenmedeki optimizasyonun temel prensiplerini, \u00f6zellikle derin a\u011flar\u0131n e\u011fitimini zorla\u015ft\u0131ran “kaybolan gradyanlar” problemine odaklanarak inceleyecek ve bu problemle m\u00fccadelede hayati bir rol oynayan aktivasyon fonksiyonlar\u0131n\u0131n \u00e7e\u015fitlerini, \u00f6zelliklerini ve do\u011fru se\u00e7im stratejilerini detayl\u0131 bir \u015fekilde ele alaca\u011f\u0131z.<\/p>\n
Derin \u00f6\u011frenme modelleri, genellikle bir dizi katmandan olu\u015fan sinir a\u011flar\u0131d\u0131r. Her katman, bir \u00f6nceki katmandan gelen girdiyi i\u015fleyerek bir \u00e7\u0131kt\u0131 \u00fcretir ve bu \u00e7\u0131kt\u0131 bir sonraki katmana girdi olarak verilir. Bu s\u00fcre\u00e7te, her ba\u011flant\u0131n\u0131n bir a\u011f\u0131rl\u0131\u011f\u0131 (weight) ve her n\u00f6ronun bir sapmas\u0131 (bias) bulunur. Modelin amac\u0131, bu a\u011f\u0131rl\u0131k ve sapma de\u011ferlerini ayarlayarak, belirli bir g\u00f6revde (\u00f6rne\u011fin s\u0131n\u0131fland\u0131rma veya regresyon) en iyi performans\u0131 g\u00f6stermektir.<\/p>\n
Optimizasyon s\u00fcrecinin ba\u015flang\u0131\u00e7 noktas\u0131, modelin ne kadar k\u00f6t\u00fc performans g\u00f6sterdi\u011fini \u00f6l\u00e7en bir kay\u0131p fonksiyonudur (loss function). S\u0131n\u0131fland\u0131rma g\u00f6revleri i\u00e7in \u00e7apraz entropi (cross-entropy), regresyon g\u00f6revleri i\u00e7in ortalama kare hata (mean squared error) gibi \u00e7e\u015fitli kay\u0131p fonksiyonlar\u0131 mevcuttur. Modelin e\u011fitimi s\u0131ras\u0131nda, bu kay\u0131p fonksiyonunun de\u011feri minimize edilmeye \u00e7al\u0131\u015f\u0131l\u0131r.<\/p>\n
Bu minimizasyon genellikle gradyan ini\u015fi (gradient descent) ad\u0131 verilen iteratif bir algoritma ile ger\u00e7ekle\u015ftirilir. Gradyan ini\u015fi, kay\u0131p fonksiyonunun parametrelere g\u00f6re t\u00fcrevlerini (gradyanlar\u0131n\u0131) hesaplar ve bu gradyanlar\u0131n i\u015faretinin tersi y\u00f6nde parametreleri g\u00fcncelleyerek kay\u0131p de\u011ferini azaltmaya \u00e7al\u0131\u015f\u0131r. T\u00fcrev, bir fonksiyonun belirli bir noktadaki e\u011fimini g\u00f6sterir; dolay\u0131s\u0131yla gradyan, fonksiyonun en h\u0131zl\u0131 art\u0131\u015f y\u00f6n\u00fcn\u00fc belirtir. Biz ise kay\u0131p fonksiyonunu minimize etmek istedi\u011fimiz i\u00e7in, gradyan\u0131n tersi y\u00f6nde hareket ederiz.<\/p>\n
Matematiksel olarak, bir parametre $\\theta$ i\u00e7in g\u00fcncelleme kural\u0131 \u015fu \u015fekildedir:
\n$\\theta \\leftarrow \\theta – \\alpha \\nabla J(\\theta)$
\nBurada $J(\\theta)$ kay\u0131p fonksiyonunu, $\\nabla J(\\theta)$ kay\u0131p fonksiyonunun $\\theta$’ya g\u00f6re gradyan\u0131n\u0131 ve $\\alpha$ ise \u00f6\u011frenme oran\u0131n\u0131 (learning rate) temsil eder. \u00d6\u011frenme oran\u0131, her ad\u0131mda parametrelerin ne kadar g\u00fcncellenece\u011fini kontrol eden kritik bir hiperparametredir. \u00c7ok k\u00fc\u00e7\u00fck bir \u00f6\u011frenme oran\u0131, e\u011fitimin yava\u015f ilerlemesine neden olurken, \u00e7ok b\u00fcy\u00fck bir \u00f6\u011frenme oran\u0131 optimal noktay\u0131 ka\u00e7\u0131rarak yak\u0131nsamay\u0131 engelleyebilir.<\/p>\n
* Toplu Gradyan \u0130ni\u015fi (Batch Gradient Descent):<\/strong> Her g\u00fcncelleme ad\u0131m\u0131nda t\u00fcm e\u011fitim veri setini kullan\u0131r. Bu, gradyan\u0131n do\u011fru bir tahminini sa\u011flar ancak b\u00fcy\u00fck veri setlerinde hesaplama maliyeti \u00e7ok y\u00fcksektir ve yava\u015f olabilir. SGD’nin temel prensipleri \u00fczerine in\u015fa edilen bir\u00e7ok geli\u015fmi\u015f optimize edici algoritma geli\u015ftirilmi\u015ftir. Bu algoritmalar, \u00f6\u011frenme oran\u0131n\u0131 dinamik olarak ayarlayarak veya ge\u00e7mi\u015f gradyan bilgilerini kullanarak daha h\u0131zl\u0131 ve daha kararl\u0131 yak\u0131nsama sa\u011flamay\u0131 ama\u00e7lar: Derin sinir a\u011flar\u0131n\u0131n e\u011fitilmesinde kar\u015f\u0131la\u015f\u0131lan en b\u00fcy\u00fck zorluklardan biri “kaybolan gradyanlar” problemidir. Bu problem, \u00f6zellikle a\u011f derinle\u015ftik\u00e7e ve belirli aktivasyon fonksiyonlar\u0131 kullan\u0131ld\u0131k\u00e7a ortaya \u00e7\u0131kar ve modelin ilk katmanlar\u0131n\u0131n etkili bir \u015fekilde \u00f6\u011frenmesini engeller.<\/p>\n Kaybolan gradyanlar problemi, gradyanlar\u0131n a\u011f boyunca geriye do\u011fru yay\u0131l\u0131rken (geri yay\u0131l\u0131m – backpropagation s\u0131ras\u0131nda) katmanlar aras\u0131 \u00e7arp\u0131m zinciri nedeniyle giderek k\u00fc\u00e7\u00fclmesidir. Bu durum, \u00f6zellikle a\u011f\u0131n ilk katmanlar\u0131ndaki a\u011f\u0131rl\u0131k g\u00fcncellemelerinin \u00e7ok k\u00fc\u00e7\u00fck olmas\u0131na ve dolay\u0131s\u0131yla bu katmanlar\u0131n neredeyse hi\u00e7 \u00f6\u011frenememesine yol a\u00e7ar. Sonu\u00e7 olarak, a\u011f\u0131n derin k\u0131s\u0131mlar\u0131 etkili \u00f6zellik \u00e7\u0131kar\u0131m\u0131 yapamaz ve modelin genel performans\u0131 d\u00fc\u015fer.<\/p>\n Bu problemin ana nedenleri \u015funlard\u0131r: Bir gradyan\u0131n bir katmandan di\u011ferine yay\u0131l\u0131rken de\u011feri, o katmandaki aktivasyon fonksiyonunun t\u00fcrevi ve katman\u0131n a\u011f\u0131rl\u0131k matrisi ile \u00e7arp\u0131l\u0131r. E\u011fer bu \u00e7arpanlar s\u00fcrekli olarak 1’den k\u00fc\u00e7\u00fckse, gradyanlar her katmanda k\u00fc\u00e7\u00fclerek ilk katmanlara ula\u015ft\u0131\u011f\u0131nda neredeyse s\u0131f\u0131r olur.<\/p>\n Kaybolan gradyanlar probleminin ana etkisi, derin a\u011flar\u0131n e\u011fitiminin yava\u015flamas\u0131 veya tamamen durmas\u0131d\u0131r. A\u011f\u0131n ilk katmanlar\u0131, genellikle girdiden temel \u00f6zellikleri (kenarlar, dokular vb.) \u00f6\u011frenmekle sorumludur. Bu katmanlar \u00f6\u011frenemedi\u011finde, a\u011f daha karma\u015f\u0131k, \u00fcst d\u00fczey \u00f6zellikleri \u00e7\u0131karamaz ve performans\u0131 d\u00fc\u015f\u00fck kal\u0131r.<\/p>\n Tarihsel olarak, bu problemle m\u00fccadele etmek i\u00e7in \u00e7e\u015fitli yakla\u015f\u0131mlar geli\u015ftirilmi\u015ftir: Aktivasyon fonksiyonlar\u0131, derin \u00f6\u011frenme modellerinin temel yap\u0131 ta\u015flar\u0131ndan biridir. Bir sinir h\u00fccresinin (n\u00f6ronun) \u00e7\u0131kt\u0131s\u0131n\u0131 belirleyen, do\u011frusal olmayan bir d\u00f6n\u00fc\u015f\u00fcm uygulayan matematiksel fonksiyonlard\u0131r. Her katmandaki her n\u00f6ron, bir \u00f6nceki katmandan gelen a\u011f\u0131rl\u0131kl\u0131 girdilerin toplam\u0131n\u0131 al\u0131r ve bu toplam\u0131 bir aktivasyon fonksiyonundan ge\u00e7irerek bir sonraki katmana \u00e7\u0131kt\u0131 olarak iletir.<\/p>\n E\u011fer aktivasyon fonksiyonlar\u0131 do\u011frusal olsayd\u0131 (yani, \u00e7\u0131kt\u0131 sadece girdinin bir sabitle \u00e7arp\u0131m\u0131 olsayd\u0131), sinir a\u011f\u0131 ne kadar derin olursa olsun, asl\u0131nda tek bir do\u011frusal katman gibi davran\u0131rd\u0131. Bir dizi do\u011frusal d\u00f6n\u00fc\u015f\u00fcm\u00fcn bile\u015fimi yine do\u011frusal bir d\u00f6n\u00fc\u015f\u00fcmd\u00fcr. Bu durumda, sinir a\u011f\u0131 sadece do\u011frusal olarak ayr\u0131labilir desenleri \u00f6\u011frenebilir ve XOR kap\u0131s\u0131 gibi basit do\u011frusal olmayan problemleri bile \u00e7\u00f6zemezdi.<\/p>\n Aktivasyon fonksiyonlar\u0131n\u0131n do\u011frusal olmama \u00f6zelli\u011fi, sinir a\u011flar\u0131n\u0131n karma\u015f\u0131k, do\u011frusal olmayan ili\u015fkileri ve desenleri \u00f6\u011frenebilmesini sa\u011flar. Bu sayede a\u011f, girdi verilerini daha soyut ve anlaml\u0131 g\u00f6sterimlere d\u00f6n\u00fc\u015ft\u00fcrebilir, bu da derin \u00f6\u011frenmenin g\u00fcc\u00fcn\u00fcn temelini olu\u015fturur.<\/p>\n Daha \u00f6nce de belirtildi\u011fi gibi, aktivasyon fonksiyonlar\u0131n\u0131n t\u00fcrevleri gradyanlar\u0131n geri yay\u0131l\u0131m\u0131 s\u0131ras\u0131nda kritik bir rol oynar. Aktivasyon fonksiyonunun t\u00fcrevi, gradyan\u0131n o katmandan ne kadar\u0131n\u0131n ge\u00e7ece\u011fini belirler. E\u011fer t\u00fcrev k\u00fc\u00e7\u00fckse, gradyan k\u00fc\u00e7\u00fcl\u00fcr; e\u011fer t\u00fcrev b\u00fcy\u00fckse, gradyan b\u00fcy\u00fcyebilir (bu da patlayan gradyanlara yol a\u00e7abilir). Bu nedenle, aktivasyon fonksiyonu se\u00e7imi, a\u011f\u0131n e\u011fitim h\u0131z\u0131n\u0131, kararl\u0131l\u0131\u011f\u0131n\u0131 ve kaybolan gradyanlar gibi sorunlara kar\u015f\u0131 direncini do\u011frudan etkiler.<\/p>\n Aktivasyon fonksiyonlar\u0131, derin \u00f6\u011frenme ara\u015ft\u0131rmalar\u0131n\u0131n \u00f6nemli bir alan\u0131 olmu\u015ftur ve zamanla bir\u00e7ok yeni fonksiyon geli\u015ftirilmi\u015ftir. \u0130\u015fte en pop\u00fcler olanlar\u0131 ve \u00f6zellikleri:<\/p>\n * Tan\u0131m:<\/strong> $\\sigma(x) = \\frac{1}{1 + e^{-x}}$ * Tan\u0131m:<\/strong> $\\tanh(x) = \\frac{e^x – e^{-x}}{e^x + e^{-x}}$ * Tan\u0131m:<\/strong> $f(x) = \\max(0, x)$ * Tan\u0131m:<\/strong> $f(x) = \\max(\\alpha x, x)$ veya $f(x) = \\begin{cases} x & \\text{e\u011fer } x > 0 \\\\ \\alpha x & \\text{e\u011fer } x \\le 0 \\end{cases}$ (genellikle $\\alpha = 0.01$) * Tan\u0131m:<\/strong> $f(x) = \\begin{cases} x & \\text{e\u011fer } x > 0 \\\\ \\alpha x & \\text{e\u011fer } x \\le 0 \\end{cases}$ (burada $\\alpha$ \u00f6\u011frenilebilir bir parametredir) * Tan\u0131m:<\/strong> $f(x) = \\begin{cases} x & \\text{e\u011fer } x > 0 \\\\ \\alpha (e^x – 1) & \\text{e\u011fer } x \\le 0 \\end{cases}$ (genellikle $\\alpha = 1$) * Tan\u0131m:<\/strong> $f(x) = \\lambda \\begin{cases} x & \\text{e\u011fer } x > 0 \\\\ \\alpha (e^x – 1) & \\text{e\u011fer } x \\le 0 \\end{cases}$ (burada $\\alpha \\approx 1.6733$, $\\lambda \\approx 1.0507$ sabit de\u011ferlerdir) * Swish:<\/strong> $f(x) = x \\cdot \\sigma(\\beta x)$ (burada $\\beta$ \u00f6\u011frenilebilir bir parametre veya sabit olabilir) * Tan\u0131m:<\/strong> $P(y_i | \\mathbf{x}) = \\frac{e^{z_i}}{\\sum_{j=1}^{K} e^{z_j}}$ Do\u011fru aktivasyon fonksiyonunu se\u00e7mek, modelin performans\u0131 ve e\u011fitim verimlili\u011fi \u00fczerinde \u00f6nemli bir etkiye sahiptir. Genellikle, bu se\u00e7im deneysel bir s\u00fcre\u00e7tir ancak baz\u0131 genel y\u00f6nergeler mevcuttur:<\/p>\n 1. Gizli Katmanlar \u0130\u00e7in Genel Kural:<\/strong> 2. \u00c7\u0131kt\u0131 Katman\u0131 \u0130\u00e7in \u00d6zel Durumlar:<\/strong> 3. Deneysel Yakla\u015f\u0131m:<\/strong> Derin \u00f6\u011frenme modellerinin ba\u015far\u0131s\u0131, etkin optimizasyon algoritmalar\u0131na ve a\u011f\u0131n mimarisinin dikkatli bir \u015fekilde tasarlanmas\u0131na ba\u011fl\u0131d\u0131r. Kaybolan gradyanlar problemi, derin a\u011flar\u0131n e\u011fitimini zorla\u015ft\u0131ran \u00f6nemli bir engel olmu\u015ftur ve bu problemi a\u015fmada aktivasyon fonksiyonlar\u0131n\u0131n se\u00e7imi kritik bir rol oynamaktad\u0131r. Sigmoid ve Tanh gibi geleneksel fonksiyonlar, doygunluk b\u00f6lgeleri nedeniyle gradyanlar\u0131n kaybolmas\u0131na neden olurken, ReLU ve onun varyantlar\u0131 (Leaky ReLU, PReLU, ELU, SELU) bu sorunu b\u00fcy\u00fck \u00f6l\u00e7\u00fcde hafifletmi\u015f ve derin \u00f6\u011frenmenin modern \u00e7a\u011f\u0131n\u0131 ba\u015flatm\u0131\u015ft\u0131r.<\/p>\n Do\u011fru aktivasyon fonksiyonunu se\u00e7mek, bir m\u00fchendislik ve deneysel bir sanatt\u0131r. Genellikle ReLU ile ba\u015flamak, ard\u0131ndan modelin davran\u0131\u015f\u0131na g\u00f6re daha geli\u015fmi\u015f varyantlara ge\u00e7mek iyi bir stratejidir. \u00c7\u0131kt\u0131 katman\u0131 i\u00e7in ise problemin t\u00fcr\u00fcne (s\u0131n\u0131fland\u0131rma m\u0131, regresyon mu) g\u00f6re Sigmoid veya Softmax gibi \u00f6zel fonksiyonlar tercih edilir. Optimizasyon algoritmalar\u0131, a\u011f\u0131rl\u0131k ba\u015flatma stratejileri ve aktivasyon fonksiyonlar\u0131n\u0131n do\u011fru kombinasyonu, derin \u00f6\u011frenme modellerinin potansiyelini tam olarak ortaya \u00e7\u0131karman\u0131n anahtar\u0131d\u0131r. Derin \u00f6\u011frenme alan\u0131 geli\u015ftik\u00e7e, daha verimli ve sorunsuz e\u011fitim sa\u011flayan yeni aktivasyon fonksiyonlar\u0131 ve optimizasyon teknikleri ke\u015ffedilmeye devam edecektir.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Derin \u00d6\u011frenmede Optimizasyona Giri\u015f: Kaybolan Gradyanlar ve Do\u011fru Aktivasyon Fonksiyonunu Se\u00e7mek\nDerin \u00f6\u011frenme, yapay zekan\u0131n en h\u0131zl\u0131 geli","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-34023","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* Stokastik Gradyan \u0130ni\u015fi (Stochastic Gradient Descent – SGD):<\/strong> Her g\u00fcncelleme ad\u0131m\u0131nda sadece tek bir e\u011fitim \u00f6rne\u011fi kullan\u0131r. Bu, hesaplama a\u00e7\u0131s\u0131ndan \u00e7ok daha h\u0131zl\u0131d\u0131r ancak gradyan tahmini g\u00fcr\u00fclt\u00fcl\u00fc olabilir, bu da e\u011fitim y\u00f6r\u00fcngesinde dalgalanmalara yol a\u00e7ar.
\n* Mini-Batch Gradyan \u0130ni\u015fi:<\/strong> En yayg\u0131n kullan\u0131lan y\u00f6ntemdir. Her g\u00fcncelleme ad\u0131m\u0131nda k\u00fc\u00e7\u00fck bir veri alt k\u00fcmesi (mini-batch) kullan\u0131r. Bu, toplu gradyan ini\u015finin stabilitesi ile SGD’nin hesaplama verimlili\u011fi aras\u0131nda bir denge kurar.<\/p>\nGeli\u015fmi\u015f Optimize Ediciler<\/h4>\n
\n* Momentum:<\/strong> Gradyan ini\u015fine bir “atalet” terimi ekleyerek, gradyan\u0131n s\u00fcrekli olarak ayn\u0131 y\u00f6nde i\u015faret etti\u011fi durumlarda daha h\u0131zl\u0131 hareket etmeyi sa\u011flar ve yerel minimumlardan ka\u00e7\u0131nmaya yard\u0131mc\u0131 olur.
\n* AdaGrad (Adaptive Gradient Algorithm):<\/strong> Her parametre i\u00e7in ayr\u0131 bir \u00f6\u011frenme oran\u0131 tutar ve nadir g\u00f6r\u00fclen \u00f6zelliklere sahip parametreler i\u00e7in daha b\u00fcy\u00fck, s\u0131k g\u00f6r\u00fclen \u00f6zelliklere sahip parametreler i\u00e7in daha k\u00fc\u00e7\u00fck \u00f6\u011frenme oranlar\u0131 uygular.
\n* RMSprop (Root Mean Square Propagation):<\/strong> AdaGrad’\u0131n bir varyant\u0131d\u0131r, ancak ge\u00e7mi\u015f gradyanlar\u0131n karelerinin \u00fcssel hareketli ortalamas\u0131n\u0131 kullanarak \u00f6\u011frenme oranlar\u0131n\u0131 ayarlar, bu da \u00f6\u011frenme oran\u0131n\u0131n s\u00fcrekli azalmas\u0131n\u0131 engeller.
\n* Adam (Adaptive Moment Estimation):<\/strong> Momentum ve RMSprop’un birle\u015fimidir. Her parametre i\u00e7in hem ge\u00e7mi\u015f gradyanlar\u0131n birinci momentini (ortalama) hem de ikinci momentini (varyans) uyarlamal\u0131 olarak kullanarak \u00f6\u011frenme oranlar\u0131n\u0131 ayarlar. G\u00fcn\u00fcm\u00fczde en pop\u00fcler optimize edicilerden biridir.<\/p>\nKaybolan Gradyan Problemi (Vanishing Gradients Problem)<\/h3>\n
Kaybolan Gradyanlar Nedir ve Neden Ortaya \u00c7\u0131kar?<\/h4>\n
\n1. Zincir Kural\u0131 (Chain Rule):<\/strong> Geri yay\u0131l\u0131m algoritmas\u0131, kay\u0131p fonksiyonunun her bir a\u011f\u0131rl\u0131\u011fa g\u00f6re gradyan\u0131n\u0131 hesaplamak i\u00e7in zincir kural\u0131n\u0131 kullan\u0131r. Bu, gradyan\u0131n, aktivasyon fonksiyonlar\u0131n\u0131n t\u00fcrevlerinin ve a\u011f\u0131rl\u0131k matrislerinin \u00e7arp\u0131m\u0131n\u0131 i\u00e7erdi\u011fi anlam\u0131na gelir. E\u011fer bu t\u00fcrevler ve a\u011f\u0131rl\u0131klar k\u00fc\u00e7\u00fck de\u011ferler al\u0131yorsa, \u00e7arp\u0131m zinciri boyunca gradyanlar \u00fcssel olarak k\u00fc\u00e7\u00fcl\u00fcr.
\n2. Aktivasyon Fonksiyonlar\u0131n\u0131n T\u00fcrevleri:<\/strong> Sigmoid ve Tanh gibi aktivasyon fonksiyonlar\u0131, belirli giri\u015f de\u011ferleri i\u00e7in \u00e7ok k\u00fc\u00e7\u00fck t\u00fcrev de\u011ferlerine sahiptir.
\n * Sigmoid Fonksiyonu:<\/strong> \u00c7\u0131kt\u0131s\u0131 (0, 1) aral\u0131\u011f\u0131ndad\u0131r. T\u00fcrevinin maksimum de\u011feri 0.25’tir (giri\u015f 0 oldu\u011funda). Giri\u015f de\u011ferleri pozitif veya negatif y\u00f6nde b\u00fcy\u00fck oldu\u011funda, t\u00fcrev s\u0131f\u0131ra \u00e7ok yakla\u015f\u0131r. Bu b\u00f6lgelere “doygunluk (saturation) b\u00f6lgesi” denir.
\n * Tanh Fonksiyonu:<\/strong> \u00c7\u0131kt\u0131s\u0131 (-1, 1) aral\u0131\u011f\u0131ndad\u0131r. T\u00fcrevinin maksimum de\u011feri 1’dir (giri\u015f 0 oldu\u011funda). Sigmoid gibi, Tanh de b\u00fcy\u00fck giri\u015f de\u011ferleri i\u00e7in doygunluk b\u00f6lgelerine sahiptir ve t\u00fcrevleri s\u0131f\u0131ra yakla\u015f\u0131r.<\/p>\nEtkileri ve Tarihsel \u00c7\u00f6z\u00fcmler<\/h4>\n
\n* \u00d6n E\u011fitim (Pre-training):<\/strong> Denetimsiz bir \u015fekilde katman katman \u00f6n e\u011fitim yapmak (\u00f6rne\u011fin, k\u0131s\u0131tl\u0131 Boltzmann makineleri veya otoenkoderler kullanarak) ve ard\u0131ndan t\u00fcm a\u011f\u0131 denetimli olarak ince ayar yapmak. Bu y\u00f6ntem, derin a\u011flar\u0131n ilk ba\u015far\u0131l\u0131 uygulamalar\u0131nda kullan\u0131lm\u0131\u015ft\u0131r ancak g\u00fcn\u00fcm\u00fczde daha az yayg\u0131nd\u0131r.
\n* Daha \u0130yi A\u011f\u0131rl\u0131k Ba\u015flatma (Better Weight Initialization):<\/strong> A\u011f\u0131rl\u0131klar\u0131n rastgele ama belirli bir da\u011f\u0131l\u0131mdan ba\u015flat\u0131lmas\u0131, gradyanlar\u0131n ilk ba\u015fta \u00e7ok b\u00fcy\u00fck veya \u00e7ok k\u00fc\u00e7\u00fck olmas\u0131n\u0131 engelleyebilir. Xavier\/Glorot ba\u015flatma ve He ba\u015flatma gibi y\u00f6ntemler, bu ama\u00e7la geli\u015ftirilmi\u015ftir.
\n* Art\u0131k Ba\u011flant\u0131lar (Residual Connections):<\/strong> ResNet gibi mimarilerde kullan\u0131lan art\u0131k ba\u011flant\u0131lar, gradyanlar\u0131n do\u011frudan katmanlar\u0131 atlayarak daha derinlere ula\u015fmas\u0131n\u0131 sa\u011flar ve kaybolan gradyanlar problemini b\u00fcy\u00fck \u00f6l\u00e7\u00fcde hafifletir.
\n* Aktivasyon Fonksiyonlar\u0131n\u0131n De\u011fi\u015ftirilmesi:<\/strong> Sigmoid ve Tanh yerine, t\u00fcrevleri doygunluk b\u00f6lgelerine sahip olmayan veya daha basit t\u00fcrevlere sahip olan aktivasyon fonksiyonlar\u0131n\u0131n kullan\u0131lmas\u0131 (\u00f6zellikle ReLU ve varyantlar\u0131), kaybolan gradyanlar problemine kar\u015f\u0131 en etkili \u00e7\u00f6z\u00fcmlerden biri olmu\u015ftur.<\/p>\nAktivasyon Fonksiyonlar\u0131n\u0131n Rol\u00fc<\/h3>\n
Neden Do\u011frusal Olmama (Non-Linearity) Gereklidir?<\/h4>\n
Gradyan Ak\u0131\u015f\u0131 \u00dczerindeki Etkisi<\/h4>\n
Pop\u00fcler Aktivasyon Fonksiyonlar\u0131 ve \u00d6zellikleri<\/h3>\n
H3 Sigmoid Fonksiyonu (Lojistik Sigmoid)<\/h4>\n
\n* \u00c7\u0131kt\u0131 Aral\u0131\u011f\u0131:<\/strong> (0, 1)
\n* Avantajlar\u0131:<\/strong>
\n * \u00c7\u0131kt\u0131s\u0131 0 ile 1 aras\u0131nda oldu\u011fu i\u00e7in, olas\u0131l\u0131k yorumu i\u00e7in uygundur (\u00f6rne\u011fin, ikili s\u0131n\u0131fland\u0131rman\u0131n \u00e7\u0131kt\u0131 katman\u0131nda).
\n * D\u00fczg\u00fcn ve s\u00fcrekli bir t\u00fcrevi vard\u0131r.
\n* Dezavantajlar\u0131:<\/strong>
\n * Kaybolan Gradyanlar:<\/strong> Giri\u015f de\u011ferleri \u00e7ok b\u00fcy\u00fck pozitif veya \u00e7ok b\u00fcy\u00fck negatif oldu\u011funda (doygunluk b\u00f6lgeleri), fonksiyonun t\u00fcrevi s\u0131f\u0131ra \u00e7ok yakla\u015f\u0131r. Bu, geri yay\u0131l\u0131m s\u0131ras\u0131nda gradyanlar\u0131n kaybolmas\u0131na neden olur.
\n * S\u0131f\u0131r Ortalamal\u0131 Olmamas\u0131 (Not Zero-Centered):<\/strong> \u00c7\u0131kt\u0131lar\u0131 her zaman pozitiftir. Bu, gradyan ini\u015fi s\u0131ras\u0131nda a\u011f\u0131rl\u0131k g\u00fcncellemelerinin hep ayn\u0131 y\u00f6nde olmas\u0131na neden olabilir, bu da optimizasyon yolunu zikzakl\u0131 hale getirerek yak\u0131nsamay\u0131 yava\u015flatabilir.
\n * Hesaplama Maliyeti:<\/strong> \u00dcstel bir terim i\u00e7erdi\u011fi i\u00e7in di\u011fer baz\u0131 fonksiyonlara g\u00f6re daha pahal\u0131d\u0131r.<\/p>\nH3 Hiperbolik Tanjant (Tanh) Fonksiyonu<\/h4>\n
\n* \u00c7\u0131kt\u0131 Aral\u0131\u011f\u0131:<\/strong> (-1, 1)
\n* Avantajlar\u0131:<\/strong>
\n * S\u0131f\u0131r Ortalamal\u0131 (Zero-Centered):<\/strong> \u00c7\u0131kt\u0131lar\u0131 -1 ile 1 aras\u0131nda oldu\u011fu i\u00e7in ortalamas\u0131 s\u0131f\u0131ra yak\u0131nd\u0131r. Bu, gradyan ini\u015fini Sigmoid’e g\u00f6re daha verimli hale getirir.
\n* Dezavantajlar\u0131:<\/strong>
\n * Kaybolan Gradyanlar:<\/strong> Sigmoid gibi, Tanh de b\u00fcy\u00fck pozitif veya negatif giri\u015f de\u011ferleri i\u00e7in doygunluk b\u00f6lgelerine sahiptir ve t\u00fcrevleri s\u0131f\u0131ra yakla\u015f\u0131r. Kaybolan gradyanlar problemi devam eder, ancak Sigmoid’e g\u00f6re biraz daha iyi performans g\u00f6sterebilir.<\/p>\nH3 Do\u011frultulmu\u015f Do\u011frusal Birim (ReLU – Rectified Linear Unit)<\/h4>\n
\n* \u00c7\u0131kt\u0131 Aral\u0131\u011f\u0131:<\/strong> $[0, \\infty)$
\n* Avantajlar\u0131:<\/strong>
\n * Kaybolan Gradyan Sorununu Hafifletme:<\/strong> Pozitif giri\u015fler i\u00e7in t\u00fcrevi 1’dir. Bu, gradyanlar\u0131n pozitif b\u00f6lgelerde doygunlu\u011fa ula\u015fmas\u0131n\u0131 engeller ve gradyan ak\u0131\u015f\u0131n\u0131 iyile\u015ftirir.
\n * Hesaplama Verimlili\u011fi:<\/strong> Sadece bir kar\u015f\u0131la\u015ft\u0131rma ve bir atama i\u015flemi gerektirir, bu da onu Sigmoid ve Tanh’tan \u00e7ok daha h\u0131zl\u0131 yapar.
\n * H\u0131zl\u0131 Yak\u0131nsama:<\/strong> Genellikle SGD ile \u00e7ok daha h\u0131zl\u0131 yak\u0131nsama sa\u011flar.
\n* Dezavantajlar\u0131:<\/strong>
\n * Dying ReLU Problemi:<\/strong> E\u011fer bir n\u00f6ronun girdisi s\u00fcrekli olarak negatif olursa, \u00e7\u0131kt\u0131s\u0131 her zaman s\u0131f\u0131r olur ve t\u00fcrevi de s\u0131f\u0131r olur. Bu durumda, n\u00f6ron hi\u00e7bir zaman g\u00fcncellenemez ve “\u00f6l\u00fc” hale gelir. Bu, a\u011f\u0131n \u00f6\u011frenme kapasitesini azaltabilir.
\n * S\u0131f\u0131r Ortalamal\u0131 Olmamas\u0131:<\/strong> \u00c7\u0131kt\u0131lar\u0131n\u0131n ortalamas\u0131 s\u0131f\u0131r de\u011fildir, bu da gradyan ini\u015fi s\u0131ras\u0131nda baz\u0131 zigzag hareketlere neden olabilir.<\/p>\nH3 Leaky ReLU<\/h4>\n
\n* \u00c7\u0131kt\u0131 Aral\u0131\u011f\u0131:<\/strong> $(-\\infty, \\infty)$
\n* Avantajlar\u0131:<\/strong>
\n * Dying ReLU Problemini \u00c7\u00f6zer:<\/strong> Negatif giri\u015fler i\u00e7in k\u00fc\u00e7\u00fck, pozitif olmayan bir e\u011fim ($\\alpha$) sa\u011flayarak n\u00f6ronlar\u0131n tamamen \u00f6lmesini engeller. Bu sayede gradyanlar negatif b\u00f6lgelerde bile akmaya devam eder.
\n* Dezavantajlar\u0131:<\/strong>
\n * $\\alpha$ hiperparametresinin se\u00e7imi genellikle deneyseldir ve optimal de\u011feri bulmak zor olabilir.<\/p>\nH3 Parametrik ReLU (PReLU)<\/h4>\n
\n* Avantajlar\u0131:<\/strong>
\n * Leaky ReLU’nun bir genellemesidir; $\\alpha$ parametresi model taraf\u0131ndan \u00f6\u011frenilir, bu da daha iyi adaptasyon sa\u011flar.
\n * Dying ReLU problemini \u00e7\u00f6zer ve genellikle daha iyi performans sunar.<\/p>\nH3 \u00dcstel Do\u011frusal Birim (ELU – Exponential Linear Unit)<\/h4>\n
\n* Avantajlar\u0131:<\/strong>
\n * Dying ReLU Problemini \u00c7\u00f6zer:<\/strong> Negatif giri\u015fler i\u00e7in s\u0131f\u0131rdan farkl\u0131 bir \u00e7\u0131kt\u0131 sa\u011flar.
\n * S\u0131f\u0131r Ortalamas\u0131na Daha Yak\u0131n:<\/strong> Negatif \u00e7\u0131kt\u0131lar sayesinde \u00e7\u0131kt\u0131lar\u0131n\u0131n ortalamas\u0131 s\u0131f\u0131ra daha yak\u0131nd\u0131r, bu da gradyan ini\u015fini h\u0131zland\u0131rabilir.
\n * G\u00fcr\u00fclt\u00fcye Kar\u015f\u0131 Daha Dayan\u0131kl\u0131:<\/strong> Negatif b\u00f6lgelerde yumu\u015fak bir ge\u00e7i\u015fe sahip olmas\u0131, g\u00fcr\u00fclt\u00fcye kar\u015f\u0131 daha dayan\u0131kl\u0131 olmas\u0131n\u0131 sa\u011flar.
\n* Dezavantajlar\u0131:<\/strong>
\n * \u00dcstel fonksiyon i\u00e7erdi\u011fi i\u00e7in ReLU’dan daha hesaplama maliyetlidir.<\/p>\nH3 \u00d6l\u00e7eklendirilmi\u015f \u00dcstel Do\u011frusal Birim (SELU – Scaled Exponential Linear Unit)<\/h4>\n
\n* Avantajlar\u0131:<\/strong>
\n * Kendili\u011finden Normalle\u015ftirme (Self-Normalizing):<\/strong> Belirli ko\u015fullar alt\u0131nda (\u00f6rne\u011fin, a\u011f\u0131rl\u0131klar\u0131n uygun \u015fekilde ba\u015flat\u0131lmas\u0131yla), SELU kullanan derin a\u011flar, her katman\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131n ortalamas\u0131n\u0131 ve varyans\u0131n\u0131 otomatik olarak belirli bir aral\u0131kta tutma e\u011filimindedir. Bu, kaybolan veya patlayan gradyan problemlerini do\u011fal olarak hafifletir ve derin a\u011flar\u0131n \u00f6\u011frenmesini kolayla\u015ft\u0131r\u0131r.
\n * \u00d6zellikle tamamen ba\u011fl\u0131 (fully connected) a\u011flar i\u00e7in \u00e7ok etkilidir.
\n* Dezavantajlar\u0131:<\/strong>
\n * Sadece belirli a\u011f mimarileri ve ba\u015flatma stratejileri ile en iyi performans\u0131 g\u00f6sterir.<\/p>\nH3 Swish ve Mish<\/h4>\n
\n* Mish:<\/strong> $f(x) = x \\cdot \\tanh(\\text{softplus}(x))$ (burada $\\text{softplus}(x) = \\ln(1 + e^x)$)
\n* Avantajlar\u0131:<\/strong>
\n * Hem pozitif hem de negatif giri\u015fler i\u00e7in yumu\u015fak ve t\u00fcrevlenebilir ge\u00e7i\u015flere sahiptirler.
\n * Baz\u0131 durumlarda ReLU’dan daha iyi performans g\u00f6sterdikleri deneysel olarak kan\u0131tlanm\u0131\u015ft\u0131r, \u00f6zellikle \u00e7ok derin a\u011flarda.
\n * Negatif giri\u015fler i\u00e7in k\u00fc\u00e7\u00fck pozitif de\u011ferlere izin vererek “dying ReLU” sorununu hafifletirler.
\n* Dezavantajlar\u0131:<\/strong>
\n * Hesaplama a\u00e7\u0131s\u0131ndan ReLU’dan daha pahal\u0131d\u0131rlar.<\/p>\nH3 Softmax Fonksiyonu (\u00c7\u0131kt\u0131 Katman\u0131 \u0130\u00e7in)<\/h4>\n
\n* Kullan\u0131m Alan\u0131:<\/strong> Genellikle \u00e7ok s\u0131n\u0131fl\u0131 s\u0131n\u0131fland\u0131rma problemlerinde \u00e7\u0131kt\u0131 katman\u0131nda kullan\u0131l\u0131r.
\n* Avantajlar\u0131:<\/strong>
\n * Bir n\u00f6ronun \u00e7\u0131kt\u0131s\u0131n\u0131, t\u00fcm olas\u0131 s\u0131n\u0131flar \u00fczerindeki bir olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131na d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. T\u00fcm \u00e7\u0131kt\u0131lar 0 ile 1 aras\u0131ndad\u0131r ve toplamlar\u0131 1’dir.
\n * S\u0131n\u0131fland\u0131rma i\u00e7in \u00e7apraz entropi kayb\u0131 ile birlikte kullan\u0131ld\u0131\u011f\u0131nda kararl\u0131 gradyanlar sa\u011flar.
\n* Dezavantajlar\u0131:<\/strong>
\n * Gizli katmanlarda kullan\u0131lmas\u0131 uygun de\u011fildir, \u00e7\u00fcnk\u00fc gradyanlar\u0131 doygunluk b\u00f6lgelerine sahiptir.<\/p>\nDo\u011fru Aktivasyon Fonksiyonunu Se\u00e7me Stratejileri<\/h3>\n
\n * ReLU ile Ba\u015flay\u0131n:<\/strong> \u00c7o\u011fu derin \u00f6\u011frenme modeli i\u00e7in ReLU, iyi bir ba\u015flang\u0131\u00e7 noktas\u0131d\u0131r. Hesaplama a\u00e7\u0131s\u0131ndan verimli ve kaybolan gradyanlar sorununu Sigmoid\/Tanh’a g\u00f6re \u00e7ok daha iyi \u00e7\u00f6zer.
\n * Dying ReLU ile Kar\u015f\u0131la\u015f\u0131l\u0131rsa:<\/strong> E\u011fer modelinizde “dying ReLU” problemi oldu\u011funu d\u00fc\u015f\u00fcn\u00fcyorsan\u0131z (\u00f6rne\u011fin, baz\u0131 n\u00f6ronlar hi\u00e7 aktif olmuyorsa), Leaky ReLU, PReLU veya ELU gibi varyantlar\u0131 deneyebilirsiniz. PReLU, $\\alpha$ parametresini \u00f6\u011frenilebilir k\u0131ld\u0131\u011f\u0131 i\u00e7in genellikle Leaky ReLU’dan daha iyi bir se\u00e7enektir.
\n * Daha Derin A\u011flar ve Performans \u0130yile\u015ftirmesi:<\/strong> Daha derin a\u011flar i\u00e7in ELU veya SELU gibi fonksiyonlar, daha kararl\u0131 gradyan ak\u0131\u015f\u0131 ve daha iyi yak\u0131nsama \u00f6zellikleri sunabilir. \u00d6zellikle tamamen ba\u011fl\u0131 a\u011flarda SELU, kendili\u011finden normalle\u015ftirme yetene\u011fi sayesinde g\u00fc\u00e7l\u00fc bir adayd\u0131r.
\n * En Son Ara\u015ft\u0131rmalar:<\/strong> Swish veya Mish gibi daha yeni aktivasyon fonksiyonlar\u0131, baz\u0131 durumlarda daha y\u00fcksek performans sa\u011flayabilir, ancak hesaplama maliyetleri daha y\u00fcksek olabilir.<\/p>\n
\n * \u0130kili S\u0131n\u0131fland\u0131rma:<\/strong> Genellikle Sigmoid fonksiyonu kullan\u0131l\u0131r, \u00e7\u00fcnk\u00fc \u00e7\u0131kt\u0131y\u0131 0 ile 1 aras\u0131nda bir olas\u0131l\u0131\u011fa d\u00f6n\u00fc\u015ft\u00fcr\u00fcr.
\n * \u00c7ok S\u0131n\u0131fl\u0131 S\u0131n\u0131fland\u0131rma:<\/strong> Softmax fonksiyonu kullan\u0131l\u0131r. Bu, her s\u0131n\u0131f i\u00e7in bir olas\u0131l\u0131k da\u011f\u0131l\u0131m\u0131 sa\u011flar.
\n * Regresyon:<\/strong> \u00c7\u0131kt\u0131 katman\u0131nda genellikle aktivasyon fonksiyonu kullan\u0131lmaz (do\u011frusal aktivasyon), veya problem t\u00fcr\u00fcne g\u00f6re bir Tanh veya Sigmoid (e\u011fer \u00e7\u0131kt\u0131n\u0131n belirli bir aral\u0131kta olmas\u0131 gerekiyorsa) kullan\u0131labilir.<\/p>\n
\n * En iyi aktivasyon fonksiyonu genellikle probleme ve a\u011f mimarisine \u00f6zg\u00fcd\u00fcr. Farkl\u0131 aktivasyon fonksiyonlar\u0131n\u0131 denemek ve \u00e7apraz do\u011frulama (cross-validation) ile performanslar\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131rmak en g\u00fcvenilir y\u00f6ntemdir.
\n * Aktivasyon fonksiyonu se\u00e7iminin yan\u0131 s\u0131ra, a\u011f\u0131rl\u0131k ba\u015flatma stratejisi (He initialization for ReLU, Xavier for Tanh\/Sigmoid) ve optimize edici se\u00e7imi de performans\u0131 etkiler.<\/p>\nSonu\u00e7<\/h3>\n