Derin \u00f6\u011frenme, yapay zeka alan\u0131nda devrim niteli\u011finde ilerlemeler kaydetmi\u015f ve \u00f6zellikle g\u00f6r\u00fcnt\u00fc i\u015fleme, do\u011fal dil i\u015fleme ve konu\u015fma tan\u0131ma gibi bir\u00e7ok alanda insan\u00fcst\u00fc performans sergileyen modellerin geli\u015ftirilmesine olanak tan\u0131m\u0131\u015ft\u0131r. Bu ba\u015far\u0131lar\u0131n temelinde, Evri\u015fimsel Sinir A\u011flar\u0131 (Convolutional Neural Networks – CNNs) gibi karma\u015f\u0131k mimarilerin, b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde e\u011fitilebilmesi yatmaktad\u0131r. Ancak, \u00e7ok katmanl\u0131 derin sinir a\u011flar\u0131n\u0131 e\u011fitmek, \u00f6zellikle gradyan tabanl\u0131 optimizasyon algoritmalar\u0131 kullan\u0131ld\u0131\u011f\u0131nda, \u00e7e\u015fitli zorluklar\u0131 beraberinde getirir. E\u011fitim s\u00fcrecinin yava\u015flamas\u0131, gradyanlar\u0131n kaybolmas\u0131 veya patlamas\u0131, ba\u015flang\u0131\u00e7 a\u011f\u0131rl\u0131klar\u0131na a\u015f\u0131r\u0131 hassasiyet ve \u00f6\u011frenme oran\u0131n\u0131n dikkatli bir \u015fekilde ayarlanmas\u0131 gereklili\u011fi, derin a\u011flar\u0131n yayg\u0131nla\u015fmas\u0131n\u0131n \u00f6n\u00fcndeki ba\u015fl\u0131ca engellerdi.<\/p>\n
Bu zorluklara kar\u015f\u0131 geli\u015ftirilen en etkili ve yayg\u0131n kullan\u0131lan tekniklerden biri, 2015 y\u0131l\u0131nda Sergey Ioffe ve Christian Szegedy taraf\u0131ndan tan\u0131t\u0131lan Batch Normalization (Toplu Normalizasyon) olmu\u015ftur. Batch Normalization, her bir mini-batch i\u00e7indeki aktivasyonlar\u0131n ortalamas\u0131n\u0131 s\u0131f\u0131ra, varyans\u0131n\u0131 bire sabitleyerek, derin sinir a\u011flar\u0131n\u0131n e\u011fitim s\u00fcrecini \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131rm\u0131\u015f, modelin kararl\u0131l\u0131\u011f\u0131n\u0131 art\u0131rm\u0131\u015f ve daha iyi genellenebilirlik sa\u011flam\u0131\u015ft\u0131r. \u00d6zellikle Evri\u015fimsel Sinir A\u011flar\u0131 ba\u011flam\u0131nda, Batch Normalization, modern derin \u00f6\u011frenme mimarilerinin vazge\u00e7ilmez bir bile\u015feni haline gelmi\u015ftir. Bu makale, Batch Normalization’\u0131n alt\u0131nda yatan prensipleri, evri\u015fimsel a\u011flardaki uygulamas\u0131n\u0131, sa\u011flad\u0131\u011f\u0131 faydalar\u0131, potansiyel s\u0131n\u0131rlamalar\u0131n\u0131 ve alternatiflerini detayl\u0131 bir \u015fekilde inceleyecektir.<\/p>\n
Derin sinir a\u011flar\u0131 e\u011fitilirken kar\u015f\u0131la\u015f\u0131lan en temel sorunlardan biri “\u0130\u00e7 Kovaryans Kaymas\u0131” (Internal Covariate Shift – ICS) olarak adland\u0131r\u0131l\u0131r. ICS, a\u011f\u0131n bir katman\u0131ndaki parametrelerin e\u011fitimi s\u0131ras\u0131nda de\u011fi\u015fmesinin, sonraki katmanlara giren verilerin da\u011f\u0131l\u0131m\u0131n\u0131 s\u00fcrekli olarak de\u011fi\u015ftirmesi durumunu ifade eder. Daha a\u00e7\u0131k bir ifadeyle, bir katman, kendisinden \u00f6nceki katmanlardan gelen girdilerin belirli bir istatistiksel da\u011f\u0131l\u0131ma sahip oldu\u011funu varsayarak \u00f6\u011frenir. Ancak, \u00f6nceki katmanlar\u0131n a\u011f\u0131rl\u0131klar\u0131 g\u00fcncellendi\u011finde, bu girdilerin da\u011f\u0131l\u0131m\u0131 da de\u011fi\u015fir. Bu durum, sonraki katmanlar\u0131n “s\u00fcrekli olarak yeni bir da\u011f\u0131l\u0131ma adapte olmak” zorunda kalmas\u0131na neden olur.<\/p>\n
ICS’nin yol a\u00e7t\u0131\u011f\u0131 ba\u015fl\u0131ca sorunlar \u015funlard\u0131r:<\/p>\n
Batch Normalization’\u0131n temel amac\u0131, bu \u0130\u00e7 Kovaryans Kaymas\u0131 sorununu hafifletmektir. Her katmana giren aktivasyonlar\u0131n da\u011f\u0131l\u0131m\u0131n\u0131 normalle\u015ftirerek, bu da\u011f\u0131l\u0131m\u0131n e\u011fitim s\u00fcresince daha kararl\u0131 kalmas\u0131n\u0131 sa\u011flar. Bu sayede, her katman daha ba\u011f\u0131ms\u0131z bir \u015fekilde \u00f6\u011frenebilir ve t\u00fcm a\u011f\u0131n e\u011fitimi daha verimli hale gelir.<\/p>\n
Batch Normalization, derin sinir a\u011flar\u0131n\u0131n her katman\u0131na giren aktivasyonlar\u0131n da\u011f\u0131l\u0131m\u0131n\u0131 normalize ederek \u0130\u00e7 Kovaryans Kaymas\u0131 sorununu \u00e7\u00f6zen bir tekniktir. Temel fikir, her katman\u0131n giri\u015flerini, ortalamas\u0131 s\u0131f\u0131r ve varyans\u0131 bir olacak \u015fekilde yeniden \u00f6l\u00e7eklendirmektir. Bu normalizasyon i\u015flemi, her bir e\u011fitim mini-batch’i \u00fczerinde ger\u00e7ekle\u015ftirilir.<\/p>\n
Batch Normalization, her katmandan \u00e7\u0131kan aktivasyonlara (veya bir sonraki katman\u0131n girdilerine) uygulanan bir d\u00f6n\u00fc\u015f\u00fcm katman\u0131 olarak d\u00fc\u015f\u00fcn\u00fclebilir. Bu d\u00f6n\u00fc\u015f\u00fcm, aktivasyonlar\u0131n da\u011f\u0131l\u0131m\u0131n\u0131 stabilize eder, b\u00f6ylece sonraki katmanlar daha tutarl\u0131 girdilerle kar\u015f\u0131la\u015f\u0131r.<\/p>\n
Bir mini-batch $B = \\{x_1, …, x_m\\}$ verildi\u011finde, her bir aktivasyon $x_i$ i\u00e7in normalizasyon s\u00fcreci a\u015fa\u011f\u0131daki ad\u0131mlar\u0131 i\u00e7erir:<\/p>\n
Aktivasyonlar\u0131 sadece ortalamas\u0131 s\u0131f\u0131r ve varyans\u0131 bir olacak \u015fekilde normalle\u015ftirmek, a\u011f\u0131n temsil yetene\u011fini k\u0131s\u0131tlayabilir. \u00d6rne\u011fin, bir aktivasyon fonksiyonunun belirli bir do\u011frusal olmayanl\u0131k b\u00f6lgesinde \u00e7al\u0131\u015fmas\u0131 en uygun olabilir. E\u011fer t\u00fcm girdiler s\u00fcrekli olarak normalize edilirse, bu \u00f6zel da\u011f\u0131l\u0131m\u0131 kaybetme riski vard\u0131r. Bu sorunu \u00e7\u00f6zmek i\u00e7in Batch Normalization, normalle\u015ftirilmi\u015f $\\hat{x}_i$ de\u011ferlerini iki \u00f6\u011frenilebilir parametre ($\\gamma$ ve $\\beta$) ile yeniden \u00f6l\u00e7eklendirir ve kayd\u0131r\u0131r:
\n$$ y_i = \\gamma \\hat{x}_i + \\beta $$
\nBurada:<\/p>\n
Bu parametreler, a\u011f\u0131n di\u011fer a\u011f\u0131rl\u0131klar\u0131yla birlikte geri yay\u0131l\u0131m (backpropagation) yoluyla \u00f6\u011frenilir. $\\gamma$ ve $\\beta$, a\u011f\u0131n normalle\u015ftirme i\u015flemini “geri almas\u0131na” veya aktivasyonlar\u0131n da\u011f\u0131l\u0131m\u0131n\u0131 a\u011f i\u00e7in en uygun olan herhangi bir ortalama ve varyansa ayarlamas\u0131na olanak tan\u0131r. \u00d6rne\u011fin, e\u011fer $\\gamma = \\sqrt{\\sigma_B^2 + \\epsilon}$ ve $\\beta = \\mu_B$ olarak \u00f6\u011frenilirse, Batch Normalization i\u015flemi etkisiz hale getirilebilir. Bu, a\u011fa esneklik kazand\u0131r\u0131r ve temsil yetene\u011fini korur.<\/p>\n
Batch Normalization’\u0131n e\u011fitim ve \u00e7\u0131kar\u0131m (yani, modelin yeni, g\u00f6r\u00fclmemi\u015f verilere tahmin yapmas\u0131) modlar\u0131 aras\u0131nda \u00f6nemli bir fark vard\u0131r:<\/p>\n
Bu ayr\u0131m, Batch Normalization’\u0131n hem e\u011fitimde stabilite sa\u011flamas\u0131na hem de \u00e7\u0131kar\u0131mda g\u00fcvenilir sonu\u00e7lar \u00fcretmesine olanak tan\u0131r.<\/p>\n
Batch Normalization, tam ba\u011fl\u0131 katmanlarda oldu\u011fu gibi Evri\u015fimsel Sinir A\u011flar\u0131nda (CNNs) da benzer bir prensiple uygulan\u0131r, ancak evri\u015fim katmanlar\u0131n\u0131n yap\u0131s\u0131 gere\u011fi baz\u0131 \u00f6zel hususlar i\u00e7erir.<\/p>\n
Evri\u015fimsel a\u011flarda Batch Normalization genellikle evri\u015fim katman\u0131ndan hemen sonra ve aktivasyon fonksiyonundan (\u00f6rne\u011fin ReLU) \u00f6nce yerle\u015ftirilir. Bu konumland\u0131rma, aktivasyon fonksiyonuna giren de\u011ferlerin da\u011f\u0131l\u0131m\u0131n\u0131 stabilize etmeye yard\u0131mc\u0131 olur, b\u00f6ylece aktivasyon fonksiyonunun doygunluk b\u00f6lgelerine d\u00fc\u015fme olas\u0131l\u0131\u011f\u0131 azal\u0131r. Baz\u0131 durumlarda, Batch Normalization aktivasyon fonksiyonundan sonra da kullan\u0131labilir, ancak “Conv -> BN -> ReLU” dizilimi daha yayg\u0131n ve genellikle daha etkilidir.<\/p>\n Tam ba\u011fl\u0131 katmanlarda her bir n\u00f6ronun \u00e7\u0131kt\u0131s\u0131 ayr\u0131 ayr\u0131 normalize edilirken, evri\u015fim katmanlar\u0131nda durum farkl\u0131d\u0131r. Evri\u015fim katmanlar\u0131, giri\u015f g\u00f6r\u00fcnt\u00fcs\u00fcn\u00fcn farkl\u0131 b\u00f6lgelerine ayn\u0131 filtreleri uygulayarak \u00f6zellik haritalar\u0131 (feature maps) \u00fcretir. Bu, bir \u00f6zellik haritas\u0131n\u0131n t\u00fcm mekansal konumlar\u0131ndaki piksellerin ayn\u0131 istatistiksel \u00f6zelliklere sahip olmas\u0131 gerekti\u011fi anlam\u0131na gelir (konumsal de\u011fi\u015fmezlik prensibi).<\/p>\n Bu nedenle, evri\u015fimsel bir katmanda Batch Normalization uyguland\u0131\u011f\u0131nda:<\/p>\n Ba\u015fka bir deyi\u015fle, e\u011fer bir mini-batch boyutu $N$, kanal say\u0131s\u0131 $C$, \u00f6zellik haritas\u0131n\u0131n y\u00fcksekli\u011fi $H$ ve geni\u015fli\u011fi $W$ ise, bir evri\u015fim katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131 $N \\times C \\times H \\times W$ boyutunda bir tens\u00f6r olacakt\u0131r. Batch Normalization, her bir $C$ kanal\u0131 i\u00e7in, $N \\times H \\times W$ boyutundaki t\u00fcm de\u011ferler \u00fczerinden ortalama ve varyans\u0131 hesaplar. Bu, her bir kanal\u0131n kendi $\\mu_B$ ve $\\sigma_B^2$ de\u011ferlerine sahip olaca\u011f\u0131 anlam\u0131na gelir.<\/p>\n Bir evri\u015fim katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131 olan $X \\in \\mathbb{R}^{N \\times C \\times H \\times W}$ tens\u00f6r\u00fcn\u00fc d\u00fc\u015f\u00fcnelim. Batch Normalization, her bir $k \\in \\{1, …, C\\}$ kanal\u0131 i\u00e7in a\u015fa\u011f\u0131daki istatistikleri hesaplar: Batch Normalization, derin \u00f6\u011frenme e\u011fitiminde bir\u00e7ok \u00f6nemli fayda sa\u011flam\u0131\u015ft\u0131r:<\/p>\n T\u00fcm bu faydalar bir araya geldi\u011finde, Batch Normalization, modern derin \u00f6\u011frenme modellerinin geli\u015ftirilmesinde ve e\u011fitilmesinde vazge\u00e7ilmez bir ara\u00e7 haline gelmi\u015ftir.<\/p>\n Batch Normalization’\u0131n sa\u011flad\u0131\u011f\u0131 bir\u00e7ok avantaja ra\u011fmen, baz\u0131 dezavantajlar\u0131 ve s\u0131n\u0131rlamalar\u0131 da bulunmaktad\u0131r:<\/p>\n Bu s\u0131n\u0131rlamalar, Batch Normalization’\u0131n evrensel bir \u00e7\u00f6z\u00fcm olmad\u0131\u011f\u0131n\u0131 ve belirli senaryolarda alternatif normalizasyon tekniklerinin daha uygun olabilece\u011fini g\u00f6stermektedir.<\/p>\n Batch Normalization’\u0131n ba\u015far\u0131lar\u0131, farkl\u0131 normalizasyon stratejileri \u00fczerine ara\u015ft\u0131rmalar\u0131 tetiklemi\u015f ve \u00f6zellikle k\u00fc\u00e7\u00fck batch boyutlar\u0131 veya tekrarlayan a\u011flar gibi BN’nin zay\u0131f oldu\u011fu durumlarda daha iyi performans g\u00f6steren alternatiflerin geli\u015ftirilmesine yol a\u00e7m\u0131\u015ft\u0131r.<\/p>\n Layer Normalization, Batch Normalization’\u0131n batch boyutuna ba\u011f\u0131ml\u0131l\u0131k sorununu \u00e7\u00f6zmek i\u00e7in geli\u015ftirilmi\u015ftir. Batch Normalization, bir mini-batch’teki t\u00fcm \u00f6rnekler ve belirli bir \u00f6zellik haritas\u0131n\u0131n mekansal boyutlar\u0131 boyunca normalizasyon yaparken, Layer Normalization, tek bir e\u011fitim \u00f6rne\u011fi i\u00e7inde, t\u00fcm \u00f6zellikler (kanallar) boyunca normalizasyon yapar. Instance Normalization, Layer Normalization’\u0131n \u00f6zel bir durumudur. Tek bir e\u011fitim \u00f6rne\u011fi i\u00e7indeki tek bir \u00f6zellik haritas\u0131 (kanal) \u00fczerinde normalizasyon yapar. Yani, ortalama ve varyans sadece o \u00f6rnekteki o kanal\u0131n mekansal boyutlar\u0131 (y\u00fckseklik ve geni\u015flik) \u00fczerinden hesaplan\u0131r. Group Normalization, Batch Normalization’\u0131n batch boyutuna ba\u011f\u0131ml\u0131l\u0131\u011f\u0131n\u0131 azaltmak i\u00e7in tasarlanm\u0131\u015f bir ba\u015fka tekniktir. Layer Normalization ve Instance Normalization aras\u0131nda bir uzla\u015fma olarak g\u00f6r\u00fclebilir. Group Normalization, tek bir \u00f6rnek i\u00e7indeki kanallar\u0131 \u00f6nceden tan\u0131mlanm\u0131\u015f gruplara ay\u0131r\u0131r ve her bir grup i\u00e7indeki kanallar ve mekansal boyutlar boyunca normalizasyon yapar. Weight Normalization, aktivasyonlar\u0131 normalle\u015ftirmek yerine, a\u011f\u0131n a\u011f\u0131rl\u0131klar\u0131n\u0131 normalle\u015ftirir. Bir a\u011f\u0131rl\u0131k vekt\u00f6r\u00fcn\u00fc, y\u00f6n ve b\u00fcy\u00fckl\u00fck olmak \u00fczere iki par\u00e7aya ay\u0131r\u0131r ve b\u00fcy\u00fckl\u00fc\u011f\u00fc dinamik olarak \u00f6l\u00e7eklendirir. Bu, gradyanlar\u0131n b\u00fcy\u00fckl\u00fc\u011f\u00fcn\u00fc kontrol etmeye yard\u0131mc\u0131 olur ve e\u011fitim stabilitesini art\u0131r\u0131r. Batch Normalization’dan farkl\u0131 olarak, mini-batch istatistiklerine ihtiya\u00e7 duymaz ve RNN’lerde daha kolay uygulanabilir.<\/p>\n Spectral Normalization, \u00f6zellikle \u00dcretken \u00c7eki\u015fmeli A\u011flarda (GANs) kullan\u0131lan bir normalizasyon tekni\u011fidir. Bir katman\u0131n a\u011f\u0131rl\u0131k matrisinin spektral normunu s\u0131n\u0131rlayarak, Lipschitz s\u00fcreklili\u011fini sa\u011flar ve GAN e\u011fitiminin stabilitesini art\u0131r\u0131r.<\/p>\n Batch Renormalization, Batch Normalization’\u0131n k\u00fc\u00e7\u00fck batch boyutlar\u0131ndaki sorununu do\u011frudan ele alan bir geli\u015ftirme olarak ortaya \u00e7\u0131km\u0131\u015ft\u0131r. E\u011fitim s\u0131ras\u0131nda, mini-batch istatistiklerini kullanmaya devam ederken, bu istatistikleri e\u011fitim s\u00fcresince biriktirilen hareketli ortalamalarla kar\u015f\u0131la\u015ft\u0131rarak ve gerekti\u011finde “k\u0131rparak” (clamping), g\u00fcr\u00fclt\u00fcl\u00fc mini-batch istatistiklerinin etkisini azalt\u0131r. Bu sayede, k\u00fc\u00e7\u00fck batch boyutlar\u0131nda bile Batch Normalization’a benzer performans elde edilebilir.<\/p>\n Bu alternatifler ve geli\u015ftirmeler, normalizasyon tekniklerinin derin \u00f6\u011frenmedeki \u00f6nemini vurgulamakta ve belirli uygulama senaryolar\u0131na g\u00f6re en uygun stratejinin se\u00e7ilmesine olanak tan\u0131maktad\u0131r.<\/p>\n Batch Normalization’\u0131 derin \u00f6\u011frenme modellerine entegre ederken g\u00f6z \u00f6n\u00fcnde bulundurulmas\u0131 gereken baz\u0131 pratik ipu\u00e7lar\u0131 vard\u0131r:<\/p>\n Genel kural, BN’yi aktivasyon fonksiyonundan \u00f6nce yerle\u015ftirmektir.<\/li>\n Bu ipu\u00e7lar\u0131, Batch Normalization’\u0131 modellerinize ba\u015far\u0131l\u0131 bir \u015fekilde entegre etmenize ve derin \u00f6\u011frenme e\u011fitiminden en iyi sonu\u00e7lar\u0131 alman\u0131za yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n Batch Normalization, derin \u00f6\u011frenme alan\u0131nda \u00e7\u0131\u011f\u0131r a\u00e7an bir teknik olarak, Evri\u015fimsel Sinir A\u011flar\u0131n\u0131n e\u011fitimini k\u00f6kten de\u011fi\u015ftirmi\u015ftir. \u0130\u00e7 Kovaryans Kaymas\u0131 sorununu ele alarak, a\u011f\u0131n her katman\u0131na giren aktivasyonlar\u0131n da\u011f\u0131l\u0131m\u0131n\u0131 stabilize etmesi, e\u011fitim s\u00fcrecini \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131rm\u0131\u015f, daha y\u00fcksek \u00f6\u011frenme oranlar\u0131n\u0131n kullan\u0131lmas\u0131na olanak tan\u0131m\u0131\u015f ve modelin kararl\u0131l\u0131\u011f\u0131n\u0131 art\u0131rm\u0131\u015ft\u0131r. Ayr\u0131ca, hafif bir d\u00fczenlile\u015ftirme etkisi sa\u011flayarak a\u015f\u0131r\u0131 \u00f6\u011frenmeyi azaltm\u0131\u015f ve ba\u015flang\u0131\u00e7 a\u011f\u0131rl\u0131klar\u0131na olan hassasiyeti d\u00fc\u015f\u00fcrm\u00fc\u015ft\u00fcr.<\/p>\n \u00d6zellikle Evri\u015fimsel Sinir A\u011flar\u0131 ba\u011flam\u0131nda, Batch Normalization’\u0131n her bir \u00f6zellik haritas\u0131 i\u00e7in kanal baz\u0131nda normalizasyon yapma yetene\u011fi, konumsal de\u011fi\u015fmezlik prensibini koruyarak modern CNN mimarilerinin vazge\u00e7ilmez bir bile\u015feni haline gelmesini sa\u011flam\u0131\u015ft\u0131r. ResNet, Inception gibi bir\u00e7ok ba\u015far\u0131l\u0131 mimarinin temelinde Batch Normalization yatmaktad\u0131r.<\/p>\n Ancak, Batch Normalization’\u0131n mini-batch boyutuna olan ba\u011f\u0131ml\u0131l\u0131\u011f\u0131, k\u00fc\u00e7\u00fck batch boyutlar\u0131nda veya tekrarlayan a\u011flar gibi belirli senaryolarda performans d\u00fc\u015f\u00fc\u015flerine yol a\u00e7abilir. Bu s\u0131n\u0131rlamalar, Layer Normalization, Instance Normalization, Group Normalization ve Batch Renormalization gibi alternatif normalizasyon tekniklerinin geli\u015ftirilmesine zemin haz\u0131rlam\u0131\u015ft\u0131r. Bu alternatifler, Batch Normalization’\u0131n zay\u0131f oldu\u011fu alanlarda g\u00fc\u00e7l\u00fc performans sergileyerek, derin \u00f6\u011frenme ara\u015ft\u0131rmalar\u0131na yeni bir boyut katm\u0131\u015ft\u0131r.<\/p>\n \u00d6zetle, Batch Normalization, derin sinir a\u011flar\u0131n\u0131n e\u011fitimini daha eri\u015filebilir, daha h\u0131zl\u0131 ve daha g\u00fcvenilir hale getirerek derin \u00f6\u011frenmenin bug\u00fcnk\u00fc ba\u015far\u0131s\u0131na \u00f6nemli bir katk\u0131 sa\u011flam\u0131\u015ft\u0131r. Gelecekteki ara\u015ft\u0131rmalar, normalizasyon tekniklerini daha da geli\u015ftirmeye ve farkl\u0131 mimarilere ve g\u00f6revlere uyarlamaya devam edecektir, ancak Batch Normalization’\u0131n temel prensipleri ve derin \u00f6\u011frenme \u00fczerindeki etkisi kal\u0131c\u0131 olacakt\u0131r.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Batch Normalization: Evri\u015fimsel Sinir A\u011flar\u0131nda Derin \u00d6\u011frenmeyi H\u0131zland\u0131rma ve Stabilize Etme\nGiri\u015f\nDerin \u00f6\u011frenme, yapay zeka alan\u0131nda dev","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-32433","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\nConv Katman\u0131 -> Batch Normalization -> Aktivasyon Fonksiyonu<\/code><\/p>\nEvri\u015fim Katmanlar\u0131na \u00d6zg\u00fc Normalizasyon<\/h3>\n
\n
Kanal Baz\u0131nda Normalizasyon<\/h3>\n
\n$$ \\mu_k = \\frac{1}{N \\cdot H \\cdot W} \\sum_{n=1}^{N} \\sum_{h=1}^{H} \\sum_{w=1}^{W} x_{n,k,h,w} $$
\n$$ \\sigma_k^2 = \\frac{1}{N \\cdot H \\cdot W} \\sum_{n=1}^{N} \\sum_{h=1}^{H} \\sum_{w=1}^{W} (x_{n,k,h,w} – \\mu_k)^2 $$
\nBu $\\mu_k$ ve $\\sigma_k^2$ de\u011ferleri, $k$-inci kanal\u0131n t\u00fcm mini-batch ve mekansal boyutlar\u0131ndaki de\u011ferlerinin ortalama ve varyans\u0131d\u0131r. Daha sonra, her bir $x_{n,k,h,w}$ de\u011feri bu kanal\u0131n istatistikleriyle normalize edilir:
\n$$ \\hat{x}_{n,k,h,w} = \\frac{x_{n,k,h,w} – \\mu_k}{\\sqrt{\\sigma_k^2 + \\epsilon}} $$
\nVe son olarak, \u00f6\u011frenilebilir $\\gamma_k$ ve $\\beta_k$ parametreleri ile \u00f6l\u00e7eklendirme ve kayd\u0131rma uygulan\u0131r:
\n$$ y_{n,k,h,w} = \\gamma_k \\hat{x}_{n,k,h,w} + \\beta_k $$
\nBurada, her kanal $k$ i\u00e7in ayr\u0131 bir $\\gamma_k$ ve $\\beta_k$ \u00e7ifti \u00f6\u011frenilir. Bu yakla\u015f\u0131m, evri\u015fimsel a\u011flar\u0131n konumsal de\u011fi\u015fmezlik \u00f6zelli\u011fini korur ve her \u00f6zellik haritas\u0131n\u0131n kendi istatistiksel da\u011f\u0131l\u0131m\u0131n\u0131 optimize etmesine olanak tan\u0131r. Bu, Batch Normalization’\u0131n CNN’lerdeki ba\u015far\u0131s\u0131n\u0131n anahtarlar\u0131ndan biridir.<\/p>\nBatch Normalization’\u0131n Faydalar\u0131<\/h2>\n
\n
Batch Normalization’\u0131n Dezavantajlar\u0131 ve S\u0131n\u0131rlamalar\u0131<\/h2>\n
\n
Batch Normalization’a Alternatifler ve Geli\u015ftirmeler<\/h2>\n
Layer Normalization (Katman Normalizasyonu)<\/h3>\n
\n$$ \\mu_i = \\frac{1}{C \\cdot H \\cdot W} \\sum_{c=1}^{C} \\sum_{h=1}^{H} \\sum_{w=1}^{W} x_{i,c,h,w} $$
\n$$ \\sigma_i^2 = \\frac{1}{C \\cdot H \\cdot W} \\sum_{c=1}^{C} \\sum_{h=1}^{H} \\sum_{w=1}^{W} (x_{i,c,h,w} – \\mu_i)^2 $$
\nLayer Normalization, \u00f6zellikle RNN’ler ve do\u011fal dil i\u015fleme g\u00f6revleri i\u00e7in \u00e7ok uygundur, \u00e7\u00fcnk\u00fc her \u00f6rnek ba\u011f\u0131ms\u0131z olarak normalize edilir ve batch boyutundan etkilenmez.<\/p>\nInstance Normalization (\u00d6rnek Normalizasyonu)<\/h3>\n
\n$$ \\mu_{i,c} = \\frac{1}{H \\cdot W} \\sum_{h=1}^{H} \\sum_{w=1}^{W} x_{i,c,h,w} $$
\n$$ \\sigma_{i,c}^2 = \\frac{1}{H \\cdot W} \\sum_{h=1}^{H} \\sum_{w=1}^{W} (x_{i,c,h,w} – \\mu_{i,c})^2 $$
\nInstance Normalization, genellikle stil transferi (style transfer) ve g\u00f6r\u00fcnt\u00fc sentezi gibi g\u00f6revlerde ba\u015far\u0131l\u0131d\u0131r, \u00e7\u00fcnk\u00fc bir g\u00f6r\u00fcnt\u00fcn\u00fcn stilini (kontrast, parlakl\u0131k) normalle\u015ftirerek i\u00e7eri\u011fini korumaya yard\u0131mc\u0131 olur.<\/p>\nGroup Normalization (Grup Normalizasyonu)<\/h3>\n
\n$$ \\mu_{i,g} = \\frac{1}{|G_g| \\cdot H \\cdot W} \\sum_{c \\in G_g} \\sum_{h=1}^{H} \\sum_{w=1}^{W} x_{i,c,h,w} $$
\n$$ \\sigma_{i,g}^2 = \\frac{1}{|G_g| \\cdot H \\cdot W} \\sum_{c \\in G_g} \\sum_{h=1}^{H} \\sum_{w=1}^{W} (x_{i,c,h,w} – \\mu_{i,g})^2 $$
\nBurada $G_g$, $g$-inci kanal grubunu temsil eder. Group Normalization, k\u00fc\u00e7\u00fck batch boyutlar\u0131nda Batch Normalization’dan daha iyi performans g\u00f6sterir ve geni\u015f bir g\u00f6rev yelpazesinde etkili oldu\u011fu kan\u0131tlanm\u0131\u015ft\u0131r.<\/p>\nWeight Normalization (A\u011f\u0131rl\u0131k Normalizasyonu)<\/h3>\n
Spectral Normalization (Spektral Normalizasyon)<\/h3>\n
Batch Renormalization (Toplu Yeniden Normalizasyon)<\/h3>\n
Pratik Uygulama \u0130pu\u00e7lar\u0131<\/h2>\n
\n
\n
Conv -> BN -> ReLU<\/code>. Bu, aktivasyon fonksiyonuna giren de\u011ferlerin da\u011f\u0131l\u0131m\u0131n\u0131 stabilize ederek doygunluk sorunlar\u0131n\u0131 \u00f6nler ve gradyan ak\u0131\u015f\u0131n\u0131 iyile\u015ftirir. \u00c7o\u011fu durumda en iyi performans\u0131 verir.<\/li>\nConv -> ReLU -> BN<\/code>. Baz\u0131 ara\u015ft\u0131rmalar, belirli durumlarda bunun da i\u015fe yarayabilece\u011fini g\u00f6stermi\u015ftir, ancak genel olarak daha az tercih edilir.<\/li>\n<\/ul>\nSonu\u00e7<\/h2>\n