Derin \u00f6\u011frenme, \u00f6zellikle Evri\u015fimsel Sinir A\u011flar\u0131 (CNN’ler) sayesinde bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131nda son y\u0131llarda \u00e7\u0131\u011f\u0131r a\u00e7an ba\u015far\u0131lara imza atm\u0131\u015ft\u0131r. G\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma, nesne tespiti, segmentasyon ve daha bir\u00e7ok g\u00f6revde insan\u00fcst\u00fc performans sergileyen bu a\u011flar, karma\u015f\u0131k veri setlerinden \u00f6\u011frenme yetenekleriyle dikkat \u00e7ekmektedir. Ancak bu ba\u015far\u0131, yaln\u0131zca artan hesaplama g\u00fcc\u00fc ve b\u00fcy\u00fck veri setleriyle de\u011fil, ayn\u0131 zamanda yenilik\u00e7i a\u011f mimarilerinin geli\u015ftirilmesiyle de yak\u0131ndan ili\u015fkilidir. Her yeni mimari, \u00f6nceki nesillerin kar\u015f\u0131la\u015ft\u0131\u011f\u0131 zorluklara \u00e7\u00f6z\u00fcm \u00fcretmek veya belirli performans metriklerinde (do\u011fruluk, h\u0131z, model boyutu) iyile\u015ftirmeler sa\u011flamak amac\u0131yla tasarlanm\u0131\u015ft\u0131r.<\/p>\n
Bu makalede, derin \u00f6\u011frenme d\u00fcnyas\u0131nda \u00f6nemli bir yer edinmi\u015f \u00fc\u00e7 temel mimariyi detayl\u0131 bir \u015fekilde inceleyece\u011fiz: ResNet (Residual Networks), InceptionV3 ve SqueezeNet. Her bir mimarinin arkas\u0131ndaki motivasyonu, temel tasar\u0131m prensiplerini, yenilik\u00e7i bile\u015fenlerini ve bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131na katk\u0131lar\u0131n\u0131 derinlemesine analiz edece\u011fiz.<\/p>\n
Evri\u015fimsel Sinir A\u011flar\u0131 (CNN’ler), g\u00f6r\u00fcnt\u00fc verilerini i\u015flemek \u00fczere \u00f6zel olarak tasarlanm\u0131\u015f derin \u00f6\u011frenme modelleridir. Temel olarak evri\u015fim katmanlar\u0131, havuzlama katmanlar\u0131 ve tam ba\u011fl\u0131 katmanlardan olu\u015furlar. Evri\u015fim katmanlar\u0131, g\u00f6r\u00fcnt\u00fclerdeki yerel \u00f6zellikleri (kenarlar, dokular gibi) tespit ederken, havuzlama katmanlar\u0131 uzamsal boyutlar\u0131 k\u00fc\u00e7\u00fclterek hesaplama y\u00fck\u00fcn\u00fc azalt\u0131r ve \u00f6nemli \u00f6zellikleri korur. Tam ba\u011fl\u0131 katmanlar ise \u00f6\u011frenilen y\u00fcksek seviyeli \u00f6zellikleri kullanarak nihai s\u0131n\u0131fland\u0131rma veya regresyon g\u00f6revini ger\u00e7ekle\u015ftirir. CNN’lerin ba\u015far\u0131s\u0131, b\u00fcy\u00fck \u00f6l\u00e7\u00fcde hiyerar\u015fik \u00f6zellik \u00f6\u011frenme yeteneklerine dayan\u0131r; a\u011f\u0131n derinliklerine indik\u00e7e, daha karma\u015f\u0131k ve soyut \u00f6zellikler \u00f6\u011frenilir. Ancak, a\u011f derinli\u011finin art\u0131r\u0131lmas\u0131 beraberinde yeni zorluklar\u0131 da getirmi\u015ftir.<\/p>\n
Derin sinir a\u011flar\u0131, teorik olarak daha fazla \u00f6\u011frenme kapasitesine sahip olmal\u0131d\u0131r. Ancak uygulamada, a\u011f derinli\u011fi artt\u0131k\u00e7a performans\u0131n d\u00fc\u015fme e\u011filimi g\u00f6sterdi\u011fi g\u00f6zlemlenmi\u015ftir. Bu durum, “degradation” (bozulma) problemi olarak bilinir ve ResNet’in ortaya \u00e7\u0131k\u0131\u015f\u0131n\u0131n temel motivasyonunu olu\u015fturur.<\/p>\n
Geleneksel derin sinir a\u011flar\u0131, a\u011f katmanlar\u0131 artt\u0131k\u00e7a e\u011fitim s\u0131ras\u0131nda “vanishing gradient” (kaybolan gradyan) veya “exploding gradient” (patlayan gradyan) sorunlar\u0131yla kar\u015f\u0131la\u015fabilir. Kaybolan gradyan, geriye yay\u0131l\u0131m s\u0131ras\u0131nda gradyanlar\u0131n s\u0131f\u0131ra yakla\u015fmas\u0131 ve dolay\u0131s\u0131yla a\u011f\u0131n ilk katmanlar\u0131n\u0131n a\u011f\u0131rl\u0131klar\u0131n\u0131n g\u00fcncellenememesi anlam\u0131na gelir. Patlayan gradyan ise tam tersi bir etkiyle gradyanlar\u0131n \u00e7ok b\u00fcy\u00fcmesine ve e\u011fitimin karars\u0131z hale gelmesine neden olur. Bu sorunlar, a\u011f\u0131n etkili bir \u015fekilde \u00f6\u011frenmesini engeller. Degradation problemi ise daha da ilgin\u00e7tir: e\u011fitim hatas\u0131, a\u011f\u0131n derinli\u011fi artt\u0131k\u00e7a artma e\u011filimi g\u00f6sterir. Bu, a\u011f\u0131n daha derin hale gelmesiyle daha k\u00f6t\u00fc performans g\u00f6stermesi anlam\u0131na gelir ki bu, sezgisel olarak beklenen bir durum de\u011fildir. ResNet, bu problemlere yenilik\u00e7i bir \u00e7\u00f6z\u00fcm sunmu\u015ftur.<\/p>\n
Daha \u00f6nce de belirtildi\u011fi gibi, derin a\u011flarda geriye yay\u0131l\u0131m s\u0131ras\u0131nda gradyanlar\u0131n katmanlar aras\u0131nda \u00e7arp\u0131lmas\u0131 veya b\u00f6l\u00fcnmesi, gradyanlar\u0131n \u00e7ok k\u00fc\u00e7\u00fck (kaybolan) veya \u00e7ok b\u00fcy\u00fck (patlayan) olmas\u0131na neden olabilir. Bu durum, \u00f6zellikle sigmoid veya tanh gibi aktivasyon fonksiyonlar\u0131 kullan\u0131ld\u0131\u011f\u0131nda daha belirgin hale gelir. ReLU gibi aktivasyon fonksiyonlar\u0131 bu sorunu bir nebze hafifletse de, a\u011f derinli\u011fi artt\u0131k\u00e7a degradation problemi devam eder. Degradation, bir a\u011f\u0131n derinli\u011fi artt\u0131r\u0131ld\u0131\u011f\u0131nda, ayn\u0131 temel a\u011f\u0131n daha s\u0131\u011f bir versiyonuna k\u0131yasla daha y\u00fcksek e\u011fitim hatas\u0131 vermesi durumudur. Bu, a\u011f\u0131n basit\u00e7e kimlik e\u015fle\u015fmesi (identity mapping) \u00f6\u011frenmekte bile zorland\u0131\u011f\u0131n\u0131 g\u00f6sterir.<\/p>\n
ResNet’in kalbinde “rezid\u00fcel blok” (residual block) bulunur. Geleneksel bir sinir a\u011f\u0131 katman\u0131, bir giri\u015f Bir rezid\u00fcel blok genellikle iki veya \u00fc\u00e7 evri\u015fim katman\u0131ndan olu\u015fur ve bu katmanlar\u0131n \u00e7\u0131kt\u0131s\u0131, orijinal giri\u015fe eklenir. Matematiksel olarak, Rezid\u00fcel bloktaki k\u0131sayol ba\u011flant\u0131s\u0131, ResNet ailesi, farkl\u0131 derinliklerde bir\u00e7ok model sunar. Daha s\u0131\u011f ResNet’ler (\u00f6rne\u011fin ResNet-18, ResNet-34) genellikle basit rezid\u00fcel bloklar\u0131 kullan\u0131rken, daha derin ResNet’ler (ResNet-50, ResNet-101, ResNet-152) “\u015fi\u015fe bo\u011faz\u0131” (bottleneck) bloklar\u0131n\u0131 kullan\u0131r. \u015ei\u015fe bo\u011faz\u0131 blo\u011fu, hesaplama maliyetini azaltmak i\u00e7in 1×1 evri\u015fim katmanlar\u0131n\u0131 kullanarak kanal say\u0131s\u0131n\u0131 \u00f6nce azalt\u0131r, ard\u0131ndan 3×3 evri\u015fim uygular ve son olarak yine 1×1 evri\u015fimle kanal say\u0131s\u0131n\u0131 eski haline getirir veya art\u0131r\u0131r. Bu, \u00f6zellikle \u00e7ok derin a\u011flarda parametre ve hesaplama say\u0131s\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131r. \u00d6rne\u011fin, ResNet-50, 50 katmandan olu\u015fur ve ImageNet \u00fczerinde y\u00fcksek do\u011frulukla s\u0131n\u0131fland\u0131rma yapabilir.<\/p>\n ResNet’in temel avantaj\u0131, \u00e7ok derin a\u011flar\u0131n ba\u015far\u0131l\u0131 bir \u015fekilde e\u011fitilmesini sa\u011flamas\u0131d\u0131r. Bu, a\u011flar\u0131n daha karma\u015f\u0131k \u00f6zellikleri \u00f6\u011frenmesine ve dolay\u0131s\u0131yla daha y\u00fcksek do\u011fruluk elde etmesine olanak tan\u0131r. Ayr\u0131ca, k\u0131sayol ba\u011flant\u0131lar\u0131 gradyan ak\u0131\u015f\u0131n\u0131 iyile\u015ftirerek e\u011fitim s\u00fcrecini h\u0131zland\u0131rabilir ve gradyan kaybolma sorununu azaltabilir.<\/p>\n ResNet, bilgisayar g\u00f6r\u00fc\u015f\u00fc alan\u0131nda bir\u00e7ok g\u00f6revin temelini olu\u015fturmu\u015ftur. G\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma, nesne tespiti (Faster R-CNN, Mask R-CNN gibi modellerde omurga a\u011f\u0131 olarak), anlamsal segmentasyon ve daha bir\u00e7ok alanda yayg\u0131n olarak kullan\u0131lmaktad\u0131r. Modern derin \u00f6\u011frenme modellerinin \u00e7o\u011fu, ResNet’in rezid\u00fcel ba\u011flant\u0131 fikrinden ilham alm\u0131\u015ft\u0131r.<\/p>\n Inception mimarisi, Google taraf\u0131ndan geli\u015ftirilen ve \u00f6zellikle hesaplama verimlili\u011fi ile y\u00fcksek do\u011fruluk aras\u0131nda denge kurmay\u0131 hedefleyen bir yakla\u015f\u0131md\u0131r. InceptionV3, bu mimarinin \u00f6nemli bir evrimidir.<\/p>\n Inception mimarisi, ilk olarak 2014 y\u0131l\u0131nda GoogleNet (InceptionV1) ile tan\u0131t\u0131ld\u0131. Bu model, ImageNet yar\u0131\u015fmas\u0131n\u0131 kazanarak o zamana kadarki en iyi performans\u0131 sergiledi. Temel fikir, farkl\u0131 boyutlardaki evri\u015fim filtrelerini ve havuzlama i\u015flemlerini ayn\u0131 anda uygulayarak, a\u011f\u0131n farkl\u0131 \u00f6l\u00e7eklerdeki \u00f6zellikleri paralel olarak yakalamas\u0131n\u0131 sa\u011flamakt\u0131. InceptionV2, Batch Normalization’\u0131 tan\u0131tarak ve baz\u0131 evri\u015fim katmanlar\u0131n\u0131 fakt\u00f6rle\u015ftirerek iyile\u015ftirmeler getirdi. InceptionV3 ise bu fakt\u00f6rle\u015ftirme fikrini daha da ileri ta\u015f\u0131d\u0131 ve a\u011f\u0131n hem do\u011frulu\u011funu hem de verimlili\u011fini art\u0131rd\u0131.<\/p>\n Geleneksel CNN’lerde, tasar\u0131mc\u0131lar genellikle hangi evri\u015fim filtresi boyutunun (\u00f6rne\u011fin 1×1, 3×3, 5×5) veya havuzlama i\u015fleminin belirli bir katmanda en uygun olaca\u011f\u0131na karar vermek zorundad\u0131r. Inception mod\u00fcl\u00fc, bu karar\u0131 a\u011f\u0131n kendisine b\u0131rak\u0131r. Bir Inception mod\u00fcl\u00fc, ayn\u0131 giri\u015ften paralel olarak birden fazla evri\u015fim (1×1, 3×3, 5×5) ve havuzlama i\u015flemi uygular. Ard\u0131ndan, bu i\u015flemlerin \u00e7\u0131kt\u0131lar\u0131 kanal boyutunda birle\u015ftirilerek (concatenate) bir sonraki katmana giri\u015f olarak verilir. Bu sayede, a\u011f farkl\u0131 \u00f6l\u00e7eklerdeki \u00f6zellikleri ayn\u0131 anda \u00f6\u011frenebilir.<\/p>\n InceptionV1’in ana yenili\u011fi, “Inception mod\u00fcl\u00fc”n\u00fc tan\u0131mas\u0131yd\u0131. Bu mod\u00fcl, 1×1, 3×3 ve 5×5 evri\u015fimleri ile 3×3 maksimum havuzlama i\u015flemlerini paralel olarak ger\u00e7ekle\u015ftirir. Ancak 5×5 evri\u015fimler ve havuzlama i\u015flemleri, kanal boyutunu art\u0131rarak hesaplama maliyetini y\u00fckseltebilir. Bu sorunu \u00e7\u00f6zmek i\u00e7in 1×1 evri\u015fimler, 3×3 ve 5×5 evri\u015fimlerden \u00f6nce kanal say\u0131s\u0131n\u0131 azaltmak i\u00e7in kullan\u0131ld\u0131. Bu “boyut indirgeme” (dimensionality reduction) tekni\u011fi, hem hesaplama maliyetini d\u00fc\u015f\u00fcrd\u00fc hem de a\u011f\u0131n derinli\u011fini art\u0131rmas\u0131na olanak tan\u0131d\u0131.<\/p>\n InceptionV2, InceptionV1 \u00fczerine in\u015fa edilmi\u015f ve iki ana iyile\u015ftirme getirmi\u015ftir: InceptionV3, InceptionV2’nin fakt\u00f6rle\u015ftirme fikrini daha da ileri ta\u015f\u0131r. Temel yenilikler \u015funlard\u0131r: Bu fakt\u00f6rle\u015ftirmeler, a\u011f\u0131n daha derin ve geni\u015f olmas\u0131n\u0131 sa\u011flarken, hesaplama maliyetini kontrol alt\u0131nda tutar. Bu sayede InceptionV3, y\u00fcksek do\u011fruluk elde ederken de olduk\u00e7a verimli \u00e7al\u0131\u015f\u0131r.<\/p>\n InceptionV1’den beri kullan\u0131lan yard\u0131mc\u0131 s\u0131n\u0131fland\u0131r\u0131c\u0131lar, InceptionV3’te de yer almaktad\u0131r. Bu s\u0131n\u0131fland\u0131r\u0131c\u0131lar, a\u011f\u0131n orta katmanlar\u0131ndan \u00e7\u0131kan \u00f6zellik haritalar\u0131na ba\u011flan\u0131r ve ana s\u0131n\u0131fland\u0131r\u0131c\u0131 ile birlikte e\u011fitilir. Temel ama\u00e7lar\u0131, gradyanlar\u0131n a\u011f\u0131n alt katmanlar\u0131na daha etkili bir \u015fekilde akmas\u0131n\u0131 sa\u011flamak ve gradyan kaybolma sorununu hafifletmektir. E\u011fitim s\u0131ras\u0131nda bu yard\u0131mc\u0131 s\u0131n\u0131fland\u0131r\u0131c\u0131lar\u0131n kay\u0131plar\u0131, ana kayba eklenir ve geriye yay\u0131l\u0131m bu \u015fekilde ger\u00e7ekle\u015ftirilir. \u00c7\u0131kar\u0131m (inference) a\u015famas\u0131nda ise yard\u0131mc\u0131 s\u0131n\u0131fland\u0131r\u0131c\u0131lar kald\u0131r\u0131l\u0131r.<\/p>\n InceptionV3, \u00e7ok say\u0131da fakt\u00f6rle\u015ftirilmi\u015f Inception mod\u00fcl\u00fcnden olu\u015fur. A\u011f\u0131n ba\u015f\u0131nda standart evri\u015fim ve havuzlama katmanlar\u0131 bulunur. Ard\u0131ndan, ard\u0131\u015f\u0131k Inception mod\u00fclleri gelir. Bu mod\u00fcller, farkl\u0131 boyutlardaki evri\u015fimleri ve havuzlamalar\u0131 paralel olarak uygulay\u0131p \u00e7\u0131kt\u0131lar\u0131 birle\u015ftirerek \u00e7al\u0131\u015f\u0131r. A\u011f\u0131n sonuna do\u011fru global ortalama havuzlama (Global Average Pooling) ve bir tam ba\u011fl\u0131 katman ile softmax aktivasyonu yer al\u0131r. Batch Normalization, a\u011f\u0131n her yerinde yo\u011fun bir \u015fekilde kullan\u0131l\u0131r.<\/p>\n InceptionV3’\u00fcn en b\u00fcy\u00fck avantajlar\u0131, y\u00fcksek do\u011fruluk ve hesaplama verimlili\u011fidir. Fakt\u00f6rle\u015ftirme teknikleri sayesinde, AlexNet veya VGG gibi daha basit mimarilere g\u00f6re \u00e7ok daha az parametre ve FLOPs (kayan nokta i\u015flemleri) ile benzer veya daha iyi performans sergileyebilir. Bu, onu hem ara\u015ft\u0131rma hem de end\u00fcstriyel uygulamalar i\u00e7in cazip hale getirir.<\/p>\n InceptionV3, g\u00f6r\u00fcnt\u00fc s\u0131n\u0131fland\u0131rma, nesne tespiti, y\u00fcz tan\u0131ma, t\u0131bbi g\u00f6r\u00fcnt\u00fc analizi gibi bir\u00e7ok bilgisayar g\u00f6r\u00fc\u015f\u00fc g\u00f6revinde ba\u015far\u0131yla kullan\u0131lm\u0131\u015ft\u0131r. Mod\u00fcler yap\u0131s\u0131, farkl\u0131 g\u00f6revlere uyarlanabilirli\u011fini art\u0131r\u0131r.<\/p>\n Derin \u00f6\u011frenme modelleri, son y\u0131llarda do\u011fruluk a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck ilerlemeler kaydetse de, bu genellikle model boyutunun ve hesaplama karma\u015f\u0131kl\u0131\u011f\u0131n\u0131n artmas\u0131yla birlikte gelmi\u015ftir. Bir\u00e7ok modern model, y\u00fczlerce megabayt veya gigabayt boyutunda olabilir, bu da onlar\u0131 s\u0131n\u0131rl\u0131 kaynaklara sahip cihazlarda (mobil telefonlar, g\u00f6m\u00fcl\u00fc sistemler, IoT cihazlar\u0131) da\u011f\u0131tmay\u0131 zorla\u015ft\u0131r\u0131r. SqueezeNet, bu sorunu \u00e7\u00f6zmek i\u00e7in tasarlanm\u0131\u015ft\u0131r.<\/p>\n SqueezeNet’in temel motivasyonu, AlexNet benzeri do\u011fruluk seviyelerini, AlexNet’ten \u00e7ok daha k\u00fc\u00e7\u00fck bir model boyutuyla elde etmektir. AlexNet, yakla\u015f\u0131k 240 MB b\u00fcy\u00fckl\u00fc\u011f\u00fcndedir ve mobil cihazlarda veya bant geni\u015fli\u011fi k\u0131s\u0131tl\u0131 ortamlarda kullan\u0131m\u0131 pratik de\u011fildir. SqueezeNet’in hedefi, model s\u0131k\u0131\u015ft\u0131rma tekniklerini mimari tasar\u0131ma entegre ederek, model boyutunu megabayt seviyesinden kilobayt seviyesine indirmektir.<\/p>\n Model s\u0131k\u0131\u015ft\u0131rma, mevcut b\u00fcy\u00fck bir modelin boyutunu k\u00fc\u00e7\u00fcltmek i\u00e7in kullan\u0131lan teknikler b\u00fct\u00fcn\u00fcd\u00fcr. Bunlar aras\u0131nda \u015funlar bulunur: SqueezeNet, \u00f6zellikle d\u00f6rd\u00fcnc\u00fc yakla\u015f\u0131m\u0131 benimser: k\u00fc\u00e7\u00fck ve verimli bir mimariyi ba\u015ftan tasarlamak.<\/p>\n SqueezeNet’in temel yap\u0131 ta\u015f\u0131 “Fire mod\u00fcl\u00fc”d\u00fcr. Bir Fire mod\u00fcl\u00fc, iki ana katmandan olu\u015fur: Bu mod\u00fcl, parametre say\u0131s\u0131n\u0131 minimize ederken, modelin temsil kapasitesini korumay\u0131 ama\u00e7lar.<\/p>\n Squeeze katman\u0131, 1×1 evri\u015fim filtrelerini kullanarak giri\u015f \u00f6zellik haritas\u0131n\u0131n kanal say\u0131s\u0131n\u0131 azalt\u0131r. \u00d6rne\u011fin, 128 kanall\u0131 bir giri\u015fi 64 kanala d\u00fc\u015f\u00fcrebilir. 1×1 evri\u015fimler, alg\u0131lay\u0131c\u0131 alan\u0131 de\u011fi\u015ftirmeden (sadece tek bir pikseli g\u00f6r\u00fcrler), kanal boyutunda bir d\u00f6n\u00fc\u015f\u00fcm ger\u00e7ekle\u015ftirirler. Bu, \u00f6zellikle parametre say\u0131s\u0131n\u0131 azaltmak i\u00e7in \u00e7ok etkilidir, \u00e7\u00fcnk\u00fc 3×3 evri\u015fimlere k\u0131yasla \u00e7ok daha az a\u011f\u0131rl\u0131\u011fa sahiptirler. SqueezeNet’in tasar\u0131m stratejilerinden biri, 3×3 evri\u015fimlere giden giri\u015f kanallar\u0131n\u0131n say\u0131s\u0131n\u0131 azaltmakt\u0131r ve Expand katman\u0131, SqueezeNet, t\u0131pk\u0131 GoogleNet gibi, a\u011f\u0131n sonunda tam ba\u011fl\u0131 katmanlar yerine global ortalama havuzlama (Global Average Pooling – GAP) kullan\u0131r. GAP, her \u00f6zellik haritas\u0131n\u0131n ortalamas\u0131n\u0131 alarak tek bir skaler de\u011fer \u00fcretir. Bu, tam ba\u011fl\u0131 katmanlara g\u00f6re \u00e7ok daha az parametre gerektirir ve a\u015f\u0131r\u0131 uyumu azaltmaya yard\u0131mc\u0131 olur. GAP’in \u00e7\u0131kt\u0131s\u0131 do\u011frudan s\u0131n\u0131fland\u0131rma katman\u0131na beslenir.<\/p>\n SqueezeNet’in mimarisi, bir ba\u015flang\u0131\u00e7 evri\u015fim katman\u0131, ard\u0131ndan ard\u0131\u015f\u0131k Fire mod\u00fclleri ve son olarak global ortalama havuzlama ile s\u0131n\u0131fland\u0131rma katman\u0131ndan olu\u015fur. Modelin tasar\u0131m\u0131nda \u00fc\u00e7 ana strateji benimsenmi\u015ftir: Bu stratejiler bir araya geldi\u011finde, SqueezeNet, AlexNet’e g\u00f6re 50 kat daha az parametreyle ayn\u0131 do\u011fruluk seviyesini elde edebilir ve model s\u0131k\u0131\u015ft\u0131rma teknikleriyle (\u00f6rne\u011fin, 8 bit niceleme) 510 kat daha k\u00fc\u00e7\u00fck hale getirilebilir (0.5 MB).<\/p>\n SqueezeNet’in en belirgin avantaj\u0131, inan\u0131lmaz derecede k\u00fc\u00e7\u00fck model boyutudur. Bu, onu mobil cihazlar, g\u00f6m\u00fcl\u00fc sistemler, IoT cihazlar\u0131 ve di\u011fer kaynak k\u0131s\u0131tl\u0131 ortamlarda derin \u00f6\u011frenme modellerini da\u011f\u0131tmak i\u00e7in ideal bir se\u00e7im haline getirir. Daha k\u00fc\u00e7\u00fck modeller, ayn\u0131 zamanda daha h\u0131zl\u0131 \u00e7\u0131kar\u0131m s\u00fcreleri ve daha az bellek t\u00fcketimi anlam\u0131na gelir.<\/p>\n SqueezeNet, ger\u00e7ek zamanl\u0131 g\u00f6r\u00fcnt\u00fc i\u015fleme, mobil uygulamalarda g\u00f6r\u00fcnt\u00fc tan\u0131ma, dronlar ve otonom ara\u00e7lar gibi alanlarda kullan\u0131labilir. Ayr\u0131ca, daha b\u00fcy\u00fck modeller i\u00e7in bir \u00f6n-e\u011fitimli (pre-trained) temel olarak da g\u00f6rev yapabilir.<\/p>\n ResNet, InceptionV3 ve SqueezeNet, her biri derin \u00f6\u011frenme mimarilerinin farkl\u0131 y\u00f6nlerine odaklanarak \u00f6nemli ilerlemeler kaydetmi\u015ftir.<\/p>\n * ResNet:<\/strong> Ana odak noktas\u0131, \u00e7ok derin a\u011flar\u0131n e\u011fitimini m\u00fcmk\u00fcn k\u0131larak do\u011fruluk art\u0131\u015f\u0131n\u0131 sa\u011flamakt\u0131r. Bunu rezid\u00fcel ba\u011flant\u0131larla (skip connections) ba\u015far\u0131r. Model boyutu ve hesaplama karma\u015f\u0131kl\u0131\u011f\u0131, daha s\u0131\u011f a\u011flara g\u00f6re artar, ancak do\u011fruluk kazanc\u0131 buna de\u011ferdir. Her \u00fc\u00e7 mimari de, gradyan ak\u0131\u015f\u0131n\u0131 iyile\u015ftiren ve e\u011fitim istikrar\u0131n\u0131 art\u0131ran teknikler kullan\u0131r (ResNet’te rezid\u00fcel ba\u011flant\u0131lar, InceptionV3’te Batch Normalization ve yard\u0131mc\u0131 s\u0131n\u0131fland\u0131r\u0131c\u0131lar, SqueezeNet’te daha az parametre). Hepsi de ImageNet gibi b\u00fcy\u00fck \u00f6l\u00e7ekli veri setlerinde ba\u015far\u0131lar\u0131n\u0131 kan\u0131tlam\u0131\u015ft\u0131r.<\/p>\n Bir derin \u00f6\u011frenme mimarisi se\u00e7erken, projenin \u00f6zel gereksinimleri g\u00f6z \u00f6n\u00fcnde bulundurulmal\u0131d\u0131r: ResNet, InceptionV3 ve SqueezeNet, derin \u00f6\u011frenme mimarisi tasar\u0131m\u0131nda \u00f6nemli kilometre ta\u015flar\u0131d\u0131r. ResNet, derin a\u011flar\u0131n e\u011fitimindeki temel engelleri a\u015farak daha \u00f6nce hayal bile edilemeyen derinliklere ula\u015f\u0131lmas\u0131n\u0131 sa\u011flam\u0131\u015f, InceptionV3 \u00e7ok \u00f6l\u00e7ekli \u00f6zellik \u00f6\u011frenimi ve hesaplama verimlili\u011fini bir araya getirmi\u015f, SqueezeNet ise model s\u0131k\u0131\u015ft\u0131rma ve kaynak k\u0131s\u0131tl\u0131 ortamlarda da\u011f\u0131t\u0131m i\u00e7in yeni bir standart belirlemi\u015ftir.<\/p>\n Bu mimarilerin her biri, derin \u00f6\u011frenme ara\u015ft\u0131rmalar\u0131na ve uygulamalar\u0131na benzersiz katk\u0131lar sa\u011flam\u0131\u015ft\u0131r. Onlar\u0131n yenilik\u00e7i yakla\u015f\u0131mlar\u0131, g\u00fcn\u00fcm\u00fczdeki bir\u00e7ok ileri d\u00fczey modelin temelini olu\u015fturmu\u015f ve gelecekteki mimari tasar\u0131mlar i\u00e7in ilham kayna\u011f\u0131 olmaya devam edecektir. Derin \u00f6\u011frenmenin s\u00fcrekli geli\u015fen d\u00fcnyas\u0131nda, bu t\u00fcr mimari yenilikler, yapay zekan\u0131n potansiyelini daha da geni\u015fletmenin anahtar\u0131d\u0131r.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Derin \u00d6\u011frenme Mimarileri A\u00e7\u0131klamal\u0131: ResNet, InceptionV3, SqueezeNet\nGiri\u015f\nDerin \u00f6\u011frenme, \u00f6zellikle Evri\u015fimsel Sinir A\u011flar\u0131 (CNN’ler) say","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-38991","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nx<\/code> verildi\u011finde do\u011frudan H(x)<\/code> hedef e\u015flemesini \u00f6\u011frenmeye \u00e7al\u0131\u015f\u0131r. ResNet ise bunun yerine F(x) = H(x) - x<\/code> rezid\u00fcel e\u015flemesini \u00f6\u011frenmeyi \u00f6nerir. Bu durumda, orijinal hedef H(x)<\/code>‘i elde etmek i\u00e7in F(x) + x<\/code> hesaplan\u0131r. Buradaki + x<\/code> terimi, giri\u015f x<\/code>‘in do\u011frudan bir sonraki katman\u0131n \u00e7\u0131kt\u0131s\u0131na eklenmesiyle elde edilen “k\u0131sayol ba\u011flant\u0131s\u0131” (skip connection) veya “kimlik e\u015fleme” (identity mapping) olarak adland\u0131r\u0131l\u0131r.<\/p>\ny = F(x, {Wi}) + x<\/code> \u015feklinde ifade edilebilir, burada F<\/code> \u00f6\u011frenilecek rezid\u00fcel fonksiyonu, {Wi}<\/code> katmanlar\u0131n a\u011f\u0131rl\u0131klar\u0131n\u0131 ve x<\/code> blo\u011fun giri\u015fini temsil eder.<\/p>\nKimlik E\u015fleme (Identity Mapping)<\/h3>\n
x<\/code> giri\u015finin do\u011frudan blo\u011fun \u00e7\u0131kt\u0131s\u0131na eklenmesini sa\u011flar. Bu, a\u011f\u0131n en k\u00f6t\u00fc senaryoda, yani hi\u00e7bir yeni bilginin \u00f6\u011frenilemedi\u011fi durumda bile, blo\u011fun basit\u00e7e bir kimlik e\u015flemesi \u00f6\u011frenmesini kolayla\u015ft\u0131r\u0131r. E\u011fer optimal fonksiyon H(x)<\/code> bir kimlik e\u015flemesi ise, rezid\u00fcel fonksiyon F(x)<\/code>‘in s\u0131f\u0131r \u00f6\u011frenmesi \u00e7ok daha kolayd\u0131r (F(x) = 0<\/code>). Geleneksel a\u011flarda H(x) = x<\/code> \u00f6\u011frenmek zor iken, ResNet’te F(x) = 0<\/code> \u00f6\u011frenmek, a\u011f\u0131rl\u0131klar\u0131n s\u0131f\u0131ra yak\u0131nsamas\u0131yla do\u011fal olarak ger\u00e7ekle\u015febilir. Bu sayede, a\u011f\u0131n derinli\u011fi art\u0131r\u0131ld\u0131\u011f\u0131nda bile performans\u0131n d\u00fc\u015fmesi engellenir ve hatta daha derin a\u011flar daha iyi performans g\u00f6sterebilir.<\/p>\nResNet Mimarileri (ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152)<\/h3>\n
ResNet’in Avantajlar\u0131 ve Uygulamalar\u0131<\/h3>\n
InceptionV3 (GoogleNet’in Evrimi)<\/h2>\n
Inception Mimarilerinin Evrimi<\/h3>\n
Inception Mod\u00fcl\u00fc Fikri<\/h3>\n
InceptionV1 (GoogleNet) Temelleri<\/h3>\n
InceptionV2 ve Batch Normalization<\/h3>\n
\n1. Batch Normalization:<\/strong> Her mini-batch i\u00e7in katman giri\u015flerini normalle\u015ftirerek, e\u011fitim s\u00fcrecini h\u0131zland\u0131r\u0131r, gradyan ak\u0131\u015f\u0131n\u0131 iyile\u015ftirir ve a\u015f\u0131r\u0131 uyumu (overfitting) azalt\u0131r.
\n2. Filtre Fakt\u00f6rle\u015ftirme:<\/strong> 5×5 evri\u015fimleri iki adet 3×3 evri\u015fimle de\u011fi\u015ftirerek hesaplama verimlili\u011fini art\u0131rd\u0131. \u0130ki 3×3 evri\u015fim, bir 5×5 evri\u015fimle ayn\u0131 alg\u0131lay\u0131c\u0131 alana (receptive field) sahiptir ancak daha az parametre ve hesaplama gerektirir.<\/p>\nInceptionV3’\u00fcn Yenilikleri: Fakt\u00f6rizasyon ve Asimetrik Evri\u015fimler<\/h3>\n
\n1. 7×7 Evri\u015fimlerin Fakt\u00f6rle\u015ftirilmesi:<\/strong> 7×7 evri\u015fimler, bir 1×7 ve bir 7×1 evri\u015fimine fakt\u00f6rle\u015ftirilir. Bu “asimetrik evri\u015fimler”, parametre say\u0131s\u0131n\u0131 ve hesaplama maliyetini \u00f6nemli \u00f6l\u00e7\u00fcde azalt\u0131rken, ayn\u0131 alg\u0131lay\u0131c\u0131 alan\u0131 korur.
\n2. N x N Evri\u015fimlerin 1 x N ve N x 1 Evri\u015fimlerine Fakt\u00f6rle\u015ftirilmesi:<\/strong> Genel olarak, NxN evri\u015fimler, 1xN ve Nx1 evri\u015fimlerinin ard\u0131\u015f\u0131k uygulanmas\u0131yla fakt\u00f6rle\u015ftirilebilir. Bu, \u00f6zellikle daha b\u00fcy\u00fck boyutlu filtreler i\u00e7in hesaplama verimlili\u011fini art\u0131r\u0131r.
\n3. Daha Az Grid Boyutu Azaltma:<\/strong> A\u011f\u0131n derinliklerinde grid boyutunu k\u00fc\u00e7\u00fcltmek i\u00e7in daha dikkatli bir yakla\u015f\u0131m benimsenmi\u015ftir. Bu, \u00f6zellik haritalar\u0131n\u0131n uzamsal detaylar\u0131n\u0131 korumaya yard\u0131mc\u0131 olur.<\/p>\nYard\u0131mc\u0131 S\u0131n\u0131fland\u0131r\u0131c\u0131lar (Auxiliary Classifiers)<\/h3>\n
InceptionV3 Mimarisi ve Bile\u015fenleri<\/h3>\n
InceptionV3’\u00fcn Avantajlar\u0131 ve Kullan\u0131m Alanlar\u0131<\/h3>\n
SqueezeNet (Verimli ve K\u00fc\u00e7\u00fck A\u011flar)<\/h2>\n
SqueezeNet’in Motivasyonu: Model Boyutunu K\u00fc\u00e7\u00fcltme<\/h3>\n
Model S\u0131k\u0131\u015ft\u0131rma Teknikleri<\/h3>\n
\n* A\u011f\u0131rl\u0131k budama (Weight Pruning):<\/strong> \u00d6nemsiz a\u011f\u0131rl\u0131klar\u0131 a\u011fdan \u00e7\u0131karmak.
\n* A\u011f\u0131rl\u0131k niceleme (Weight Quantization):<\/strong> A\u011f\u0131rl\u0131klar\u0131 daha d\u00fc\u015f\u00fck bit hassasiyetine d\u00f6n\u00fc\u015ft\u00fcrmek.
\n* S\u0131k\u0131la\u015ft\u0131rma (Distillation):<\/strong> B\u00fcy\u00fck bir modelin (\u00f6\u011fretmen) bilgisini k\u00fc\u00e7\u00fck bir modele (\u00f6\u011frenci) aktarmak.
\n* Mimari tasar\u0131m (Architectural Design):<\/strong> Do\u011frudan k\u00fc\u00e7\u00fck ve verimli bir mimari tasarlamak (SqueezeNet’in yapt\u0131\u011f\u0131 gibi).<\/p>\nFire Mod\u00fcl\u00fc Mimarisi<\/h3>\n
\n1. Squeeze Katman\u0131:<\/strong> Yaln\u0131zca 1×1 evri\u015fim filtreleri i\u00e7erir. Bu katman\u0131n amac\u0131, bir sonraki expand<\/code> katman\u0131na giden kanal say\u0131s\u0131n\u0131 azaltmakt\u0131r.
\n2. Expand Katman\u0131:<\/strong> Hem 1×1 hem de 3×3 evri\u015fim filtrelerini paralel olarak i\u00e7erir. Bu katman, squeeze<\/code> katman\u0131ndan gelen d\u00fc\u015f\u00fck boyutlu \u00f6zellik haritas\u0131n\u0131, daha fazla kanal say\u0131s\u0131na sahip bir \u00e7\u0131kt\u0131ya d\u00f6n\u00fc\u015ft\u00fcr\u00fcr.<\/p>\nSqueeze Katman\u0131 (1×1 Evri\u015fim)<\/h3>\n
squeeze<\/code> katman\u0131 bunu sa\u011flar.<\/p>\nExpand Katman\u0131 (1×1 ve 3×3 Evri\u015fimler)<\/h3>\n
squeeze<\/code> katman\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 al\u0131r ve iki paralel yola b\u00f6ler:
\n* Bir yol, 1×1 evri\u015fim filtreleri uygular.
\n* Di\u011fer yol, 3×3 evri\u015fim filtreleri uygular.
\nBu iki yolun \u00e7\u0131kt\u0131lar\u0131 daha sonra kanal boyutunda birle\u015ftirilir. Bu sayede, a\u011f hem yerel (3×3) hem de nokta bazl\u0131 (1×1) \u00f6zellikleri \u00f6\u011frenirken, squeeze<\/code> katman\u0131n\u0131n sa\u011flad\u0131\u011f\u0131 kanal indirgeme sayesinde genel parametre say\u0131s\u0131n\u0131 d\u00fc\u015f\u00fck tutar.<\/p>\nGlobal Ortalama Havuzlama (Global Average Pooling)<\/h3>\n
SqueezeNet Mimarisi ve Tasar\u0131m Stratejileri<\/h3>\n
\n1. 3×3 filtreleri 1×1 filtrelerle de\u011fi\u015ftirin:<\/strong> Bu, parametre say\u0131s\u0131n\u0131 9 kat azalt\u0131r (3×3 = 9, 1×1 = 1).
\n2. 3×3 filtrelere giden giri\u015f kanallar\u0131n\u0131n say\u0131s\u0131n\u0131 azalt\u0131n:<\/strong> Bu, squeeze<\/code> katman\u0131n\u0131n temel g\u00f6revidir.
\n3. A\u011fda havuzlamay\u0131 (downsampling) ge\u00e7 yap\u0131n:<\/strong> Bu, \u00f6zellik haritalar\u0131n\u0131n daha b\u00fcy\u00fck uzamsal boyutlar\u0131n\u0131 koruyarak, a\u011f\u0131n daha zengin bilgi ak\u0131\u015f\u0131na sahip olmas\u0131n\u0131 sa\u011flar.<\/p>\nSqueezeNet’in Avantajlar\u0131 ve Uygulama Alanlar\u0131<\/h3>\n
Kar\u015f\u0131la\u015ft\u0131rmal\u0131 Analiz ve Sonu\u00e7<\/h2>\n
Mimarilerin Ortak Noktalar\u0131 ve Farkl\u0131l\u0131klar\u0131<\/h3>\n
\n* InceptionV3:<\/strong> Hem y\u00fcksek do\u011fruluk hem de hesaplama verimlili\u011fi aras\u0131nda bir denge kurmay\u0131 hedefler. Bunu, paralel evri\u015fimler (Inception mod\u00fcl\u00fc) ve evri\u015fimlerin fakt\u00f6rle\u015ftirilmesi (asimetrik evri\u015fimler) ile ba\u015far\u0131r. Model boyutu ResNet’e g\u00f6re daha optimize edilmi\u015ftir.
\n* SqueezeNet:<\/strong> Temel amac\u0131, model boyutunu dramatik bir \u015fekilde k\u00fc\u00e7\u00fclt\u00fcrken kabul edilebilir bir do\u011fruluk seviyesini korumakt\u0131r. Bunu Fire mod\u00fcl\u00fc ve 1×1 evri\u015fimlerin yo\u011fun kullan\u0131m\u0131yla ba\u015far\u0131r. Hesaplama verimlili\u011fi ve \u00f6zellikle modelin disk \u00fczerindeki boyutu a\u00e7\u0131s\u0131ndan di\u011fer ikisine g\u00f6re \u00fcst\u00fcnd\u00fcr.<\/p>\nSe\u00e7im Kriterleri<\/h3>\n
\n* Do\u011fruluk en kritik fakt\u00f6r ise:<\/strong> ResNet, \u00f6zellikle \u00e7ok derin versiyonlar\u0131 (ResNet-101, ResNet-152), genellikle en y\u00fcksek do\u011fruluk potansiyelini sunar. InceptionV3 de y\u00fcksek do\u011fruluk i\u00e7in g\u00fc\u00e7l\u00fc bir adayd\u0131r.
\n* Hesaplama verimlili\u011fi ve \u00e7\u0131kar\u0131m h\u0131z\u0131 \u00f6nemliyse, ancak do\u011fruluktan \u00e7ok \u00f6d\u00fcn verilmek istenmiyorsa:<\/strong> InceptionV3, fakt\u00f6rle\u015ftirme teknikleri sayesinde iyi bir denge sunar.
\n* Model boyutu ve da\u011f\u0131t\u0131m k\u0131s\u0131tlamalar\u0131 (mobil, g\u00f6m\u00fcl\u00fc sistemler) birincil \u00f6ncelik ise:<\/strong> SqueezeNet, rakipsiz k\u00fc\u00e7\u00fck boyutuyla en uygun se\u00e7enektir. Do\u011fruluk, daha b\u00fcy\u00fck modellerden biraz daha d\u00fc\u015f\u00fck olabilir, ancak bu, boyut avantaj\u0131 i\u00e7in kabul edilebilir bir takast\u0131r.<\/p>\nSonu\u00e7<\/h2>\n