Derin Öğrenme Mimarileri Açıklamalı: ResNet, InceptionV3, SqueezeNet

Derin Öğrenme Mimarileri Açıklamalı: ResNet, InceptionV3, SqueezeNet

Giriş

Derin öğrenme, özellikle Evrişimsel Sinir Ağları (CNN’ler) sayesinde bilgisayar görüşü alanında son yıllarda çığır açan başarılara imza atmıştır. Görüntü sınıflandırma, nesne tespiti, segmentasyon ve daha birçok görevde insanüstü performans sergileyen bu ağlar, karmaşık veri setlerinden öğrenme yetenekleriyle dikkat çekmektedir. Ancak bu başarı, yalnızca artan hesaplama gücü ve büyük veri setleriyle değil, aynı zamanda yenilikçi ağ mimarilerinin geliştirilmesiyle de yakından ilişkilidir. Her yeni mimari, önceki nesillerin karşılaştığı zorluklara çözüm üretmek veya belirli performans metriklerinde (doğruluk, hız, model boyutu) iyileştirmeler sağlamak amacıyla tasarlanmıştır.

Bu makalede, derin öğrenme dünyasında önemli bir yer edinmiş üç temel mimariyi detaylı bir şekilde inceleyeceğiz: ResNet (Residual Networks), InceptionV3 ve SqueezeNet. Her bir mimarinin arkasındaki motivasyonu, temel tasarım prensiplerini, yenilikçi bileşenlerini ve bilgisayar görüşü alanına katkılarını derinlemesine analiz edeceğiz.

Derin Öğrenme ve Evrişimsel Sinir Ağları

Evrişimsel Sinir Ağları (CNN’ler), görüntü verilerini işlemek üzere özel olarak tasarlanmış derin öğrenme modelleridir. Temel olarak evrişim katmanları, havuzlama katmanları ve tam bağlı katmanlardan oluşurlar. Evrişim katmanları, görüntülerdeki yerel özellikleri (kenarlar, dokular gibi) tespit ederken, havuzlama katmanları uzamsal boyutları küçülterek hesaplama yükünü azaltır ve önemli özellikleri korur. Tam bağlı katmanlar ise öğrenilen yüksek seviyeli özellikleri kullanarak nihai sınıflandırma veya regresyon görevini gerçekleştirir. CNN’lerin başarısı, büyük ölçüde hiyerarşik özellik öğrenme yeteneklerine dayanır; ağın derinliklerine indikçe, daha karmaşık ve soyut özellikler öğrenilir. Ancak, ağ derinliğinin artırılması beraberinde yeni zorlukları da getirmiştir.

ResNet (Residual Networks)

Derin sinir ağları, teorik olarak daha fazla öğrenme kapasitesine sahip olmalıdır. Ancak uygulamada, ağ derinliği arttıkça performansın düşme eğilimi gösterdiği gözlemlenmiştir. Bu durum, “degradation” (bozulma) problemi olarak bilinir ve ResNet’in ortaya çıkışının temel motivasyonunu oluşturur.

ResNet’in Ortaya Çıkışı ve Motivasyonu

Geleneksel derin sinir ağları, ağ katmanları arttıkça eğitim sırasında “vanishing gradient” (kaybolan gradyan) veya “exploding gradient” (patlayan gradyan) sorunlarıyla karşılaşabilir. Kaybolan gradyan, geriye yayılım sırasında gradyanların sıfıra yaklaşması ve dolayısıyla ağın ilk katmanlarının ağırlıklarının güncellenememesi anlamına gelir. Patlayan gradyan ise tam tersi bir etkiyle gradyanların çok büyümesine ve eğitimin kararsız hale gelmesine neden olur. Bu sorunlar, ağın etkili bir şekilde öğrenmesini engeller. Degradation problemi ise daha da ilginçtir: eğitim hatası, ağın derinliği arttıkça artma eğilimi gösterir. Bu, ağın daha derin hale gelmesiyle daha kötü performans göstermesi anlamına gelir ki bu, sezgisel olarak beklenen bir durum değildir. ResNet, bu problemlere yenilikçi bir çözüm sunmuştur.

Derin Ağların Zorlukları: Vanishing/Exploding Gradient ve Degradation

Daha önce de belirtildiği gibi, derin ağlarda geriye yayılım sırasında gradyanların katmanlar arasında çarpılması veya bölünmesi, gradyanların çok küçük (kaybolan) veya çok büyük (patlayan) olmasına neden olabilir. Bu durum, özellikle sigmoid veya tanh gibi aktivasyon fonksiyonları kullanıldığında daha belirgin hale gelir. ReLU gibi aktivasyon fonksiyonları bu sorunu bir nebze hafifletse de, ağ derinliği arttıkça degradation problemi devam eder. Degradation, bir ağın derinliği arttırıldığında, aynı temel ağın daha sığ bir versiyonuna kıyasla daha yüksek eğitim hatası vermesi durumudur. Bu, ağın basitçe kimlik eşleşmesi (identity mapping) öğrenmekte bile zorlandığını gösterir.

Rezidüel Blok (Residual Block) Mimarisi

ResNet’in kalbinde “rezidüel blok” (residual block) bulunur. Geleneksel bir sinir ağı katmanı, bir giriş x verildiğinde doğrudan H(x) hedef eşlemesini öğrenmeye çalışır. ResNet ise bunun yerine F(x) = H(x) - x rezidüel eşlemesini öğrenmeyi önerir. Bu durumda, orijinal hedef H(x)‘i elde etmek için F(x) + x hesaplanır. Buradaki + x terimi, giriş x‘in doğrudan bir sonraki katmanın çıktısına eklenmesiyle elde edilen “kısayol bağlantısı” (skip connection) veya “kimlik eşleme” (identity mapping) olarak adlandırılır.

Bir rezidüel blok genellikle iki veya üç evrişim katmanından oluşur ve bu katmanların çıktısı, orijinal girişe eklenir. Matematiksel olarak, y = F(x, {Wi}) + x şeklinde ifade edilebilir, burada F öğrenilecek rezidüel fonksiyonu, {Wi} katmanların ağırlıklarını ve x bloğun girişini temsil eder.

Kimlik Eşleme (Identity Mapping)

Rezidüel bloktaki kısayol bağlantısı, x girişinin doğrudan bloğun çıktısına eklenmesini sağlar. Bu, ağın en kötü senaryoda, yani hiçbir yeni bilginin öğrenilemediği durumda bile, bloğun basitçe bir kimlik eşlemesi öğrenmesini kolaylaştırır. Eğer optimal fonksiyon H(x) bir kimlik eşlemesi ise, rezidüel fonksiyon F(x)‘in sıfır öğrenmesi çok daha kolaydır (F(x) = 0). Geleneksel ağlarda H(x) = x öğrenmek zor iken, ResNet’te F(x) = 0 öğrenmek, ağırlıkların sıfıra yakınsamasıyla doğal olarak gerçekleşebilir. Bu sayede, ağın derinliği artırıldığında bile performansın düşmesi engellenir ve hatta daha derin ağlar daha iyi performans gösterebilir.

ResNet Mimarileri (ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152)

ResNet ailesi, farklı derinliklerde birçok model sunar. Daha sığ ResNet’ler (örneğin ResNet-18, ResNet-34) genellikle basit rezidüel blokları kullanırken, daha derin ResNet’ler (ResNet-50, ResNet-101, ResNet-152) “şişe boğazı” (bottleneck) bloklarını kullanır. Şişe boğazı bloğu, hesaplama maliyetini azaltmak için 1×1 evrişim katmanlarını kullanarak kanal sayısını önce azaltır, ardından 3×3 evrişim uygular ve son olarak yine 1×1 evrişimle kanal sayısını eski haline getirir veya artırır. Bu, özellikle çok derin ağlarda parametre ve hesaplama sayısını önemli ölçüde azaltır. Örneğin, ResNet-50, 50 katmandan oluşur ve ImageNet üzerinde yüksek doğrulukla sınıflandırma yapabilir.

ResNet’in Avantajları ve Uygulamaları

ResNet’in temel avantajı, çok derin ağların başarılı bir şekilde eğitilmesini sağlamasıdır. Bu, ağların daha karmaşık özellikleri öğrenmesine ve dolayısıyla daha yüksek doğruluk elde etmesine olanak tanır. Ayrıca, kısayol bağlantıları gradyan akışını iyileştirerek eğitim sürecini hızlandırabilir ve gradyan kaybolma sorununu azaltabilir.

ResNet, bilgisayar görüşü alanında birçok görevin temelini oluşturmuştur. Görüntü sınıflandırma, nesne tespiti (Faster R-CNN, Mask R-CNN gibi modellerde omurga ağı olarak), anlamsal segmentasyon ve daha birçok alanda yaygın olarak kullanılmaktadır. Modern derin öğrenme modellerinin çoğu, ResNet’in rezidüel bağlantı fikrinden ilham almıştır.

InceptionV3 (GoogleNet’in Evrimi)

Inception mimarisi, Google tarafından geliştirilen ve özellikle hesaplama verimliliği ile yüksek doğruluk arasında denge kurmayı hedefleyen bir yaklaşımdır. InceptionV3, bu mimarinin önemli bir evrimidir.

Inception Mimarilerinin Evrimi

Inception mimarisi, ilk olarak 2014 yılında GoogleNet (InceptionV1) ile tanıtıldı. Bu model, ImageNet yarışmasını kazanarak o zamana kadarki en iyi performansı sergiledi. Temel fikir, farklı boyutlardaki evrişim filtrelerini ve havuzlama işlemlerini aynı anda uygulayarak, ağın farklı ölçeklerdeki özellikleri paralel olarak yakalamasını sağlamaktı. InceptionV2, Batch Normalization’ı tanıtarak ve bazı evrişim katmanlarını faktörleştirerek iyileştirmeler getirdi. InceptionV3 ise bu faktörleştirme fikrini daha da ileri taşıdı ve ağın hem doğruluğunu hem de verimliliğini artırdı.

Inception Modülü Fikri

Geleneksel CNN’lerde, tasarımcılar genellikle hangi evrişim filtresi boyutunun (örneğin 1×1, 3×3, 5×5) veya havuzlama işleminin belirli bir katmanda en uygun olacağına karar vermek zorundadır. Inception modülü, bu kararı ağın kendisine bırakır. Bir Inception modülü, aynı girişten paralel olarak birden fazla evrişim (1×1, 3×3, 5×5) ve havuzlama işlemi uygular. Ardından, bu işlemlerin çıktıları kanal boyutunda birleştirilerek (concatenate) bir sonraki katmana giriş olarak verilir. Bu sayede, ağ farklı ölçeklerdeki özellikleri aynı anda öğrenebilir.

InceptionV1 (GoogleNet) Temelleri

InceptionV1’in ana yeniliği, “Inception modülü”nü tanımasıydı. Bu modül, 1×1, 3×3 ve 5×5 evrişimleri ile 3×3 maksimum havuzlama işlemlerini paralel olarak gerçekleştirir. Ancak 5×5 evrişimler ve havuzlama işlemleri, kanal boyutunu artırarak hesaplama maliyetini yükseltebilir. Bu sorunu çözmek için 1×1 evrişimler, 3×3 ve 5×5 evrişimlerden önce kanal sayısını azaltmak için kullanıldı. Bu “boyut indirgeme” (dimensionality reduction) tekniği, hem hesaplama maliyetini düşürdü hem de ağın derinliğini artırmasına olanak tanıdı.

InceptionV2 ve Batch Normalization

InceptionV2, InceptionV1 üzerine inşa edilmiş ve iki ana iyileştirme getirmiştir:
1. Batch Normalization: Her mini-batch için katman girişlerini normalleştirerek, eğitim sürecini hızlandırır, gradyan akışını iyileştirir ve aşırı uyumu (overfitting) azaltır.
2. Filtre Faktörleştirme: 5×5 evrişimleri iki adet 3×3 evrişimle değiştirerek hesaplama verimliliğini artırdı. İki 3×3 evrişim, bir 5×5 evrişimle aynı algılayıcı alana (receptive field) sahiptir ancak daha az parametre ve hesaplama gerektirir.

InceptionV3’ün Yenilikleri: Faktörizasyon ve Asimetrik Evrişimler

InceptionV3, InceptionV2’nin faktörleştirme fikrini daha da ileri taşır. Temel yenilikler şunlardır:
1. 7×7 Evrişimlerin Faktörleştirilmesi: 7×7 evrişimler, bir 1×7 ve bir 7×1 evrişimine faktörleştirilir. Bu “asimetrik evrişimler”, parametre sayısını ve hesaplama maliyetini önemli ölçüde azaltırken, aynı algılayıcı alanı korur.
2. N x N Evrişimlerin 1 x N ve N x 1 Evrişimlerine Faktörleştirilmesi: Genel olarak, NxN evrişimler, 1xN ve Nx1 evrişimlerinin ardışık uygulanmasıyla faktörleştirilebilir. Bu, özellikle daha büyük boyutlu filtreler için hesaplama verimliliğini artırır.
3. Daha Az Grid Boyutu Azaltma: Ağın derinliklerinde grid boyutunu küçültmek için daha dikkatli bir yaklaşım benimsenmiştir. Bu, özellik haritalarının uzamsal detaylarını korumaya yardımcı olur.

Bu faktörleştirmeler, ağın daha derin ve geniş olmasını sağlarken, hesaplama maliyetini kontrol altında tutar. Bu sayede InceptionV3, yüksek doğruluk elde ederken de oldukça verimli çalışır.

Yardımcı Sınıflandırıcılar (Auxiliary Classifiers)

InceptionV1’den beri kullanılan yardımcı sınıflandırıcılar, InceptionV3’te de yer almaktadır. Bu sınıflandırıcılar, ağın orta katmanlarından çıkan özellik haritalarına bağlanır ve ana sınıflandırıcı ile birlikte eğitilir. Temel amaçları, gradyanların ağın alt katmanlarına daha etkili bir şekilde akmasını sağlamak ve gradyan kaybolma sorununu hafifletmektir. Eğitim sırasında bu yardımcı sınıflandırıcıların kayıpları, ana kayba eklenir ve geriye yayılım bu şekilde gerçekleştirilir. Çıkarım (inference) aşamasında ise yardımcı sınıflandırıcılar kaldırılır.

InceptionV3 Mimarisi ve Bileşenleri

InceptionV3, çok sayıda faktörleştirilmiş Inception modülünden oluşur. Ağın başında standart evrişim ve havuzlama katmanları bulunur. Ardından, ardışık Inception modülleri gelir. Bu modüller, farklı boyutlardaki evrişimleri ve havuzlamaları paralel olarak uygulayıp çıktıları birleştirerek çalışır. Ağın sonuna doğru global ortalama havuzlama (Global Average Pooling) ve bir tam bağlı katman ile softmax aktivasyonu yer alır. Batch Normalization, ağın her yerinde yoğun bir şekilde kullanılır.

InceptionV3’ün Avantajları ve Kullanım Alanları

InceptionV3’ün en büyük avantajları, yüksek doğruluk ve hesaplama verimliliğidir. Faktörleştirme teknikleri sayesinde, AlexNet veya VGG gibi daha basit mimarilere göre çok daha az parametre ve FLOPs (kayan nokta işlemleri) ile benzer veya daha iyi performans sergileyebilir. Bu, onu hem araştırma hem de endüstriyel uygulamalar için cazip hale getirir.

InceptionV3, görüntü sınıflandırma, nesne tespiti, yüz tanıma, tıbbi görüntü analizi gibi birçok bilgisayar görüşü görevinde başarıyla kullanılmıştır. Modüler yapısı, farklı görevlere uyarlanabilirliğini artırır.

SqueezeNet (Verimli ve Küçük Ağlar)

Derin öğrenme modelleri, son yıllarda doğruluk açısından büyük ilerlemeler kaydetse de, bu genellikle model boyutunun ve hesaplama karmaşıklığının artmasıyla birlikte gelmiştir. Birçok modern model, yüzlerce megabayt veya gigabayt boyutunda olabilir, bu da onları sınırlı kaynaklara sahip cihazlarda (mobil telefonlar, gömülü sistemler, IoT cihazları) dağıtmayı zorlaştırır. SqueezeNet, bu sorunu çözmek için tasarlanmıştır.

SqueezeNet’in Motivasyonu: Model Boyutunu Küçültme

SqueezeNet’in temel motivasyonu, AlexNet benzeri doğruluk seviyelerini, AlexNet’ten çok daha küçük bir model boyutuyla elde etmektir. AlexNet, yaklaşık 240 MB büyüklüğündedir ve mobil cihazlarda veya bant genişliği kısıtlı ortamlarda kullanımı pratik değildir. SqueezeNet’in hedefi, model sıkıştırma tekniklerini mimari tasarıma entegre ederek, model boyutunu megabayt seviyesinden kilobayt seviyesine indirmektir.

Model Sıkıştırma Teknikleri

Model sıkıştırma, mevcut büyük bir modelin boyutunu küçültmek için kullanılan teknikler bütünüdür. Bunlar arasında şunlar bulunur:
* Ağırlık budama (Weight Pruning): Önemsiz ağırlıkları ağdan çıkarmak.
* Ağırlık niceleme (Weight Quantization): Ağırlıkları daha düşük bit hassasiyetine dönüştürmek.
* Sıkılaştırma (Distillation): Büyük bir modelin (öğretmen) bilgisini küçük bir modele (öğrenci) aktarmak.
* Mimari tasarım (Architectural Design): Doğrudan küçük ve verimli bir mimari tasarlamak (SqueezeNet’in yaptığı gibi).

SqueezeNet, özellikle dördüncü yaklaşımı benimser: küçük ve verimli bir mimariyi baştan tasarlamak.

Fire Modülü Mimarisi

SqueezeNet’in temel yapı taşı “Fire modülü”dür. Bir Fire modülü, iki ana katmandan oluşur:
1. Squeeze Katmanı: Yalnızca 1×1 evrişim filtreleri içerir. Bu katmanın amacı, bir sonraki expand katmanına giden kanal sayısını azaltmaktır.
2. Expand Katmanı: Hem 1×1 hem de 3×3 evrişim filtrelerini paralel olarak içerir. Bu katman, squeeze katmanından gelen düşük boyutlu özellik haritasını, daha fazla kanal sayısına sahip bir çıktıya dönüştürür.

Bu modül, parametre sayısını minimize ederken, modelin temsil kapasitesini korumayı amaçlar.

Squeeze Katmanı (1×1 Evrişim)

Squeeze katmanı, 1×1 evrişim filtrelerini kullanarak giriş özellik haritasının kanal sayısını azaltır. Örneğin, 128 kanallı bir girişi 64 kanala düşürebilir. 1×1 evrişimler, algılayıcı alanı değiştirmeden (sadece tek bir pikseli görürler), kanal boyutunda bir dönüşüm gerçekleştirirler. Bu, özellikle parametre sayısını azaltmak için çok etkilidir, çünkü 3×3 evrişimlere kıyasla çok daha az ağırlığa sahiptirler. SqueezeNet’in tasarım stratejilerinden biri, 3×3 evrişimlere giden giriş kanallarının sayısını azaltmaktır ve squeeze katmanı bunu sağlar.

Expand Katmanı (1×1 ve 3×3 Evrişimler)

Expand katmanı, squeeze katmanının çıktısını alır ve iki paralel yola böler:
* Bir yol, 1×1 evrişim filtreleri uygular.
* Diğer yol, 3×3 evrişim filtreleri uygular.
Bu iki yolun çıktıları daha sonra kanal boyutunda birleştirilir. Bu sayede, ağ hem yerel (3×3) hem de nokta bazlı (1×1) özellikleri öğrenirken, squeeze katmanının sağladığı kanal indirgeme sayesinde genel parametre sayısını düşük tutar.

Global Ortalama Havuzlama (Global Average Pooling)

SqueezeNet, tıpkı GoogleNet gibi, ağın sonunda tam bağlı katmanlar yerine global ortalama havuzlama (Global Average Pooling – GAP) kullanır. GAP, her özellik haritasının ortalamasını alarak tek bir skaler değer üretir. Bu, tam bağlı katmanlara göre çok daha az parametre gerektirir ve aşırı uyumu azaltmaya yardımcı olur. GAP’in çıktısı doğrudan sınıflandırma katmanına beslenir.

SqueezeNet Mimarisi ve Tasarım Stratejileri

SqueezeNet’in mimarisi, bir başlangıç evrişim katmanı, ardından ardışık Fire modülleri ve son olarak global ortalama havuzlama ile sınıflandırma katmanından oluşur. Modelin tasarımında üç ana strateji benimsenmiştir:
1. 3×3 filtreleri 1×1 filtrelerle değiştirin: Bu, parametre sayısını 9 kat azaltır (3×3 = 9, 1×1 = 1).
2. 3×3 filtrelere giden giriş kanallarının sayısını azaltın: Bu, squeeze katmanının temel görevidir.
3. Ağda havuzlamayı (downsampling) geç yapın: Bu, özellik haritalarının daha büyük uzamsal boyutlarını koruyarak, ağın daha zengin bilgi akışına sahip olmasını sağlar.

Bu stratejiler bir araya geldiğinde, SqueezeNet, AlexNet’e göre 50 kat daha az parametreyle aynı doğruluk seviyesini elde edebilir ve model sıkıştırma teknikleriyle (örneğin, 8 bit niceleme) 510 kat daha küçük hale getirilebilir (0.5 MB).

SqueezeNet’in Avantajları ve Uygulama Alanları

SqueezeNet’in en belirgin avantajı, inanılmaz derecede küçük model boyutudur. Bu, onu mobil cihazlar, gömülü sistemler, IoT cihazları ve diğer kaynak kısıtlı ortamlarda derin öğrenme modellerini dağıtmak için ideal bir seçim haline getirir. Daha küçük modeller, aynı zamanda daha hızlı çıkarım süreleri ve daha az bellek tüketimi anlamına gelir.

SqueezeNet, gerçek zamanlı görüntü işleme, mobil uygulamalarda görüntü tanıma, dronlar ve otonom araçlar gibi alanlarda kullanılabilir. Ayrıca, daha büyük modeller için bir ön-eğitimli (pre-trained) temel olarak da görev yapabilir.

Karşılaştırmalı Analiz ve Sonuç

ResNet, InceptionV3 ve SqueezeNet, her biri derin öğrenme mimarilerinin farklı yönlerine odaklanarak önemli ilerlemeler kaydetmiştir.

Mimarilerin Ortak Noktaları ve Farklılıkları

* ResNet: Ana odak noktası, çok derin ağların eğitimini mümkün kılarak doğruluk artışını sağlamaktır. Bunu rezidüel bağlantılarla (skip connections) başarır. Model boyutu ve hesaplama karmaşıklığı, daha sığ ağlara göre artar, ancak doğruluk kazancı buna değerdir.
* InceptionV3: Hem yüksek doğruluk hem de hesaplama verimliliği arasında bir denge kurmayı hedefler. Bunu, paralel evrişimler (Inception modülü) ve evrişimlerin faktörleştirilmesi (asimetrik evrişimler) ile başarır. Model boyutu ResNet’e göre daha optimize edilmiştir.
* SqueezeNet: Temel amacı, model boyutunu dramatik bir şekilde küçültürken kabul edilebilir bir doğruluk seviyesini korumaktır. Bunu Fire modülü ve 1×1 evrişimlerin yoğun kullanımıyla başarır. Hesaplama verimliliği ve özellikle modelin disk üzerindeki boyutu açısından diğer ikisine göre üstündür.

Her üç mimari de, gradyan akışını iyileştiren ve eğitim istikrarını artıran teknikler kullanır (ResNet’te rezidüel bağlantılar, InceptionV3’te Batch Normalization ve yardımcı sınıflandırıcılar, SqueezeNet’te daha az parametre). Hepsi de ImageNet gibi büyük ölçekli veri setlerinde başarılarını kanıtlamıştır.

Seçim Kriterleri

Bir derin öğrenme mimarisi seçerken, projenin özel gereksinimleri göz önünde bulundurulmalıdır:
* Doğruluk en kritik faktör ise: ResNet, özellikle çok derin versiyonları (ResNet-101, ResNet-152), genellikle en yüksek doğruluk potansiyelini sunar. InceptionV3 de yüksek doğruluk için güçlü bir adaydır.
* Hesaplama verimliliği ve çıkarım hızı önemliyse, ancak doğruluktan çok ödün verilmek istenmiyorsa: InceptionV3, faktörleştirme teknikleri sayesinde iyi bir denge sunar.
* Model boyutu ve dağıtım kısıtlamaları (mobil, gömülü sistemler) birincil öncelik ise: SqueezeNet, rakipsiz küçük boyutuyla en uygun seçenektir. Doğruluk, daha büyük modellerden biraz daha düşük olabilir, ancak bu, boyut avantajı için kabul edilebilir bir takastır.

Sonuç

ResNet, InceptionV3 ve SqueezeNet, derin öğrenme mimarisi tasarımında önemli kilometre taşlarıdır. ResNet, derin ağların eğitimindeki temel engelleri aşarak daha önce hayal bile edilemeyen derinliklere ulaşılmasını sağlamış, InceptionV3 çok ölçekli özellik öğrenimi ve hesaplama verimliliğini bir araya getirmiş, SqueezeNet ise model sıkıştırma ve kaynak kısıtlı ortamlarda dağıtım için yeni bir standart belirlemiştir.

Bu mimarilerin her biri, derin öğrenme araştırmalarına ve uygulamalarına benzersiz katkılar sağlamıştır. Onların yenilikçi yaklaşımları, günümüzdeki birçok ileri düzey modelin temelini oluşturmuş ve gelecekteki mimari tasarımlar için ilham kaynağı olmaya devam edecektir. Derin öğrenmenin sürekli gelişen dünyasında, bu tür mimari yenilikler, yapay zekanın potansiyelini daha da genişletmenin anahtarıdır.