{"id":28296,"date":"2025-08-26T22:00:25","date_gmt":"2025-08-26T19:00:25","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/ogrenci-ogretmen-damitma-model-sikistirma-icin-tam-bir-kilavuz\/"},"modified":"2025-08-26T22:00:25","modified_gmt":"2025-08-26T19:00:25","slug":"ogrenci-ogretmen-damitma-model-sikistirma-icin-tam-bir-kilavuz","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/ogrenci-ogretmen-damitma-model-sikistirma-icin-tam-bir-kilavuz\/","title":{"rendered":"\u00d6\u011frenci-\u00d6\u011fretmen Dam\u0131tma: Model S\u0131k\u0131\u015ft\u0131rma \u0130\u00e7in Tam Bir K\u0131lavuz"},"content":{"rendered":"

\u00d6\u011frenci-\u00d6\u011fretmen Dam\u0131tma: Model S\u0131k\u0131\u015ft\u0131rma \u0130\u00e7in Tam Bir K\u0131lavuz<\/p>\n

Derin \u00f6\u011frenme modelleri giderek karma\u015f\u0131kla\u015f\u0131yor ve bu da b\u00fcy\u00fck hesaplama g\u00fcc\u00fc ve bellek t\u00fcketimine yol a\u00e7\u0131yor. Bu sorunu \u00e7\u00f6zmek i\u00e7in, daha k\u00fc\u00e7\u00fck ve daha verimli modeller olu\u015fturman\u0131n yollar\u0131n\u0131 aramaktay\u0131z. \u00d6\u011frenci-\u00f6\u011fretmen dam\u0131tma (Student-Teacher Distillation), b\u00fcy\u00fck ve karma\u015f\u0131k bir “\u00f6\u011fretmen” modelinden daha k\u00fc\u00e7\u00fck ve daha h\u0131zl\u0131 bir “\u00f6\u011frenci” modelinin e\u011fitimini sa\u011flayan etkili bir model s\u0131k\u0131\u015ft\u0131rma tekni\u011fidir. Bu makale, \u00f6\u011frenci-\u00f6\u011fretmen dam\u0131tman\u0131n temellerini, uygulamalar\u0131n\u0131 ve ileri tekniklerini ad\u0131m ad\u0131m a\u00e7\u0131klayarak, konuyu s\u0131f\u0131rdan \u00f6\u011frenmenize yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n

\u00d6\u011frenci-\u00d6\u011fretmen Dam\u0131tma Nedir? Nas\u0131l \u00c7al\u0131\u015f\u0131r?<\/h2>\n

\u00d6\u011frenci-\u00f6\u011fretmen dam\u0131tma, b\u00fcy\u00fck ve y\u00fcksek performansl\u0131 bir \u00f6\u011fretmen modelinin bilgisini, daha k\u00fc\u00e7\u00fck ve daha verimli bir \u00f6\u011frenci modeline aktarma s\u00fcrecidir. \u00d6\u011fretmen modeli, genellikle b\u00fcy\u00fck bir veri k\u00fcmesi \u00fczerinde e\u011fitilmi\u015f ve y\u00fcksek do\u011fruluk oranlar\u0131na sahip karma\u015f\u0131k bir modeldir. \u00d6\u011frenci modeli ise, kaynaklar\u0131n k\u0131s\u0131tl\u0131 oldu\u011fu durumlarda veya ger\u00e7ek zamanl\u0131 uygulamalarda kullan\u0131lmak \u00fczere tasarlanm\u0131\u015f daha k\u00fc\u00e7\u00fck ve h\u0131zl\u0131 bir modeldir. Bu y\u00f6ntemde, \u00f6\u011fretmen modelinin yumu\u015fak \u00e7\u0131kt\u0131lar\u0131 (softmax olas\u0131l\u0131klar\u0131 yerine, do\u011frudan son katmandan \u00e7\u0131kan de\u011ferler), \u00f6\u011frenci modelinin e\u011fitimi i\u00e7in hedef olarak kullan\u0131l\u0131r. Bu “yumu\u015fak hedefler”, \u00f6\u011frenci modelinin kararl\u0131 bir \u015fekilde \u00f6\u011frenmesini ve genellemeyi kolayla\u015ft\u0131r\u0131r.<\/p>\n

Basit bir benzetme yapacak olursak, deneyimli bir \u00f6\u011fretmen (\u00f6\u011fretmen modeli) \u00f6\u011frencisine (\u00f6\u011frenci modeli) konuyu ayr\u0131nt\u0131l\u0131 olarak anlat\u0131r. \u00d6\u011frenci, \u00f6\u011fretmenin anlat\u0131m\u0131ndan ve verdi\u011fi \u00f6rneklerden faydalanarak konuyu \u00f6\u011frenir. \u00d6\u011fretmenin detayl\u0131 anlat\u0131m\u0131, \u00f6\u011frencinin daha h\u0131zl\u0131 ve daha etkili bir \u015fekilde \u00f6\u011frenmesini sa\u011flar. \u00d6\u011frenci-\u00f6\u011fretmen dam\u0131tmas\u0131nda da benzer bir s\u00fcre\u00e7 izlenir. \u00d6\u011fretmen modelinin detayl\u0131 \u00e7\u0131kt\u0131lar\u0131, \u00f6\u011frenci modelinin daha iyi bir \u015fekilde e\u011fitilmesini sa\u011flar.<\/p>\n

Temel Kavramlar: \u00d6\u011fretmen ve \u00d6\u011frenci Modelleri<\/h2>\n

\u00d6\u011frenci-\u00f6\u011fretmen dam\u0131tmada iki ana bile\u015fen vard\u0131r: \u00f6\u011fretmen modeli ve \u00f6\u011frenci modeli. \u00d6\u011fretmen modeli, genellikle y\u00fcksek performansl\u0131 ve karma\u015f\u0131k bir modeldir. Bu model, b\u00fcy\u00fck bir veri seti \u00fczerinde e\u011fitilmi\u015f ve y\u00fcksek do\u011fruluk oranlar\u0131na sahiptir. \u00d6rne\u011fin, b\u00fcy\u00fck bir g\u00f6r\u00fcnt\u00fc tan\u0131ma modeli, \u00f6\u011fretmen modeli olarak kullan\u0131labilir. \u00d6\u011frenci modeli ise, \u00f6\u011fretmen modelinden daha k\u00fc\u00e7\u00fck ve daha h\u0131zl\u0131 bir modeldir. Bu model, kaynaklar\u0131n k\u0131s\u0131tl\u0131 oldu\u011fu durumlarda veya ger\u00e7ek zamanl\u0131 uygulamalarda kullan\u0131lmak \u00fczere tasarlanm\u0131\u015ft\u0131r. \u00d6\u011frenci modeli, genellikle \u00f6\u011fretmen modelinden daha az parametreye sahiptir ve daha az hesaplama g\u00fcc\u00fc gerektirir. \u00d6rne\u011fin, mobil cihazlar i\u00e7in tasarlanm\u0131\u015f bir g\u00f6r\u00fcnt\u00fc tan\u0131ma modeli, \u00f6\u011frenci modeli olarak kullan\u0131labilir. \u00d6\u011fretmen ve \u00f6\u011frenci modelleri ayn\u0131 mimariye sahip olabilir veya farkl\u0131 mimarilerde olabilirler.<\/p>\n

\u00d6\u011fretmen modelinin se\u00e7imi, \u00f6\u011frenci modelinin performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde etkiler. Y\u00fcksek performansl\u0131 bir \u00f6\u011fretmen modeli, \u00f6\u011frenci modelinin daha iyi bir \u015fekilde e\u011fitilmesini sa\u011flar. \u00d6\u011frenci modelinin mimarisi ise, kaynak k\u0131s\u0131tlamalar\u0131na ve uygulama gereksinimlerine ba\u011fl\u0131 olarak se\u00e7ilir. \u00d6\u011frenci modelinin mimarisi, \u00f6\u011fretmen modelinden daha basit olabilir, ancak yine de y\u00fcksek performans g\u00f6stermesi ama\u00e7lan\u0131r.<\/p>\n

Uygulamal\u0131 K\u0131s\u0131m: \u00d6\u011frenci-\u00d6\u011fretmen Dam\u0131tma Nas\u0131l Uygulan\u0131r?<\/h2>\n

\u00d6\u011frenci-\u00f6\u011fretmen dam\u0131tman\u0131n uygulanmas\u0131, birka\u00e7 ad\u0131mda ger\u00e7ekle\u015ftirilir. \u0130lk olarak, b\u00fcy\u00fck bir veri seti \u00fczerinde y\u00fcksek performansl\u0131 bir \u00f6\u011fretmen modeli e\u011fitilir. Daha sonra, \u00f6\u011fretmen modelinin \u00e7\u0131kt\u0131lar\u0131 kullan\u0131larak, daha k\u00fc\u00e7\u00fck bir \u00f6\u011frenci modeli e\u011fitilir. \u00d6\u011frenci modelinin e\u011fitimi s\u0131ras\u0131nda, \u00f6\u011fretmen modelinin yumu\u015fak \u00e7\u0131kt\u0131lar\u0131, \u00f6\u011frenci modelinin hedefleri olarak kullan\u0131l\u0131r. Bu yumu\u015fak hedefler, \u00f6\u011frenci modelinin daha iyi bir \u015fekilde genellemesini sa\u011flar. Son olarak, \u00f6\u011frenci modelinin performans\u0131, \u00f6\u011fretmen modelinin performans\u0131yla kar\u015f\u0131la\u015ft\u0131r\u0131larak de\u011ferlendirilir.<\/p>\n

\u0130\u015fte ad\u0131m ad\u0131m bir uygulama \u00f6rne\u011fi:<\/p>\n

    \n
  1. \u00d6\u011fretmen Modelinin E\u011fitimi:<\/b> \u00d6ncelikle, b\u00fcy\u00fck bir veri seti kullan\u0131larak y\u00fcksek performansl\u0131 bir \u00f6\u011fretmen modeli e\u011fitilir. Bu ad\u0131mda, y\u00fcksek do\u011fruluk oran\u0131na sahip bir model elde etmek \u00f6nemlidir. \u00d6rne\u011fin, bir ResNet-50 modeli, \u00f6\u011fretmen modeli olarak kullan\u0131labilir.<\/li>\n
  2. \u00d6\u011frenci Modelinin Se\u00e7imi:<\/b> Daha sonra, kaynaklar\u0131n k\u0131s\u0131tl\u0131 oldu\u011fu durumlarda veya ger\u00e7ek zamanl\u0131 uygulamalarda kullan\u0131lmak \u00fczere daha k\u00fc\u00e7\u00fck ve h\u0131zl\u0131 bir \u00f6\u011frenci modeli se\u00e7ilir. \u00d6rne\u011fin, bir MobileNet modeli, \u00f6\u011frenci modeli olarak kullan\u0131labilir.<\/li>\n
  3. \u00d6\u011frenci Modelinin E\u011fitimi:<\/b> \u00d6\u011frenci modeli, \u00f6\u011fretmen modelinin yumu\u015fak \u00e7\u0131kt\u0131lar\u0131 kullan\u0131larak e\u011fitilir. Bu yumu\u015fak hedefler, \u00f6\u011frenci modelinin daha iyi bir \u015fekilde genellemesini sa\u011flar. E\u011fitim s\u00fcreci, standart bir derin \u00f6\u011frenme k\u00fct\u00fcphanesi kullan\u0131larak ger\u00e7ekle\u015ftirilebilir.<\/li>\n
  4. Performans De\u011ferlendirmesi:<\/b> Son olarak, \u00f6\u011frenci modelinin performans\u0131, \u00f6\u011fretmen modelinin performans\u0131yla kar\u015f\u0131la\u015ft\u0131r\u0131larak de\u011ferlendirilir. \u00d6\u011frenci modelinin performans\u0131, \u00f6\u011fretmen modelinin performans\u0131na yak\u0131n olmal\u0131d\u0131r. Bu ad\u0131mda, do\u011fruluk oran\u0131, kay\u0131p fonksiyonu ve i\u015flem s\u00fcresi gibi metrikler kullan\u0131labilir.<\/li>\n<\/ol>\n

    Kod \u00d6rne\u011fi (PyTorch):<\/h2>\n
    import torch\nimport torch.nn as nn\nimport torch.optim as optim\n\n# \u00d6\u011fretmen modeli (\u00f6rnek olarak basit bir sinir a\u011f\u0131)\nteacher_model = nn.Sequential(\n    nn.Linear(10, 50),\n    nn.ReLU(),\n    nn.Linear(50, 10)\n)\n\n# \u00d6\u011frenci modeli (\u00f6rnek olarak daha k\u00fc\u00e7\u00fck bir sinir a\u011f\u0131)\nstudent_model = nn.Sequential(\n    nn.Linear(10, 20),\n    nn.ReLU(),\n    nn.Linear(20, 10)\n)\n\n# Kay\u0131p fonksiyonu\ncriterion = nn.MSELoss()\n\n# Optimizasyon algoritmas\u0131\noptimizer = optim.Adam(student_model.parameters(), lr=0.001)\n\n# \u00d6\u011fretmen modelinin \u00e7\u0131kt\u0131lar\u0131 \u00f6\u011frenci modelinin hedefleri olarak kullan\u0131l\u0131r\n# ... (E\u011fitim d\u00f6ng\u00fcs\u00fc burada ger\u00e7ekle\u015ftirilir) ...<\/pre>\n
    <\/code><\/p>\n
    \u0130leri D\u00fczey Teknikler:  Farkl\u0131 Dam\u0131tma Y\u00f6ntemleri<\/h2>\n
    Temel \u00f6\u011frenci-\u00f6\u011fretmen dam\u0131tman\u0131n \u00f6tesinde, daha geli\u015fmi\u015f teknikler de mevcuttur. Bunlardan baz\u0131lar\u0131:<\/p>\n