B\u00fcy\u00fck Dil Modelleri (LLM’ler) hayat\u0131m\u0131z\u0131n her alan\u0131na girerken, bu modellerin \u00e7\u0131kar\u0131m (inference) maliyetleri, \u00f6zellikle y\u00fcksek hacimli uygulamalar i\u00e7in kritik bir karar fakt\u00f6r\u00fc haline geldi. Peki, ne zaman sunucusuz \u00e7\u00f6z\u00fcmler, ne zaman tahsisli bulut kaynaklar\u0131, ne zaman da kendi sunucular\u0131m\u0131z en ekonomik se\u00e7enek olur? Bu makalede, LLM \u00e7\u0131kar\u0131m\u0131 i\u00e7in farkl\u0131 bar\u0131nd\u0131rma stratejilerini derinlemesine inceleyecek, maliyet optimizasyonunun p\u00fcf noktalar\u0131n\u0131 ele alacak ve kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn asl\u0131nda ne zaman daha ucuz hale geldi\u011fini ger\u00e7ek d\u00fcnya senaryolar\u0131yla a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n
G\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla geli\u015fen dijital d\u00fcnyas\u0131nda, B\u00fcy\u00fck Dil Modelleri (LLM’ler) yapay zeka uygulamalar\u0131n\u0131n temel ta\u015flar\u0131ndan biri haline gelmi\u015ftir. Sohbet botlar\u0131ndan i\u00e7erik \u00fcretimine, kod tamamlamadan karma\u015f\u0131k veri analizine kadar geni\u015f bir yelpazede kullan\u0131lan bu modeller, i\u015fletmelerin ve geli\u015ftiricilerin inovasyon h\u0131z\u0131n\u0131 art\u0131rmaktad\u0131r. Ancak, bu g\u00fc\u00e7l\u00fc ara\u00e7lar\u0131n yayg\u0131nla\u015fmas\u0131yla birlikte, LLM \u00e7\u0131kar\u0131m\u0131n\u0131n (yani e\u011fitilmi\u015f bir modelin yeni veriler \u00fczerinde tahminler yapmas\u0131 veya \u00e7\u0131kt\u0131 \u00fcretmesi s\u00fcreci) beraberinde getirdi\u011fi maliyetler de \u00f6nemli bir g\u00fcndem maddesi olmu\u015ftur. \u00d6zellikle y\u00fcksek performans gerektiren ve s\u00fcrekli \u00e7al\u0131\u015fan uygulamalar i\u00e7in, \u00e7\u0131kar\u0131m maliyetleri toplam i\u015fletme maliyetlerinin b\u00fcy\u00fck bir k\u0131sm\u0131n\u0131 olu\u015fturabilir. Bu durum, do\u011fru bar\u0131nd\u0131rma stratejisini se\u00e7menin sadece teknik bir tercih olmaktan \u00e7\u0131k\u0131p, do\u011frudan i\u015fin karl\u0131l\u0131\u011f\u0131n\u0131 etkileyen stratejik bir karar haline gelmesine neden olmaktad\u0131r.<\/p>\n
LLM’lerin boyutu, karma\u015f\u0131kl\u0131\u011f\u0131 ve i\u015flenen veri miktar\u0131 artt\u0131k\u00e7a, \u00e7\u0131kar\u0131m i\u00e7in gereken bilgi i\u015flem g\u00fcc\u00fc de katlanarak artar. Bu genellikle, \u00f6zellikle GPU’lar gibi pahal\u0131 donan\u0131mlar gerektiren yo\u011fun bir s\u00fcre\u00e7tir. Dolay\u0131s\u0131yla, bir modelin her bir sorgusu i\u00e7in yap\u0131lan hesaplama, enerji t\u00fcketimi ve altyap\u0131 kullan\u0131m\u0131, zamanla birikerek ciddi maliyetlere yol a\u00e7abilir. \u00d6rne\u011fin, saniyede binlerce sorgu alan bir uygulama i\u00e7in, her bir sorgudan kaynaklanan k\u00fc\u00e7\u00fck bir maliyet fark\u0131 bile ay sonunda milyonlarca dolarl\u0131k bir fatura anlam\u0131na gelebilir. Bu nedenle, geli\u015ftiriciler ve \u015firketler, LLM \u00e7\u0131kar\u0131m\u0131n\u0131 en verimli ve maliyet-etkin \u015fekilde nas\u0131l ger\u00e7ekle\u015ftirebileceklerini s\u00fcrekli olarak ara\u015ft\u0131rmaktad\u0131r. Bu aray\u0131\u015f, sunucusuz (serverless) fonksiyonlardan tahsisli bulut sunucular\u0131na ve hatta kendi bar\u0131nd\u0131rma (self-hosted) \u00e7\u00f6z\u00fcmlerine kadar \u00e7e\u015fitli yakla\u015f\u0131mlar\u0131n ortaya \u00e7\u0131kmas\u0131na zemin haz\u0131rlam\u0131\u015ft\u0131r. Her bir yakla\u015f\u0131m\u0131n kendine \u00f6zg\u00fc avantajlar\u0131, dezavantajlar\u0131 ve maliyet yap\u0131lar\u0131 bulunmaktad\u0131r, bu da karar verme s\u00fcrecini daha da karma\u015f\u0131k hale getirmektedir. Bu makale, bu karma\u015f\u0131k karar a\u011fac\u0131nda yolunuzu bulman\u0131za yard\u0131mc\u0131 olmay\u0131 ama\u00e7lamaktad\u0131r.<\/p>\n
B\u00fcy\u00fck Dil Modellerinin (LLM) \u00e7\u0131kar\u0131m\u0131n\u0131 ger\u00e7ekle\u015ftirmek i\u00e7in \u00fc\u00e7 ana bar\u0131nd\u0131rma modeli \u00f6ne \u00e7\u0131kmaktad\u0131r: sunucusuz, tahsisli ve kendi bar\u0131nd\u0131rma. Her bir model, farkl\u0131 kullan\u0131m senaryolar\u0131na, b\u00fct\u00e7e k\u0131s\u0131tlamalar\u0131na ve teknik yetkinliklere uygun \u00e7\u00f6z\u00fcmler sunar. Bu modelleri anlamak, projenizin ihtiya\u00e7lar\u0131na en uygun ve maliyet-etkin stratejiyi belirlemenin ilk ad\u0131m\u0131d\u0131r.<\/p>\n
Sunucusuz LLM \u00e7\u0131kar\u0131m\u0131, \u00f6zellikle d\u00fczensiz veya de\u011fi\u015fken i\u015f y\u00fcklerine sahip uygulamalar i\u00e7in cazip bir se\u00e7enektir. Bu modelde, altyap\u0131 y\u00f6netimi tamamen bulut sa\u011flay\u0131c\u0131s\u0131na b\u0131rak\u0131l\u0131r. Geli\u015ftiriciler sadece kodlar\u0131n\u0131 da\u011f\u0131t\u0131r ve model \u00e7\u0131kar\u0131m\u0131 i\u00e7in gerekli kaynaklar, talep \u00fczerine otomatik olarak sa\u011flan\u0131r ve \u00f6l\u00e7eklenir. Kullan\u0131m bitti\u011finde ise kaynaklar serbest b\u0131rak\u0131l\u0131r, bu da “kulland\u0131\u011f\u0131n kadar \u00f6de” (pay-as-you-go) modelini benimsemeyi sa\u011flar.<\/p>\n
D\u00fc\u015f\u00fck hacimli API’ler, prototipler, ara s\u0131ra \u00e7al\u0131\u015fan arka plan g\u00f6revleri, chatbot’lar i\u00e7in d\u00fc\u015f\u00fck trafik d\u00f6nemleri. \u00d6rne\u011fin, bir web sitesindeki ileti\u015fim formundan gelen metinleri \u00f6zetlemek veya nadiren kullan\u0131lan bir dil \u00e7eviri arac\u0131.<\/p>\n
\n\/\/ AWS Lambda \u00fczerinde Python ile basit bir LLM \u00e7\u0131kar\u0131m \u00f6rne\u011fi (pseudo-code)\nimport json\nimport os\nimport boto3\n\n# Model y\u00fckleme i\u015flemi, Lambda fonksiyonunun ya\u015fam d\u00f6ng\u00fcs\u00fcnde bir kez ger\u00e7ekle\u015fir\n# Bu, so\u011fuk ba\u015flang\u0131\u00e7 gecikmesini azaltmaya yard\u0131mc\u0131 olur\nmodel = None\n\ndef load_model():\n global model\n if model is None:\n # Ger\u00e7ek bir senaryoda, model S3'ten indirilir veya EFS'ten y\u00fcklenir\n # \u00d6rne\u011fin: model = load_my_llm_model_from_s3(os.environ['MODEL_BUCKET'], os.environ['MODEL_KEY'])\n # Basit bir placeholder:\n print(\"LLM modeli y\u00fckleniyor...\")\n model = {\"name\": \"SimpleLLM\", \"version\": \"1.0\"} # \u00d6rnek model objesi\n print(\"LLM modeli y\u00fcklendi.\")\n return model\n\ndef lambda_handler(event, context):\n global model\n if model is None:\n model = load_model()\n\n try:\n body = json.loads(event['body'])\n prompt = body.get('prompt')\n\n if not prompt:\n return {\n 'statusCode': 400,\n 'body': json.dumps({'error': 'Prompt is required'})\n }\n\n # Model \u00e7\u0131kar\u0131m\u0131n\u0131 burada ger\u00e7ekle\u015ftir\n # \u00d6rne\u011fin: response_text = model.generate(prompt)\n response_text = f\"LLM'den yan\u0131t: '{prompt}' i\u00e7in yapay zeka taraf\u0131ndan \u00fcretilen i\u00e7erik.\"\n\n return {\n 'statusCode': 200,\n 'body': json.dumps({'response': response_text})\n }\n except Exception as e:\n print(f\"Hata olu\u015ftu: {e}\")\n return {\n 'statusCode': 500,\n 'body': json.dumps({'error': str(e)})\n }\n\n<\/code><\/pre>\nTahsisli (Dedicated) LLM \u00c7\u0131kar\u0131m\u0131: Kontrol ve Tutarl\u0131 Performans<\/h3>\n
Tahsisli LLM \u00e7\u0131kar\u0131m\u0131, genellikle bulut sa\u011flay\u0131c\u0131lar\u0131n\u0131n sanal makineleri (VM’ler) veya \u00f6zel olarak yap\u0131land\u0131r\u0131lm\u0131\u015f u\u00e7 noktalar\u0131 (endpoints) arac\u0131l\u0131\u011f\u0131yla ger\u00e7ekle\u015ftirilir. Bu modelde, belirli bir sunucu veya GPU kayna\u011f\u0131 s\u00fcrekli olarak uygulaman\u0131za tahsis edilir. Bu, modelin her zaman bellekte y\u00fckl\u00fc ve \u00e7\u0131kar\u0131m i\u00e7in haz\u0131r oldu\u011fu anlam\u0131na gelir, bu da so\u011fuk ba\u015flang\u0131\u00e7 gecikmelerini ortadan kald\u0131r\u0131r ve daha tutarl\u0131 performans sunar.<\/p>\n
Avantajlar\u0131:<\/h4>\n\n- Tutarl\u0131 Performans:<\/strong> Modelin s\u00fcrekli y\u00fckl\u00fc olmas\u0131 sayesinde d\u00fc\u015f\u00fck ve \u00f6ng\u00f6r\u00fclebilir gecikme s\u00fcreleri elde edilir. Ger\u00e7ek zamanl\u0131 ve y\u00fcksek performans gerektiren uygulamalar i\u00e7in kritiktir.<\/li>\n
- Daha Fazla Kontrol:<\/strong> Altyap\u0131 \u00fczerinde daha fazla kontrol imkan\u0131 sunar. \u0130\u015fletim sistemi, yaz\u0131l\u0131m y\u0131\u011f\u0131n\u0131 ve g\u00fcvenlik yap\u0131land\u0131rmalar\u0131 \u00f6zelle\u015ftirilebilir.<\/li>\n
- Maliyet \u00d6ng\u00f6r\u00fclebilirli\u011fi:<\/strong> Genellikle sabit ayl\u0131k veya saatlik \u00fccretlerle \u00e7al\u0131\u015ft\u0131\u011f\u0131 i\u00e7in maliyetler daha kolay tahmin edilebilir. Rezervasyonlu \u00f6rnekler (reserved instances) ile maliyetler daha da d\u00fc\u015f\u00fcr\u00fclebilir.<\/li>\n
- Daha Az Kaynak K\u0131s\u0131tlamas\u0131:<\/strong> Sunucusuz \u00e7\u00f6z\u00fcmlere k\u0131yasla daha b\u00fcy\u00fck LLM’leri veya daha yo\u011fun \u00e7\u0131kar\u0131m i\u015f y\u00fcklerini bar\u0131nd\u0131rabilir.<\/li>\n<\/ul>\n
Dezavantajlar\u0131:<\/h4>\n\n- Bo\u015fta Bekleme Maliyetleri:<\/strong> Kaynaklar s\u00fcrekli tahsis edildi\u011fi i\u00e7in, kullan\u0131mda olmasalar bile maliyet olu\u015ftururlar. Bu, d\u00fc\u015f\u00fck kullan\u0131m d\u00f6nemlerinde verimsizli\u011fe yol a\u00e7abilir.<\/li>\n
- Y\u00f6netim Y\u00fck\u00fc:<\/strong> Sunucu i\u015fletim sistemi, ba\u011f\u0131ml\u0131l\u0131klar ve g\u00fcvenlik g\u00fcncellemeleri gibi y\u00f6netim g\u00f6revleri geli\u015ftiriciye aittir.<\/li>\n
- \u00d6l\u00e7eklendirme Karma\u015f\u0131kl\u0131\u011f\u0131:<\/strong> Otomatik \u00f6l\u00e7eklendirme genellikle manuel yap\u0131land\u0131rma gerektirir ve sunucusuz \u00e7\u00f6z\u00fcmler kadar an\u0131nda veya esnek olmayabilir.<\/li>\n<\/ul>\n
Kullan\u0131m Senaryolar\u0131:<\/h4>\n
Y\u00fcksek trafikli API’ler, ger\u00e7ek zamanl\u0131 \u00e7eviri veya \u00f6zetleme hizmetleri, s\u00fcrekli \u00e7al\u0131\u015fan chatbot’lar, belirli bir gecikme s\u00fcresi garantisi gerektiren \u00fcretim ortamlar\u0131. \u00d6rne\u011fin, bir e-ticaret sitesinde \u00fcr\u00fcn a\u00e7\u0131klamalar\u0131n\u0131 an\u0131nda olu\u015fturan bir LLM veya m\u00fc\u015fteri hizmetleri botu.<\/p>\n
Self-Hosted (Kendi Bar\u0131nd\u0131rma) LLM \u00c7\u0131kar\u0131m\u0131: Nihai Kontrol ve Maliyet Potansiyeli<\/h3>\n
Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc, LLM \u00e7\u0131kar\u0131m\u0131n\u0131 kendi fiziksel sunucular\u0131n\u0131zda, veri merkezinizde veya \u00f6zel bulut altyap\u0131n\u0131zda \u00e7al\u0131\u015ft\u0131rmak anlam\u0131na gelir. Bu model, donan\u0131m se\u00e7iminden yaz\u0131l\u0131m y\u0131\u011f\u0131n\u0131na kadar her \u015fey \u00fczerinde tam kontrol sa\u011flar. Ba\u015flang\u0131\u00e7 maliyetleri y\u00fcksek olabilir, ancak belirli ko\u015fullar alt\u0131nda uzun vadede en ekonomik \u00e7\u00f6z\u00fcm haline gelebilir.<\/p>\n
Avantajlar\u0131:<\/h4>\n\n- Tam Kontrol:<\/strong> Donan\u0131m, yaz\u0131l\u0131m, a\u011f ve g\u00fcvenlik yap\u0131land\u0131rmalar\u0131 \u00fczerinde tam yetki. \u00d6zel g\u00fcvenlik veya uyumluluk gereksinimleri olan durumlar i\u00e7in idealdir.<\/li>\n
- Uzun Vadede Maliyet Avantaj\u0131:<\/strong> Y\u00fcksek ve s\u00fcrekli kullan\u0131m senaryolar\u0131nda, donan\u0131m amortisman s\u00fcresi sonunda bulut maliyetlerinden daha ucuza gelebilir. \u00d6zellikle pahal\u0131 GPU’lar\u0131n tam kapasite kullan\u0131ld\u0131\u011f\u0131 durumlarda belirgindir.<\/li>\n
- Veri Egemenli\u011fi:<\/strong> Hassas verilerin bulut ortam\u0131na \u00e7\u0131kmas\u0131n\u0131 istemeyen veya yasal d\u00fczenlemeler nedeniyle bunu yapamayan kurulu\u015flar i\u00e7in uygundur.<\/li>\n
- Performans Optimizasyonu:<\/strong> Donan\u0131ma \u00f6zel optimizasyonlar yap\u0131labilir, bu da maksimum performans elde edilmesini sa\u011flar.<\/li>\n<\/ul>\n
Dezavantajlar\u0131:<\/h4>\n\n- Y\u00fcksek Ba\u015flang\u0131\u00e7 Maliyeti:<\/strong> Sunucu, GPU, a\u011f altyap\u0131s\u0131 ve veri merkezi alan\u0131 i\u00e7in \u00f6nemli bir ilk yat\u0131r\u0131m gerektirir.<\/li>\n
- Y\u00fcksek Operasyonel Y\u00fck:<\/strong> Donan\u0131m bak\u0131m\u0131, enerji t\u00fcketimi, so\u011futma, a\u011f y\u00f6netimi, g\u00fcvenlik ve yaz\u0131l\u0131m g\u00fcncellemeleri gibi t\u00fcm operasyonel sorumluluklar i\u015fletmeye aittir. Bu, uzman personel gerektirir.<\/li>\n
- \u00d6l\u00e7eklendirme Zorlu\u011fu:<\/strong> Talep art\u0131\u015flar\u0131na fiziksel donan\u0131m ekleyerek yan\u0131t vermek zaman al\u0131c\u0131 ve maliyetlidir. Esneklik bulut \u00e7\u00f6z\u00fcmlerine g\u00f6re daha d\u00fc\u015f\u00fckt\u00fcr.<\/li>\n
- Riski Y\u00fcksek:<\/strong> Donan\u0131m ar\u0131zalar\u0131, elektrik kesintileri veya do\u011fal afetler gibi durumlar do\u011frudan hizmet kesintisine yol a\u00e7abilir. Y\u00fcksek eri\u015filebilirlik i\u00e7in ek yat\u0131r\u0131mlar gerekir.<\/li>\n<\/ul>\n
Kullan\u0131m Senaryolar\u0131:<\/h4>\n
\u00c7ok y\u00fcksek hacimli ve s\u00fcrekli LLM \u00e7\u0131kar\u0131m i\u015f y\u00fckleri, \u00f6zel donan\u0131m gerektiren modeller, veri egemenli\u011fi veya yasal uyumluluk gereksinimleri olan uygulamalar, uzun vadede maliyet optimizasyonu hedeflenen b\u00fcy\u00fck \u00f6l\u00e7ekli kurumsal \u00e7\u00f6z\u00fcmler. \u00d6rne\u011fin, kendi \u015firket i\u00e7i arama motorunu g\u00fc\u00e7lendiren bir LLM veya binlerce \u00e7al\u0131\u015fan\u0131n her g\u00fcn kulland\u0131\u011f\u0131 bir kurumsal yapay zeka asistan\u0131.<\/p>\n
Maliyet Analizi ve K\u0131r\u0131lma Noktas\u0131: Ne Zaman Kendi Bar\u0131nd\u0131rma \u00c7\u00f6z\u00fcm\u00fc Daha Ucuz Hale Gelir?<\/h2>\n
LLM \u00e7\u0131kar\u0131m\u0131 i\u00e7in kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn maliyet avantaj\u0131 sa\u011flamas\u0131, genellikle belirli bir kullan\u0131m e\u015fi\u011finin ve operasyonel olgunlu\u011fun a\u015f\u0131lmas\u0131yla m\u00fcmk\u00fcn olur. Bu k\u0131r\u0131lma noktas\u0131, projenin \u00f6l\u00e7e\u011fi, kullan\u0131m yo\u011funlu\u011fu, modelin b\u00fcy\u00fckl\u00fc\u011f\u00fc ve organizasyonun teknik yetkinlikleri gibi bir\u00e7ok fakt\u00f6re ba\u011fl\u0131d\u0131r. Ba\u015flang\u0131\u00e7ta y\u00fcksek olan donan\u0131m ve kurulum maliyetleri, uzun vadede bulut hizmetlerinin s\u00fcrekli \u00f6deme modeline g\u00f6re daha ekonomik hale gelebilir.<\/p>\n
\u00d6l\u00e7ek, Kullan\u0131m Yo\u011funlu\u011fu ve Maliyet \u0130li\u015fkisi<\/h3>\n
Maliyet analizi yaparken, projenin \u00f6l\u00e7e\u011fi ve LLM’in kullan\u0131m yo\u011funlu\u011fu en kritik parametrelerdir. Sunucusuz \u00e7\u00f6z\u00fcmler, d\u00fc\u015f\u00fck ve d\u00fczensiz kullan\u0131m i\u00e7in en uygun maliyetli se\u00e7enektir \u00e7\u00fcnk\u00fc sadece kullan\u0131lan kaynaklar i\u00e7in \u00f6deme yap\u0131l\u0131r. Ancak, kullan\u0131m hacmi artt\u0131k\u00e7a, her bir iste\u011fin maliyeti (\u00f6zellikle so\u011fuk ba\u015flang\u0131\u00e7 gecikmeleri ve kaynak k\u0131s\u0131tlamalar\u0131 nedeniyle) h\u0131zla y\u00fckselebilir ve \u00f6ng\u00f6r\u00fclemez hale gelebilir. Tahsisli bulut sunucular\u0131, orta ila y\u00fcksek d\u00fczeyde s\u00fcrekli kullan\u0131m i\u00e7in daha iyi bir denge sunar. Sabit bir ayl\u0131k \u00fccret kar\u015f\u0131l\u0131\u011f\u0131nda tutarl\u0131 performans sa\u011flarlar, ancak yine de bo\u015fta bekleme maliyetleri vard\u0131r.<\/p>\n
Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc ise, \u00e7ok y\u00fcksek ve s\u00fcrekli kullan\u0131m senaryolar\u0131nda parlar. Bir GPU’nun veya sunucunun sat\u0131n alma maliyeti sabit oldu\u011fundan, bu donan\u0131m\u0131n kullan\u0131m oran\u0131 ne kadar y\u00fcksek olursa, birim \u00e7\u0131kar\u0131m ba\u015f\u0131na d\u00fc\u015fen maliyet de o kadar d\u00fc\u015fer. \u00d6rne\u011fin, bir Nvidia A100 GPU’nun maliyeti 10.000-15.000 dolar civar\u0131nda olabilirken, bulut sa\u011flay\u0131c\u0131larda saatlik kiras\u0131 3-5 dolar aras\u0131nda de\u011fi\u015febilir. E\u011fer bu GPU’yu g\u00fcnde 24 saat, haftada 7 g\u00fcn tam kapasite kullan\u0131yorsan\u0131z, ayl\u0131k bulut maliyeti 2.160-3.600 dolar aras\u0131nda olacakt\u0131r. Bu durumda, kendi GPU’nuzu yakla\u015f\u0131k 4-7 ayda amorti edebilirsiniz. Amortisman s\u00fcresi sonunda, donan\u0131m maliyeti s\u0131f\u0131ra d\u00fc\u015fer ve sadece elektrik, so\u011futma ve bak\u0131m gibi operasyonel giderler kal\u0131r.<\/p>\n
Donan\u0131m Maliyetleri vs. Bulut Hizmet Maliyetleri<\/h3>\n
Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcnde en b\u00fcy\u00fck kalem donan\u0131m maliyetleridir. LLM’ler genellikle y\u00fcksek performansl\u0131 GPU’lar gerektirir. \u00d6rne\u011fin, Meta’n\u0131n Llama 2 7B modeli i\u00e7in 12GB VRAM yeterli olabilirken, 70B modeli i\u00e7in en az 2 adet 80GB VRAM’e sahip A100 veya H100 GPU gerekebilir. Bu GPU’lar\u0131n fiyatlar\u0131 on binlerce dolara ula\u015fabilir. Ayr\u0131ca, sunucu kasas\u0131, CPU, RAM, depolama ve a\u011f ekipmanlar\u0131 da maliyete eklenir. Bulut hizmetlerinde ise bu donan\u0131mlar\u0131n sat\u0131n alma maliyetleri yoktur, bunun yerine kullan\u0131m bazl\u0131 veya tahsis bazl\u0131 kiralama \u00fccretleri \u00f6denir. A\u015fa\u011f\u0131daki tablo, bu maliyet fark\u0131n\u0131 \u00f6zetlemektedir:<\/p>\n
\n\n\nMaliyet Kalemi<\/th>\n Self-Hosted<\/th>\n Dedicated Cloud<\/th>\n Serverless Cloud<\/th>\n<\/tr>\n<\/thead>\n \n\nDonan\u0131m Sat\u0131n Alma<\/strong><\/td>\nY\u00fcksek (\u00d6nceden)<\/td>\n Yok<\/td>\n Yok<\/td>\n<\/tr>\n \nDonan\u0131m Kiras\u0131<\/strong><\/td>\nYok<\/td>\n Y\u00fcksek (S\u00fcrekli)<\/td>\n De\u011fi\u015fken (Kullan\u0131m Ba\u015f\u0131na)<\/td>\n<\/tr>\n \nEnerji T\u00fcketimi<\/strong><\/td>\nY\u00fcksek (S\u00fcrekli)<\/td>\n Dahil (Kiraya)<\/td>\n Dahil (Kullan\u0131m Ba\u015f\u0131na)<\/td>\n<\/tr>\n \nSo\u011futma\/Veri Merkezi<\/strong><\/td>\nY\u00fcksek (S\u00fcrekli)<\/td>\n Dahil (Kiraya)<\/td>\n Dahil (Kullan\u0131m Ba\u015f\u0131na)<\/td>\n<\/tr>\n \nBak\u0131m\/Destek<\/strong><\/td>\nY\u00fcksek (\u0130\u015fg\u00fcc\u00fc)<\/td>\n Dahil (Bulut)<\/td>\n Dahil (Bulut)<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nOperasyonel Maliyetler (\u0130\u015fg\u00fcc\u00fc, Bak\u0131m, Enerji)<\/h3>\n
Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc, sadece donan\u0131m sat\u0131n alma maliyetiyle bitmez. Sunucular\u0131n \u00e7al\u0131\u015f\u0131r durumda tutulmas\u0131, enerji t\u00fcketimi, so\u011futma, fiziksel g\u00fcvenlik, a\u011f altyap\u0131s\u0131 ve d\u00fczenli bak\u0131m gibi \u00f6nemli operasyonel giderler vard\u0131r. En \u00f6nemlisi, bu altyap\u0131y\u0131 y\u00f6netecek uzman bir IT ekibine ihtiya\u00e7 duyulur. Bu i\u015fg\u00fcc\u00fc maliyeti, \u00f6zellikle k\u00fc\u00e7\u00fck ve orta \u00f6l\u00e7ekli \u015firketler i\u00e7in bulut hizmetlerinin sundu\u011fu y\u00f6netim kolayl\u0131\u011f\u0131na k\u0131yasla \u00f6nemli bir y\u00fck olu\u015fturabilir. Bulut sa\u011flay\u0131c\u0131lar\u0131 ise t\u00fcm bu operasyonel y\u00fck\u00fc kendi \u00fczerlerine alarak, geli\u015ftiricilerin sadece uygulamalar\u0131na odaklanmas\u0131n\u0131 sa\u011flar. Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn ekonomik hale gelmesi i\u00e7in, bu operasyonel maliyetlerin (donan\u0131m amortisman\u0131 ile birlikte) bulut hizmetlerinin toplam maliyetinden daha d\u00fc\u015f\u00fck olmas\u0131 gerekir.<\/p>\n
Lisanslama ve Yaz\u0131l\u0131m Maliyetleri<\/h3>\n
Baz\u0131 LLM’ler veya \u00e7\u0131kar\u0131m motorlar\u0131 \u00f6zel lisanslama gerektirebilir. Kendi bar\u0131nd\u0131rma durumunda, bu lisanslama maliyetleri do\u011frudan size ait olur. Bulut ortam\u0131nda ise, baz\u0131 sa\u011flay\u0131c\u0131lar bu lisanslar\u0131 hizmet paketlerine dahil edebilir veya daha esnek \u00f6deme modelleri sunabilir. A\u00e7\u0131k kaynakl\u0131 LLM’lerin (\u00f6rn. Llama 2, Mixtral) yayg\u0131nla\u015fmas\u0131yla bu maliyet kalemi azalm\u0131\u015f olsa da, \u00f6zel veya ticari modeller kullan\u0131l\u0131yorsa dikkate al\u0131nmal\u0131d\u0131r. Ayr\u0131ca, \u00e7\u0131kar\u0131m performans\u0131n\u0131 optimize etmek i\u00e7in kullan\u0131lan yaz\u0131l\u0131mlar (\u00f6rn. vLLM, TensorRT-LLM) genellikle a\u00e7\u0131k kaynak olsa da, bunlar\u0131n kurulumu ve bak\u0131m\u0131 i\u00e7in gerekli i\u015fg\u00fcc\u00fc bir maliyettir.<\/p>\n
\u00d6zetle, kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn daha ucuz hale geldi\u011fi k\u0131r\u0131lma noktas\u0131, genellikle ayl\u0131k bulut faturas\u0131n\u0131n, kendi donan\u0131m\u0131n\u0131z\u0131n amortisman maliyeti (genellikle 1-3 y\u0131l) ve operasyonel giderlerin toplam\u0131n\u0131 a\u015ft\u0131\u011f\u0131 zamand\u0131r. Bu, genellikle \u00e7ok y\u00fcksek ve s\u00fcrekli LLM \u00e7\u0131kar\u0131m talebi olan, ayn\u0131 zamanda bu altyap\u0131y\u0131 y\u00f6netecek teknik yetkinli\u011fe ve sermayeye sahip b\u00fcy\u00fck kurulu\u015flar i\u00e7in ge\u00e7erlidir. \u00d6rne\u011fin, g\u00fcnde y\u00fcz milyonlarca token \u00fcreten veya saniyede y\u00fczlerce istek alan bir uygulama, kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcnden \u00f6nemli \u00f6l\u00e7\u00fcde fayda sa\u011flayabilir.<\/p>\n
Vaka Analizleri ve Ger\u00e7ek D\u00fcnya Senaryolar\u0131: Do\u011fru Se\u00e7imi Yapmak<\/h2>\n
LLM \u00e7\u0131kar\u0131m bar\u0131nd\u0131rma stratejisi se\u00e7imi, projenin mevcut durumu, gelecekteki b\u00fcy\u00fcme beklentileri ve b\u00fct\u00e7e k\u0131s\u0131tlamalar\u0131 g\u00f6z \u00f6n\u00fcnde bulundurularak yap\u0131lmal\u0131d\u0131r. \u0130\u015fte farkl\u0131 senaryolar i\u00e7in en uygun \u00e7\u00f6z\u00fcmler:<\/p>\n
K\u00fc\u00e7\u00fck Proje veya Prototip: Sunucusuz Neden \u0130deal?<\/h3>\n
Bir startup’\u0131n yeni bir yapay zeka destekli \u00f6zellik fikrini test etti\u011fini veya bir geli\u015ftiricinin ki\u015fisel bir proje i\u00e7in LLM entegrasyonu yapt\u0131\u011f\u0131n\u0131 d\u00fc\u015f\u00fcnelim. Bu senaryolarda, kullan\u0131m hacmi ba\u015flang\u0131\u00e7ta d\u00fc\u015f\u00fck ve d\u00fczensiz olacakt\u0131r. Modelin ne kadar talep g\u00f6rece\u011fi veya projenin ba\u015far\u0131l\u0131 olup olmayaca\u011f\u0131 belirsizdir. Bu durumda, sunucusuz \u00e7\u00f6z\u00fcmler (\u00f6rne\u011fin AWS Lambda + SageMaker Serverless Inference veya Google Cloud Run + Vertex AI) en mant\u0131kl\u0131 se\u00e7enektir.<\/p>\n
Neden?<\/strong><\/p>\n\n- S\u0131f\u0131r \u00d6n Maliyet:<\/strong> Donan\u0131m sat\u0131n alma veya uzun vadeli taahh\u00fctler yok. Sadece kullan\u0131ld\u0131\u011f\u0131 kadar \u00f6deme yap\u0131l\u0131r. Bu, b\u00fct\u00e7esi k\u0131s\u0131tl\u0131 projeler i\u00e7in hayati \u00f6nem ta\u015f\u0131r.<\/li>\n
- H\u0131zl\u0131 Geli\u015ftirme:<\/strong> Altyap\u0131 y\u00f6netimi y\u00fck\u00fc olmad\u0131\u011f\u0131 i\u00e7in geli\u015ftiriciler do\u011frudan model entegrasyonuna ve i\u015f mant\u0131\u011f\u0131na odaklanabilir.<\/li>\n
- Otomatik \u00d6l\u00e7eklendirme:<\/strong> E\u011fer proje beklenmedik bir \u015fekilde pop\u00fcler olursa, sunucusuz mimari otomatik olarak \u00f6l\u00e7eklenir ve hizmet kesintisi ya\u015fanmaz.<\/li>\n<\/ul>\n
\u00d6rnek Vaka:<\/strong> Bir i\u00e7erik olu\u015fturma startup’\u0131, kullan\u0131c\u0131lar\u0131n anahtar kelimeler girerek makale taslaklar\u0131 olu\u015fturmas\u0131n\u0131 sa\u011flayan bir prototip geli\u015ftiriyor. Ba\u015flang\u0131\u00e7ta g\u00fcnde sadece birka\u00e7 y\u00fcz istek bekleniyor. Sunucusuz bir \u00e7\u00f6z\u00fcmle, geli\u015ftiriciler Llama 2’nin 7B versiyonunu (k\u00fc\u00e7\u00fck boyutlu ve h\u0131zl\u0131) bir serverless fonksiyona da\u011f\u0131t\u0131r. \u0130lk ay fatura sadece birka\u00e7 dolar gelir. E\u011fer proje ba\u015far\u0131l\u0131 olur ve g\u00fcnde binlerce iste\u011fe ula\u015f\u0131rsa, sistem otomatik olarak \u00f6l\u00e7eklenir ve startup, operasyonel y\u00fck olmadan b\u00fcy\u00fcmeye devam edebilir.<\/p>\nOrta \u00d6l\u00e7ekli Uygulama: Tahsisli Ne Zaman Mant\u0131kl\u0131?<\/h3>\n
Bir \u015firket, m\u00fc\u015fteri hizmetleri chatbot’unu LLM ile g\u00fc\u00e7lendiriyor veya bir e-ticaret platformunda \u00fcr\u00fcn tavsiyeleri i\u00e7in s\u00fcrekli \u00e7al\u0131\u015fan bir yapay zeka motoru kullan\u0131yor. Bu t\u00fcr uygulamalar, belirli bir d\u00fczeyde s\u00fcrekli ve \u00f6ng\u00f6r\u00fclebilir trafik hacmine sahiptir. Gecikme s\u00fcresi (latency) kritik \u00f6neme sahiptir ve so\u011fuk ba\u015flang\u0131\u00e7lar kabul edilemez.<\/p>\n
Neden?<\/strong><\/p>\n\n- Tutarl\u0131 Performans ve D\u00fc\u015f\u00fck Gecikme:<\/strong> Modelin s\u00fcrekli bellekte y\u00fckl\u00fc olmas\u0131, her zaman h\u0131zl\u0131 yan\u0131t s\u00fcreleri sa\u011flar.<\/li>\n
- Maliyet \u00d6ng\u00f6r\u00fclebilirli\u011fi:<\/strong> Ayl\u0131k sabit \u00fccretler sayesinde b\u00fct\u00e7eleme daha kolayd\u0131r. Belirli bir kullan\u0131m seviyesinin \u00fczerinde, tahsisli sunucular sunucusuzdan daha uygun maliyetli hale gelebilir.<\/li>\n
- Daha Fazla Kontrol:<\/strong> Belirli g\u00fcvenlik gereksinimleri veya performans optimizasyonlar\u0131 i\u00e7in altyap\u0131 \u00fczerinde daha fazla kontrol imkan\u0131 sunar.<\/li>\n<\/ul>\n
\u00d6rnek Vaka:<\/strong> B\u00fcy\u00fck bir finans \u015firketi, m\u00fc\u015fteri sorgular\u0131n\u0131 an\u0131nda yan\u0131tlamak i\u00e7in \u00f6zelle\u015ftirilmi\u015f bir LLM tabanl\u0131 chatbot kullan\u0131yor. G\u00fcnde ortalama 10.000’den fazla sorgu al\u0131yorlar ve yan\u0131t s\u00fcresi m\u00fc\u015fteriler i\u00e7in kritik. AWS SageMaker Endpoint veya Azure Machine Learning gibi tahsisli bir \u00e7\u00f6z\u00fcm kullanarak, belirli bir GPU \u00f6rne\u011fini (\u00f6rne\u011fin, Nvidia T4 GPU’lu bir instance) s\u00fcrekli \u00e7al\u0131\u015f\u0131r durumda tutarlar. Bu, modelin her zaman haz\u0131r olmas\u0131n\u0131 ve so\u011fuk ba\u015flang\u0131\u00e7 gecikmesi olmadan tutarl\u0131 bir \u015fekilde 200-300 ms i\u00e7inde yan\u0131t vermesini sa\u011flar. Ayl\u0131k maliyetler sabittir ve beklenmedik dalgalanmalar ya\u015fanmaz.<\/p>\nY\u00fcksek Hacimli veya \u00d6zel Model: Kendi Bar\u0131nd\u0131rma \u00c7\u00f6z\u00fcm\u00fcn\u00fcn Parlad\u0131\u011f\u0131 Anlar<\/h3>\n
B\u00fcy\u00fck bir teknoloji \u015firketi, kendi arama motorunu veya dahili kurumsal bilgi taban\u0131n\u0131 g\u00fc\u00e7lendiren \u00e7ok b\u00fcy\u00fck (\u00f6rne\u011fin 70B veya daha fazla parametreli) bir LLM’i \u00e7al\u0131\u015ft\u0131r\u0131yor. G\u00fcnde milyonlarca token \u00fcretimi veya saniyede y\u00fczlerce istekle kar\u015f\u0131 kar\u015f\u0131yalar. Ayr\u0131ca, hassas verilerle \u00e7al\u0131\u015ft\u0131klar\u0131 i\u00e7in bulut ortam\u0131na veri g\u00f6ndermek istemiyorlar veya yasal uyumluluk gereksinimleri var.<\/p>\n
Neden?<\/strong><\/p>\n\n- Maliyet Optimizasyonu:<\/strong> \u00c7ok y\u00fcksek ve s\u00fcrekli kullan\u0131m hacimlerinde, donan\u0131m amortisman\u0131 tamamland\u0131ktan sonra kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc bulut maliyetlerinden \u00f6nemli \u00f6l\u00e7\u00fcde daha ucuz hale gelir.<\/li>\n
- Tam Kontrol ve \u00d6zelle\u015ftirme:<\/strong> Donan\u0131m ve yaz\u0131l\u0131m y\u0131\u011f\u0131n\u0131 \u00fczerinde tam kontrol, performans\u0131 maksimize etmek ve \u00f6zel g\u00fcvenlik gereksinimlerini kar\u015f\u0131lamak i\u00e7in kritik \u00f6neme sahiptir.<\/li>\n
- Veri Egemenli\u011fi ve G\u00fcvenlik:<\/strong> Hassas verilerin \u015firket d\u0131\u015f\u0131na \u00e7\u0131kmas\u0131n\u0131 engeller, mevzuata uyumlulu\u011fu kolayla\u015ft\u0131r\u0131r.<\/li>\n<\/ul>\n
\u00d6rnek Vaka:<\/strong> Bir yapay zeka ara\u015ft\u0131rma laboratuvar\u0131, yeni nesil bir LLM \u00fczerinde \u00e7al\u0131\u015f\u0131yor ve bu modeli dahili uygulamalar\u0131nda kullan\u0131yor. Modelin boyutu 100 milyar parametrenin \u00fczerinde ve \u00e7\u0131kar\u0131m i\u00e7in birden fazla H100 GPU’ya ihtiya\u00e7 duyuyor. G\u00fcnde y\u00fcz binlerce \u00e7\u0131kar\u0131m iste\u011fi al\u0131yorlar. Bulut sa\u011flay\u0131c\u0131lardan bu kadar y\u00fcksek performansl\u0131 ve s\u00fcrekli kaynak kiralamak ayl\u0131k on binlerce dolara mal olacak. Bunun yerine, laboratuvar kendi veri merkezlerine 4 adet H100 GPU’lu bir sunucu kurmaya karar verir. Ba\u015flang\u0131\u00e7 maliyeti yakla\u015f\u0131k 100.000 dolar olsa da, 1.5-2 y\u0131l i\u00e7inde bu maliyeti amorti edeceklerini ve sonras\u0131nda sadece enerji ve bak\u0131m giderleriyle \u00e7al\u0131\u015facaklar\u0131n\u0131 hesaplarlar. Bu sayede, uzun vadede milyonlarca dolarl\u0131k tasarruf sa\u011flarlar ve modelleri \u00fczerinde tam kontrol sahibi olurlar.<\/p>\nTeknik Uygulama ve Optimizasyon \u0130pu\u00e7lar\u0131: Kendi Bar\u0131nd\u0131rma \u00c7\u00f6z\u00fcm\u00fcn\u00fc Kurma<\/h2>\n
Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc kurmak, dikkatli planlama ve teknik uzmanl\u0131k gerektirir. Ancak do\u011fru ad\u0131mlarla, y\u00fcksek performansl\u0131 ve maliyet-etkin bir LLM \u00e7\u0131kar\u0131m altyap\u0131s\u0131 olu\u015fturmak m\u00fcmk\u00fcnd\u00fcr.<\/p>\n
Model Se\u00e7imi ve Nicelle\u015ftirme (Quantization)<\/h3>\n
Bir LLM’i kendi sunucunuzda \u00e7al\u0131\u015ft\u0131rmadan \u00f6nce, modelin boyutunu ve gereksinimlerini g\u00f6z \u00f6n\u00fcnde bulundurmal\u0131s\u0131n\u0131z. Daha k\u00fc\u00e7\u00fck modeller (\u00f6rne\u011fin 7B veya 13B parametreli Llama 2) daha az VRAM gerektirir ve daha d\u00fc\u015f\u00fck maliyetli GPU’larda \u00e7al\u0131\u015fabilir. Modelin performans\u0131n\u0131 art\u0131rmak ve VRAM t\u00fcketimini azaltmak i\u00e7in nicelle\u015ftirme (quantization) teknikleri kritik \u00f6neme sahiptir. Nicelle\u015ftirme, model a\u011f\u0131rl\u0131klar\u0131n\u0131 daha d\u00fc\u015f\u00fck bit hassasiyetine (\u00f6rne\u011fin FP16’dan INT8 veya INT4’e) d\u00f6n\u00fc\u015ft\u00fcrerek modelin boyutunu k\u00fc\u00e7\u00fclt\u00fcrken, genellikle kabul edilebilir bir performans d\u00fc\u015f\u00fc\u015f\u00fcyle \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. Bu, daha az pahal\u0131 GPU’lar kullanman\u0131za veya tek bir GPU’da daha b\u00fcy\u00fck bir model \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131r.<\/p>\n
\u00d6rne\u011fin, bir 70B parametreli modeli FP16 hassasiyetinde \u00e7al\u0131\u015ft\u0131rmak yakla\u015f\u0131k 140GB VRAM gerektirirken (70B * 2 byte\/parametre), 4-bit nicelle\u015ftirme ile bu ihtiya\u00e7 35GB VRAM’e d\u00fc\u015f\u00fcr\u00fclebilir (70B * 0.5 byte\/parametre). Bu, tek bir 40GB VRAM’e sahip A100 GPU’da \u00e7al\u0131\u015ft\u0131r\u0131labilece\u011fi anlam\u0131na gelir.<\/p>\n
\u00c7\u0131kar\u0131m Motorlar\u0131 (vLLM, TGI, TensorRT-LLM)<\/h3>\n
LLM \u00e7\u0131kar\u0131m\u0131n\u0131 optimize etmek i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f \u00e7\u0131kar\u0131m motorlar\u0131 kullanmak, performans\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rabilir. Bu motorlar, GPU kullan\u0131m\u0131n\u0131 maksimize eden, bellek optimizasyonlar\u0131 yapan ve paralel \u00e7\u0131kar\u0131m teknikleri uygulayan geli\u015fmi\u015f algoritmalar i\u00e7erir:<\/p>\n
\n- vLLM:<\/strong> \u00d6zellikle y\u00fcksek verimli (throughput) \u00e7\u0131kar\u0131m i\u00e7in tasarlanm\u0131\u015ft\u0131r. PagedAttention gibi teknikler kullanarak anahtar\/de\u011fer \u00f6nbellek kullan\u0131m\u0131n\u0131 optimize eder ve daha fazla iste\u011fi ayn\u0131 anda i\u015fleyebilir.<\/li>\n
- Text Generation Inference (TGI):<\/strong> Hugging Face taraf\u0131ndan geli\u015ftirilen bu ara\u00e7, pop\u00fcler transformer modelleri i\u00e7in optimize edilmi\u015f bir \u00e7\u0131kar\u0131m sunucusu sa\u011flar. Docker konteynerleri arac\u0131l\u0131\u011f\u0131yla kolay da\u011f\u0131t\u0131m ve d\u00fc\u015f\u00fck gecikme s\u00fcresi sunar.<\/li>\n
- TensorRT-LLM:<\/strong> NVIDIA taraf\u0131ndan geli\u015ftirilen bu k\u00fct\u00fcphane, NVIDIA GPU’lar\u0131 i\u00e7in \u00f6zel olarak optimize edilmi\u015ftir. Modelleri derleyerek ve donan\u0131m h\u0131zland\u0131rmadan en iyi \u015fekilde yararlanarak son derece y\u00fcksek performans ve d\u00fc\u015f\u00fck gecikme s\u00fcresi sa\u011flar.<\/li>\n<\/ul>\n
GPU Se\u00e7imi ve Optimizasyonu<\/h3>\n
Do\u011fru GPU se\u00e7imi, kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn ba\u015far\u0131s\u0131 i\u00e7in hayati \u00f6neme sahiptir. LLM’ler i\u00e7in VRAM (Video RAM) miktar\u0131, modelin boyutunu belirleyen en kritik fakt\u00f6rd\u00fcr. Ard\u0131ndan, \u00e7ekirdek say\u0131s\u0131 ve bellek bant geni\u015fli\u011fi gibi fakt\u00f6rler \u00e7\u0131kar\u0131m h\u0131z\u0131n\u0131 etkiler. Genellikle NVIDIA’n\u0131n Ampere (A100) veya Hopper (H100) mimarisine sahip profesyonel GPU’lar\u0131 tercih edilir. Ancak, b\u00fct\u00e7e k\u0131s\u0131tl\u0131 projeler i\u00e7in RTX 4090 gibi t\u00fcketici s\u0131n\u0131f\u0131 GPU’lar da nicelle\u015ftirilmi\u015f modellerle iyi performans g\u00f6sterebilir.<\/p>\n
GPU optimizasyonu i\u00e7in \u015funlar yap\u0131labilir:<\/p>\n
\n- Model Paralelle\u015ftirme:<\/strong> \u00c7ok b\u00fcy\u00fck modelleri birden fazla GPU’ya da\u011f\u0131tmak.<\/li>\n
- Batching (Toplu \u0130\u015fleme):<\/strong> Birden fazla \u00e7\u0131kar\u0131m iste\u011fini tek bir GPU i\u015flemi olarak grupland\u0131rmak, GPU kullan\u0131m\u0131n\u0131 art\u0131r\u0131r ve verimlili\u011fi y\u00fckseltir.<\/li>\n
- \u00d6nbellekleme:<\/strong> Tekrarlayan veya benzer sorgular i\u00e7in sonu\u00e7lar\u0131 \u00f6nbelle\u011fe almak, gereksiz hesaplamalar\u0131 \u00f6nler.<\/li>\n<\/ul>\n
\u00d6rnek Kod: Basit bir LLM \u00c7\u0131kar\u0131m API’si Kurma (Self-Hosted i\u00e7in)<\/h3>\n
Kendi sunucunuzda basit bir LLM \u00e7\u0131kar\u0131m API’si kurmak i\u00e7in Python ve FastAPI gibi web \u00e7er\u00e7eveleri ile Hugging Face’in transformers<\/code> k\u00fct\u00fcphanesini kullanabilirsiniz. Bu \u00f6rnek, nicelle\u015ftirilmi\u015f bir modeli y\u00fcklemeyi ve bir API u\u00e7 noktas\u0131 \u00fczerinden \u00e7\u0131kar\u0131m yapmay\u0131 g\u00f6sterir.<\/p>\n\n# app.py\nfrom fastapi import FastAPI, HTTPException\nfrom pydantic import BaseModel\nfrom transformers import AutoModelForCausalLM, AutoTokenizer\nimport torch\nimport os\n\napp = FastAPI(\n title=\"Self-Hosted LLM Inference API\",\n description=\"Basit bir FastAPI uygulamas\u0131 ile kendi sunucunuzda LLM \u00e7\u0131kar\u0131m\u0131 yap\u0131n.\"\n)\n\n# Model ve tokenizer'\u0131 global olarak y\u00fckle\n# Bu, uygulaman\u0131n her ba\u015flang\u0131c\u0131nda bir kez y\u00fcklenmesini sa\u011flar\n# ve her istekte yeniden y\u00fckleme maliyetini ortadan kald\u0131r\u0131r.\nmodel = None\ntokenizer = None\nmodel_name = \"mistralai\/Mistral-7B-Instruct-v0.2\" # \u00d6rnek model\n# Nicelle\u015ftirme i\u00e7in 4-bit (bitsandbytes k\u00fct\u00fcphanesi gerektirir)\nquantization_config = {\"load_in_4bit\": True, \"bnb_4bit_quant_type\": \"nf4\", \"bnb_4bit_compute_dtype\": torch.bfloat16}\n\n@app.on_event(\"startup\")\nasync def load_llm_model():\n global model, tokenizer\n try:\n print(f\"Model y\u00fckleniyor: {model_name}...\")\n tokenizer = AutoTokenizer.from_pretrained(model_name)\n model = AutoModelForCausalLM.from_pretrained(\n model_name,\n device_map=\"auto\", # Otomatik olarak uygun cihaza (GPU varsa GPU'ya) yerle\u015ftir\n quantization_config=quantization_config if torch.cuda.is_available() else None,\n torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32\n )\n model.eval() # \u00c7\u0131kar\u0131m moduna ayarla\n print(\"Model ba\u015far\u0131yla y\u00fcklendi.\")\n except Exception as e:\n print(f\"Model y\u00fcklenirken hata olu\u015ftu: {e}\")\n # Uygulaman\u0131n ba\u015flamas\u0131n\u0131 engellemek i\u00e7in hata f\u0131rlat\u0131labilir\n # raise RuntimeError(\"LLM modeli y\u00fcklenemedi.\")\n\nclass InferenceRequest(BaseModel):\n prompt: str\n max_new_tokens: int = 128\n temperature: float = 0.7\n\n@app.post(\"\/generate\")\nasync def generate_text(request: InferenceRequest):\n if model is None or tokenizer is None:\n raise HTTPException(status_code=503, detail=\"LLM modeli hen\u00fcz y\u00fcklenmedi veya y\u00fcklenirken hata olu\u015ftu.\")\n\n try:\n inputs = tokenizer(request.prompt, return_tensors=\"pt\").to(model.device)\n \n with torch.no_grad(): # Gradient hesaplamalar\u0131n\u0131 devre d\u0131\u015f\u0131 b\u0131rak, \u00e7\u0131kar\u0131m i\u00e7in gereksizdir\n outputs = model.generate(\n **inputs,\n max_new_tokens=request.max_new_tokens,\n temperature=request.temperature,\n do_sample=True, # Daha yarat\u0131c\u0131 \u00e7\u0131kt\u0131lar i\u00e7in \u00f6rnekleme kullan\n pad_token_id=tokenizer.eos_token_id # Padding token'\u0131 tan\u0131mla\n )\n \n response_text = tokenizer.decode(outputs[0], skip_special_tokens=True)\n # Giri\u015f prompt'unu \u00e7\u0131kt\u0131dan kald\u0131r\n response_text = response_text[len(request.prompt):].strip()\n\n return {\"generated_text\": response_text}\n except Exception as e:\n print(f\"Metin olu\u015fturulurken hata olu\u015ftu: {e}\")\n raise HTTPException(status_code=500, detail=f\"Metin olu\u015fturulurken bir hata olu\u015ftu: {str(e)}\")\n\n# Uygulamay\u0131 ba\u015flatmak i\u00e7in: uvicorn app:app --host 0.0.0.0 --port 8000\n<\/code><\/pre>\nBu kodu \u00e7al\u0131\u015ft\u0131rmak i\u00e7in gerekli ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00fcklemeniz gerekir: pip install fastapi uvicorn transformers torch bitsandbytes<\/code>. Ard\u0131ndan, bir GPU’ya sahip bir sunucuda uvicorn app:app --host 0.0.0.0 --port 8000<\/code> komutuyla API’yi ba\u015flatabilirsiniz. Bu, kendi LLM \u00e7\u0131kar\u0131m hizmetinizi bar\u0131nd\u0131rmak i\u00e7in sa\u011flam bir ba\u015flang\u0131\u00e7 noktas\u0131 sunar.<\/p>\nMobil Uyumluluk ve Eri\u015filebilirlik: Duyarl\u0131 Tasar\u0131m\u0131n \u00d6nemi<\/h2>\n
LLM \u00e7\u0131kar\u0131m hizmetinizi bir API olarak sundu\u011funuzda, bu hizmeti t\u00fcketecek \u00f6n u\u00e7 uygulamalar\u0131n\u0131n (web siteleri, mobil uygulamalar vb.) duyarl\u0131 ve eri\u015filebilir olmas\u0131 kritik \u00f6neme sahiptir. Kendi bar\u0131nd\u0131rma stratejisinin do\u011frudan bir par\u00e7as\u0131 olmasa da, sunulan API’nin kullan\u0131c\u0131ya ula\u015fma bi\u00e7imi genel kullan\u0131c\u0131 deneyimini etkiler. Modern web ve mobil uygulamalar, farkl\u0131 ekran boyutlar\u0131na ve cihazlara uyum sa\u011flayabilen duyarl\u0131 tasar\u0131mlar gerektirir. Bu, HTML ve CSS’i do\u011fru bir \u015fekilde kullanarak sa\u011flan\u0131r.<\/p>\n
\u00d6rne\u011fin, bir LLM API’sini kullanan bir web uygulamas\u0131 geli\u015ftirirken, CSS medya sorgular\u0131 (media queries) ile mobil cihazlar i\u00e7in farkl\u0131 d\u00fczenler tan\u0131mlanabilir. Bu, kullan\u0131c\u0131lar\u0131n cep telefonlar\u0131ndan veya tabletlerinden de LLM destekli uygulamalar\u0131n\u0131 sorunsuz bir \u015fekilde kullanabilmelerini sa\u011flar.<\/p>\n
\n\/* styles.css - Basit bir mobil uyumlu CSS \u00f6rne\u011fi *\/\nbody {\n font-family: Arial, sans-serif;\n margin: 0;\n padding: 1rem;\n color: inherit; \/* Tema renklerini miras al *\/\n background-color: inherit; \/* Tema arka plan renklerini miras al *\/\n}\n\n.container {\n max-width: 960px;\n margin: 0 auto;\n padding: 1rem;\n border: 1px solid inherit; \/* Tema kenarl\u0131k renklerini miras al *\/\n border-radius: 8px;\n box-shadow: 0 2px 4px rgba(0, 0, 0, 0.1); \/* Hafif g\u00f6lge *\/\n}\n\nh2, h3 {\n color: inherit; \/* Tema renklerini miras al *\/\n}\n\n\/* Mobil cihazlar i\u00e7in medya sorgusu *\/\n@media (max-width: 768px) {\n .container {\n padding: 0.5rem;\n border-radius: 0; \/* Mobil cihazlarda kenarl\u0131k yuvarlamas\u0131n\u0131 kald\u0131rabiliriz *\/\n }\n\n h2 {\n font-size: 1.5rem;\n }\n\n h3 {\n font-size: 1.2rem;\n }\n\n p {\n font-size: 0.9rem;\n }\n}\n\n\/* \u00c7ok k\u00fc\u00e7\u00fck ekranlar i\u00e7in *\/\n@media (max-width: 480px) {\n body {\n padding: 0.5rem;\n }\n}\n<\/code><\/pre>\nBu CSS kodu, genel bir stil tan\u0131mlar ve ard\u0131ndan @media<\/code> kurallar\u0131 ile belirli ekran geni\u015flikleri i\u00e7in stilleri ge\u00e7ersiz k\u0131lar. Bu sayede, uygulaman\u0131z\u0131n LLM API’si ne kadar g\u00fc\u00e7l\u00fc olursa olsun, kullan\u0131c\u0131lar hangi cihaz\u0131 kullan\u0131rlarsa kullans\u0131nlar tutarl\u0131 ve keyifli bir deneyim ya\u015fayabilirler.<\/p>\nSonu\u00e7 ve Gelecek Perspektifi: Do\u011fru Karar\u0131 Vermek<\/h2>\n
B\u00fcy\u00fck Dil Modellerinin (LLM) \u00e7\u0131kar\u0131m\u0131n\u0131 bar\u0131nd\u0131rma karar\u0131, projenizin mevcut ve gelecekteki ihtiya\u00e7lar\u0131na g\u00f6re dikkatlice de\u011ferlendirilmesi gereken karma\u015f\u0131k bir s\u00fcre\u00e7tir. Sunucusuz \u00e7\u00f6z\u00fcmler, ba\u015flang\u0131\u00e7 a\u015famas\u0131ndaki veya d\u00fczensiz kullan\u0131ma sahip projeler i\u00e7in benzersiz bir esneklik ve maliyet etkinli\u011fi sunarken, tahsisli bulut kaynaklar\u0131 tutarl\u0131 performans ve orta \u00f6l\u00e7ekli, s\u00fcrekli i\u015f y\u00fckleri i\u00e7in idealdir. Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc ise, \u00e7ok y\u00fcksek hacimli, s\u00fcrekli ve hassas veri i\u00e7eren uygulamalar i\u00e7in uzun vadede en ekonomik ve kontrol odakl\u0131 se\u00e7enektir.<\/p>\n
Unutulmamal\u0131d\u0131r ki, kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcn\u00fcn maliyet avantaj\u0131 sa\u011flamas\u0131, ancak belirli bir kullan\u0131m e\u015fi\u011finin \u00fczerinde ve operasyonel yetkinliklere sahip bir kurulu\u015f i\u00e7in ge\u00e7erlidir. Donan\u0131m sat\u0131n alma, kurulum, enerji, so\u011futma ve uzman personel istihdam\u0131 gibi \u00f6nemli \u00f6n ve operasyonel maliyetler g\u00f6z ard\u0131 edilmemelidir. Bu nedenle, bir LLM projesine ba\u015flarken, esneklik ve h\u0131zl\u0131 da\u011f\u0131t\u0131m i\u00e7in sunucusuz veya tahsisli bulut \u00e7\u00f6z\u00fcmleriyle ba\u015flamak, ard\u0131ndan kullan\u0131m artt\u0131k\u00e7a ve maliyetler y\u00fckseldik\u00e7e kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcne ge\u00e7i\u015f yapmak genellikle ak\u0131ll\u0131ca bir stratejidir. Gelecekte, LLM’lerin optimizasyon teknikleri (nicelle\u015ftirme, \u00e7\u0131kar\u0131m motorlar\u0131) ve donan\u0131m verimlili\u011fi artt\u0131k\u00e7a, kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcmlerinin eri\u015filebilirli\u011fi ve maliyet etkinli\u011fi daha da artacakt\u0131r. Do\u011fru karar\u0131 vermek i\u00e7in, projenizin benzersiz gereksinimlerini, b\u00fct\u00e7esini ve teknik kapasitesini s\u00fcrekli olarak de\u011ferlendirmek esast\u0131r.<\/p>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n\n- \n S: Hangi LLM bar\u0131nd\u0131rma modeli yeni ba\u015flayanlar i\u00e7in en iyisidir?<\/strong><\/p>\n
C: Yeni ba\u015flayanlar ve prototipler i\u00e7in sunucusuz (serverless) \u00e7\u00f6z\u00fcmler en iyisidir. D\u00fc\u015f\u00fck ba\u015flang\u0131\u00e7 maliyeti, otomatik \u00f6l\u00e7eklendirme ve altyap\u0131 y\u00f6netimi y\u00fck\u00fcn\u00fcn olmamas\u0131 sayesinde h\u0131zl\u0131 bir \u015fekilde ba\u015flayabilirler.<\/p>\n<\/li>\n
- \n S: Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcne ge\u00e7mek i\u00e7in hangi kullan\u0131m hacmine ula\u015fmal\u0131y\u0131m?<\/strong><\/p>\n
C: Kesin bir say\u0131 olmamakla birlikte, ayl\u0131k bulut faturan\u0131z\u0131n birka\u00e7 bin dolar\u0131 a\u015ft\u0131\u011f\u0131 ve bu maliyetin s\u00fcrekli artt\u0131\u011f\u0131 durumlarda kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fc d\u00fc\u015f\u00fcn\u00fclmeye ba\u015flanabilir. Bu genellikle, bir veya daha fazla y\u00fcksek performansl\u0131 GPU’yu g\u00fcnde 24 saat, haftada 7 g\u00fcn tam kapasite kullanacak kadar s\u00fcrekli ve yo\u011fun bir i\u015f y\u00fck\u00fc anlam\u0131na gelir.<\/p>\n<\/li>\n
- \n S: Kendi bar\u0131nd\u0131rma \u00e7\u00f6z\u00fcm\u00fcnde operasyonel maliyetleri nas\u0131l d\u00fc\u015f\u00fcrebilirim?<\/strong><\/p>\n
C: Enerji verimli donan\u0131mlar se\u00e7erek, sunucular\u0131 optimize ederek (\u00f6rne\u011fin bo\u015fta kalma s\u00fcrelerinde d\u00fc\u015f\u00fck g\u00fc\u00e7 modlar\u0131na ge\u00e7erek), iyi bir so\u011futma sistemi kurarak ve a\u00e7\u0131k kaynakl\u0131 \u00e7\u0131kar\u0131m motorlar\u0131 (vLLM, TGI) kullanarak yaz\u0131l\u0131m maliyetlerini d\u00fc\u015f\u00fcrebilirsiniz. Ayr\u0131ca, otomasyon ara\u00e7lar\u0131 ile y\u00f6netim y\u00fck\u00fcn\u00fc azaltmak da \u00f6nemlidir.<\/p>\n<\/li>\n
- \n S: Hangi LLM’ler kendi sunucumda \u00e7al\u0131\u015ft\u0131rmak i\u00e7in daha uygundur?<\/strong><\/p>\n
C: Genellikle a\u00e7\u0131k kaynakl\u0131 ve nicelle\u015ftirme (quantization) se\u00e7enekleri sunan modeller (\u00f6rne\u011fin Llama 2, Mistral, Mixtral) kendi sunucular\u0131nda \u00e7al\u0131\u015ft\u0131rmak i\u00e7in daha uygundur. Bu modeller, daha k\u00fc\u00e7\u00fck GPU’larda bile \u00e7al\u0131\u015ft\u0131r\u0131labilir ve lisanslama maliyeti yoktur.<\/p>\n<\/li>\n<\/ul>\n