\u00c7oklu Sa\u011flay\u0131c\u0131 LLM Y\u00f6nlendirme: Mimariniz Neden Sorun De\u011fil \u00c7\u00f6z\u00fcm?<\/p>\n
\u00dcretim ortam\u0131nda b\u00fcy\u00fck dil modelleri (LLM’ler) kullanmaya ba\u015flad\u0131\u011f\u0131m\u0131zda, genellikle tek bir sa\u011flay\u0131c\u0131yla yola \u00e7\u0131kar\u0131z. Ancak zamanla, i\u015f ihtiya\u00e7lar\u0131m\u0131z \u00e7e\u015fitlendik\u00e7e veya maliyet, performans, g\u00fcvenilirlik gibi fakt\u00f6rler devreye girdik\u00e7e, birden fazla LLM sa\u011flay\u0131c\u0131s\u0131yla \u00e7al\u0131\u015fmak ka\u00e7\u0131n\u0131lmaz hale gelir. OpenAI, Anthropic, Google Gemini, veya a\u00e7\u0131k kaynakl\u0131 modelleri kendi altyap\u0131m\u0131zda bar\u0131nd\u0131rmak gibi se\u00e7enekler, bize esneklik sunar. Ancak bu esneklik, beraberinde “\u00e7oklu sa\u011flay\u0131c\u0131 LLM y\u00f6nlendirme” denilen karma\u015f\u0131k bir problemi getirir. Bir\u00e7ok geli\u015ftirici i\u00e7in bu, uygulaman\u0131n karar verme mant\u0131\u011f\u0131na ek bir y\u00fck, hata potansiyeli ve y\u00f6netim zorlu\u011fu olarak alg\u0131lan\u0131r.<\/p>\n
Peki, bu neden bir sorun gibi g\u00f6r\u00fcn\u00fcyor? Temel nedenlerden biri, her LLM sa\u011flay\u0131c\u0131s\u0131n\u0131n kendi API’sine, veri format\u0131na, fiyatland\u0131rma modeline ve performans karakteristiklerine sahip olmas\u0131d\u0131r. Uygulaman\u0131z\u0131n bu farkl\u0131l\u0131klar\u0131 do\u011frudan y\u00f6netmeye \u00e7al\u0131\u015fmas\u0131, kod karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 art\u0131r\u0131r ve gelecekteki de\u011fi\u015fikliklere kar\u015f\u0131 diren\u00e7li olmas\u0131n\u0131 engeller. \u00d6rne\u011fin, bir sa\u011flay\u0131c\u0131n\u0131n API’si de\u011fi\u015fti\u011finde veya yeni bir model \u00e7\u0131kt\u0131\u011f\u0131nda, uygulaman\u0131z\u0131n bir\u00e7ok yerinde de\u011fi\u015fiklik yapman\u0131z gerekebilir. Bu durum, “vendor lock-in” riskini azaltmak isterken, asl\u0131nda daha b\u00fcy\u00fck bir teknik bor\u00e7 yaratma potansiyeli ta\u015f\u0131r.<\/p>\n
Di\u011fer bir sorun ise, hangi iste\u011fin hangi sa\u011flay\u0131c\u0131ya veya modele g\u00f6nderilece\u011fine karar verme mekanizmas\u0131n\u0131n eksikli\u011fidir. Basit bir if-else yap\u0131s\u0131yla ba\u015flayan bu s\u00fcre\u00e7, h\u0131zla y\u00f6netilemez bir hal alabilir. Kullan\u0131c\u0131 taleplerinin \u00e7e\u015fitlili\u011fi, farkl\u0131 model yetenekleri, maliyet k\u0131s\u0131tlamalar\u0131 ve gecikme beklentileri, dinamik ve ak\u0131ll\u0131 bir y\u00f6nlendirme stratejisi gerektirir. Yetersiz bir y\u00f6nlendirme, y\u00fcksek maliyetlere, d\u00fc\u015f\u00fck performansl\u0131 kullan\u0131c\u0131 deneyimlerine veya istenmeyen model \u00e7\u0131kt\u0131klar\u0131na yol a\u00e7abilir. \u00d6rne\u011fin, basit bir sohbet botu i\u00e7in pahal\u0131 ve karma\u015f\u0131k bir modeli kullanmak gereksiz maliyet yarat\u0131rken, hassas bir \u00f6zetleme g\u00f6revi i\u00e7in daha ucuz ama kalitesiz bir model se\u00e7mek i\u015fin kalitesini d\u00fc\u015f\u00fcrebilir. Bu karma\u015f\u0131kl\u0131k, geli\u015ftiricileri genellikle tek bir sa\u011flay\u0131c\u0131da kalmaya veya \u00e7oklu sa\u011flay\u0131c\u0131 stratejilerini ertelemeye iter. Ancak do\u011fru mimari yakla\u015f\u0131mla, bu “sorun” asl\u0131nda g\u00fc\u00e7l\u00fc bir f\u0131rsata d\u00f6n\u00fc\u015febilir.<\/p>\n
\u00c7oklu sa\u011flay\u0131c\u0131 LLM y\u00f6nlendirme sorununu \u00e7\u00f6zmenin anahtar\u0131, mimarinizi bu ihtiyaca g\u00f6re tasarlamakt\u0131r. Bu, do\u011frudan uygulaman\u0131z\u0131n her yerinden LLM API’lerini \u00e7a\u011f\u0131rmak yerine, bir “ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131” veya “LLM Gateway” kullanmak anlam\u0131na gelir. Bu katman, uygulaman\u0131z ile \u00e7e\u015fitli LLM sa\u011flay\u0131c\u0131lar\u0131 aras\u0131nda bir arac\u0131 g\u00f6revi g\u00f6r\u00fcr. Temel amac\u0131, gelen LLM isteklerini analiz etmek, uygun sa\u011flay\u0131c\u0131y\u0131 veya modeli belirlemek ve iste\u011fi o sa\u011flay\u0131c\u0131n\u0131n API format\u0131na d\u00f6n\u00fc\u015ft\u00fcrerek iletmektir. Yan\u0131t d\u00f6nd\u00fc\u011f\u00fcnde ise, gerekirse onu standart bir formata \u00e7evirerek uygulaman\u0131za geri g\u00f6ndermektir.<\/p>\n
Bu mimari yakla\u015f\u0131m\u0131n temelinde, soyutlama (abstraction) prensibi yatar. Uygulaman\u0131z, sadece bu y\u00f6nlendirme katman\u0131n\u0131n API’sini bilir ve LLM’ler hakk\u0131nda \u00f6zel bir bilgiye sahip olmas\u0131 gerekmez. Bu sayede, arkada hangi sa\u011flay\u0131c\u0131n\u0131n kullan\u0131ld\u0131\u011f\u0131, hangi modelin se\u00e7ildi\u011fi veya API’lerin nas\u0131l farkl\u0131la\u015ft\u0131\u011f\u0131 gibi detaylar uygulaman\u0131zdan gizlenir. Bu durum, gelecekte yeni bir LLM sa\u011flay\u0131c\u0131s\u0131 eklemenin veya mevcut bir sa\u011flay\u0131c\u0131y\u0131 de\u011fi\u015ftirmenin \u00e7ok daha kolay olmas\u0131n\u0131 sa\u011flar, \u00e7\u00fcnk\u00fc de\u011fi\u015fiklikler sadece y\u00f6nlendirme katman\u0131nda yap\u0131l\u0131r.<\/p>\n
Ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131 genellikle \u015fu bile\u015fenlerden olu\u015fur:<\/p>\n
Bu katman, ister kendi sunucular\u0131n\u0131zda \u00e7al\u0131\u015fan bir mikroservis, ister bir API Gateway eklentisi, isterse de bir k\u00fct\u00fcphane \u015feklinde olabilir. \u00d6nemli olan, LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n merkezi ve ak\u0131ll\u0131 bir \u015fekilde y\u00f6netilmesidir. Bu yakla\u015f\u0131m, sadece karma\u015f\u0131kl\u0131\u011f\u0131 azaltmakla kalmaz, ayn\u0131 zamanda maliyet optimizasyonu, performans iyile\u015ftirmesi ve sistemin genel g\u00fcvenilirli\u011fi i\u00e7in de temel bir zemin haz\u0131rlar.<\/p>\n
Geleneksel olarak, LLM’leri uygulamalar\u0131m\u0131za entegre etmenin en basit yolu, do\u011frudan sa\u011flay\u0131c\u0131n\u0131n SDK’s\u0131n\u0131 veya REST API’sini kullanmakt\u0131r. \u00d6rne\u011fin, bir Python uygulamas\u0131nda OpenAI modelini kullanmak i\u00e7in do\u011frudan Bu s\u0131n\u0131rlar\u0131 a\u015fmak i\u00e7in modern \u00e7\u00f6z\u00fcmler, yukar\u0131da bahsetti\u011fimiz ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131n\u0131 \u00e7e\u015fitli \u015fekillerde uygular. Bunlardan biri, kendi i\u00e7imizde geli\u015ftirece\u011fimiz bir “LLM Proxy” veya “Gateway” servisidir. Bu servis, uygulaman\u0131zdan gelen t\u00fcm LLM isteklerini kar\u015f\u0131lar ve arkadaki sa\u011flay\u0131c\u0131lara y\u00f6nlendirir. Bir di\u011feri ise, LangChain, LlamaIndex gibi k\u00fct\u00fcphanelerin sa\u011flad\u0131\u011f\u0131 soyutlama katmanlar\u0131n\u0131 kullanarak bu y\u00f6nlendirme mant\u0131\u011f\u0131n\u0131 uygulaman\u0131z\u0131n bir par\u00e7as\u0131 olarak in\u015fa etmektir. Ayr\u0131ca, Anyscale, LiteLLM gibi \u00fc\u00e7\u00fcnc\u00fc parti servisler de bu t\u00fcr y\u00f6nlendirme ve y\u00f6netim yeteneklerini bir SaaS (Hizmet Olarak Yaz\u0131l\u0131m) olarak sunmaktad\u0131r.<\/p>\n \u00d6rne\u011fin, basit bir LLM proxy’si, gelen iste\u011fin ba\u015fl\u0131klar\u0131na veya g\u00f6vdesine bakarak hangi sa\u011flay\u0131c\u0131ya gidece\u011fine karar verebilir:<\/p>\n Bu basit Node.js \u00f6rne\u011fi, uygulaman\u0131z\u0131n Ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131n\u0131n kalbi, hangi LLM sa\u011flay\u0131c\u0131s\u0131n\u0131n veya modelinin belirli bir istek i\u00e7in en uygun oldu\u011funa karar veren stratejilerdir. Bu stratejiler, tek bir boyutta (\u00f6rne\u011fin sadece maliyet) de\u011fil, genellikle birden fazla \u00e7eli\u015fkili hedef aras\u0131nda bir denge kurmay\u0131 ama\u00e7lar: maliyet, gecikme (latency) ve \u00e7\u0131kt\u0131 kalitesi. \u0130\u015fte yayg\u0131n y\u00f6nlendirme stratejileri ve bunlar\u0131n nas\u0131l dengelenebilece\u011fi:<\/p>\n Bu stratejilerin uygulanmas\u0131, genellikle bir konfig\u00fcrasyon tablosu veya dinamik kurallar motoru arac\u0131l\u0131\u011f\u0131yla yap\u0131l\u0131r. \u00d6rne\u011fin, bir tablo \u015f\u00f6yle g\u00f6r\u00fcnebilir:<\/p>\n Bu tabloya g\u00f6re, y\u00f6nlendirme katman\u0131 gelen iste\u011fi analiz eder ve uygun sat\u0131r\u0131 bularak en iyi LLM’i se\u00e7er. E\u011fer tercih edilen sa\u011flay\u0131c\u0131 uygun de\u011filse (\u00f6rne\u011fin, gecikme s\u0131n\u0131r\u0131 a\u015f\u0131l\u0131yorsa veya maliyet b\u00fct\u00e7eyi a\u015f\u0131yorsa), yedek sa\u011flay\u0131c\u0131lara ge\u00e7ilir. Bu \u015fekilde, uygulaman\u0131z her zaman en uygun LLM deneyimini sunarken, operasyonel hedeflerinizi de kar\u015f\u0131layabilir.<\/p>\n Dinamik y\u00f6nlendirme, LLM kullan\u0131m\u0131n\u0131 optimize etmede en g\u00fc\u00e7l\u00fc yakla\u015f\u0131md\u0131r. Geleneksel if-else bloklar\u0131n\u0131n \u00f6tesine ge\u00e7erek, ger\u00e7ek zamanl\u0131 veriler ve ba\u011flama dayal\u0131 kararlar almay\u0131 sa\u011flar. Bu, genellikle bir kural motoru, bir s\u0131n\u0131fland\u0131r\u0131c\u0131 veya hatta ba\u015fka bir k\u00fc\u00e7\u00fck LLM’in prompt’u analiz ederek y\u00f6nlendirme karar\u0131 vermesiyle uygulan\u0131r.<\/p>\n Uygulama \u00d6rne\u011fi: Prompt S\u0131n\u0131fland\u0131rma ile Dinamik Y\u00f6nlendirme<\/strong><\/p>\n Bir e-ticaret platformunda, kullan\u0131c\u0131lar\u0131n farkl\u0131 t\u00fcrde LLM destekli istekleri olabilir: \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 olu\u015fturma, m\u00fc\u015fteri hizmetleri i\u00e7in soru sorma, pazarlama metni yazma veya blog i\u00e7eri\u011fi tasla\u011f\u0131 olu\u015fturma. Her bir g\u00f6rev i\u00e7in farkl\u0131 bir LLM modeli veya sa\u011flay\u0131c\u0131s\u0131 daha uygun olabilir.<\/p>\n 1. Gelen \u0130stek:<\/strong> Kullan\u0131c\u0131 bir prompt g\u00f6nderir. Vaka Analizi: Global Bir \u0130\u00e7erik Platformu<\/strong><\/p>\n B\u00fcy\u00fck bir global i\u00e7erik \u00fcretim platformu, farkl\u0131 dillerde ve formatlarda (makale, sosyal medya g\u00f6nderisi, e-posta) i\u00e7erik \u00fcretmek i\u00e7in LLM'leri kullan\u0131yor. Ba\u015flang\u0131\u00e7ta tek bir sa\u011flay\u0131c\u0131 (OpenAI) ile \u00e7al\u0131\u015f\u0131yorlard\u0131. Ancak: Bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in platform, kendi \"LLM Router\" servisini geli\u015ftirdi. Bu servis, gelen her i\u00e7erik olu\u015fturma iste\u011fini analiz ediyordu: Bu parametrelere g\u00f6re, bir karar motoru devreye giriyordu. \u00d6rne\u011fin: Sonu\u00e7 olarak, platformun maliyetleri %30 azald\u0131, ortalama yan\u0131t s\u00fcresi %20 iyile\u015fti ve genel sistem g\u00fcvenilirli\u011fi \u00f6nemli \u00f6l\u00e7\u00fcde artt\u0131. Bu vaka, do\u011fru mimari ve dinamik y\u00f6nlendirme stratejilerinin, \u00e7oklu sa\u011flay\u0131c\u0131 LLM kullan\u0131m\u0131n\u0131 bir problem olmaktan \u00e7\u0131kar\u0131p, rekabet avantaj\u0131na d\u00f6n\u00fc\u015ft\u00fcrd\u00fc\u011f\u00fcn\u00fc a\u00e7\u0131k\u00e7a g\u00f6stermektedir.<\/p>\n Ak\u0131ll\u0131 LLM y\u00f6nlendirme katman\u0131n\u0131 \u00fcretim ortam\u0131na ta\u015f\u0131mak, sadece kod yazmaktan ibaret de\u011fildir. Sisteminizin istikrarl\u0131, performansl\u0131 ve y\u00f6netilebilir olmas\u0131n\u0131 sa\u011flamak i\u00e7in bir dizi pratik ad\u0131ma ve ileri optimizasyona ihtiya\u00e7 vard\u0131r. Bu s\u00fcre\u00e7, s\u00fcrekli izleme, A\/B testi ve adaptif \u00f6\u011frenmeyi i\u00e7erir.<\/p>\n 1. Kapsaml\u0131 \u0130zleme ve G\u00f6zlemlenebilirlik (Observability):<\/strong> Bu veriler, Prometheus, Grafana, Datadog veya benzeri APM (Uygulama Performans Y\u00f6netimi) ara\u00e7lar\u0131yla toplanmal\u0131 ve g\u00f6rselle\u015ftirilmelidir. Anormal durumlar (ani gecikme art\u0131\u015flar\u0131, hata oranlar\u0131) i\u00e7in uyar\u0131lar (alertler) kurulmal\u0131d\u0131r. Bu sayede, y\u00f6nlendirme stratejilerinizin etkinli\u011fini s\u00fcrekli olarak de\u011ferlendirebilir ve gerekti\u011finde ayarlamalar yapabilirsiniz.<\/p>\n 2. A\/B Testi ve Kanarya Da\u011f\u0131t\u0131mlar\u0131:<\/strong> Kanarya da\u011f\u0131t\u0131mlar\u0131 ise, yeni bir y\u00f6nlendirme katman\u0131 s\u00fcr\u00fcm\u00fcn\u00fc veya yeni bir LLM entegrasyonunu ilk ba\u015fta sadece k\u00fc\u00e7\u00fck bir trafik y\u00fczdesine y\u00f6nlendirmeyi ve zamanla bu y\u00fczdeyi art\u0131rmay\u0131 i\u00e7erir. Bu, olas\u0131 sorunlar\u0131n geni\u015f \u00e7apl\u0131 bir etki yaratmadan \u00f6nce tespit edilmesini sa\u011flar.<\/p>\n 3. Otomatik Yedekleme ve Hata Tolerans\u0131:<\/strong> 4. \u0130leri D\u00fczey Optimizasyonlar: LLM Ops ve Adaptif \u00d6\u011frenme<\/strong> Bu ad\u0131mlar, LLM y\u00f6nlendirme mimarinizi sadece i\u015flevsel de\u011fil, ayn\u0131 zamanda \u00f6l\u00e7eklenebilir, g\u00fcvenilir ve s\u00fcrekli olarak optimize edilebilir hale getirecektir. Unutmay\u0131n, \u00fcretim ortam\u0131nda ba\u015far\u0131, s\u00fcrekli izleme, test etme ve iterasyonla gelir.<\/p>\n \u00c7oklu sa\u011flay\u0131c\u0131 LLM y\u00f6nlendirme, ilk bak\u0131\u015fta karma\u015f\u0131k bir m\u00fchendislik zorlu\u011fu gibi g\u00f6r\u00fcnse de, asl\u0131nda do\u011fru mimari yakla\u015f\u0131m ve stratejik d\u00fc\u015f\u00fcnceyle \u00fcstesinden gelinebilecek bir durumdur. Bu makalede ele ald\u0131\u011f\u0131m\u0131z gibi, do\u011frudan API \u00e7a\u011fr\u0131lar\u0131 yapmak yerine, bir ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131 olu\u015fturmak veya kullanmak, uygulamalar\u0131m\u0131z\u0131 gelece\u011fe haz\u0131r hale getirir. Bu katman sayesinde maliyetleri optimize edebilir, performans\u0131 art\u0131rabilir, sistem g\u00fcvenilirli\u011fini sa\u011flayabilir ve \"vendor lock-in\" riskini minimize edebiliriz. Dinamik y\u00f6nlendirme stratejileri, kapsaml\u0131 izleme ve s\u00fcrekli optimizasyon pratikleri, LLM'lerin \u00fcretim ortam\u0131nda etkin ve verimli bir \u015fekilde kullan\u0131lmas\u0131n\u0131n temelini olu\u015fturur. Art\u0131k \u00e7oklu sa\u011flay\u0131c\u0131 LLM y\u00f6nlendirmesi bir sorun de\u011fil, ak\u0131ll\u0131 bir mimariyle elde edilecek bir rekabet avantaj\u0131d\u0131r.<\/p>\n Tek bir sa\u011flay\u0131c\u0131ya ba\u011fl\u0131 kalmak, \"vendor lock-in\" riskini art\u0131r\u0131r, fiyat de\u011fi\u015fikliklerine veya hizmet kesintilerine kar\u015f\u0131 savunmas\u0131z b\u0131rak\u0131r. \u00c7oklu sa\u011flay\u0131c\u0131lar, farkl\u0131 model yeteneklerinden (baz\u0131 modeller belirli g\u00f6revlerde daha iyi olabilir), maliyet avantajlar\u0131ndan ve art\u0131r\u0131lm\u0131\u015f g\u00fcvenilirlikten (bir sa\u011flay\u0131c\u0131 \u00e7\u00f6kt\u00fc\u011f\u00fcnde di\u011ferine ge\u00e7me) faydalanman\u0131z\u0131 sa\u011flar. Ayr\u0131ca, yeni teknolojilere daha h\u0131zl\u0131 adapte olman\u0131z\u0131 ve rekabet\u00e7i kalman\u0131z\u0131 kolayla\u015ft\u0131r\u0131r.<\/p>\n<\/li>\n Bu, projenizin \u00f6l\u00e7e\u011fine, b\u00fct\u00e7esine ve teknik yeteneklerine ba\u011fl\u0131d\u0131r. K\u00fc\u00e7\u00fck projeler i\u00e7in LiteLLM gibi k\u00fct\u00fcphaneler veya Anyscale gibi SaaS \u00e7\u00f6z\u00fcmleri h\u0131zl\u0131 bir ba\u015flang\u0131\u00e7 sa\u011flayabilir. B\u00fcy\u00fck \u00f6l\u00e7ekli ve \u00f6zelle\u015ftirilmi\u015f ihtiya\u00e7lar\u0131 olan kurumsal uygulamalar i\u00e7in kendi katman\u0131n\u0131z\u0131 geli\u015ftirmek, tam kontrol ve esneklik sunar. Her iki yakla\u015f\u0131m\u0131n da art\u0131lar\u0131 ve eksileri vard\u0131r; genellikle bir MVP (Minimum Viable Product) i\u00e7in haz\u0131r \u00e7\u00f6z\u00fcmlerle ba\u015flay\u0131p, ihtiya\u00e7lar olgunla\u015ft\u0131k\u00e7a kendi \u00e7\u00f6z\u00fcm\u00fcn\u00fcze ge\u00e7i\u015f yapmak iyi bir stratejidir.<\/p>\n<\/li>\n Evet, her ek katman teorik olarak k\u00fc\u00e7\u00fck bir gecikme ekler. Ancak bu gecikme genellikle milisaniyeler d\u00fczeyindedir ve ak\u0131ll\u0131 y\u00f6nlendirme katman\u0131n\u0131n sa\u011flad\u0131\u011f\u0131 faydalar (maliyet optimizasyonu, hata tolerans\u0131, en h\u0131zl\u0131 modeli se\u00e7me yetene\u011fi) bu k\u00fc\u00e7\u00fck ek gecikmeyi fazlas\u0131yla telafi eder. Do\u011fru yap\u0131land\u0131r\u0131lm\u0131\u015f bir y\u00f6nlendirme katman\u0131, \u00e7o\u011fu durumda genel gecikmeyi azaltmaya yard\u0131mc\u0131 olur, \u00e7\u00fcnk\u00fc en uygun ve h\u0131zl\u0131 LLM'i se\u00e7me yetene\u011fine sahiptir.<\/p>\n<\/li>\n Optimizasyon, s\u00fcrekli bir s\u00fcre\u00e7tir. \u0130lk olarak, kapsaml\u0131 izleme ve metrik toplama ile ba\u015flay\u0131n (maliyet, gecikme, kalite, hata oranlar\u0131). Bu verilere dayanarak, hangi stratejinin (maliyet, gecikme, kalite bazl\u0131 veya hibrit) belirli senaryolar i\u00e7in en iyi performans\u0131 g\u00f6sterdi\u011fini belirleyin. A\/B testleri ile yeni stratejileri deneyin ve sonu\u00e7lar\u0131 analiz edin. Zamanla, prompt s\u0131n\u0131fland\u0131rma gibi dinamik yakla\u015f\u0131mlar veya adaptif \u00f6\u011frenme algoritmalar\u0131 kullanarak y\u00f6nlendirme kararlar\u0131n\u0131z\u0131 daha ak\u0131ll\u0131 hale getirebilirsiniz. Unutmay\u0131n, LLM'ler ve kullan\u0131m senaryolar\u0131 de\u011fi\u015ftik\u00e7e stratejilerinizin de de\u011fi\u015fmesi gerekebilir.<\/p>\n<\/li>\n<\/ol>\nopenai.ChatCompletion.create()<\/code> \u00e7a\u011fr\u0131s\u0131 yapmak olduk\u00e7a yayg\u0131nd\u0131r. Ancak bu yakla\u015f\u0131m, uygulaman\u0131n b\u00fcy\u00fcmesi ve LLM kullan\u0131m senaryolar\u0131n\u0131n \u00e7e\u015fitlenmesiyle birlikte h\u0131zla s\u00fcrd\u00fcr\u00fclemez hale gelir. \u0130\u015fte geleneksel yakla\u015f\u0131mlar\u0131n temel s\u0131n\u0131rlar\u0131:<\/p>\n\n
\nimport express from 'express';\nimport axios from 'axios';\n\nconst app = express();\napp.use(express.json());\n\nconst OPENAI_API_KEY = process.env.OPENAI_API_KEY;\nconst ANTHROPIC_API_KEY = process.env.ANTHROPIC_API_KEY;\n\napp.post('\/v1\/chat\/completions', async (req, res) => {\n const { model, messages, provider } = req.body;\n\n try {\n if (provider === 'openai') {\n const openaiRes = await axios.post('https:\/\/api.openai.com\/v1\/chat\/completions', {\n model: model || 'gpt-3.5-turbo',\n messages: messages,\n }, {\n headers: {\n 'Authorization': Bearer ${OPENAI_API_KEY}<\/code>,\n 'Content-Type': 'application\/json',\n },\n });\n res.json(openaiRes.data);\n } else if (provider === 'anthropic') {\n const anthropicRes = await axios.post('https:\/\/api.anthropic.com\/v1\/messages', {\n model: model || 'claude-3-opus-20240229',\n messages: messages,\n max_tokens: 1024,\n }, {\n headers: {\n 'x-api-key': ANTHROPIC_API_KEY,\n 'anthropic-version': '2023-06-01',\n 'Content-Type': 'application\/json',\n },\n });\n res.json(anthropicRes.data);\n } else {\n return res.status(400).json({ error: 'Ge\u00e7ersiz sa\u011flay\u0131c\u0131 belirtildi.' });\n }\n } catch (error) {\n console.error('LLM proxy hatas\u0131:', error.response ? error.response.data : error.message);\n res.status(500).json({ error: 'LLM sa\u011flay\u0131c\u0131s\u0131ndan yan\u0131t al\u0131namad\u0131.' });\n }\n});\n\nconst PORT = process.env.PORT || 3000;\napp.listen(PORT, () => {\n console.log(LLM Proxy sunucusu ${PORT} portunda \u00e7al\u0131\u015f\u0131yor.<\/code>);\n});\n<\/code><\/pre>\n\/v1\/chat\/completions<\/code> endpoint’ine yapt\u0131\u011f\u0131 \u00e7a\u011fr\u0131lar\u0131 provider<\/code> parametresine g\u00f6re OpenAI veya Anthropic’e y\u00f6nlendirir. Bu, geleneksel do\u011frudan \u00e7a\u011fr\u0131 yakla\u015f\u0131m\u0131n\u0131n getirdi\u011fi karma\u015f\u0131kl\u0131\u011f\u0131 azaltan ilk ad\u0131md\u0131r ve daha geli\u015fmi\u015f y\u00f6nlendirme stratejileri i\u00e7in bir temel olu\u015fturur.<\/p>\nOptimal Y\u00f6nlendirme Stratejileri: Maliyet, Gecikme ve Kaliteyi Dengelemek<\/h2>\n
\n
\n
\n
\n
\n
\n\n
\n \n\u0130stek T\u00fcr\u00fc \/ Prompt Anahtar Kelimesi<\/th>\n \u00d6ncelik<\/th>\n Tercih Edilen Sa\u011flay\u0131c\u0131lar<\/th>\n Yedek Sa\u011flay\u0131c\u0131lar<\/th>\n Maks. Gecikme (ms)<\/th>\n Maks. Maliyet (USD\/1K token)<\/th>\n<\/tr>\n<\/thead>\n \n ‘\u00f6zetle’, ‘k\u0131salt’<\/td>\n Maliyet<\/td>\n OpenAI (gpt-3.5-turbo), Google (gemini-pro)<\/td>\n Anthropic (claude-3-haiku)<\/td>\n 500<\/td>\n 0.001<\/td>\n<\/tr>\n \n ‘yarat\u0131c\u0131 hikaye’, ‘\u015fiir yaz’<\/td>\n Kalite<\/td>\n Anthropic (claude-3-opus), OpenAI (gpt-4)<\/td>\n Google (gemini-ultra)<\/td>\n 1000<\/td>\n 0.01<\/td>\n<\/tr>\n \n ‘anl\u0131k cevap’, ‘sohbet’<\/td>\n Gecikme<\/td>\n OpenAI (gpt-3.5-turbo), Anthropic (claude-3-haiku)<\/td>\n Google (gemini-pro)<\/td>\n 300<\/td>\n 0.002<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Dinamik Y\u00f6nlendirme Uygulamalar\u0131 ve Vaka Analizleri<\/h3>\n
\n2. Prompt S\u0131n\u0131fland\u0131rma:<\/strong> Y\u00f6nlendirme katman\u0131, bu prompt’u k\u00fc\u00e7\u00fck ve h\u0131zl\u0131 bir s\u0131n\u0131fland\u0131rma modeline (bu bir LLM de olabilir) g\u00f6nderir. Model, prompt’un “\u00fcr\u00fcn a\u00e7\u0131klamas\u0131”, “m\u00fc\u015fteri deste\u011fi”, “pazarlama” veya “blog yaz\u0131s\u0131” gibi kategorilerden hangisine ait oldu\u011funu belirler.
\n3. Kural Motoru Karar\u0131:<\/strong> S\u0131n\u0131fland\u0131rma sonucuna g\u00f6re bir kural motoru devreye girer:
\n * E\u011fer “\u00fcr\u00fcn a\u00e7\u0131klamas\u0131” ise: Maliyet odakl\u0131 strateji uygula, gpt-3.5-turbo<\/code> (OpenAI) veya gemini-pro<\/code> (Google) kullan.
\n * E\u011fer “m\u00fc\u015fteri deste\u011fi” ise: Gecikme odakl\u0131 strateji uygula, claude-3-haiku<\/code> (Anthropic) veya gpt-3.5-turbo<\/code> (OpenAI) kullan, yan\u0131t s\u00fcresi 500ms alt\u0131nda olmal\u0131.
\n * E\u011fer “pazarlama” ise: Kalite odakl\u0131 strateji uygula, gpt-4<\/code> (OpenAI) veya claude-3-opus<\/code> (Anthropic) kullan.
\n * E\u011fer “blog yaz\u0131s\u0131” ise: Daha uzun yan\u0131tlar i\u00e7in optimize edilmi\u015f, daha uygun maliyetli bir model (\u00f6rne\u011fin, kendi bar\u0131nd\u0131r\u0131lan bir Llama 2 t\u00fcrevi) kullan.
\n4. Y\u00f6nlendirme ve Yan\u0131t:<\/strong> Se\u00e7ilen sa\u011flay\u0131c\u0131ya istek g\u00f6nderilir ve yan\u0131t i\u015flenerek kullan\u0131c\u0131ya iletilir.<\/p>\n\n\/\/ \u00d6rnek bir y\u00f6nlendirme mant\u0131\u011f\u0131 (pseudo-code)\nfunction routeLLMRequest(prompt, userId) {\n const promptCategory = classifyPrompt(prompt); \/\/ ML modeli veya kural tabanl\u0131 s\u0131n\u0131fland\u0131rma\n\n let preferredProvider = null;\n let fallbackProvider = null;\n let maxLatency = Infinity;\n let maxCostPer1KTokens = Infinity;\n let qualityPriority = false;\n\n switch (promptCategory) {\n case 'product_description':\n preferredProvider = 'openai_gpt35';\n fallbackProvider = 'google_geminipro';\n maxCostPer1KTokens = 0.001;\n break;\n case 'customer_support':\n preferredProvider = 'anthropic_haiku';\n fallbackProvider = 'openai_gpt35';\n maxLatency = 500; \/\/ ms\n break;\n case 'marketing_copy':\n preferredProvider = 'openai_gpt4';\n fallbackProvider = 'anthropic_opus';\n qualityPriority = true;\n break;\n case 'blog_post':\n preferredProvider = 'self_hosted_llama2'; \/\/ Kendi bar\u0131nd\u0131rd\u0131\u011f\u0131m\u0131z model\n maxCostPer1KTokens = 0.0005;\n break;\n default:\n preferredProvider = 'openai_gpt35';\n fallbackProvider = 'google_geminipro';\n }\n\n \/\/ Ger\u00e7ek zamanl\u0131 performans metriklerini kontrol et\n const currentOpenAILatency = getProviderLatency('openai');\n const currentAnthropicLatency = getProviderLatency('anthropic');\n\n \/\/ ... ve bu bilgilere g\u00f6re nihai sa\u011flay\u0131c\u0131y\u0131 se\u00e7\n if (qualityPriority && currentAnthropicLatency < maxLatency) {\n return anthropicClient.call(prompt);\n } else if (currentOpenAILatency < maxLatency && getModelCost('openai_gpt35') < maxCostPer1KTokens) {\n return openaiClient.call(prompt);\n } else {\n return fallbackClient.call(prompt);\n }\n}\n<\/code><\/pre>\n
\n1. Maliyetler:<\/strong> Y\u00fcksek hacimli basit metinler i\u00e7in GPT-4 kullanmak \u00e7ok pahal\u0131yd\u0131.
\n2. Gecikme:<\/strong> Ger\u00e7ek zamanl\u0131 \u00e7eviri ve k\u0131sa yan\u0131tlar i\u00e7in GPT-4'\u00fcn gecikmesi bazen kabul edilemez oluyordu.
\n3. Dil Deste\u011fi:<\/strong> Baz\u0131 dillerde Anthropic'in veya Google'\u0131n modelleri daha iyi performans g\u00f6steriyordu.
\n4. G\u00fcvenilirlik:<\/strong> OpenAI'da ya\u015fanan k\u0131sa s\u00fcreli kesintiler, t\u00fcm platformu etkiliyordu.<\/p>\n
\n* \u0130\u00e7erik T\u00fcr\u00fc:<\/strong> (Makale, tweet, e-posta, \u00e7eviri)
\n* Dil:<\/strong> (\u0130ngilizce, Almanca, \u0130spanyolca vb.)
\n* Uzunluk Beklentisi:<\/strong> (K\u0131sa, orta, uzun)
\n* Yarat\u0131c\u0131l\u0131k Derecesi:<\/strong> (D\u00fc\u015f\u00fck, orta, y\u00fcksek)<\/p>\n
\n* \u0130ngilizce, k\u0131sa, d\u00fc\u015f\u00fck yarat\u0131c\u0131l\u0131kta bir tweet i\u00e7in: En ucuz ve h\u0131zl\u0131 olan gpt-3.5-turbo<\/code> tercih ediliyordu.
\n* Almanca, uzun, y\u00fcksek yarat\u0131c\u0131l\u0131kta bir makale i\u00e7in: Almanca'da daha iyi performans g\u00f6steren claude-3-opus<\/code> veya gpt-4<\/code> kullan\u0131l\u0131yordu.
\n* Ger\u00e7ek zamanl\u0131 \u00e7eviri i\u00e7in: En d\u00fc\u015f\u00fck gecikmeye sahip sa\u011flay\u0131c\u0131ya paralel istek g\u00f6nderilip ilk d\u00f6nen yan\u0131t kullan\u0131l\u0131yordu.<\/p>\n\u00dcretim Ortam\u0131nda LLM Y\u00f6nlendirme \u0130\u00e7in Pratik Ad\u0131mlar, \u0130zleme ve \u0130leri Optimizasyonlar<\/h2>\n
\nLLM y\u00f6nlendirme katman\u0131n\u0131z\u0131n ne kadar iyi \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 anlamak i\u00e7in derinlemesine izleme \u015fartt\u0131r. Her LLM \u00e7a\u011fr\u0131s\u0131n\u0131n a\u015fa\u011f\u0131daki metrikleri toplanmal\u0131d\u0131r:<\/p>\n\n
\nYeni bir y\u00f6nlendirme stratejisi veya yeni bir LLM modeli ekledi\u011finizde, bunun mevcut sistem \u00fczerindeki etkisini dikkatlice \u00f6l\u00e7meniz gerekir. A\/B testi, farkl\u0131 y\u00f6nlendirme stratejilerini veya modelleri k\u00fc\u00e7\u00fck bir kullan\u0131c\u0131 grubuna sunarak performanslar\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131rman\u0131za olanak tan\u0131r. \u00d6rne\u011fin, kullan\u0131c\u0131lar\u0131n %10'una yeni, maliyet odakl\u0131 bir strateji uygularken, geri kalan %90'a mevcut stratejiyi uygulayarak maliyet, gecikme ve kalite \u00fczerindeki etkilerini g\u00f6zlemleyebilirsiniz.<\/p>\n
\nBir LLM sa\u011flay\u0131c\u0131s\u0131 eri\u015filemez hale geldi\u011finde veya s\u00fcrekli hata d\u00f6nd\u00fcrd\u00fc\u011f\u00fcnde, y\u00f6nlendirme katman\u0131n\u0131z\u0131n otomatik olarak ba\u015fka bir sa\u011flay\u0131c\u0131ya ge\u00e7ebilmesi kritik \u00f6neme sahiptir. Bu, \"circuit breaker\" desenleri veya \"retry\" mekanizmalar\u0131 ile uygulanabilir. \u00d6rne\u011fin, bir sa\u011flay\u0131c\u0131dan \u00fcst \u00fcste belirli say\u0131da hata al\u0131n\u0131rsa, o sa\u011flay\u0131c\u0131 ge\u00e7ici olarak kara listeye al\u0131n\u0131r ve istekler otomatik olarak yedek sa\u011flay\u0131c\u0131lara y\u00f6nlendirilir. Bir s\u00fcre sonra sa\u011flay\u0131c\u0131n\u0131n durumu tekrar kontrol edilerek hizmete geri al\u0131n\u0131p al\u0131nmayaca\u011f\u0131na karar verilir.<\/p>\n\n\/\/ \u00d6rnek bir otomatik yedekleme mekanizmas\u0131 (pseudo-code)\nconst providerStatus = {\n 'openai': { healthy: true, errorCount: 0, lastErrorTime: null },\n 'anthropic': { healthy: true, errorCount: 0, lastErrorTime: null },\n};\n\nfunction callLLMWithFallback(request, primaryProvider, fallbackProvider) {\n if (!providerStatus[primaryProvider].healthy && (Date.now() - providerStatus[primaryProvider].lastErrorTime < 300000)) { \/\/ 5 dakika\n console.warn(${primaryProvider} \u015fu an sa\u011fl\u0131kl\u0131 de\u011fil, ${fallbackProvider} kullan\u0131l\u0131yor.<\/code>);\n return makeLLMCall(request, fallbackProvider);\n }\n\n try {\n const response = makeLLMCall(request, primaryProvider);\n providerStatus[primaryProvider].healthy = true;\n providerStatus[primaryProvider].errorCount = 0;\n return response;\n } catch (error) {\n providerStatus[primaryProvider].errorCount++;\n providerStatus[primaryProvider].lastErrorTime = Date.now();\n if (providerStatus[primaryProvider].errorCount >= 3) { \/\/ 3 hata sonras\u0131 sa\u011fl\u0131ks\u0131z i\u015faretle\n providerStatus[primaryProvider].healthy = false;\n console.error(${primaryProvider} sa\u011fl\u0131ks\u0131z olarak i\u015faretlendi.<\/code>);\n }\n console.warn(${primaryProvider} hata d\u00f6nd\u00fcrd\u00fc, ${fallbackProvider} deneniyor.<\/code>);\n return makeLLMCall(request, fallbackProvider);\n }\n}\n<\/code><\/pre>\n
\nGelecekteki LLM y\u00f6nlendirme sistemleri, daha da ak\u0131ll\u0131 hale gelecektir.
\n* LLM Ops:<\/strong> LLM'lerin ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fc (model se\u00e7imi, da\u011f\u0131t\u0131m, izleme, yeniden e\u011fitim) otomatikle\u015ftiren s\u00fcre\u00e7ler. Y\u00f6nlendirme katman\u0131, bu LLM Ops boru hatlar\u0131n\u0131n kritik bir par\u00e7as\u0131 haline gelir.
\n* Adaptif \u00d6\u011frenme:<\/strong> Y\u00f6nlendirme katman\u0131, zamanla toplad\u0131\u011f\u0131 verilerden (hangi modelin hangi prompt i\u00e7in en iyi kaliteyi, en d\u00fc\u015f\u00fck maliyeti veya gecikmeyi sa\u011flad\u0131\u011f\u0131) \u00f6\u011frenerek kendi y\u00f6nlendirme stratejilerini optimize edebilir. \u00d6rne\u011fin, bir reinforcement learning (peki\u015ftirmeli \u00f6\u011frenme) modeli, belirli prompt t\u00fcrleri i\u00e7in en iyi modeli se\u00e7meyi \u00f6\u011frenmek \u00fczere e\u011fitilebilir.
\n* Prompt Optimizasyonu:<\/strong> Gelen prompt'lar\u0131 y\u00f6nlendirme katman\u0131nda optimize ederek (\u00f6rne\u011fin, daha k\u0131sa, daha net hale getirerek) hem maliyetleri d\u00fc\u015f\u00fcrebilir hem de yan\u0131t kalitesini art\u0131rabilir. Hatta prompt'u farkl\u0131 LLM'lerin beklentilerine g\u00f6re d\u00f6n\u00fc\u015ft\u00fcrebilir.<\/p>\nSonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\n