G\u00fcn\u00fcm\u00fcz\u00fcn dijital d\u00fcnyas\u0131nda, m\u00fc\u015fteri destek taleplerinin yo\u011funlu\u011fu ve \u00e7e\u015fitlili\u011fi, i\u015fletmeler i\u00e7in b\u00fcy\u00fck bir zorluk te\u015fkil ediyor. Bu talepleri h\u0131zl\u0131, do\u011fru ve en \u00f6nemlisi maliyet-etkin bir \u015fekilde y\u00f6netmek, m\u00fc\u015fteri memnuniyetini do\u011frudan etkileyen kritik bir fakt\u00f6r. Geleneksel destek sistemleri, insan kaynaklar\u0131na ba\u011f\u0131ml\u0131 olmas\u0131 ve \u00f6l\u00e7eklenme zorluklar\u0131 nedeniyle bu ihtiyaca tam olarak cevap veremeyebilir. \u0130\u015fte tam da bu noktada, yapay zeka (AI) destekli otomatik s\u0131n\u0131fland\u0131rma ve y\u00f6nlendirme (triage) sistemleri devreye giriyor. Ancak, AI modellerini \u00e7al\u0131\u015ft\u0131rman\u0131n getirdi\u011fi altyap\u0131 maliyetleri ve operasyonel karma\u015f\u0131kl\u0131klar da g\u00f6z ard\u0131 edilemez. Bu makalede, serverless inference ve Inference Router gibi modern bulut teknolojilerini kullanarak, hem maliyet-etkin hem de y\u00fcksek performansl\u0131 bir AI destek triage API’si nas\u0131l in\u015fa edebilece\u011fimizi ad\u0131m ad\u0131m inceleyece\u011fiz. Bu yakla\u015f\u0131m, i\u015fletmelerin destek s\u00fcre\u00e7lerini optimize etmelerine, maliyetlerini d\u00fc\u015f\u00fcrmelerine ve m\u00fc\u015fteri deneyimini iyile\u015ftirmelerine olanak tan\u0131yacakt\u0131r.<\/p>\n
\u00d6zellikle b\u00fcy\u00fck veri setleriyle \u00e7al\u0131\u015fan ve s\u00fcrekli de\u011fi\u015fen taleplere uyum sa\u011flamas\u0131 gereken kurulu\u015flar i\u00e7in, AI modellerini verimli bir \u015fekilde sunmak hayati \u00f6nem ta\u015f\u0131r. Sunucusuz (serverless) inference, bu ihtiyaca m\u00fckemmel bir \u00e7\u00f6z\u00fcm sunarak, yaln\u0131zca kulland\u0131\u011f\u0131n\u0131z kadar \u00f6deme yapman\u0131z\u0131 ve altyap\u0131 y\u00f6netimiyle u\u011fra\u015fmadan modellerinizi kolayca da\u011f\u0131tman\u0131z\u0131 sa\u011flar. Inference Router ise, farkl\u0131 AI modelleri aras\u0131nda ak\u0131ll\u0131ca y\u00f6nlendirme yaparak, en uygun modeli en uygun maliyetle \u00e7al\u0131\u015ft\u0131rmam\u0131z\u0131 sa\u011flar. Bu iki teknolojinin birle\u015fimi, daha \u00f6nce ula\u015f\u0131lmas\u0131 zor g\u00f6r\u00fcnen bir verimlilik ve maliyet optimizasyonu seviyesini m\u00fcmk\u00fcn k\u0131lar. Bu makalenin sonunda, bu t\u00fcr bir sistemi nas\u0131l tasarlayaca\u011f\u0131n\u0131z, uygulayaca\u011f\u0131n\u0131z ve \u00f6l\u00e7eklendirece\u011finiz konusunda net bir anlay\u0131\u015fa sahip olacaks\u0131n\u0131z.<\/p>\n
M\u00fc\u015fteri destek operasyonlar\u0131, her b\u00fcy\u00fckl\u00fckteki i\u015fletme i\u00e7in hem kritik hem de maliyetli bir aland\u0131r. M\u00fc\u015fteriler, sorunlar\u0131na h\u0131zl\u0131 ve etkili \u00e7\u00f6z\u00fcmler beklerler. Ancak, destek taleplerinin hacmi ve karma\u015f\u0131kl\u0131\u011f\u0131 artt\u0131k\u00e7a, insan kaynakl\u0131 \u00e7\u00f6z\u00fcmlerin s\u0131n\u0131rlar\u0131 zorlanmaya ba\u015flar. Taleplerin do\u011fru ekibe veya do\u011fru uzmana y\u00f6nlendirilmesi (triage), s\u00fcrecin en \u00f6nemli ad\u0131mlar\u0131ndan biridir. Yanl\u0131\u015f y\u00f6nlendirilen bir talep, hem m\u00fc\u015fteri memnuniyetsizli\u011fine yol a\u00e7ar hem de gereksiz zaman ve kaynak kayb\u0131na neden olur. Geleneksel triaj s\u00fcre\u00e7leri genellikle manuel olarak yap\u0131l\u0131r veya basit kural tabanl\u0131 sistemlerle y\u00fcr\u00fct\u00fcl\u00fcr. Bu y\u00f6ntemler, \u00f6zellikle y\u00fcksek hacimli ve de\u011fi\u015fken nitelikteki destek talepleriyle ba\u015fa \u00e7\u0131kmakta yetersiz kal\u0131r. \u0130\u015fte bu noktada, AI destekli triage sistemleri devreye girer.<\/p>\n
AI, destek taleplerini otomatik olarak analiz edebilir, anahtar kelimeleri, duygu durumunu ve konuyu belirleyerek en uygun \u00e7\u00f6z\u00fcm yolunu veya ilgili departman\u0131 belirleyebilir. Bu, hem bekleme s\u00fcrelerini azalt\u0131r hem de destek ajanlar\u0131n\u0131n daha karma\u015f\u0131k ve kritik sorunlara odaklanmas\u0131n\u0131 sa\u011flar. Ancak, AI modellerini \u00e7al\u0131\u015ft\u0131rmak, \u00f6zellikle b\u00fcy\u00fck \u00f6l\u00e7ekte, \u00f6nemli altyap\u0131 yat\u0131r\u0131mlar\u0131 ve s\u00fcrekli operasyonel maliyetler gerektirebilir. GPU’lu sunucular, model e\u011fitimi ve da\u011f\u0131t\u0131m\u0131 i\u00e7in \u00f6zel donan\u0131mlar ve s\u00fcrekli bak\u0131m, b\u00fct\u00e7eleri zorlayabilir. Bu nedenle, “maliyet odakl\u0131” bir yakla\u015f\u0131m benimsemek, AI’n\u0131n sundu\u011fu faydalar\u0131 s\u00fcrd\u00fcr\u00fclebilir k\u0131lmak i\u00e7in \u015fartt\u0131r. Maliyet odakl\u0131l\u0131k, yaln\u0131zca en ucuz \u00e7\u00f6z\u00fcm\u00fc bulmak de\u011fil, ayn\u0131 zamanda en iyi performans\u0131 en uygun maliyetle elde etmektir. Bu, do\u011fru teknolojileri se\u00e7mek, modelleri optimize etmek ve kaynaklar\u0131 verimli kullanmakla m\u00fcmk\u00fcnd\u00fcr. Serverless inference ve Inference Router gibi teknolojiler, bu maliyet optimizasyonunu sa\u011flamak i\u00e7in g\u00fc\u00e7l\u00fc ara\u00e7lar sunar.<\/p>\n
\u0130\u015fletmelerin rekabet\u00e7i kalabilmesi i\u00e7in, m\u00fc\u015fteri deneyimini s\u00fcrekli iyile\u015ftirmeleri gerekir. H\u0131zl\u0131 ve do\u011fru destek, bu deneyimin temel ta\u015flar\u0131ndan biridir. AI, bu h\u0131z\u0131 ve do\u011frulu\u011fu sa\u011flamada anahtar rol oynar. Ancak, AI’n\u0131n maliyetinin y\u00fcksek olmas\u0131, k\u00fc\u00e7\u00fck ve orta \u00f6l\u00e7ekli i\u015fletmelerin bu teknolojiden faydalanmas\u0131n\u0131 engelleyebilir. Serverless inference ve ak\u0131ll\u0131 y\u00f6nlendirme mekanizmalar\u0131, bu engeli ortadan kald\u0131rarak, AI’n\u0131n g\u00fcc\u00fcn\u00fc daha eri\u015filebilir hale getirir. Bu makalede, bu teknolojileri bir araya getirerek nas\u0131l bir “kazan-kazan” durumu yaratabilece\u011fimizi detayl\u0131 bir \u015fekilde ele alaca\u011f\u0131z. Bu, hem i\u015fletmelerin maliyetlerini d\u00fc\u015f\u00fcrecek hem de m\u00fc\u015fteri memnuniyetini art\u0131racakt\u0131r.<\/p>\n
Maliyet odakl\u0131 AI destek triage API’mizi in\u015fa etmeden \u00f6nce, kullanaca\u011f\u0131m\u0131z temel teknolojileri ve kavramlar\u0131 anlamak \u00f6nemlidir. Bu, projemizin temelini olu\u015fturacakt\u0131r. \u0130lk olarak, “serverless inference” kavram\u0131na g\u00f6z atal\u0131m. Geleneksel olarak, bir makine \u00f6\u011frenimi modelini \u00e7al\u0131\u015ft\u0131rmak i\u00e7in \u00f6zel sunuculara veya sanal makinelere ihtiya\u00e7 duyars\u0131n\u0131z. Bu sunucular\u0131 y\u00f6netmek, \u00f6l\u00e7eklendirmek ve bak\u0131m\u0131n\u0131 yapmak \u00f6nemli bir i\u015f y\u00fck\u00fc ve maliyet getirir. Serverless inference ise, bu altyap\u0131 y\u00f6netimini ortadan kald\u0131r\u0131r. Bulut sa\u011flay\u0131c\u0131lar\u0131, sizin ad\u0131n\u0131za altyap\u0131y\u0131 y\u00f6netir ve siz yaln\u0131zca modelinizi \u00e7al\u0131\u015ft\u0131rmak i\u00e7in kulland\u0131\u011f\u0131n\u0131z i\u015flem s\u00fcresi ve kaynaklar kadar \u00f6deme yapars\u0131n\u0131z. Bu, \u00f6zellikle talep dalgalanmalar\u0131n\u0131n ya\u015fand\u0131\u011f\u0131 durumlarda maliyetleri \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcrebilir. Modeliniz \u00e7al\u0131\u015fmad\u0131\u011f\u0131nda, herhangi bir maliyet olu\u015fmaz.<\/p>\n
AWS Lambda, Google Cloud Functions veya Azure Functions gibi serverless platformlar\u0131, AI modellerinizi \u00e7al\u0131\u015ft\u0131rmak i\u00e7in idealdir. Bu platformlar, API \u00e7a\u011fr\u0131lar\u0131na yan\u0131t olarak otomatik olarak \u00f6l\u00e7eklenir ve iste\u011fe ba\u011fl\u0131 olarak \u00e7al\u0131\u015f\u0131r. \u00d6rne\u011fin, bir m\u00fc\u015fteri destek talebi geldi\u011finde, bu talep serverless fonksiyonunu tetikler. Fonksiyon, AI modelini y\u00fckler, iste\u011fi i\u015fler ve sonucu d\u00f6nd\u00fcr\u00fcr. \u0130\u015flem tamamland\u0131\u011f\u0131nda, fonksiyon durur ve kaynaklar serbest b\u0131rak\u0131l\u0131r. Bu “pay-as-you-go” modeli, maliyetleri tahmin edilebilir ve y\u00f6netilebilir hale getirir. Ayr\u0131ca, model da\u011f\u0131t\u0131m\u0131 ve y\u00f6netimi de basitle\u015fir. Modelinizi bir container’a paketleyip serverless platformuna y\u00fcklemeniz yeterlidir. Bu, altyap\u0131 karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 ortadan kald\u0131rarak geli\u015ftiricilerin i\u015f modellerine odaklanmas\u0131n\u0131 sa\u011flar.<\/p>\n
Di\u011fer \u00f6nemli kavram\u0131m\u0131z ise “Inference Router”. Bir destek sistemi, farkl\u0131 t\u00fcrlerde taleplerle kar\u015f\u0131la\u015fabilir. \u00d6rne\u011fin, baz\u0131 talepler basit bir metin s\u0131n\u0131fland\u0131rmas\u0131 gerektirirken, baz\u0131lar\u0131 daha karma\u015f\u0131k bir do\u011fal dil anlama (NLU) modeli gerektirebilir. Hatta, baz\u0131 talepler i\u00e7in farkl\u0131 dillerde e\u011fitilmi\u015f modeller gerekebilir. Inference Router, gelen iste\u011fi analiz ederek, onu en uygun ve en verimli AI modeline y\u00f6nlendiren ak\u0131ll\u0131 bir katmand\u0131r. Bu, genellikle bir API Gateway veya \u00f6zel bir mikroservis arac\u0131l\u0131\u011f\u0131yla uygulan\u0131r. Gelen iste\u011fin \u00f6zelliklerine (\u00f6rne\u011fin, dil, konu, aciliyet) g\u00f6re, Inference Router, iste\u011fi i\u015flemek i\u00e7in do\u011fru AI modelini se\u00e7er ve bu modeli \u00e7al\u0131\u015ft\u0131ran serverless fonksiyona y\u00f6nlendirir. Bu, yaln\u0131zca do\u011fru modeli \u00e7al\u0131\u015ft\u0131rmakla kalmaz, ayn\u0131 zamanda en uygun maliyetli modeli se\u00e7me esnekli\u011fi de sunar. \u00d6rne\u011fin, basit bir s\u0131n\u0131fland\u0131rma iste\u011fi i\u00e7in daha k\u00fc\u00e7\u00fck ve daha ucuz bir model tercih edilebilirken, karma\u015f\u0131k bir soru i\u00e7in daha b\u00fcy\u00fck ve daha g\u00fc\u00e7l\u00fc bir model kullan\u0131labilir. Bu ak\u0131ll\u0131 y\u00f6nlendirme, genel i\u015flem maliyetlerini d\u00fc\u015f\u00fcr\u00fcrken, taleplerin do\u011fru \u015fekilde ve en iyi performansla i\u015flenmesini sa\u011flar.<\/p>\n
\u015eimdi, bu temel kavramlar\u0131 kullanarak maliyet odakl\u0131 bir AI destek triage API’si in\u015fa etme s\u00fcrecini ad\u0131m ad\u0131m inceleyelim. Bu s\u00fcre\u00e7, veri haz\u0131rl\u0131\u011f\u0131ndan ba\u015flay\u0131p, model se\u00e7imi, serverless fonksiyonlar\u0131n\u0131n olu\u015fturulmas\u0131 ve Inference Router’\u0131n yap\u0131land\u0131r\u0131lmas\u0131na kadar uzanacakt\u0131r. \u0130lk ad\u0131m, destek taleplerini anlamak ve s\u0131n\u0131fland\u0131rmak i\u00e7in gerekli veriyi toplamak ve haz\u0131rlamakt\u0131r. Bu, ge\u00e7mi\u015f destek kay\u0131tlar\u0131, e-postalar, sohbet g\u00fcnl\u00fckleri ve di\u011fer ileti\u015fim kanallar\u0131ndan gelen verileri i\u00e7erebilir. Bu veriler, talebin konusunu, aciliyetini, m\u00fc\u015fterinin memnuniyet d\u00fczeyini ve potansiyel olarak hangi \u00fcr\u00fcn veya hizmetle ilgili oldu\u011funu belirlemek i\u00e7in etiketlenmelidir. Veri temizli\u011fi, normalizasyon ve \u00f6zellik m\u00fchendisli\u011fi gibi ad\u0131mlar, AI modellerinin performans\u0131n\u0131 do\u011frudan etkileyecektir. \u00d6rne\u011fin, metin verilerindeki gereksiz karakterleri temizlemek, kelimeleri k\u00f6klerine indirmek (stemming\/lemmatization) ve anlams\u0131z kelimeleri (stop words) kald\u0131rmak, modelin daha iyi \u00f6\u011frenmesine yard\u0131mc\u0131 olur.<\/p>\n
\u0130kinci ad\u0131m, uygun AI modellerini se\u00e7mektir. Triage API’si i\u00e7in birka\u00e7 farkl\u0131 model kullanabiliriz. \u00d6rne\u011fin, gelen metin taleplerini \u00f6nceliklendirmek i\u00e7in bir metin s\u0131n\u0131fland\u0131rma modeli (\u00f6rne\u011fin, BERT, RoBERTa tabanl\u0131 modeller), duygu analizi i\u00e7in bir duygu analizi modeli ve belirli anahtar kelimeleri veya varl\u0131klar\u0131 (\u00f6rne\u011fin, \u00fcr\u00fcn isimleri, hata kodlar\u0131) \u00e7\u0131karmak i\u00e7in bir varl\u0131k tan\u0131ma (Named Entity Recognition – NER) modeli kullanabiliriz. Maliyet odakl\u0131 bir yakla\u015f\u0131m benimseyerek, her g\u00f6rev i\u00e7in en uygun ve en verimli modeli se\u00e7mek \u00f6nemlidir. Bu, modelin boyutu, e\u011fitim s\u00fcresi ve inference (\u00e7\u0131kar\u0131m) s\u00fcresi gibi fakt\u00f6rleri dikkate almay\u0131 gerektirir. Bazen, daha k\u00fc\u00e7\u00fck ve daha h\u0131zl\u0131 bir model, biraz daha d\u00fc\u015f\u00fck do\u011frulukla bile genel maliyet ve performans dengesi a\u00e7\u0131s\u0131ndan daha iyi bir se\u00e7enek olabilir. Ayr\u0131ca, a\u00e7\u0131k kaynakl\u0131 \u00f6nceden e\u011fitilmi\u015f modelleri kullanmak, s\u0131f\u0131rdan model e\u011fitme maliyetini \u00f6nemli \u00f6l\u00e7\u00fcde azaltabilir.<\/p>\n
\u00dc\u00e7\u00fcnc\u00fc ad\u0131m, se\u00e7ilen AI modellerini serverless fonksiyonlar\u0131 olarak da\u011f\u0131tmakt\u0131r. Her model i\u00e7in ayr\u0131 bir serverless fonksiyonu olu\u015fturabiliriz. \u00d6rne\u011fin, bir D\u00f6rd\u00fcnc\u00fc ve son ad\u0131m ise Inference Router’\u0131 yap\u0131land\u0131rmakt\u0131r. Inference Router, genellikle bir API Gateway (\u00f6rne\u011fin, AWS API Gateway, Azure API Management) veya \u00f6zel bir mikroservis olarak uygulanabilir. Gelen her destek talebi \u00f6nce Inference Router’a ula\u015f\u0131r. Router, iste\u011fin i\u00e7eri\u011fini (metin, meta veriler vb.) analiz eder. Bu analiz, basit anahtar kelime e\u015fle\u015ftirmelerinden daha karma\u015f\u0131k kural tabanl\u0131 sistemlere veya hatta k\u00fc\u00e7\u00fck bir \u00f6n s\u0131n\u0131fland\u0131rma modeline dayanabilir. Router, bu analize g\u00f6re hangi serverless fonksiyonunun (yani hangi AI modelinin) bu iste\u011fi i\u015flemesi gerekti\u011fine karar verir. \u00d6rne\u011fin, e\u011fer istekte “fiyat” kelimesi ge\u00e7iyorsa, router bunu bir faturalama sorgusu olarak tan\u0131mlay\u0131p ilgili s\u0131n\u0131fland\u0131rma fonksiyonuna y\u00f6nlendirebilir. E\u011fer istekte “hata kodu 500” gibi teknik bir terim varsa, bunu bir teknik destek sorgusu olarak alg\u0131lay\u0131p daha geli\u015fmi\u015f bir analiz i\u00e7in farkl\u0131 bir modele g\u00f6nderebilir. Router, iste\u011fi se\u00e7ilen serverless fonksiyona iletir, fonksiyon iste\u011fi i\u015fler ve sonucu router’a geri d\u00f6nd\u00fcr\u00fcr. Router da bu sonucu m\u00fc\u015fteriye veya ilgili sisteme iletir. Bu ak\u0131ll\u0131 y\u00f6nlendirme, her iste\u011fin en uygun maliyetli ve en do\u011fru model taraf\u0131ndan i\u015flenmesini sa\u011flar, b\u00f6ylece genel operasyonel maliyetler d\u00fc\u015f\u00fcr\u00fcl\u00fcr.<\/p>\n Bir e-ticaret \u015firketi d\u00fc\u015f\u00fcnelim. Bu \u015firket, \u00fcr\u00fcn sorgular\u0131, sipari\u015f takibi, iade i\u015flemleri, \u00f6deme sorunlar\u0131 ve teknik destek gibi \u00e7ok \u00e7e\u015fitli m\u00fc\u015fteri destek talepleri almaktad\u0131r. Bu taleplerin her biri farkl\u0131 bir uzmanl\u0131k gerektirir ve manuel olarak y\u00f6netildi\u011finde hem zaman al\u0131c\u0131 hem de maliyetli olabilir. \u0130\u015fte bu noktada, maliyet odakl\u0131 AI destek triage API’miz devreye girebilir. API, gelen t\u00fcm m\u00fc\u015fteri taleplerini (e-posta, web formu, sohbet) tek bir noktadan al\u0131r.<\/p>\n \u00d6rne\u011fin, bir m\u00fc\u015fteri “Sipari\u015fim hala gelmedi, nerede oldu\u011funu \u00f6\u011frenebilir miyim?” \u015feklinde bir talep g\u00f6nderdi\u011finde, Inference Router bu iste\u011fi al\u0131r. Router, metni analiz eder ve “sipari\u015f”, “gelmedi”, “nerede” gibi anahtar kelimeleri tespit eder. Bu anahtar kelimeler, iste\u011fin bir sipari\u015f takibi sorgusu oldu\u011funu g\u00f6sterir. Router, bu iste\u011fi, sipari\u015f bilgilerini veritaban\u0131ndan sorgulayacak ve tahmini teslimat s\u00fcresini d\u00f6nd\u00fcrecek \u00f6zel olarak tasarlanm\u0131\u015f bir serverless fonksiyona y\u00f6nlendirir. Bu fonksiyon, basit bir veritaban\u0131 sorgusu ve metin olu\u015fturma i\u015flemi ger\u00e7ekle\u015ftirebilir, bu da nispeten ucuz bir i\u015flemdir.<\/p>\n Ba\u015fka bir \u00f6rnek olarak, bir m\u00fc\u015fteri “Sipari\u015fimdeki \u00fcr\u00fcn hasarl\u0131 geldi, iade etmek istiyorum.” \u015feklinde bir talep g\u00f6nderdi\u011finde, Inference Router metni analiz eder ve “hasarl\u0131”, “iade” gibi kelimeleri tespit eder. Bu, bir iade talebi oldu\u011funu g\u00f6sterir. Router, iste\u011fi, iade politikalar\u0131n\u0131 kontrol edecek, iade etiketini olu\u015fturacak ve m\u00fc\u015fteriye iade s\u00fcreci hakk\u0131nda bilgi verecek ba\u015fka bir serverless fonksiyona y\u00f6nlendirir. Bu fonksiyon, belirli iade kurallar\u0131n\u0131 uygulayabilir ve m\u00fc\u015fteriye gerekli ad\u0131mlar\u0131 a\u00e7\u0131klayan bir yan\u0131t olu\u015fturabilir.<\/p>\n Daha karma\u015f\u0131k bir senaryoda, bir m\u00fc\u015fteri “Web sitenizde \u00f6deme yaparken s\u00fcrekli bir hata al\u0131yorum, ‘\u00d6deme \u0130\u015flenemedi’ diyor.” \u015feklinde bir talep g\u00f6nderirse, Inference Router bu iste\u011fi analiz eder. “Hata”, “\u00f6deme”, “hata kodu” gibi terimler, teknik bir sorun oldu\u011funu g\u00f6sterir. Router, bu iste\u011fi daha geli\u015fmi\u015f bir do\u011fal dil anlama (NLU) modelini \u00e7al\u0131\u015ft\u0131ran bir serverless fonksiyona y\u00f6nlendirebilir. Bu NLU modeli, hatan\u0131n detaylar\u0131n\u0131 (\u00f6rne\u011fin, kullan\u0131lan \u00f6deme y\u00f6ntemi, taray\u0131c\u0131 t\u00fcr\u00fc, hata kodu) daha derinlemesine analiz edebilir. Bu analiz sonucunda, router iste\u011fi ilgili teknik destek ekibine veya bir bilgi bankas\u0131 makalesine y\u00f6nlendirebilir. Bu daha karma\u015f\u0131k analiz i\u00e7in kullan\u0131lan model, daha fazla i\u015flem g\u00fcc\u00fc gerektirebilir, ancak router, yaln\u0131zca bu t\u00fcr karma\u015f\u0131k talepler i\u00e7in bu modeli kullan\u0131r, bu da genel maliyeti optimize eder.<\/p>\n Bu \u00f6rneklerde g\u00f6r\u00fcld\u00fc\u011f\u00fc gibi, Inference Router, her talebin karma\u015f\u0131kl\u0131\u011f\u0131na ve t\u00fcr\u00fcne g\u00f6re en uygun AI modelini ve dolay\u0131s\u0131yla en uygun maliyetli i\u015flem yolunu se\u00e7er. Bu, hem kaynaklar\u0131n verimli kullan\u0131lmas\u0131n\u0131 sa\u011flar hem de m\u00fc\u015fteri taleplerinin h\u0131zl\u0131 ve do\u011fru bir \u015fekilde kar\u015f\u0131lanmas\u0131na olanak tan\u0131r. Serverless inference, bu fonksiyonlar\u0131n yaln\u0131zca ihtiya\u00e7 duyuldu\u011funda \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flayarak, altyap\u0131 maliyetlerini minimumda tutar. Bu entegre yakla\u015f\u0131m, e-ticaret \u015firketlerinin m\u00fc\u015fteri deste\u011fini daha verimli, \u00f6l\u00e7eklenebilir ve maliyet-etkin hale getirmelerini sa\u011flar.<\/p>\n Maliyet odakl\u0131 AI destek triage API’mizi daha da geli\u015ftirmek ve optimize etmek i\u00e7in g\u00f6z \u00f6n\u00fcnde bulundurabilece\u011fimiz baz\u0131 ileri d\u00fczey konular bulunmaktad\u0131r. \u0130lk olarak, model optimizasyonu ve s\u0131k\u0131\u015ft\u0131rma teknikleri, serverless fonksiyonlar\u0131n\u0131n performans\u0131n\u0131 ve maliyetini do\u011frudan etkiler. Modelleri kuantize etmek (quantization), yani daha d\u00fc\u015f\u00fck hassasiyetli veri tipleriyle temsil etmek, hem model boyutunu hem de inference s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde azaltabilir. \u00d6rne\u011fin, float32 yerine float16 veya int8 kullanmak, modelin daha az bellek kullanmas\u0131n\u0131 ve daha h\u0131zl\u0131 \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. Model pruning (budama), yani modelin gereksiz a\u011f\u0131rl\u0131klar\u0131n\u0131 veya n\u00f6ronlar\u0131n\u0131 kald\u0131rmak da benzer faydalar sa\u011flar. Bu teknikler, serverless fonksiyonlar\u0131n\u0131n “so\u011fuk ba\u015flang\u0131\u00e7” (cold start) s\u00fcrelerini de azaltarak, daha h\u0131zl\u0131 yan\u0131t s\u00fcreleri elde etmemize yard\u0131mc\u0131 olur.<\/p>\n \u0130kinci olarak, Inference Router’\u0131n ak\u0131ll\u0131 hale getirilmesi, maliyet ve performans optimizasyonunu bir \u00fcst seviyeye ta\u015f\u0131yabilir. Mevcut basit kural tabanl\u0131 y\u00f6nlendirme yerine, router’\u0131n kendisi de k\u00fc\u00e7\u00fck bir makine \u00f6\u011frenimi modeli kullanabilir. Bu \u00f6n s\u0131n\u0131fland\u0131rma modeli, gelen iste\u011fin ana \u00f6zelliklerini (\u00f6rne\u011fin, konu, duygu durumu, anahtar kelimeler) h\u0131zl\u0131ca analiz ederek, iste\u011fi hangi ana AI modeline g\u00f6ndermesi gerekti\u011fi konusunda daha ak\u0131ll\u0131 bir karar verebilir. Bu, \u00f6zellikle \u00e7ok say\u0131da ve farkl\u0131 t\u00fcrde AI modeli kullan\u0131ld\u0131\u011f\u0131nda faydal\u0131 olacakt\u0131r. Ayr\u0131ca, router, ge\u00e7mi\u015f performans verilerini ve maliyet bilgilerini kullanarak, hangi modelin belirli bir g\u00f6rev i\u00e7in en iyi de\u011feri sundu\u011funu \u00f6\u011frenebilir ve bu bilgiyi gelecekteki y\u00f6nlendirme kararlar\u0131nda kullanabilir. Bu, zamanla router’\u0131n daha da ak\u0131ll\u0131 hale gelmesini sa\u011flar.<\/p>\n \u00dc\u00e7\u00fcnc\u00fc olarak, maliyet takibi ve analizi, s\u00fcrekli optimizasyon i\u00e7in kritik \u00f6neme sahiptir. Hangi serverless fonksiyonlar\u0131n\u0131n en \u00e7ok \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131, hangi AI modellerinin en \u00e7ok kaynak t\u00fcketti\u011fini ve genel API \u00e7a\u011fr\u0131 maliyetlerinin nas\u0131l da\u011f\u0131ld\u0131\u011f\u0131n\u0131 anlamak \u00f6nemlidir. Bulut sa\u011flay\u0131c\u0131lar\u0131n\u0131n sundu\u011fu maliyet y\u00f6netimi ara\u00e7lar\u0131 ve loglama servisleri (\u00f6rne\u011fin, AWS CloudWatch, Azure Monitor) bu konuda bize yard\u0131mc\u0131 olabilir. Belirli modellerin veya fonksiyonlar\u0131n beklenenden daha pahal\u0131 oldu\u011funu tespit edersek, bu alanlara odaklanarak optimizasyon \u00e7al\u0131\u015fmalar\u0131 yapabiliriz. \u00d6rne\u011fin, belirli bir modelin inference s\u00fcresini azaltmak i\u00e7in yeniden e\u011fitim veya daha verimli bir mimari se\u00e7imi gerekebilir. Ayr\u0131ca, “warm starts” (s\u0131cak ba\u015flang\u0131\u00e7lar) i\u00e7in sunucusuz fonksiyonlar\u0131n\u0131z\u0131 yap\u0131land\u0131rmak da yan\u0131t s\u00fcrelerini iyile\u015ftirebilir ve baz\u0131 durumlarda maliyetleri optimize edebilir. Bu, fonksiyonun belirli bir s\u00fcre boyunca bellekte aktif kalmas\u0131n\u0131 sa\u011flayarak, bir sonraki \u00e7a\u011fr\u0131n\u0131n daha h\u0131zl\u0131 yan\u0131t vermesini sa\u011flar.<\/p>\n Son olarak, hata y\u00f6netimi ve izleme (monitoring) mekanizmalar\u0131n\u0131n sa\u011flaml\u0131\u011f\u0131, API’nin g\u00fcvenilirli\u011fi i\u00e7in hayati \u00f6nem ta\u015f\u0131r. AI modelleri zaman zaman beklenmedik sonu\u00e7lar \u00fcretebilir veya serverless fonksiyonlar\u0131 hata verebilir. Bu hatalar\u0131n h\u0131zl\u0131 bir \u015fekilde tespit edilmesi, g\u00fcnl\u00fc\u011fe kaydedilmesi ve gerekti\u011finde otomatik olarak d\u00fczeltilmesi veya ilgili ekiplere bildirilmesi gerekir. Hata tolerans\u0131 (fault tolerance) ve yeniden deneme (retry) mekanizmalar\u0131n\u0131n API tasar\u0131m\u0131na dahil edilmesi, ge\u00e7ici sorunlar\u0131n kullan\u0131c\u0131 deneyimini etkilemesini \u00f6nleyebilir. Bu, genel olarak sistemin daha sa\u011flam ve g\u00fcvenilir olmas\u0131n\u0131 sa\u011flar.<\/p>\n Maliyet odakl\u0131 AI destek triage API’sini serverless inference ve Inference Router ile in\u015fa etmek, modern i\u015fletmelerin m\u00fc\u015fteri destek s\u00fcre\u00e7lerini devrim niteli\u011finde d\u00f6n\u00fc\u015ft\u00fcrme potansiyeline sahiptir. Bu yakla\u015f\u0131m, AI’n\u0131n g\u00fcc\u00fcnden faydalan\u0131rken, altyap\u0131 y\u00f6netimi ve operasyonel maliyetleri minimize etmeyi hedefler. Serverless platformlar\u0131, yaln\u0131zca kulland\u0131\u011f\u0131n\u0131z kadar \u00f6deme yapman\u0131z\u0131 sa\u011flayarak maliyetleri kontrol alt\u0131nda tutarken, Inference Router, taleplerin en uygun ve verimli AI modeli taraf\u0131ndan i\u015flenmesini garanti eder. Bu, hem h\u0131zl\u0131 ve do\u011fru m\u00fc\u015fteri deste\u011fi sunarak m\u00fc\u015fteri memnuniyetini art\u0131r\u0131r hem de i\u015fletmelerin rekabet\u00e7i kalmalar\u0131na yard\u0131mc\u0131 olur.<\/p>\n Bu makalede ele ald\u0131\u011f\u0131m\u0131z ad\u0131mlar ve ipu\u00e7lar\u0131, bu t\u00fcr bir sistemi ba\u015far\u0131yla tasarlamak ve uygulamak i\u00e7in sa\u011flam bir temel sunmaktad\u0131r. Veri haz\u0131rl\u0131\u011f\u0131ndan model se\u00e7imine, serverless fonksiyonlar\u0131n\u0131n da\u011f\u0131t\u0131m\u0131ndan Inference Router’\u0131n ak\u0131ll\u0131ca yap\u0131land\u0131r\u0131lmas\u0131na kadar her a\u015fama, maliyet etkinli\u011fi ve performans optimizasyonunu g\u00f6z \u00f6n\u00fcnde bulundurarak planlanmal\u0131d\u0131r. \u0130leri d\u00fczey optimizasyon teknikleri ve s\u00fcrekli izleme, bu sistemin zamanla daha da verimli hale gelmesini sa\u011flayacakt\u0131r. Sonu\u00e7 olarak, bu teknoloji y\u0131\u011f\u0131n\u0131, i\u015fletmelere \u00f6l\u00e7eklenebilir, esnek ve maliyet-etkin bir AI destek \u00e7\u00f6z\u00fcm\u00fc sunar.<\/p>\n Serverless inference’\u0131n temel avantajlar\u0131 aras\u0131nda altyap\u0131 y\u00f6netimi gerektirmemesi, yaln\u0131zca kulland\u0131\u011f\u0131n\u0131z kadar \u00f6deme yapman\u0131z (pay-as-you-go modeli), otomatik \u00f6l\u00e7eklenme yetene\u011fi ve h\u0131zl\u0131 da\u011f\u0131t\u0131m imkan\u0131 bulunur. Bu, \u00f6zellikle talep dalgalanmalar\u0131n\u0131n ya\u015fand\u0131\u011f\u0131 durumlarda maliyetleri \u00f6nemli \u00f6l\u00e7\u00fcde d\u00fc\u015f\u00fcr\u00fcr ve operasyonel y\u00fck\u00fc azalt\u0131r.<\/p>\n<\/li>\n Inference Router, gelen her iste\u011fi analiz ederek, onu en uygun ve en verimli AI modeline y\u00f6nlendirir. Bu, gereksiz yere pahal\u0131 veya karma\u015f\u0131k modellerin basit g\u00f6revler i\u00e7in kullan\u0131lmas\u0131n\u0131 \u00f6nler. \u00d6rne\u011fin, basit bir s\u0131n\u0131fland\u0131rma iste\u011fi i\u00e7in daha k\u00fc\u00e7\u00fck ve ucuz bir model tercih edilirken, karma\u015f\u0131k bir analiz i\u00e7in daha g\u00fc\u00e7l\u00fc bir model kullan\u0131labilir. Bu ak\u0131ll\u0131 y\u00f6nlendirme, genel i\u015flem maliyetlerini d\u00fc\u015f\u00fcr\u00fcr.<\/p>\n<\/li>\n Bir triage API’sinde metin s\u0131n\u0131fland\u0131rma modelleri (talebin konusunu belirlemek i\u00e7in), duygu analizi modelleri (m\u00fc\u015fterinin memnuniyet d\u00fczeyini anlamak i\u00e7in), varl\u0131k tan\u0131ma (Named Entity Recognition – NER) modelleri (\u00fcr\u00fcn isimleri, hata kodlar\u0131 gibi \u00f6nemli bilgileri \u00e7\u0131karmak i\u00e7in) ve hatta soru cevaplama modelleri kullan\u0131labilir. Se\u00e7ilecek modeller, kar\u015f\u0131lanmak istenen spesifik ihtiya\u00e7lara g\u00f6re belirlenir.<\/p>\n<\/li>\n So\u011fuk ba\u015flang\u0131\u00e7, bir serverless fonksiyonunun uzun bir s\u00fcre i\u015flem yapmad\u0131\u011f\u0131nda ilk \u00e7a\u011fr\u0131ld\u0131\u011f\u0131nda ya\u015fanan gecikmedir. Bu, modelin belle\u011fe y\u00fcklenmesi ve ortam\u0131n haz\u0131rlanmas\u0131 gerekti\u011fi i\u00e7in olu\u015fur. Optimizasyon teknikleri aras\u0131nda model s\u0131k\u0131\u015ft\u0131rma, daha k\u00fc\u00e7\u00fck modeller kullanma, fonksiyonlar\u0131 “s\u0131cak tutma” (warm-up) veya \u00f6zel container imajlar\u0131 kullanma gibi y\u00f6ntemler yer al\u0131r. Ayr\u0131ca, baz\u0131 bulut sa\u011flay\u0131c\u0131lar\u0131 “provisioned concurrency” gibi \u00f6zellikler sunarak bu gecikmeleri azaltmaya yard\u0131mc\u0131 olur.<\/p>\n<\/li>\n Temel olarak, serverless inference ve Inference Router konseptleri bulut tabanl\u0131d\u0131r. Ancak, benzer i\u015flevselli\u011fi Kubernetes gibi konteyner orkestrasyon platformlar\u0131 \u00fczerinde kendi altyap\u0131n\u0131zda da kurmak m\u00fcmk\u00fcnd\u00fcr. Bu, daha fazla kontrol sa\u011flar ancak altyap\u0131 y\u00f6netimi ve \u00f6l\u00e7eklendirme sorumlulu\u011funu sizin \u00fcstlenmeniz anlam\u0131na gelir. Maliyet odakl\u0131l\u0131k a\u00e7\u0131s\u0131ndan bulut tabanl\u0131 serverless \u00e7\u00f6z\u00fcmler genellikle daha avantajl\u0131d\u0131r.<\/p>\n<\/li>\n<\/ul>\nclassify_intent<\/code> fonksiyonu, analyze_sentiment<\/code> fonksiyonu ve extract_entities<\/code> fonksiyonu. Bu fonksiyonlar, model dosyalar\u0131n\u0131 ve gerekli k\u00fct\u00fcphaneleri i\u00e7erecek \u015fekilde paketlenir. AWS Lambda i\u00e7in bu, bir ZIP dosyas\u0131 veya bir container imaj\u0131 olabilir. Fonksiyonlar, gelen API isteklerini alacak ve model inference’\u0131n\u0131 ger\u00e7ekle\u015ftirecektir. Bu a\u015famada, modelin belle\u011fe y\u00fcklenme s\u00fcresi gibi performans metriklerini optimize etmek \u00f6nemlidir. Modelin s\u0131k\u0131\u015ft\u0131r\u0131lmas\u0131 veya daha verimli bir formatta saklanmas\u0131 gibi teknikler kullan\u0131labilir. Fonksiyonlar, API Gateway gibi bir servis arac\u0131l\u0131\u011f\u0131yla tetiklenecektir.<\/p>\nGer\u00e7ek D\u00fcnya Senaryosu: E-ticaret M\u00fc\u015fteri Deste\u011fi<\/h3>\n
Geli\u015fmi\u015f Konular ve Optimizasyon \u0130pu\u00e7lar\u0131<\/h3>\n
Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h4>\n
\n