Yapay zeka (YZ) modelleri, \u00f6zellikle B\u00fcy\u00fck Dil Modelleri (LLM’ler), g\u00fcn\u00fcm\u00fcz\u00fcn dijital d\u00fcnyas\u0131nda vazge\u00e7ilmez hale geldi. Ancak bu g\u00fc\u00e7l\u00fc ara\u00e7lar\u0131n \u00e7\u0131kar\u0131m (inference) maliyetleri, i\u015fletmeler i\u00e7in ciddi bir y\u00fck olu\u015fturabilir. Y\u00fcksek GPU kullan\u0131m\u0131ndan, verimsiz model se\u00e7imlerine kadar bir\u00e7ok fakt\u00f6r, faturalar\u0131n\u0131z\u0131n adeta kan kaybetmesine neden olabilir. Peki, bu karma\u015f\u0131k maliyet yap\u0131s\u0131n\u0131 anlamak, izlemek ve optimize etmek i\u00e7in ne yapabiliriz? Bu makalede, OpenTelemetry (OTel) tabanl\u0131 bir GPU profiler ve bir LLM a\u011f ge\u00e7idi (gateway) in\u015fa ederek yapay zeka \u00e7\u0131kar\u0131m maliyetlerini nas\u0131l kontrol alt\u0131na alaca\u011f\u0131m\u0131z\u0131 ad\u0131m ad\u0131m inceleyece\u011fiz. Bu sayede, hem performans hem de maliyet a\u00e7\u0131s\u0131ndan \u015feffafl\u0131k sa\u011flayarak, YZ altyap\u0131n\u0131zdan en iyi \u015fekilde faydalanabileceksiniz.<\/p>\n
Son y\u0131llarda yapay zeka teknolojilerindeki patlama, i\u015fletmelerin inovasyon h\u0131z\u0131n\u0131 art\u0131r\u0131rken, beraberinde yeni ve karma\u015f\u0131k maliyet kalemleri de getirdi. \u00d6zellikle b\u00fcy\u00fck dil modelleri (LLM’ler) gibi geli\u015fmi\u015f yapay zeka modellerinin \u00e7\u0131kar\u0131m s\u00fcre\u00e7leri, y\u00fcksek hesaplama g\u00fcc\u00fc gerektiren GPU’lara (Grafik \u0130\u015flem Birimleri) ba\u011f\u0131ml\u0131d\u0131r. Bu ba\u011f\u0131ml\u0131l\u0131k, bulut sa\u011flay\u0131c\u0131lar\u0131ndaki veya \u015firket i\u00e7i altyap\u0131lardaki GPU kaynaklar\u0131n\u0131n s\u00fcrekli ve yo\u011fun kullan\u0131m\u0131na yol a\u00e7ar. Bir\u00e7ok \u015firket, YZ modellerini devreye alman\u0131n ilk heyecan\u0131yla birlikte, \u00e7\u0131kar\u0131m maliyetlerinin beklenenden \u00e7ok daha h\u0131zl\u0131 artt\u0131\u011f\u0131n\u0131 fark eder. Bu durum, “kanayan maliyetler” olarak adland\u0131r\u0131labilir; \u00e7\u00fcnk\u00fc \u00e7o\u011fu zaman, hangi modelin ne kadar kaynak t\u00fcketti\u011fi, hangi iste\u011fin ne kadar gecikmeye neden oldu\u011fu veya hangi kullan\u0131c\u0131 senaryosunun en pahal\u0131 oldu\u011fu net bir \u015fekilde anla\u015f\u0131lamaz.<\/p>\n
Bu \u015feffafl\u0131k eksikli\u011fi, maliyetlerin kontrols\u00fczce artmas\u0131na neden olan temel fakt\u00f6rlerden biridir. Geleneksel izleme ara\u00e7lar\u0131 genellikle genel sistem sa\u011fl\u0131\u011f\u0131n\u0131 g\u00f6sterirken, spesifik YZ \u00e7\u0131kar\u0131m isteklerinin GPU \u00fczerindeki anl\u0131k etkisini, bellek kullan\u0131m\u0131n\u0131 veya gecikmesini detayl\u0131 bir \u015fekilde sunmakta yetersiz kal\u0131r. \u00d6rne\u011fin, bir e-ticaret sitesinin \u00fcr\u00fcn \u00f6neri motoru i\u00e7in kullan\u0131lan bir LLM’in, belirli bir saat diliminde neden daha fazla GPU kayna\u011f\u0131 t\u00fcketti\u011fini veya yeni bir model g\u00fcncellemesinin ger\u00e7ekten maliyetleri d\u00fc\u015f\u00fcr\u00fcp d\u00fc\u015f\u00fcrmedi\u011fini anlamak zorla\u015f\u0131r. Bu belirsizlik, ekiplerin bilin\u00e7li optimizasyon kararlar\u0131 almas\u0131n\u0131 engeller ve gereksiz harcamalar\u0131n devam etmesine yol a\u00e7ar. Ayr\u0131ca, YZ modellerinin s\u00fcrekli evrimi ve farkl\u0131 modellerin (\u00f6rne\u011fin, daha k\u00fc\u00e7\u00fck, optimize edilmi\u015f modeller) devreye al\u0131nmas\u0131, performans ve maliyet aras\u0131ndaki dengeyi bulmay\u0131 daha da karma\u015f\u0131k hale getirir. Bu y\u00fczden, \u00e7\u0131kar\u0131m maliyetlerini \u015feffaf bir \u015fekilde izleyebilen, analiz edebilen ve optimize edebilen \u00f6zel ara\u00e7lara olan ihtiya\u00e7 giderek artmaktad\u0131r. \u0130\u015fte tam da bu noktada, OpenTelemetry tabanl\u0131 bir GPU profiler ve LLM a\u011f ge\u00e7idi devreye girerek bu sorunlara k\u00f6kl\u00fc bir \u00e7\u00f6z\u00fcm sunmay\u0131 hedefler.<\/p>\n
Yapay zeka \u00e7\u0131kar\u0131m maliyetlerini etkin bir \u015fekilde y\u00f6netmek i\u00e7in \u00f6ncelikle bu \u00e7\u00f6z\u00fcm\u00fcn temelini olu\u015fturan anahtar kavramlar\u0131 anlamak \u00f6nemlidir. Bu kavramlar, sistemlerimizin g\u00f6zlemlenebilirli\u011fini art\u0131rarak, maliyet optimizasyonu i\u00e7in gerekli verileri toplamam\u0131z\u0131 sa\u011flar.<\/p>\n
OpenTelemetry (OTel), da\u011f\u0131t\u0131k sistemlerde g\u00f6zlemlenebilirlik (observability) verilerini (izler (traces), metrikler (metrics) ve g\u00fcnl\u00fckler (logs)) toplamak, i\u015flemek ve d\u0131\u015fa aktarmak i\u00e7in sat\u0131c\u0131dan ba\u011f\u0131ms\u0131z, a\u00e7\u0131k kaynakl\u0131 bir standartt\u0131r. Geleneksel olarak, farkl\u0131 izleme ara\u00e7lar\u0131 kendi formatlar\u0131n\u0131 ve protokollerini kullan\u0131rd\u0131, bu da karma\u015f\u0131k sistemlerde veri entegrasyonunu zorla\u015ft\u0131r\u0131yordu. OTel, bu sorunu \u00e7\u00f6zerek geli\u015ftiricilere tek bir API ve SDK seti sunar. Bu sayede, uygulaman\u0131zdan toplad\u0131\u011f\u0131n\u0131z g\u00f6zlemlenebilirlik verilerini herhangi bir uyumlu arka u\u00e7 sistemine (\u00f6rne\u011fin, Jaeger, Prometheus, Grafana, Datadog) g\u00f6nderebilirsiniz. YZ \u00e7\u0131kar\u0131m s\u00fcre\u00e7leri gibi karma\u015f\u0131k ve da\u011f\u0131t\u0131k i\u015f y\u00fcklerinde, OTel sayesinde bir iste\u011fin ba\u015flang\u0131c\u0131ndan sonuna kadar olan t\u00fcm ad\u0131mlar\u0131n\u0131 izleyebilir, hangi mikroservislerin veya bile\u015fenlerin ne kadar s\u00fcre harcad\u0131\u011f\u0131n\u0131 g\u00f6rebiliriz. Bu, performans darbo\u011fazlar\u0131n\u0131 tespit etmek ve maliyetli i\u015flemleri belirlemek i\u00e7in kritik \u00f6neme sahiptir.<\/p>\n
GPU profiling (GPU profilleme), bir grafik i\u015flem biriminin performans\u0131n\u0131 ve kaynak kullan\u0131m\u0131n\u0131 detayl\u0131 bir \u015fekilde analiz etme s\u00fcrecidir. Yapay zeka modelleri, \u00f6zellikle LLM’ler ve derin \u00f6\u011frenme modelleri, yo\u011fun matris \u00e7arp\u0131mlar\u0131 ve paralel hesaplamalar i\u00e7in GPU’lar\u0131n y\u00fcksek i\u015flem g\u00fcc\u00fcne ihtiya\u00e7 duyar. Geleneksel CPU profilleme ara\u00e7lar\u0131, GPU’nun i\u00e7 i\u015fleyi\u015fi hakk\u0131nda yeterli bilgi sa\u011flamaz. GPU profilleme, bize GPU’nun kullan\u0131m oran\u0131 (utilization), bellek kullan\u0131m\u0131 (memory usage), \u00e7ekirdek (kernel) y\u00fcr\u00fctme s\u00fcreleri, veri transfer h\u0131zlar\u0131 ve g\u00fc\u00e7 t\u00fcketimi gibi metrikleri sunar. Bu veriler, bir yapay zeka \u00e7\u0131kar\u0131m iste\u011finin GPU \u00fczerinde ne kadar verimli \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 anlamak i\u00e7in hayati \u00f6neme sahiptir. \u00d6rne\u011fin, bir modelin GPU belle\u011fini gereksiz yere me\u015fgul edip etmedi\u011fini veya belirli bir operasyonun beklenenden daha uzun s\u00fcr\u00fcp s\u00fcrmedi\u011fini belirleyebiliriz. Bu bilgiler, model optimizasyonu, donan\u0131m se\u00e7imi ve maliyet tasarrufu stratejileri i\u00e7in temel olu\u015fturur.<\/p>\n
LLM inference (LLM \u00e7\u0131kar\u0131m\u0131), \u00f6nceden e\u011fitilmi\u015f bir b\u00fcy\u00fck dil modeline bir girdi (prompt) verilerek, modelin bu girdiye dayal\u0131 olarak yeni bir \u00e7\u0131kt\u0131 (cevap, metin, kod vb.) \u00fcretmesi s\u00fcrecidir. Bu s\u00fcre\u00e7, genellikle birka\u00e7 a\u015famadan olu\u015fur: girdi i\u015fleme (tokenization), modelin katmanlar\u0131 aras\u0131nda ileriye do\u011fru ge\u00e7i\u015f (forward pass) ve \u00e7\u0131kt\u0131 \u00fcretimi (decoding). Her bir a\u015fama, yo\u011fun hesaplama gerektirebilir ve \u00f6zellikle b\u00fcy\u00fck modeller ve uzun girdiler\/\u00e7\u0131kt\u0131lar s\u00f6z konusu oldu\u011funda \u00f6nemli miktarda GPU kayna\u011f\u0131 t\u00fcketir. LLM \u00e7\u0131kar\u0131m\u0131n\u0131n maliyetleri, kullan\u0131lan modelin b\u00fcy\u00fckl\u00fc\u011f\u00fc, girdi ve \u00e7\u0131kt\u0131 token say\u0131s\u0131, iste\u011fin gecikme s\u00fcresi (latency) ve GPU’nun anl\u0131k y\u00fck\u00fc gibi fakt\u00f6rlere ba\u011fl\u0131d\u0131r. Token ba\u015f\u0131na maliyetlendirme yayg\u0131n olsa da, altta yatan GPU kaynak t\u00fcketimi ve bunun optimize edilmesi, toplam maliyetleri d\u00fc\u015f\u00fcrmenin anahtar\u0131d\u0131r. \u00d6rne\u011fin, ayn\u0131 g\u00f6revi daha k\u00fc\u00e7\u00fck bir modelle veya daha optimize edilmi\u015f bir \u00e7\u0131kar\u0131m stratejisiyle ger\u00e7ekle\u015ftirmek, maliyetlerde \u00f6nemli d\u00fc\u015f\u00fc\u015fler sa\u011flayabilir. LLM a\u011f ge\u00e7idi ise, bu \u00e7\u0131kar\u0131m isteklerini y\u00f6netmek, y\u00f6nlendirmek ve optimize etmek i\u00e7in merkezi bir kontrol noktas\u0131 sunar.<\/p>\n
Yapay zeka \u00e7\u0131kar\u0131m maliyetlerini d\u00fc\u015f\u00fcrmenin en etkili yollar\u0131ndan biri, GPU kaynaklar\u0131n\u0131n kullan\u0131m\u0131n\u0131 derinlemesine anlamakt\u0131r. Ancak mevcut izleme \u00e7\u00f6z\u00fcmleri genellikle bu konuda yetersiz kal\u0131r. Geleneksel GPU izleme ara\u00e7lar\u0131, sunucunun genel GPU kullan\u0131m\u0131n\u0131 g\u00f6sterse de, belirli bir yapay zeka \u00e7\u0131kar\u0131m iste\u011finin veya bir kullan\u0131c\u0131n\u0131n talebinin GPU \u00fczerindeki anl\u0131k etkisini, ne kadar bellek t\u00fcketti\u011fini veya ne kadar s\u00fcre me\u015fgul etti\u011fini izlemek zordur. \u0130\u015fte bu noktada, OTel-native bir GPU profiler’a olan ihtiya\u00e7 kritik hale gelir.<\/p>\n
Var olan GPU izleme ara\u00e7lar\u0131n\u0131n \u00e7o\u011fu, sistem genelindeki metrikleri toplar ve bunlar\u0131 ayr\u0131 bir g\u00f6sterge tablosunda sunar. Bu, “sunucudaki GPU %80 kullan\u0131l\u0131yor” gibi genel bilgiler verir. Ancak “Hangi modelin \u00e7\u0131kar\u0131m\u0131 bu %80’lik kullan\u0131m\u0131n ne kadar\u0131na sebep oluyor?” veya “Belirli bir kullan\u0131c\u0131dan gelen ve 5 saniye s\u00fcren bu istek, GPU’da tam olarak ne yapt\u0131?” gibi sorular\u0131n cevaplar\u0131n\u0131 vermez. Bu t\u00fcr sorular\u0131n cevab\u0131, ger\u00e7ek maliyet optimizasyonu i\u00e7in hayati \u00f6neme sahiptir. OTel-native bir GPU profiler, bu eksikli\u011fi gidererek, her bir \u00e7\u0131kar\u0131m iste\u011fini bir OpenTelemetry izi (trace) olarak ele al\u0131r ve bu izlerin i\u00e7ine ilgili GPU metriklerini (kullan\u0131m, bellek, gecikme vb.) do\u011frudan yerle\u015ftirir. Bu entegrasyon, da\u011f\u0131t\u0131k izleme sisteminizde her bir iste\u011fin u\u00e7tan uca yolculu\u011funu, CPU’dan a\u011fa, oradan da GPU’ya kadar t\u00fcm a\u015famalar\u0131yla birlikte g\u00f6rmenizi sa\u011flar.<\/p>\n
Bu yakla\u015f\u0131m\u0131n en b\u00fcy\u00fck faydas\u0131, maliyetleri do\u011frudan i\u015f ba\u011flam\u0131na (business context) ba\u011flayabilmenizdir. \u00d6rne\u011fin, bir e-ticaret uygulamas\u0131nda, bir kullan\u0131c\u0131n\u0131n \u00fcr\u00fcn arama iste\u011fi i\u00e7in bir LLM’in kullan\u0131ld\u0131\u011f\u0131n\u0131 d\u00fc\u015f\u00fcnelim. OTel-native profiler sayesinde, bu arama iste\u011finin ba\u015f\u0131ndan sonuna kadar olan t\u00fcm ad\u0131mlar\u0131n\u0131 izlerken, ayn\u0131 zamanda bu iste\u011fin GPU \u00fczerinde ne kadar s\u00fcre kald\u0131\u011f\u0131n\u0131, ne kadar GPU belle\u011fi kulland\u0131\u011f\u0131n\u0131 ve bu s\u00fcre\u00e7te GPU’nun ortalama kullan\u0131m oran\u0131n\u0131 da g\u00f6rebilirsiniz. Bu, size “Bu arama iste\u011fi, ortalama OTel-native bir GPU profiler in\u015fa etmek, temelde iki ana ad\u0131mdan olu\u015fur: GPU’dan performans metriklerini toplamak ve bu metrikleri OpenTelemetry standartlar\u0131na uygun \u015fekilde d\u0131\u015fa aktarmak. Bu s\u00fcre\u00e7, Python gibi pop\u00fcler bir dil kullan\u0131larak kolayca ger\u00e7ekle\u015ftirilebilir. \u0130\u015fte ad\u0131m ad\u0131m nas\u0131l yap\u0131laca\u011f\u0131:<\/p>\n GPU metriklerini toplamak i\u00e7in donan\u0131m sa\u011flay\u0131c\u0131lar\u0131n\u0131n sundu\u011fu k\u00fct\u00fcphanelerden faydalan\u0131r\u0131z. NVIDIA GPU’lar i\u00e7in en yayg\u0131n kullan\u0131lan k\u00fct\u00fcphane NVIDIA Management Library (NVML)’dir. AMD GPU’lar i\u00e7in ise ROCm System Management Interface (ROCm SMI) benzer i\u015flevler sunar. Bu k\u00fct\u00fcphaneler, GPU’nun kullan\u0131m oran\u0131, bellek kullan\u0131m\u0131, s\u0131cakl\u0131k, g\u00fc\u00e7 t\u00fcketimi ve aktif \u00e7ekirdekler gibi bir\u00e7ok metri\u011fe programatik eri\u015fim sa\u011flar.<\/p>\n Python’da NVML’ye eri\u015fmek i\u00e7in Daha sonra, GPU metriklerini toplamak i\u00e7in a\u015fa\u011f\u0131daki gibi bir kod par\u00e7ac\u0131\u011f\u0131 kullanabilirsiniz:<\/p>\n Bu kod, sistemdeki her bir NVIDIA GPU’nun anl\u0131k kullan\u0131m, bellek, g\u00fc\u00e7 ve s\u0131cakl\u0131k bilgilerini toplar.<\/p>\n Toplad\u0131\u011f\u0131m\u0131z GPU metriklerini OpenTelemetry’ye entegre etmek i\u00e7in, Kurulum:<\/p>\n \u015eimdi, yukar\u0131daki GPU metriklerini OTel metrikleri olarak nas\u0131l g\u00f6nderece\u011fimize bakal\u0131m. Genellikle, bir \u00e7\u0131kar\u0131m iste\u011fi ba\u015flad\u0131\u011f\u0131nda bir OTel span (iz) ba\u015flat\u0131r\u0131z. Bu span’\u0131n i\u00e7ine veya bu span ile ili\u015fkilendirilmi\u015f metrikler olarak GPU verilerini ekleyebiliriz.<\/p>\n Bu \u00f6rnekte, her 10 saniyede bir GPU metrikleri toplan\u0131r ve OTel gauge (g\u00f6sterge) metrikleri olarak OpenTelemetry Collector’a g\u00f6nderilir. Collector, bu metrikleri Prometheus gibi bir metrik depolama sistemine iletebilir. Daha geli\u015fmi\u015f bir senaryoda, bir LLM \u00e7\u0131kar\u0131m iste\u011fi ba\u015flad\u0131\u011f\u0131nda bir OTel trace (iz) ba\u015flat\u0131l\u0131r ve bu trace’in i\u00e7ine, iste\u011fin GPU \u00fczerinde ge\u00e7irdi\u011fi s\u00fcre, anl\u0131k GPU kullan\u0131m\u0131 gibi veriler custom span attribute’lar\u0131 (\u00f6zel iz nitelikleri) olarak eklenebilir. Bu sayede, her bir \u00e7\u0131kar\u0131m iste\u011finin maliyet ve performans profilini u\u00e7tan uca izleyebiliriz.<\/p>\n Yapay zeka modelleri, \u00f6zellikle LLM’ler, uygulamalar\u0131n ayr\u0131lmaz bir par\u00e7as\u0131 haline geldik\u00e7e, bu modellerle etkile\u015fim kurma \u015feklimizi optimize etmek zorunlu hale geliyor. \u0130\u015fte tam bu noktada bir LLM A\u011f Ge\u00e7idi (LLM Gateway) devreye girer. Bir LLM A\u011f Ge\u00e7idi, uygulamalar\u0131n\u0131z ile birden fazla LLM sa\u011flay\u0131c\u0131s\u0131 (OpenAI, Anthropic, yerel modeller vb.) veya farkl\u0131 model versiyonlar\u0131 aras\u0131nda bir proxy (vekil sunucu) g\u00f6revi g\u00f6r\u00fcr. Bu, sadece istekleri y\u00f6nlendirmekle kalmaz, ayn\u0131 zamanda maliyet, performans, g\u00fcvenlik ve g\u00f6zlemlenebilirlik a\u00e7\u0131s\u0131ndan kritik optimizasyonlar yapmam\u0131z\u0131 sa\u011flar.<\/p>\n LLM A\u011f Ge\u00e7idi, OTel-native GPU profiler ile entegre edildi\u011finde ger\u00e7ek g\u00fcc\u00fcn\u00fc ortaya koyar. A\u011f ge\u00e7idi, her gelen LLM iste\u011fi i\u00e7in bir OpenTelemetry trace ba\u015flat\u0131r. Bu trace, iste\u011fin a\u011f ge\u00e7idine ula\u015fmas\u0131ndan, do\u011fru LLM’e y\u00f6nlendirilmesine, yan\u0131t\u0131n al\u0131nmas\u0131na ve son kullan\u0131c\u0131ya g\u00f6nderilmesine kadar olan t\u00fcm ad\u0131mlar\u0131 i\u00e7erir. Bu trace’in i\u00e7ine, GPU profiler’dan al\u0131nan veriler (iste\u011fin GPU’da ge\u00e7irdi\u011fi s\u00fcre, anl\u0131k GPU kullan\u0131m\u0131, bellek t\u00fcketimi gibi) custom span attribute’lar\u0131 olarak eklenir. Bu sayede, tek bir trace i\u00e7erisinde hem uygulaman\u0131n LLM ile etkile\u015fimini hem de bu etkile\u015fimin donan\u0131m (GPU) \u00fczerindeki ger\u00e7ek maliyetini g\u00f6rebiliriz.<\/p>\n Basit bir Python tabanl\u0131 LLM a\u011f ge\u00e7idi \u00f6rne\u011fi:<\/p>\n Bu \u00f6rnek, gelen bir LLM iste\u011fini yakalar, prompt uzunlu\u011funa g\u00f6re farkl\u0131 bir LLM’e y\u00f6nlendirir ve iste\u011fin ba\u015flang\u0131c\u0131nda ve sonunda GPU metriklerini toplayarak OTel span’\u0131na ekler. Bu sayede, her bir \u00e7\u0131kar\u0131m iste\u011finin hangi modeli kulland\u0131\u011f\u0131n\u0131, ne kadar s\u00fcrd\u00fc\u011f\u00fcn\u00fc ve bu s\u00fcre\u00e7te GPU’nun ne kadar me\u015fgul oldu\u011funu tek bir yerden izleyebiliriz. Bu entegrasyon, maliyet optimizasyonu i\u00e7in e\u015fsiz bir \u015feffafl\u0131k ve kontrol sa\u011flar.<\/p>\n \u015eimdiye kadar bahsetti\u011fimiz teorik bilgileri ve teknik uygulamalar\u0131, ger\u00e7ek bir i\u015f senaryosu \u00fczerinden somutla\u015ft\u0131ral\u0131m. B\u00fcy\u00fck bir e-ticaret platformunun, m\u00fc\u015fteri deneyimini geli\u015ftirmek ve operasyonel verimlili\u011fi art\u0131rmak i\u00e7in yapay zeka modellerini yo\u011fun bir \u015fekilde kulland\u0131\u011f\u0131n\u0131 varsayal\u0131m. Bu platform, \u00fcr\u00fcn \u00f6nerileri, m\u00fc\u015fteri hizmetleri chatbot’lar\u0131, \u00fcr\u00fcn a\u00e7\u0131klamas\u0131 olu\u015fturma ve arama sorgular\u0131n\u0131 anlama gibi bir\u00e7ok alanda LLM’lerden faydalan\u0131yor. Ancak, bu yayg\u0131n kullan\u0131m beraberinde ciddi bir sorun getiriyor: yapay zeka \u00e7\u0131kar\u0131m maliyetleri kontrolden \u00e7\u0131kmaya ba\u015fl\u0131yor.<\/p>\n E-ticaret platformunun yapay zeka ekibi, ayl\u0131k bulut faturalar\u0131nda GPU kullan\u0131m\u0131na ba\u011fl\u0131 maliyetlerin s\u00fcrekli artt\u0131\u011f\u0131n\u0131 fark ediyor. Ancak, hangi LLM modelinin, hangi \u00f6zelli\u011fin veya hangi kullan\u0131c\u0131 etkile\u015fiminin bu maliyet art\u0131\u015f\u0131na en \u00e7ok katk\u0131da bulundu\u011funu net olarak g\u00f6remiyorlar. \u00d6rne\u011fin:<\/p>\n Bu \u015feffafl\u0131k eksikli\u011fi, ekibin bilin\u00e7li optimizasyon kararlar\u0131 almas\u0131n\u0131 engelliyor ve gereksiz harcamalar\u0131n devam etmesine yol a\u00e7\u0131yor.<\/p>\n Yapay zeka ekibi, bu sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in makalede bahsetti\u011fimiz OTel-native GPU profiler ve LLM a\u011f ge\u00e7idi \u00e7\u00f6z\u00fcm\u00fcn\u00fc uygulamaya karar veriyor. Mimariyi \u015fu \u015fekilde g\u00fcncelliyorlar:<\/p>\n Bu \u00e7\u00f6z\u00fcm\u00fcn devreye al\u0131nmas\u0131yla birlikte, e-ticaret platformu ekibi daha \u00f6nce hi\u00e7 sahip olmad\u0131\u011f\u0131 bir \u015feffafl\u0131\u011fa kavu\u015fuyor. Elde ettikleri sonu\u00e7lar \u015funlar oluyor:<\/p>\n Bu vaka analizi, OTel-native GPU profiler ve LLM a\u011f ge\u00e7idinin sadece teknik birer ara\u00e7 olman\u0131n \u00f6tesinde, i\u015fletmeler i\u00e7in do\u011frudan maliyet tasarrufu ve operasyonel verimlilik sa\u011flayan stratejik yat\u0131r\u0131mlar oldu\u011funu a\u00e7\u0131k\u00e7a g\u00f6stermektedir. Yapay zeka altyap\u0131lar\u0131nda tam kontrol ve \u015feffafl\u0131k elde etmek, rekabet avantaj\u0131 sa\u011flamak i\u00e7in vazge\u00e7ilmezdir.<\/p>\n OTel-native GPU profiler ve LLM a\u011f ge\u00e7idi temel bir maliyet optimizasyon altyap\u0131s\u0131 sunsa da, bu sistemin yeteneklerini daha da ileriye ta\u015f\u0131yarak ek tasarruflar sa\u011flamak m\u00fcmk\u00fcnd\u00fcr. \u0130\u015fte deneyimli kullan\u0131c\u0131lar i\u00e7in baz\u0131 ileri d\u00fczey ipu\u00e7lar\u0131 ve gelecekteki potansiyel geli\u015ftirme alanlar\u0131:<\/p>\n LLM a\u011f ge\u00e7idini, sadece prompt uzunlu\u011funa veya kullan\u0131c\u0131 tercihine g\u00f6re de\u011fil, ayn\u0131 zamanda ger\u00e7ek zamanl\u0131 GPU y\u00fck\u00fcne ve tahmini maliyete g\u00f6re dinamik olarak model de\u011fi\u015ftirecek \u015fekilde geli\u015ftirebilirsiniz. \u00d6rne\u011fin, belirli bir modelin GPU’lar\u0131 a\u015f\u0131r\u0131 y\u00fckledi\u011fi durumlarda, a\u011f ge\u00e7idi otomatik olarak daha az kaynak t\u00fcketen, ancak kabul edilebilir performans sunan ba\u015fka bir modele ge\u00e7i\u015f yapabilir. Bu, anl\u0131k maliyet dalgalanmalar\u0131n\u0131 dengelemek ve sistemin genel istikrar\u0131n\u0131 sa\u011flamak i\u00e7in kritik \u00f6neme sahiptir. Makine \u00f6\u011frenimi tabanl\u0131 tahmin modelleri kullanarak, gelecekteki trafik yo\u011funlu\u011funu ve GPU ihtiya\u00e7lar\u0131n\u0131 \u00f6ng\u00f6rerek proaktif model ge\u00e7i\u015fleri yap\u0131labilir.<\/p>\n Model nicelendirme (quantization) ve s\u0131k\u0131\u015ft\u0131rma teknikleri, LLM’lerin boyutunu ve hesaplama gereksinimlerini azaltarak GPU \u00fczerinde daha verimli \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flar. A\u011f ge\u00e7idinizi, ayn\u0131 modelin farkl\u0131 nicelendirilmi\u015f versiyonlar\u0131n\u0131 (\u00f6rne\u011fin, FP32, FP16, INT8) y\u00f6netebilecek \u015fekilde yap\u0131land\u0131r\u0131n. Gelen iste\u011fin hassasiyet veya performans gereksinimlerine g\u00f6re en uygun nicelendirilmi\u015f modeli dinamik olarak se\u00e7in. \u00d6rne\u011fin, d\u00fc\u015f\u00fck \u00f6ncelikli veya daha az hassas g\u00f6revler i\u00e7in INT8 nicelendirilmi\u015f bir model kullanmak, \u00f6nemli \u00f6l\u00e7\u00fcde GPU bellek ve i\u015flem g\u00fcc\u00fc tasarrufu sa\u011flayabilirken, kritik g\u00f6revler i\u00e7in daha y\u00fcksek hassasiyetli bir model tercih edilebilir. OTel profiler\u0131n\u0131z, bu farkl\u0131 nicelendirme seviyelerinin ger\u00e7ek GPU maliyetleri \u00fczerindeki etkisini izlemenize yard\u0131mc\u0131 olacakt\u0131r.<\/p>\n Prompt m\u00fchendisli\u011fi, LLM’lerden istenen \u00e7\u0131kt\u0131lar\u0131 almak i\u00e7in kullan\u0131lan girdilerin (prompt’lar\u0131n) tasarlanmas\u0131 s\u00fcrecidir. Farkl\u0131 prompt’lar, ayn\u0131 model \u00fczerinde bile farkl\u0131 GPU kaynaklar\u0131 ve \u00e7\u0131kar\u0131m s\u00fcreleri gerektirebilir. A\u011f ge\u00e7idi ve profiler\u0131n\u0131z\u0131, kullan\u0131lan prompt’lar\u0131n karma\u015f\u0131kl\u0131\u011f\u0131n\u0131, uzunlu\u011funu ve modelin \u00fcretti\u011fi \u00e7\u0131kt\u0131 token say\u0131s\u0131n\u0131 izleyecek \u015fekilde geli\u015ftirin. Bu sayede, hangi prompt m\u00fchendisli\u011fi yakla\u015f\u0131mlar\u0131n\u0131n maliyet a\u00e7\u0131s\u0131ndan daha verimli oldu\u011funu belirleyebilir ve ekiplerin daha optimize prompt’lar tasarlamas\u0131na yard\u0131mc\u0131 olabilirsiniz. \u00d6rne\u011fin, \u00e7ok uzun ve gereksiz detay i\u00e7eren prompt’lar\u0131n GPU’yu daha fazla yordu\u011funu tespit ederek, prompt’lar\u0131 k\u0131saltmaya y\u00f6nelik e\u011fitimler d\u00fczenleyebilirsiniz.<\/p>\n Toplanan OTel metriklerini (GPU kullan\u0131m\u0131, bellek, gecikme) kullanarak, yapay zeka \u00e7\u0131kar\u0131m i\u015f y\u00fcklerinizdeki anormallikleri otomatik olarak tespit eden sistemler kurun. \u00d6rne\u011fin, normalin d\u0131\u015f\u0131nda y\u00fcksek GPU kullan\u0131m\u0131, beklenmedik gecikme art\u0131\u015flar\u0131 veya token ba\u015f\u0131na maliyette ani s\u0131\u00e7ramalar tespit edildi\u011finde otomatik uyar\u0131lar (e-posta, Slack bildirimi) g\u00f6nderilebilir. Bu, sorunlara proaktif bir \u015fekilde m\u00fcdahale etmenizi ve maliyetlerin kontrolden \u00e7\u0131kmas\u0131n\u0131 engellemenizi sa\u011flar. Makine \u00f6\u011frenimi algoritmalar\u0131 bu t\u00fcr anormalliklerin tespitinde olduk\u00e7a etkili olabilir.<\/p>\n Baz\u0131 YZ \u00e7\u0131kar\u0131m i\u015f y\u00fckleri, veri gizlili\u011fi, d\u00fc\u015f\u00fck gecikme veya a\u011f bant geni\u015fli\u011fi k\u0131s\u0131tlamalar\u0131 nedeniyle bulutta de\u011fil, u\u00e7 cihazlarda (edge devices) veya yerel sunucularda \u00e7al\u0131\u015ft\u0131r\u0131lmak zorunda kalabilir. A\u011f ge\u00e7idinizi, bu t\u00fcr da\u011f\u0131t\u0131k \u00e7\u0131kar\u0131m stratejilerini destekleyecek \u015fekilde geni\u015fletin. OTel-native profiler\u0131n\u0131z\u0131, farkl\u0131 co\u011frafi konumlardaki veya farkl\u0131 donan\u0131m konfig\u00fcrasyonlar\u0131ndaki u\u00e7 cihazlardaki GPU performans\u0131n\u0131 izleyecek \u015fekilde adapte edin. Bu, genel sistem maliyetlerini d\u00fc\u015f\u00fcrmenin yan\u0131 s\u0131ra, kullan\u0131c\u0131 deneyimini de iyile\u015ftirebilir. Hangi i\u015f y\u00fck\u00fcn\u00fcn nerede \u00e7al\u0131\u015ft\u0131r\u0131laca\u011f\u0131n\u0131n en uygun maliyetli ve performansl\u0131 yolu hakk\u0131nda ak\u0131ll\u0131 kararlar almak i\u00e7in merkezi a\u011f ge\u00e7idini kullan\u0131n.<\/p>\n Bu ileri d\u00fczey teknikler ve stratejiler, OTel-native GPU profiler ve LLM a\u011f ge\u00e7idinizin sadece bir izleme arac\u0131 olmaktan \u00e7\u0131k\u0131p, yapay zeka altyap\u0131n\u0131z\u0131n maliyet ve performans optimizasyonu i\u00e7in dinamik ve ak\u0131ll\u0131 bir kontrol merkezine d\u00f6n\u00fc\u015fmesini sa\u011flar. S\u00fcrekli izleme, analiz ve iterasyon (yineleme) ile yapay zeka operasyonlar\u0131n\u0131zdan maksimum verimi alabilir ve maliyetlerinizi minimumda tutabilirsiniz.<\/p>\n Yapay zeka teknolojileri, i\u015fletmelerin inovasyon ve rekabet g\u00fcc\u00fcn\u00fc art\u0131ran temel bir itici g\u00fc\u00e7 haline geldi. Ancak, \u00f6zellikle b\u00fcy\u00fck dil modellerinin (LLM’ler) \u00e7\u0131kar\u0131m (inference) maliyetleri, do\u011fru bir y\u00f6netim ve izleme stratejisi olmadan h\u0131zla kontrol d\u0131\u015f\u0131na \u00e7\u0131kabilir. Bu makalede, OpenTelemetry (OTel) tabanl\u0131 bir GPU profiler ve bir LLM a\u011f ge\u00e7idi in\u015fa ederek, yapay zeka \u00e7\u0131kar\u0131m maliyetlerini nas\u0131l \u015feffaf hale getirebilece\u011fimizi ve etkin bir \u015fekilde optimize edebilece\u011fimizi detayl\u0131 bir \u015fekilde inceledik.<\/p>\n G\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, OTel-native bir GPU profiler, her bir YZ iste\u011finin GPU \u00fczerindeki anl\u0131k etkisini, bellek t\u00fcketimini ve gecikmesini, da\u011f\u0131t\u0131k izleme sistemimizle entegre bir \u015fekilde g\u00f6rmemizi sa\u011flar. Bu, geleneksel izleme ara\u00e7lar\u0131n\u0131n sunamad\u0131\u011f\u0131 derinlemesine bir g\u00f6r\u00fcn\u00fcrl\u00fck sunar. \u00d6te yandan, bir LLM a\u011f ge\u00e7idi, t\u00fcm LLM etkile\u015fimlerini merkezi bir noktadan y\u00f6neterek, model se\u00e7imi, \u00f6nbellekleme, h\u0131z s\u0131n\u0131rlama ve dinamik y\u00f6nlendirme gibi kritik optimizasyonlar\u0131 m\u00fcmk\u00fcn k\u0131lar. Bu iki bile\u015fenin birle\u015fimi, hangi modelin, hangi prompt’un veya hangi kullan\u0131c\u0131 senaryosunun ne kadar maliyetli oldu\u011funu net bir \u015fekilde anlamam\u0131z\u0131 ve buna g\u00f6re bilin\u00e7li kararlar almam\u0131z\u0131 sa\u011flar.<\/p>\n E-ticaret uygulamas\u0131 \u00f6rne\u011finde de g\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, bu \u00e7\u00f6z\u00fcm sayesinde ekipler, verimsiz modelleri tespit edebilir, prompt m\u00fchendisli\u011fini optimize edebilir, dinamik model se\u00e7imi ile maliyetleri d\u00fc\u015f\u00fcrebilir ve anormallikleri proaktif olarak y\u00f6netebilirler. Sonu\u00e7 olarak, yapay zeka altyap\u0131n\u0131zdaki “kanayan maliyetleri” durdurmakla kalmaz, ayn\u0131 zamanda performans ve verimlilikten \u00f6d\u00fcn vermeden YZ yat\u0131r\u0131mlar\u0131n\u0131zdan maksimum de\u011feri elde edersiniz. Bu yakla\u015f\u0131m, sadece maliyet tasarrufu sa\u011flamakla kalmaz, ayn\u0131 zamanda geli\u015ftirici ekiplerine daha h\u0131zl\u0131 yineleme yapma, daha iyi \u00fcr\u00fcnler geli\u015ftirme ve rekabet\u00e7i kalma g\u00fcc\u00fc verir. Yapay zeka \u00e7a\u011f\u0131nda ba\u015far\u0131l\u0131 olmak i\u00e7in maliyetler \u00fczerinde tam kontrol sahibi olmak art\u0131k bir l\u00fcks de\u011fil, bir zorunluluktur.<\/p>\n Geli\u015ftirme s\u00fcresi, mevcut altyap\u0131n\u0131z\u0131n karma\u015f\u0131kl\u0131\u011f\u0131na, ekibinizin OpenTelemetry ve GPU programlama bilgisine ba\u011fl\u0131d\u0131r. Temel bir MVP (Minimum Viable Product) i\u00e7in birka\u00e7 hafta yeterli olabilirken, tam \u00f6zellikli ve \u00fcretim kalitesinde bir sistem aylar s\u00fcrebilir. Genellikle, Python veya Go gibi dillerde yetkin, OpenTelemetry kavramlar\u0131na hakim ve GPU donan\u0131m etkile\u015fimleri konusunda bilgi sahibi bir yaz\u0131l\u0131m m\u00fchendisi veya DevOps m\u00fchendisi ekibi gerektirir.<\/p>\n Kesinlikle evet. Bu makale GPU’lara odaklansa da, OpenTelemetry’nin temel prensipleri CPU tabanl\u0131 \u00e7\u0131kar\u0131m i\u015f y\u00fckleri i\u00e7in de tamamen ge\u00e7erlidir. CPU kullan\u0131m\u0131n\u0131, bellek t\u00fcketimini ve i\u015f par\u00e7ac\u0131\u011f\u0131 (thread) performans\u0131n\u0131 izlemek i\u00e7in benzer OTel metrikleri ve span’lar\u0131 olu\u015fturabilirsiniz. Veri toplama k\u0131sm\u0131, NVML yerine i\u015fletim sistemi seviyesindeki (\u00f6rne\u011fin, Evet, k\u00fc\u00e7\u00fck ekipler i\u00e7in de olduk\u00e7a uygundur. Ba\u015flang\u0131\u00e7ta, t\u00fcm karma\u015f\u0131k \u00f6zellikleri uygulamak yerine, en kritik GPU metriklerini (kullan\u0131m, bellek) OTel trace’lerine entegre eden basit bir profiler ile ba\u015flayabilirsiniz. LLM a\u011f ge\u00e7idi i\u00e7in haz\u0131r a\u00e7\u0131k kaynakl\u0131 \u00e7\u00f6z\u00fcmleri (\u00f6rne\u011fin, LiteLLM) kullanabilir veya minimalist bir Flask\/FastAPI uygulamas\u0131yla kendinizinkini olu\u015fturabilirsiniz. \u00d6nemli olan, maliyetleri anlamaya y\u00f6nelik bir temel olu\u015fturmakt\u0131r. Bulut sa\u011flay\u0131c\u0131lar\u0131n sundu\u011fu y\u00f6netilen OTel hizmetleri (\u00f6rne\u011fin, AWS X-Ray, Google Cloud Trace) veya a\u00e7\u0131k kaynakl\u0131 OTel Collector ile birlikte Prometheus\/Grafana gibi \u00e7\u00f6z\u00fcmlerle d\u00fc\u015f\u00fck maliyetle ba\u015flayabilirsiniz.<\/p>\n OpenTelemetry sat\u0131c\u0131dan ba\u011f\u0131ms\u0131z bir standart oldu\u011fu i\u00e7in, toplad\u0131\u011f\u0131n\u0131z verileri desteklenen herhangi bir OTel uyumlu arka u\u00e7 sistemine g\u00f6nderebilirsiniz. Pop\u00fcler se\u00e7enekler aras\u0131nda Jaeger (da\u011f\u0131t\u0131k izleme), Prometheus (metrikler), Grafana (g\u00f6rselle\u015ftirme), Datadog, New Relic, Splunk ve Azure Monitor gibi ticari \u00e7\u00f6z\u00fcmler bulunur. Bir OpenTelemetry Collector kullanarak, verileri tek bir yerden birden fazla arka uca y\u00f6nlendirebilirsiniz.<\/p>\n Maliyet tasarrufu, mevcut altyap\u0131n\u0131z\u0131n verimlili\u011fine ve optimizasyon potansiyeline ba\u011fl\u0131 olarak b\u00fcy\u00fck \u00f6l\u00e7\u00fcde de\u011fi\u015febilir. Ancak, yapay zeka \u00e7\u0131kar\u0131m maliyetleri konusunda \u015feffafl\u0131k eksikli\u011fi ya\u015fayan bir\u00e7ok i\u015fletme i\u00e7in %15 ila %40 veya daha fazla tasarruf elde etmek olduk\u00e7a ger\u00e7ek\u00e7idir. \u00d6zellikle b\u00fcy\u00fck \u00f6l\u00e7ekli ve yo\u011fun LLM kullan\u0131m\u0131 olan sistemlerde, k\u00fc\u00e7\u00fck optimizasyonlar bile zamanla \u00f6nemli maliyet d\u00fc\u015f\u00fc\u015flerine yol a\u00e7abilir. Dinamik model se\u00e7imi, \u00f6nbellekleme ve verimsiz prompt’lar\u0131n tespiti gibi stratejiler, bu tasarruflar\u0131n anahtar\u0131d\u0131r.<\/p>\n #YapayZeka #MaliyetOptimizasyonu #OpenTelemetry #GPUProfilleme #LLMGateway #Makine\u00d6\u011frenimi #Teknoloji #DevOps<\/p>\nX<\/code> kadar GPU kayna\u011f\u0131 t\u00fcketti ve bize Y<\/code> maliyetine mal oldu” gibi net bir maliyet atf\u0131 yapma imkan\u0131 verir. Bu detayl\u0131 bilgi, ekiplerin hangi modellerin daha verimli oldu\u011funu, hangi prompt (istem) m\u00fchendisli\u011fi stratejilerinin daha az maliyetli oldu\u011funu veya hangi \u00e7\u0131kar\u0131m parametrelerinin (\u00f6rne\u011fin, batch size) en iyi performans\/maliyet oran\u0131n\u0131 sundu\u011funu anlamas\u0131na yard\u0131mc\u0131 olur. Ayr\u0131ca, anormallikleri (anomalies) veya beklenmedik performans d\u00fc\u015f\u00fc\u015flerini h\u0131zl\u0131 bir \u015fekilde tespit ederek, proaktif m\u00fcdahalelerle gereksiz maliyet art\u0131\u015flar\u0131n\u0131n \u00f6n\u00fcne ge\u00e7ebilirsiniz. Sonu\u00e7 olarak, OTel-native bir GPU profiler, yapay zeka altyap\u0131n\u0131zdaki gizli maliyetleri ortaya \u00e7\u0131kararak, bilin\u00e7li ve veri odakl\u0131 optimizasyon kararlar\u0131 alman\u0131z\u0131 sa\u011flayan g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r.<\/p>\nAd\u0131m Ad\u0131m \u0130n\u015fa S\u00fcreci: OTel-Native GPU Profiler Nas\u0131l Geli\u015ftirilir?<\/h2>\n
1. GPU Veri Toplama Stratejileri: NVML ve Di\u011ferleri<\/h3>\n
pynvml<\/code> gibi bir k\u00fct\u00fcphane kullanabiliriz. \u0130lk olarak, bu k\u00fct\u00fcphaneyi kurman\u0131z gerekir:<\/p>\npip install pynvml<\/code><\/pre>\n<\/p><\/div>\n\nimport pynvml\n\ndef get_gpu_metrics():\n try:\n pynvml.nvmlInit()\n device_count = pynvml.nvmlDeviceGetCount()\n metrics = []\n for i in range(device_count):\n handle = pynvml.nvmlDeviceGetHandleByIndex(i)\n utilization = pynvml.nvmlDeviceGetUtilizationRates(handle)\n memory_info = pynvml.nvmlDeviceGetMemoryInfo(handle)\n power_usage = pynvml.nvmlDeviceGetPowerUsage(handle) \/ 1000.0 # mW to W\n temperature = pynvml.nvmlDeviceGetTemperature(handle, pynvml.NVML_TEMP_GPU)\n\n metrics.append({\n \"gpu_index\": i,\n \"utilization_gpu_percent\": utilization.gpu,\n \"utilization_memory_percent\": utilization.memory,\n \"memory_used_mb\": memory_info.used \/ (1024**2),\n \"memory_total_mb\": memory_info.total \/ (1024**2),\n \"power_usage_watts\": power_usage,\n \"temperature_celsius\": temperature\n })\n pynvml.nvmlShutdown()\n return metrics\n except pynvml.NVMLError as error:\n print(f\"NVML Hatas\u0131: {error}\")\n return []\n\nif __name__ == \"__main__\":\n gpu_data = get_gpu_metrics()\n for gpu in gpu_data:\n print(gpu)\n <\/code><\/pre>\n<\/p><\/div>\n2. OTel Entegrasyonu: Metriklerin OpenTelemetry’ye G\u00f6nderilmesi<\/h3>\n
opentelemetry-sdk<\/code> ve opentelemetry-exporter-otlp<\/code> k\u00fct\u00fcphanelerini kullanaca\u011f\u0131z. Bu k\u00fct\u00fcphaneler, metrikleri OTLP (OpenTelemetry Protocol) format\u0131nda bir OpenTelemetry Collector’a veya do\u011frudan bir arka u\u00e7 sistemine g\u00f6ndermemizi sa\u011flar.<\/p>\npip install opentelemetry-sdk opentelemetry-exporter-otlp<\/code><\/pre>\n<\/p><\/div>\n\nfrom opentelemetry import metrics\nfrom opentelemetry.sdk.metrics import MeterProvider\nfrom opentelemetry.sdk.metrics.export import (\n ConsoleMetricExporter,\n PeriodicExportingMetricReader,\n)\nfrom opentelemetry.exporter.otlp.proto.grpc.metric_exporter import OTLPMetricExporter\nimport time\n# get_gpu_metrics fonksiyonu yukar\u0131daki gibi tan\u0131mlanm\u0131\u015ft\u0131r.\n\n# Metrik sa\u011flay\u0131c\u0131s\u0131n\u0131 yap\u0131land\u0131rma\n# OTLP exporter'\u0131 kullanmak i\u00e7in bir OTel Collector'\u0131n \u00e7al\u0131\u015f\u0131yor olmas\u0131 gerekir.\n# Collector adresi genellikle http:\/\/localhost:4317'dir (gRPC i\u00e7in)\nmetric_reader = PeriodicExportingMetricReader(\n exporter=OTLPMetricExporter(endpoint=\"http:\/\/localhost:4317\", insecure=True),\n export_interval_millis=5000 # Her 5 saniyede bir metrikleri g\u00f6nder\n)\nmeter_provider = MeterProvider(metric_readers=[metric_reader])\nmetrics.set_meter_provider(meter_provider)\n\nmeter = metrics.get_meter(__name__)\n\n# Metrikleri tan\u0131mlama\ngpu_utilization_gauge = meter.create_gauge(\n name=\"gpu_utilization_percent\",\n description=\"GPU kullan\u0131m y\u00fczdesi\",\n unit=\"%\"\n)\ngpu_memory_used_gauge = meter.create_gauge(\n name=\"gpu_memory_used_mb\",\n description=\"GPU kullan\u0131lan bellek miktar\u0131\",\n unit=\"MB\"\n)\ngpu_power_usage_gauge = meter.create_gauge(\n name=\"gpu_power_usage_watts\",\n description=\"GPU g\u00fc\u00e7 t\u00fcketimi\",\n unit=\"W\"\n)\n\ndef export_gpu_metrics_to_otel():\n gpu_data = get_gpu_metrics()\n for gpu in gpu_data:\n attributes = {\"gpu_index\": gpu[\"gpu_index\"]}\n gpu_utilization_gauge.set(gpu[\"utilization_gpu_percent\"], attributes)\n gpu_memory_used_gauge.set(gpu[\"memory_used_mb\"], attributes)\n gpu_power_usage_gauge.set(gpu[\"power_usage_watts\"], attributes)\n print(\"GPU metrikleri OpenTelemetry'ye g\u00f6nderildi.\")\n\nif __name__ == \"__main__\":\n while True:\n export_gpu_metrics_to_otel()\n time.sleep(10) # Her 10 saniyede bir metrikleri topla ve g\u00f6nder\n <\/code><\/pre>\n<\/p><\/div>\nLLM A\u011f Ge\u00e7idi: \u00c7\u0131kar\u0131m \u0130\u015f Ak\u0131\u015f\u0131n\u0131 Nas\u0131l Y\u00f6netir ve Optimize Eder?<\/h2>\n
LLM A\u011f Ge\u00e7idinin Temel \u0130\u015flevleri:<\/h3>\n
\n
gpt-3.5-turbo<\/code> vs. gpt-4<\/code>, veya nicelendirilmi\u015f (quantized) versiyonlar) ayn\u0131 anda test etme imkan\u0131 sunar. Gelen iste\u011fin \u00f6zelliklerine (kullan\u0131c\u0131 tipi, prompt karma\u015f\u0131kl\u0131\u011f\u0131, maliyet b\u00fct\u00e7esi) g\u00f6re dinamik olarak en uygun modeli se\u00e7ebilir. \u00d6rne\u011fin, basit sorular i\u00e7in daha ucuz ve h\u0131zl\u0131 bir model, karma\u015f\u0131k sorular i\u00e7in daha yetenekli ama pahal\u0131 bir model kullan\u0131labilir.<\/li>\n<\/ol>\nOTel-Native GPU Profiler ile Entegrasyon<\/h3>\n
\nfrom flask import Flask, request, jsonify\nfrom opentelemetry import trace\nfrom opentelemetry.sdk.trace import TracerProvider\nfrom opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor\nfrom opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter\nimport requests\nimport time\n# get_gpu_metrics fonksiyonu yukar\u0131da tan\u0131mlanm\u0131\u015ft\u0131r.\n# Bu \u00f6rnekte basitle\u015ftirilmi\u015f bir LLM \u00e7a\u011fr\u0131s\u0131 yap\u0131lacakt\u0131r.\n\napp = Flask(__name__)\n\n# OTel TracerProvider yap\u0131land\u0131rmas\u0131\ntrace.set_tracer_provider(TracerProvider())\n# OTLP exporter'\u0131 kullanmak i\u00e7in bir OTel Collector'\u0131n \u00e7al\u0131\u015f\u0131yor olmas\u0131 gerekir.\n# Collector adresi genellikle http:\/\/localhost:4317'dir (gRPC i\u00e7in)\nspan_processor = SimpleSpanProcessor(OTLPSpanExporter(endpoint=\"http:\/\/localhost:4317\", insecure=True))\ntrace.get_tracer_provider().add_span_processor(span_processor)\ntracer = trace.get_tracer(__name__)\n\n# \u00d6rnek bir LLM API'si (ger\u00e7ekte OpenAI, Hugging Face vb. olabilir)\nLLM_API_URL_FAST = \"http:\/\/localhost:5001\/llm\/fast\" # Daha h\u0131zl\u0131, ucuz model\nLLM_API_URL_PREMIUM = \"http:\/\/localhost:5002\/llm\/premium\" # Daha yava\u015f, pahal\u0131, yetenekli model\n\n@app.route(\"\/llm\/inference\", methods=[\"POST\"])\ndef llm_inference():\n prompt = request.json.get(\"prompt\")\n user_id = request.json.get(\"user_id\", \"anonymous\")\n model_preference = request.json.get(\"model_preference\", \"auto\")\n\n if not prompt:\n return jsonify({\"error\": \"Prompt is required\"}), 400\n\n with tracer.start_as_current_span(\"llm_gateway_request\") as span:\n span.set_attribute(\"user.id\", user_id)\n span.set_attribute(\"llm.prompt\", prompt)\n\n # Basit bir model se\u00e7im mant\u0131\u011f\u0131: prompt uzunlu\u011funa g\u00f6re\n target_llm_url = LLM_API_URL_FAST\n if len(prompt.split()) > 50 or model_preference == \"premium\":\n target_llm_url = LLM_API_URL_PREMIUM\n span.set_attribute(\"llm.model_selected\", \"premium\")\n else:\n span.set_attribute(\"llm.model_selected\", \"fast\")\n\n # GPU metriklerini anl\u0131k olarak al ve span'a ekle (basit bir \u00f6rnek)\n # Ger\u00e7ek uygulamada bu, LLM iste\u011fi s\u0131ras\u0131nda s\u00fcrekli izlenmeli veya iste\u011fin tamamland\u0131\u011f\u0131 anda snapshot al\u0131nmal\u0131.\n gpu_metrics_before = get_gpu_metrics()\n if gpu_metrics_before:\n span.set_attribute(\"gpu.utilization.before\", gpu_metrics_before[0][\"utilization_gpu_percent\"])\n span.set_attribute(\"gpu.memory_used.before\", gpu_metrics_before[0][\"memory_used_mb\"])\n\n start_time = time.time()\n try:\n # LLM API \u00e7a\u011fr\u0131s\u0131\n llm_response = requests.post(target_llm_url, json={\"prompt\": prompt})\n llm_response.raise_for_status()\n response_data = llm_response.json()\n llm_output = response_data.get(\"output\")\n span.set_attribute(\"llm.output_tokens\", len(llm_output.split())) # Basit token say\u0131m\u0131\n span.set_attribute(\"http.status_code\", llm_response.status_code)\n except requests.exceptions.RequestException as e:\n span.set_attribute(\"error\", True)\n span.set_attribute(\"error.message\", str(e))\n return jsonify({\"error\": f\"LLM API hatas\u0131: {e}\"}), 500\n finally:\n end_time = time.time()\n duration_ms = (end_time - start_time) * 1000\n span.set_attribute(\"llm.inference_duration_ms\", duration_ms)\n\n gpu_metrics_after = get_gpu_metrics()\n if gpu_metrics_after:\n span.set_attribute(\"gpu.utilization.after\", gpu_metrics_after[0][\"utilization_gpu_percent\"])\n span.set_attribute(\"gpu.memory_used.after\", gpu_metrics_after[0][\"memory_used_mb\"])\n # Ortalama veya delta hesaplamalar\u0131 burada yap\u0131labilir\n\n return jsonify({\"output\": llm_output}), 200\n\nif __name__ == \"__main__\":\n # Bu k\u0131sm\u0131 \u00e7al\u0131\u015ft\u0131rmak i\u00e7in 5001 ve 5002 portlar\u0131nda basit LLM sunucular\u0131n\u0131z\u0131n olmas\u0131 gerekir.\n # \u00d6rnek:\n # @app.route(\"\/llm\/fast\", methods=[\"POST\"])\n # def fast_llm():\n # time.sleep(0.1) # Sim\u00fcle edilmi\u015f gecikme\n # return jsonify({\"output\": \"Bu h\u0131zl\u0131 modelden gelen basit bir cevapt\u0131r.\"})\n # @app.route(\"\/llm\/premium\", methods=[\"POST\"])\n # def premium_llm():\n # time.sleep(0.5) # Sim\u00fcle edilmi\u015f gecikme\n # return jsonify({\"output\": \"Bu premium modelden gelen detayl\u0131 bir cevapt\u0131r.\"})\n app.run(port=5000)\n <\/code><\/pre>\n<\/p><\/div>\nGer\u00e7ek D\u00fcnya Senaryosu: Bir E-ticaret Uygulamas\u0131nda Maliyet Optimizasyonu<\/h2>\n
Problem: Kontrols\u00fcz Maliyetler ve \u015eeffafl\u0131k Eksikli\u011fi<\/h3>\n
\n
\u00c7\u00f6z\u00fcm: OTel-Native GPU Profiler ve LLM A\u011f Ge\u00e7idi Da\u011f\u0131t\u0131m\u0131<\/h3>\n
\n
Sonu\u00e7lar: \u015eeffafl\u0131k ve \u00d6nemli Maliyet Tasarruflar\u0131<\/h3>\n
\n
\n
\u0130leri D\u00fczey \u0130pu\u00e7lar\u0131 ve Gelecek Perspektifleri: Daha Fazla Maliyet Tasarrufu \u0130\u00e7in Ne Yapabiliriz?<\/h2>\n
Dinamik Model De\u011fi\u015fimi ve Y\u00fck Tahmini<\/h3>\n
Nicelendirme (Quantization) ve Model S\u0131k\u0131\u015ft\u0131rma (Model Compression) Entegrasyonu<\/h3>\n
Prompt M\u00fchendisli\u011fi (Prompt Engineering) Etkisinin \u0130zlenmesi<\/h3>\n
Anomalilik Tespiti (Anomaly Detection) ve Otomatik Uyar\u0131lar<\/h3>\n
Edge Computing (U\u00e7 Bili\u015fim) ve Da\u011f\u0131t\u0131k \u00c7\u0131kar\u0131m Stratejileri<\/h3>\n
Sonu\u00e7: Yapay Zeka \u00c7\u0131kar\u0131m Maliyetleri \u00dczerinde Tam Kontrol<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h2>\n
OTel-native bir profiler geli\u015ftirmek ne kadar s\u00fcrer ve ne t\u00fcr bir ekip gerektirir?<\/h3>\n
Sadece GPU de\u011fil, CPU \u00e7\u0131kar\u0131mlar\u0131 i\u00e7in de kullan\u0131labilir mi?<\/h3>\n
psutil<\/code> gibi Python k\u00fct\u00fcphaneleriyle) CPU ve bellek metriklerini toplamaya odaklanacakt\u0131r.<\/p>\nK\u00fc\u00e7\u00fck ekipler veya startup’lar i\u00e7in bu \u00e7\u00f6z\u00fcm uygun mu?<\/h3>\n
Hangi OTel back-end’lerini destekler?<\/h3>\n
Maliyet tasarrufu ne kadar ger\u00e7ek\u00e7i olabilir?<\/h3>\n