B\u00fcy\u00fck Dil Modeli (LLM) tabanl\u0131 \u00e7oklu ajan sistemlerinin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 anlamak ve performans\u0131n\u0131 optimize etmek mi istiyorsunuz? otel-swarm ve SigNoz entegrasyonu ile bu sistemleri u\u00e7tan uca nas\u0131l izleyebilece\u011finizi ke\u015ffedin. G\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla geli\u015fen yapay zeka d\u00fcnyas\u0131nda, LLM’ler art\u0131k tekil uygulamalar\u0131n \u00f6tesine ge\u00e7erek, birbirleriyle etkile\u015fim halinde olan \u00e7oklu ajan (multi-agent) sistemlerinin temelini olu\u015fturuyor. Bu sistemler, karma\u015f\u0131k g\u00f6revleri daha verimli bir \u015fekilde yerine getirme potansiyeli sunarken, ayn\u0131 zamanda izlenmesi ve hata ay\u0131klanmas\u0131 zorlu bir yap\u0131ya b\u00fcr\u00fcn\u00fcyor. Performans darbo\u011fazlar\u0131n\u0131 tespit etmek, maliyetleri optimize etmek ve ajanlar\u0131n karar alma s\u00fcre\u00e7lerini anlamak, bu sistemlerin ba\u015far\u0131l\u0131 bir \u015fekilde i\u015fletilmesi i\u00e7in kritik \u00f6neme sahiptir. \u0130\u015fte tam bu noktada, da\u011f\u0131t\u0131k izleme (distributed tracing) \u00e7\u00f6z\u00fcmleri devreye giriyor. Bu makalede, OpenTelemetry tabanl\u0131 otel-swarm k\u00fct\u00fcphanesini kullanarak LLM etkile\u015fimlerini nas\u0131l izleyebilece\u011finizi ve bu verileri SigNoz gibi g\u00fc\u00e7l\u00fc bir g\u00f6zlemlenebilirlik platformunda nas\u0131l g\u00f6rselle\u015ftirebilece\u011finizi ad\u0131m ad\u0131m inceleyece\u011fiz. Amac\u0131m\u0131z, okuyucular\u0131m\u0131za bu karma\u015f\u0131k sistemleri ba\u015ftan sona anlamalar\u0131 ve y\u00f6netmeleri i\u00e7in pratik bir yol haritas\u0131 sunmakt\u0131r.<\/p>\n
Yapay zeka teknolojileri, \u00f6zellikle B\u00fcy\u00fck Dil Modelleri (LLM’ler) alan\u0131nda ya\u015fanan son geli\u015fmelerle birlikte, uygulama geli\u015ftirme paradigmalar\u0131n\u0131 k\u00f6kten de\u011fi\u015ftiriyor. Art\u0131k tek bir LLM \u00e7a\u011fr\u0131s\u0131yla yetinmek yerine, birden fazla LLM’nin veya farkl\u0131 yapay zeka ajanlar\u0131n\u0131n belirli bir hedefe ula\u015fmak i\u00e7in i\u015fbirli\u011fi yapt\u0131\u011f\u0131 “multi-agent LLM sistemleri” giderek daha yayg\u0131n hale geliyor. Bu sistemler, bir e-ticaret sitesindeki ki\u015fiselle\u015ftirilmi\u015f \u00fcr\u00fcn \u00f6neri botundan, m\u00fc\u015fteri hizmetleri i\u00e7in tasarlanm\u0131\u015f ak\u0131ll\u0131 asistanlara, hatta karma\u015f\u0131k ara\u015ft\u0131rma g\u00f6revlerini otomatikle\u015ftiren otonom ajanlara kadar geni\u015f bir yelpazede kar\u015f\u0131m\u0131za \u00e7\u0131k\u0131yor. Her bir ajan, kendi i\u00e7inde belirli bir uzmanl\u0131\u011fa sahip olabilir ve di\u011fer ajanlarla bilgi al\u0131\u015fveri\u015finde bulunarak veya g\u00f6revleri devrederek nihai sonuca ula\u015fmaya \u00e7al\u0131\u015f\u0131r. Ancak bu i\u015fbirli\u011fi ve etkile\u015fim, sistemin genel davran\u0131\u015f\u0131n\u0131 anlamay\u0131 ve y\u00f6netmeyi olduk\u00e7a zorla\u015ft\u0131r\u0131r. Geleneksel yaz\u0131l\u0131m izleme y\u00f6ntemleri, genellikle monolitik veya basit mikroservis mimarileri i\u00e7in tasarlanm\u0131\u015ft\u0131r ve bu t\u00fcr dinamik, otonom ve etkile\u015fimli yap\u0131lar i\u00e7in yetersiz kal\u0131r.<\/p>\n
Multi-agent LLM sistemlerinde kar\u015f\u0131la\u015f\u0131lan temel zorluklardan biri, “karar ak\u0131\u015f\u0131n\u0131n” izlenebilirli\u011fidir. Bir kullan\u0131c\u0131n\u0131n talebi \u00fczerine sistemde ne t\u00fcr ajanlar\u0131n devreye girdi\u011fini, hangi bilgileri i\u015fledi\u011fini, hangi LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n yap\u0131ld\u0131\u011f\u0131n\u0131 ve bu \u00e7a\u011fr\u0131lar\u0131n hangi parametrelerle ger\u00e7ekle\u015fti\u011fini anlamak kritik \u00f6neme sahiptir. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri botu, bir kullan\u0131c\u0131n\u0131n \u015fikayetini analiz ederken \u00f6nce bir “niyet belirleme” ajan\u0131, ard\u0131ndan bir “bilgi toplama” ajan\u0131 ve son olarak bir “\u00e7\u00f6z\u00fcm \u00f6nerme” ajan\u0131 aras\u0131nda gidip gelebilir. Bu s\u00fcre\u00e7teki her ad\u0131m, bir LLM \u00e7a\u011fr\u0131s\u0131 veya bir harici API iste\u011fi i\u00e7erebilir. Bu ad\u0131mlar\u0131n her birini, aralar\u0131ndaki ba\u011f\u0131ml\u0131l\u0131klar\u0131 ve gecikmeleri takip edemedi\u011fimizde, sistemdeki bir hatan\u0131n veya performans darbo\u011faz\u0131n\u0131n kayna\u011f\u0131n\u0131 bulmak adeta i\u011fneyle kuyu kazmaya benzer. Ayr\u0131ca, LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n maliyetleri, kullan\u0131lan token (jeton) say\u0131s\u0131na g\u00f6re belirlendi\u011finden, bu etkile\u015fimlerin detayl\u0131 bir \u015fekilde izlenmesi, gereksiz maliyetlerin \u00f6n\u00fcne ge\u00e7mek ve b\u00fct\u00e7e optimizasyonu yapmak i\u00e7in vazge\u00e7ilmezdir.<\/p>\n
Bu karma\u015f\u0131k yap\u0131lar\u0131n etkin bir \u015fekilde y\u00f6netilebilmesi i\u00e7in da\u011f\u0131t\u0131k izleme (distributed tracing) kavram\u0131 hayati bir rol oynar. Da\u011f\u0131t\u0131k izleme, bir i\u015flemin (\u00f6rne\u011fin, bir kullan\u0131c\u0131n\u0131n iste\u011fi) sistemdeki farkl\u0131 bile\u015fenler aras\u0131nda nas\u0131l akt\u0131\u011f\u0131n\u0131 g\u00f6steren bir “iz” (trace) olu\u015fturur. Bu iz, her bir bile\u015fenin yapt\u0131\u011f\u0131 i\u015fi (span), ne kadar s\u00fcrd\u00fc\u011f\u00fcn\u00fc ve hangi di\u011fer bile\u015fenlerle etkile\u015fime girdi\u011fini detayland\u0131r\u0131r. Multi-agent LLM sistemlerinde, her bir ajan etkile\u015fimi, her bir LLM \u00e7a\u011fr\u0131s\u0131 ve her bir harici ara\u00e7 kullan\u0131m\u0131 birer span olarak kaydedilebilir. Bu sayede, bir kullan\u0131c\u0131n\u0131n iste\u011fiyle ba\u015flayan ve sistemdeki bir\u00e7ok ajan\u0131n i\u015fbirli\u011fiyle sonu\u00e7lanan t\u00fcm s\u00fcreci tek bir g\u00f6rsel ak\u0131\u015fta g\u00f6rmek m\u00fcmk\u00fcn hale gelir. Bu detayl\u0131 izlenebilirlik, hem hata ay\u0131klama s\u00fcre\u00e7lerini h\u0131zland\u0131r\u0131r hem de sistemin genel performans\u0131n\u0131 ve maliyet etkinli\u011fini art\u0131rmak i\u00e7in de\u011ferli i\u00e7g\u00f6r\u00fcler sunar. Bu nedenle, multi-agent LLM sistemlerinin ba\u015far\u0131l\u0131 bir \u015fekilde geli\u015ftirilmesi ve i\u015fletilmesi i\u00e7in kapsaml\u0131 bir izleme stratejisi benimsemek ka\u00e7\u0131n\u0131lmazd\u0131r.<\/p>\n
Multi-agent LLM sistemlerini izlemenin temelini, OpenTelemetry (OTel) ad\u0131 verilen a\u00e7\u0131k kaynakl\u0131 bir standart olu\u015fturur. OpenTelemetry, da\u011f\u0131t\u0131k izleme (distributed tracing), metrikler (metrics) ve loglar (logs) i\u00e7in tek bir \u00e7er\u00e7eve (framework) sunarak, farkl\u0131 dillerdeki ve platformlardaki uygulamalar\u0131n g\u00f6zlemlenebilirlik (observability) verilerini standart bir \u015fekilde toplamas\u0131na olanak tan\u0131r. Bu sayede, vendor kilitlenmesinden kurtulur ve toplad\u0131\u011f\u0131n\u0131z verileri istedi\u011finiz g\u00f6zlemlenebilirlik platformuna (\u00f6rne\u011fin SigNoz) g\u00f6nderebilirsiniz. otel-swarm ise, bu genel OpenTelemetry felsefesini LLM etkile\u015fimlerine \u00f6zel olarak uyarlayan bir k\u00fct\u00fcphanedir. LLM \u00e7a\u011fr\u0131lar\u0131n\u0131, ajan etkile\u015fimlerini ve ara\u00e7 kullan\u0131mlar\u0131n\u0131 otomatik olarak OpenTelemetry span’lerine d\u00f6n\u00fc\u015ft\u00fcrerek, bu karma\u015f\u0131k s\u00fcre\u00e7lerin i\u00e7 y\u00fcz\u00fcn\u00fc g\u00f6rmemizi sa\u011flar.<\/p>\n
otel-swarm’\u0131n temel amac\u0131, LLM tabanl\u0131 uygulamalarda ya\u015fanan her bir \u00f6nemli olay\u0131 (event) birer OpenTelemetry span’i olarak kaydetmektir. Bir LLM’ye yap\u0131lan istek, al\u0131nan yan\u0131t, kullan\u0131lan prompt (y\u00f6nlendirme), tamamlanma s\u00fcresi, token say\u0131s\u0131 gibi kritik bilgiler, bu span’lerin nitelikleri (attributes) olarak eklenir. B\u00f6ylece, bir trace (iz) i\u00e7erisinde, bir kullan\u0131c\u0131n\u0131n iste\u011finden ba\u015flay\u0131p, farkl\u0131 ajanlar\u0131n i\u015fbirli\u011fiyle bir LLM’ye yap\u0131lan \u00e7a\u011fr\u0131ya kadar giden t\u00fcm yolu net bir \u015fekilde g\u00f6rebiliriz. \u00d6rne\u011fin, bir ajan bir arac\u0131 (tool) kullanarak harici bir API’ye istek g\u00f6nderdi\u011finde, bu da ayr\u0131 bir span olarak kaydedilir ve ana trace ile ili\u015fkilendirilir. Bu detay seviyesi, sistemdeki gecikmelerin nerede olu\u015ftu\u011funu, hangi ajanlar\u0131n daha fazla zaman harcad\u0131\u011f\u0131n\u0131 veya hangi LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n ba\u015far\u0131s\u0131z oldu\u011funu h\u0131zl\u0131ca tespit etmemizi sa\u011flar.<\/p>\n
otel-swarm ile da\u011f\u0131t\u0131k izlemeye ba\u015flamak olduk\u00e7a basittir. Genellikle Python tabanl\u0131 LLM uygulamalar\u0131nda kullan\u0131l\u0131r ve mevcut LLM k\u00fct\u00fcphaneleri (\u00f6rne\u011fin OpenAI, Anthropic, Hugging Face) ile entegrasyonu kolayd\u0131r. \u0130lk ad\u0131m, otel-swarm k\u00fct\u00fcphanesini projenize eklemek ve OpenTelemetry’nin temel sa\u011flay\u0131c\u0131lar\u0131n\u0131 (provider) yap\u0131land\u0131rmakt\u0131r. Bu yap\u0131land\u0131rma, izleme verilerinin nereye (\u00f6rne\u011fin SigNoz’a) g\u00f6nderilece\u011fini belirler. A\u015fa\u011f\u0131da basit bir Python \u00f6rne\u011fi ile otel-swarm’\u0131n nas\u0131l devreye al\u0131nabilece\u011fini g\u00f6sterelim:<\/p>\n
\nfrom opentelemetry import trace\nfrom opentelemetry.sdk.resources import Resource\nfrom opentelemetry.sdk.trace import TracerProvider\nfrom opentelemetry.sdk.trace.export import BatchSpanProcessor\nfrom opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter\nfrom otel_swarm.llm_tracer import LLMTracer\n\n# 1. OpenTelemetry kaynaklar\u0131n\u0131 ve sa\u011flay\u0131c\u0131lar\u0131n\u0131 yap\u0131land\u0131r\u0131n\nresource = Resource.create({\"service.name\": \"my-llm-agent-service\"})\nprovider = TracerProvider(resource=resource)\nprocessor = BatchSpanProcessor(OTLPSpanExporter(endpoint=\"http:\/\/localhost:4317\")) # SigNoz OTLP endpoint'i\nprovider.add_span_processor(processor)\ntrace.set_tracer_provider(provider)\n\n# 2. LLMTracer'\u0131 ba\u015flat\u0131n\nllm_tracer = LLMTracer(trace.get_tracer(__name__))\n\n# 3. \u00d6rnek bir LLM \u00e7a\u011fr\u0131s\u0131n\u0131 izleyin (\u00f6rne\u011fin OpenAI)\n# Normalde OpenAI istemcinizi bu \u015fekilde kullan\u0131rs\u0131n\u0131z:\n# from openai import OpenAI\n# client = OpenAI()\n# response = client.chat.completions.create(...)\n\n# otel-swarm ile izlemek i\u00e7in LLMTracer'\u0131 kullan\u0131n\nwith llm_tracer.start_llm_span(\"my-first-llm-call\", llm_provider=\"openai\", model=\"gpt-4\"):\n # Bu blok i\u00e7indeki LLM etkile\u015fimleri otomatik olarak izlenecektir.\n # Ger\u00e7ek bir LLM \u00e7a\u011fr\u0131s\u0131 burada ger\u00e7ekle\u015fir.\n import time\n time.sleep(0.5) # LLM \u00e7a\u011fr\u0131s\u0131n\u0131 sim\u00fcle edelim\n print(\"LLM \u00e7a\u011fr\u0131s\u0131 tamamland\u0131.\")\n # span'e \u00f6zel nitelikler ekleyebiliriz\n trace.get_current_span().set_attribute(\"user.query\", \"Hava durumu nas\u0131l?\")\n trace.get_current_span().set_attribute(\"llm.response.tokens\", 50)\n\nprint(\"\u0130zleme verileri g\u00f6nderildi.\")\n <\/code><\/pre>\n<\/div>\nYukar\u0131daki \u00f6rnekte, OTLPSpanExporter<\/code>‘\u0131 kullanarak izleme verilerini yerel bir SigNoz kurulumuna (genellikle localhost:4317<\/code> adresinde dinler) g\u00f6nderiyoruz. LLMTracer<\/code>‘\u0131n start_llm_span<\/code> ba\u011flam y\u00f6neticisi (context manager) i\u00e7inde yap\u0131lan t\u00fcm LLM \u00e7a\u011fr\u0131lar\u0131, otel-swarm taraf\u0131ndan otomatik olarak yakalan\u0131r ve ilgili span’ler olu\u015fturulur. Bu span’ler, LLM sa\u011flay\u0131c\u0131s\u0131, model ad\u0131, prompt i\u00e7eri\u011fi, yan\u0131t ve token bilgileri gibi de\u011ferli verileri i\u00e7erir. Bu sayede, her bir LLM etkile\u015fiminin ne kadar s\u00fcrd\u00fc\u011f\u00fcn\u00fc, hangi modelin kullan\u0131ld\u0131\u011f\u0131n\u0131 ve ne kadar maliyetli olabilece\u011fini kolayca analiz edebiliriz. Bu, multi-agent sistemlerindeki her bir ajan\u0131n davran\u0131\u015f\u0131n\u0131 ve performans\u0131n\u0131 \u015feffaf hale getiren ilk ve en \u00f6nemli ad\u0131md\u0131r.<\/p>\nSigNoz Panolar\u0131 ile LLM Verilerini Nas\u0131l G\u00f6rselle\u015ftirir ve Analiz Ederiz?<\/h2>\n
OpenTelemetry ile toplad\u0131\u011f\u0131m\u0131z zengin izleme verileri, kendi ba\u015f\u0131na ham bir bilgi y\u0131\u011f\u0131n\u0131d\u0131r. Bu verileri anlaml\u0131 i\u00e7g\u00f6r\u00fclere d\u00f6n\u00fc\u015ft\u00fcrmek, performans darbo\u011fazlar\u0131n\u0131 tespit etmek ve sistemin genel sa\u011fl\u0131\u011f\u0131n\u0131 izlemek i\u00e7in g\u00fc\u00e7l\u00fc bir g\u00f6zlemlenebilirlik platformuna ihtiyac\u0131m\u0131z var. \u0130\u015fte tam bu noktada SigNoz devreye giriyor. SigNoz, OpenTelemetry i\u00e7in \u00f6zel olarak tasarlanm\u0131\u015f, a\u00e7\u0131k kaynakl\u0131 bir uygulama performans izleme (APM) ve g\u00f6zlemlenebilirlik platformudur. Geleneksel APM ara\u00e7lar\u0131n\u0131n aksine, SigNoz OpenTelemetry standartlar\u0131n\u0131 do\u011fal olarak destekler ve bu sayede otel-swarm gibi k\u00fct\u00fcphanelerle sorunsuz bir entegrasyon sunar. SigNoz, izleri (traces), metrikleri (metrics) ve loglar\u0131 (logs) tek bir aray\u00fczde birle\u015ftirerek, sisteminizin u\u00e7tan uca g\u00f6r\u00fcn\u00fcrl\u00fc\u011f\u00fcn\u00fc sa\u011flar.<\/p>\n
SigNoz’u kurmak ve kullanmaya ba\u015flamak olduk\u00e7a kolayd\u0131r, \u00f6zellikle Docker Compose ile. Genellikle tek bir komutla t\u00fcm bile\u015fenlerini (ClickHouse veritaban\u0131, Query Service, Frontend) aya\u011fa kald\u0131rabilirsiniz. Kurulum tamamland\u0131\u011f\u0131nda, uygulaman\u0131zdan g\u00f6nderilen OpenTelemetry verilerini otomatik olarak toplamaya ve g\u00f6rselle\u015ftirmeye ba\u015flar. A\u015fa\u011f\u0131da, SigNoz’un basit bir Docker Compose kurulumu i\u00e7in tipik ad\u0131mlar\u0131 betimleyen bir \u00f6rnek bulunmaktad\u0131r:<\/p>\n
\n\n# SigNoz GitHub deposunu klonlay\u0131n\ngit clone https:\/\/github.com\/SigNoz\/signoz.git\ncd signoz\/deploy\/\n# Docker Compose ile SigNoz'u ba\u015flat\u0131n\ndocker-compose -f docker-compose.yaml up -d\n <\/code><\/pre>\n<\/div>\nBu ad\u0131mlar\u0131n ard\u0131ndan SigNoz, genellikle http:\/\/localhost:3301<\/code> adresinden eri\u015filebilir olacakt\u0131r. Aray\u00fcze giri\u015f yapt\u0131\u011f\u0131n\u0131zda, uygulaman\u0131zdan gelen t\u00fcm izleri, metrikleri ve loglar\u0131 g\u00f6rebileceksiniz. \u00d6zellikle “Traces” (\u0130zler) sekmesi, otel-swarm ile toplad\u0131\u011f\u0131m\u0131z LLM etkile\u015fimlerini g\u00f6rselle\u015ftirmek i\u00e7in ana noktam\u0131z olacakt\u0131r. Burada, her bir LLM \u00e7a\u011fr\u0131s\u0131n\u0131n veya ajan etkile\u015fiminin bir span olarak g\u00f6sterildi\u011fi, hiyerar\u015fik bir g\u00f6r\u00fcn\u00fcm elde edersiniz. Bir trace’e t\u0131klad\u0131\u011f\u0131n\u0131zda, o trace’i olu\u015fturan t\u00fcm span’leri, her bir span’in ba\u015flang\u0131\u00e7 ve biti\u015f zamanlar\u0131n\u0131, s\u00fcresini ve otel-swarm taraf\u0131ndan eklenen t\u00fcm \u00f6zel nitelikleri (\u00f6rne\u011fin, llm.provider<\/code>, llm.model<\/code>, user.query<\/code>, llm.response.tokens<\/code>) detayl\u0131 bir \u015fekilde inceleyebilirsiniz.<\/p>\nSigNoz’un g\u00fcc\u00fc sadece ham verileri g\u00f6stermekle kalmaz, ayn\u0131 zamanda bu veriler \u00fczerinde g\u00fc\u00e7l\u00fc sorgular yapman\u0131za ve \u00f6zelle\u015ftirilmi\u015f panolar (dashboards) olu\u015fturman\u0131za olanak tan\u0131r. Multi-agent LLM sistemleri i\u00e7in \u00f6zel bir pano tasarlayarak, a\u015fa\u011f\u0131daki gibi kritik metrikleri anl\u0131k olarak izleyebilirsiniz:<\/p>\n
\n- Ortalama LLM \u00c7a\u011fr\u0131 S\u00fcresi:<\/strong> Hangi LLM modellerinin veya ajan etkile\u015fimlerinin daha uzun s\u00fcrd\u00fc\u011f\u00fcn\u00fc belirlemek.<\/li>\n
- Token Kullan\u0131m\u0131:<\/strong> Belirli bir i\u015flemdeki toplam girdi ve \u00e7\u0131kt\u0131 token say\u0131s\u0131n\u0131 izleyerek maliyet analizi yapmak.<\/li>\n
- Hata Oranlar\u0131:<\/strong> Hangi LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n veya ajan ad\u0131mlar\u0131n\u0131n ba\u015far\u0131s\u0131z oldu\u011funu g\u00f6rmek.<\/li>\n
- Pop\u00fcler Prompt’lar:<\/strong> En s\u0131k kullan\u0131lan prompt’lar\u0131 ve bunlar\u0131n yan\u0131t s\u00fcrelerini analiz etmek.<\/li>\n
- Ajan Etkile\u015fim Grafi\u011fi:<\/strong> Hangi ajanlar\u0131n birbiriyle daha s\u0131k etkile\u015fime girdi\u011fini g\u00f6rselle\u015ftirmek (bu daha ileri d\u00fczey bir g\u00f6rselle\u015ftirme gerektirebilir).<\/li>\n<\/ul>\n
\u00d6rne\u011fin, SigNoz’da bir pano widget’\u0131 olu\u015fturarak, belirli bir service.name<\/code> (ajan\u0131n\u0131z\u0131n ad\u0131) i\u00e7in llm.provider<\/code> niteli\u011fine g\u00f6re grupland\u0131r\u0131lm\u0131\u015f ortalama LLM \u00e7a\u011fr\u0131 s\u00fcrelerini g\u00f6steren bir grafik \u00e7izebilirsiniz. Veya, llm.response.tokens<\/code> niteli\u011fini toplayarak belirli bir zaman diliminde harcanan toplam token say\u0131s\u0131n\u0131 g\u00f6steren bir metrik olu\u015fturabilirsiniz. Bu t\u00fcr panolar, sisteminizin genel performans\u0131na dair ku\u015fbak\u0131\u015f\u0131 bir g\u00f6r\u00fcn\u00fcm sunar ve potansiyel sorunlar\u0131 proaktif bir \u015fekilde tespit etmenize yard\u0131mc\u0131 olur. SigNoz’un kullan\u0131c\u0131 dostu aray\u00fcz\u00fc ve g\u00fc\u00e7l\u00fc filtreleme\/sorgulama yetenekleri sayesinde, LLM sistemlerinizin derinliklerine inerek, performans\u0131 optimize etmek ve kullan\u0131c\u0131 deneyimini iyile\u015ftirmek i\u00e7in gereken t\u00fcm i\u00e7g\u00f6r\u00fclere sahip olursunuz.<\/p>\nGer\u00e7ek Bir Senaryoda otel-swarm ve SigNoz Entegrasyonu: Ak\u0131ll\u0131 Asistan Botu Vaka Analizi<\/h2>\n
\u015eimdiye kadar teorik bilgileri ve temel kurulum ad\u0131mlar\u0131n\u0131 ele ald\u0131k. Gelin, otel-swarm ve SigNoz entegrasyonunun ger\u00e7ek d\u00fcnya bir senaryoda nas\u0131l \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 bir vaka analizi \u00fczerinden inceleyelim: M\u00fc\u015fteri hizmetleri i\u00e7in tasarlanm\u0131\u015f bir ak\u0131ll\u0131 asistan botu. Bu bot, kullan\u0131c\u0131 sorular\u0131n\u0131 yan\u0131tlamak, \u00fcr\u00fcn bilgilerini sa\u011flamak, sipari\u015f durumunu sorgulamak ve hatta basit sorun giderme ad\u0131mlar\u0131nda yard\u0131mc\u0131 olmak \u00fczere tasarlanm\u0131\u015f bir multi-agent sistemidir. Botun temel amac\u0131, insan operat\u00f6rlerin y\u00fck\u00fcn\u00fc azaltmak ve kullan\u0131c\u0131lara h\u0131zl\u0131, do\u011fru ve ki\u015fiselle\u015ftirilmi\u015f yan\u0131tlar sunmakt\u0131r.<\/p>\n
Bu ak\u0131ll\u0131 asistan botu, arka planda farkl\u0131 g\u00f6revler i\u00e7in \u00f6zelle\u015fmi\u015f birka\u00e7 ajandan olu\u015fur:<\/p>\n
\n- Niyet Belirleme Ajan\u0131:<\/strong> Kullan\u0131c\u0131n\u0131n sorusunu analiz eder ve amac\u0131n\u0131 (\u00fcr\u00fcn sorgulama, sipari\u015f takibi, teknik destek vb.) belirler.<\/li>\n
- \u00dcr\u00fcn Bilgisi Ajan\u0131:<\/strong> Niyet \u00fcr\u00fcn sorgulama oldu\u011funda, \u00fcr\u00fcn veritaban\u0131ndan bilgi \u00e7eker ve kullan\u0131c\u0131ya sunar.<\/li>\n
- Sipari\u015f Takip Ajan\u0131:<\/strong> Niyet sipari\u015f takibi oldu\u011funda, kullan\u0131c\u0131n\u0131n sipari\u015f numaras\u0131n\u0131 alarak harici bir API \u00fczerinden sipari\u015f durumunu sorgular.<\/li>\n
- Sorun Giderme Ajan\u0131:<\/strong> Teknik destek niyetlerinde, belirli bir sorun i\u00e7in olas\u0131 \u00e7\u00f6z\u00fcmleri veya s\u0131k\u00e7a sorulan sorular\u0131 (SSS) arar.<\/li>\n
- Yan\u0131t \u00dcretme Ajan\u0131:<\/strong> Toplanan t\u00fcm bilgileri kullanarak kullan\u0131c\u0131ya do\u011fal dilde nihai yan\u0131t\u0131 olu\u015fturur.<\/li>\n<\/ul>\n
Bu ajanlar\u0131n her biri, kendi i\u00e7inde bir veya daha fazla LLM \u00e7a\u011fr\u0131s\u0131 yapabilir, harici API’lerle etkile\u015fime girebilir ve di\u011fer ajanlara g\u00f6rev devredebilir. \u0130\u015fte bu karma\u015f\u0131k etkile\u015fim zincirini otel-swarm ile izleyip SigNoz’da g\u00f6rselle\u015ftirmek, botun performans\u0131n\u0131 ve g\u00fcvenilirli\u011fini art\u0131rmak i\u00e7in hayati \u00f6neme sahiptir.<\/p>\n
Entegrasyon ad\u0131mlar\u0131 \u015fu \u015fekildedir:<\/p>\n
\n- OpenTelemetry Kurulumu:<\/strong> Her bir ajan\u0131n Python kodunda, yukar\u0131da g\u00f6sterildi\u011fi gibi OpenTelemetry ve otel-swarm sa\u011flay\u0131c\u0131lar\u0131 yap\u0131land\u0131r\u0131l\u0131r. Her ajan i\u00e7in
service.name<\/code> farkl\u0131 ayarlanabilir (\u00f6rne\u011fin, “intent-agent”, “product-info-agent”) veya t\u00fcm ajanlar i\u00e7in tek bir servis ad\u0131 kullan\u0131labilir.<\/li>\n- LLM \u00c7a\u011fr\u0131lar\u0131n\u0131n Sar\u0131lmas\u0131:<\/strong> Her ajan\u0131n i\u00e7indeki LLM \u00e7a\u011fr\u0131lar\u0131,
llm_tracer.start_llm_span<\/code> ba\u011flam y\u00f6neticisi ile sar\u0131l\u0131r. Bu, LLM modelini, prompt’u, yan\u0131t\u0131 ve token kullan\u0131m\u0131n\u0131 otomatik olarak span nitelikleri olarak kaydeder.<\/li>\n- Ajan Etkile\u015fimlerinin \u0130zlenmesi:<\/strong> Bir ajan ba\u015fka bir ajana g\u00f6rev devretti\u011finde veya ondan bilgi istedi\u011finde, bu etkile\u015fimler de \u00f6zel span’ler olarak kaydedilebilir. \u00d6rne\u011fin, “Niyet Belirleme Ajan\u0131”, “\u00dcr\u00fcn Bilgisi Ajan\u0131”na bir sorgu g\u00f6nderdi\u011finde, bu bir alt span olarak ana trace’e eklenir.<\/li>\n
- Harici API \u00c7a\u011fr\u0131lar\u0131n\u0131n \u0130zlenmesi:<\/strong> Sipari\u015f Takip Ajan\u0131’n\u0131n harici bir sipari\u015f API’sine yapt\u0131\u011f\u0131 \u00e7a\u011fr\u0131lar da OpenTelemetry HTTP istemci enstr\u00fcmantasyonu (instrumentation) kullan\u0131larak otomatik olarak izlenebilir ve trace’e dahil edilebilir.<\/li>\n<\/ol>\n
Bu entegrasyonla birlikte, SigNoz panosunda bir kullan\u0131c\u0131n\u0131n “Sipari\u015f numaram 123456789, nerede?” \u015feklindeki sorgusu i\u00e7in olu\u015fan trace’i detayl\u0131ca g\u00f6rebiliriz:<\/p>\n
\n- Ana trace, kullan\u0131c\u0131n\u0131n iste\u011fiyle ba\u015flar.<\/li>\n
- Birinci span: “Niyet Belirleme Ajan\u0131”n\u0131n \u00e7al\u0131\u015fmas\u0131. Bu span’in niteliklerinde kullan\u0131c\u0131n\u0131n orijinal sorgusu ve belirlenen niyet (“sipari\u015f takibi”) yer al\u0131r.<\/li>\n
- \u0130kinci span: “Sipari\u015f Takip Ajan\u0131”n\u0131n \u00e7al\u0131\u015fmas\u0131. Bu span, Niyet Belirleme Ajan\u0131’n\u0131n alt span’i olarak g\u00f6r\u00fcn\u00fcr.<\/li>\n
- \u00dc\u00e7\u00fcnc\u00fc span: “Sipari\u015f Takip Ajan\u0131”n\u0131n harici sipari\u015f API’sine yapt\u0131\u011f\u0131 HTTP \u00e7a\u011fr\u0131s\u0131. Bu, Sipari\u015f Takip Ajan\u0131’n\u0131n alt span’idir ve API’ye g\u00f6nderilen istek, al\u0131nan yan\u0131t ve gecikme s\u00fcresi gibi detaylar\u0131 i\u00e7erir.<\/li>\n
- D\u00f6rd\u00fcnc\u00fc span: “Yan\u0131t \u00dcretme Ajan\u0131”n\u0131n \u00e7al\u0131\u015fmas\u0131. Sipari\u015f durumunu i\u00e7eren nihai yan\u0131t\u0131 olu\u015fturmak i\u00e7in bir LLM \u00e7a\u011fr\u0131s\u0131 yapar. Bu LLM \u00e7a\u011fr\u0131s\u0131n\u0131n prompt’u ve yan\u0131t\u0131 da span niteliklerinde mevcuttur.<\/li>\n<\/ul>\n
Bu sayede, e\u011fer kullan\u0131c\u0131ya yan\u0131t ge\u00e7 gelirse, SigNoz’daki trace’i inceleyerek gecikmenin “Sipari\u015f Takip Ajan\u0131”n\u0131n harici API \u00e7a\u011fr\u0131s\u0131ndan m\u0131, yoksa “Yan\u0131t \u00dcretme Ajan\u0131”n\u0131n LLM \u00e7a\u011fr\u0131s\u0131ndan m\u0131 kaynakland\u0131\u011f\u0131n\u0131 an\u0131nda tespit edebiliriz. Ayr\u0131ca, her bir LLM \u00e7a\u011fr\u0131s\u0131n\u0131n ortalama token kullan\u0131m\u0131n\u0131 izleyerek hangi senaryolar\u0131n daha maliyetli oldu\u011funu belirleyebilir ve prompt m\u00fchendisli\u011fi (prompt engineering) ile maliyetleri optimize etme f\u0131rsatlar\u0131n\u0131 yakalayabiliriz. Bu vaka analizi, otel-swarm ve SigNoz’un multi-agent LLM sistemlerinin karma\u015f\u0131k d\u00fcnyas\u0131nda nas\u0131l \u015feffafl\u0131k ve kontrol sa\u011flad\u0131\u011f\u0131n\u0131n somut bir \u00f6rne\u011fidir.<\/p>\n
Multi-Agent LLM \u0130zlemede \u0130leri D\u00fczey Teknikler ve Optimizasyon \u0130pu\u00e7lar\u0131 Nelerdir?<\/h2>\n
Multi-agent LLM sistemlerinin temel izlemesini otel-swarm ve SigNoz ile kurduktan sonra, sistemin g\u00f6zlemlenebilirli\u011fini daha da art\u0131rmak ve derinlemesine i\u00e7g\u00f6r\u00fcler elde etmek i\u00e7in ileri d\u00fczey tekniklere ba\u015fvurabiliriz. Bu teknikler, sadece sorunlar\u0131 tespit etmekle kalmaz, ayn\u0131 zamanda sistemin performans\u0131n\u0131, maliyet etkinli\u011fini ve genel kullan\u0131c\u0131 deneyimini s\u00fcrekli olarak iyile\u015ftirmeye yard\u0131mc\u0131 olur.<\/p>\n
\u00d6zel Nitelikler (Custom Attributes) ile Zenginle\u015ftirme<\/h3>\n
OpenTelemetry span’lerine sadece otel-swarm’\u0131n otomatik olarak ekledi\u011fi LLM bilgilerini de\u011fil, ayn\u0131 zamanda uygulaman\u0131za \u00f6zel ba\u011flam\u0131 (context) yans\u0131tan \u00f6zel nitelikler eklemek, izleme verilerinizin de\u011ferini katlayacakt\u0131r. \u00d6rne\u011fin:<\/p>\n
\n- Kullan\u0131c\u0131 Kimli\u011fi\/Oturum Bilgisi:<\/strong> Her bir trace’e ilgili kullan\u0131c\u0131n\u0131n ID’sini veya oturum ID’sini ekleyerek, belirli kullan\u0131c\u0131lar\u0131n deneyimlerini izleyebilirsiniz.<\/li>\n
- Ajan Versiyonu:<\/strong> Ajanlar\u0131n\u0131z\u0131n farkl\u0131 versiyonlar\u0131n\u0131 kullan\u0131yorsan\u0131z, hangi versiyonun hangi trace’te \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 kaydetmek, A\/B testleri veya yeni da\u011f\u0131t\u0131mlar sonras\u0131 performans kar\u015f\u0131la\u015ft\u0131rmalar\u0131 i\u00e7in \u00f6nemlidir.<\/li>\n
- \u0130\u015f S\u00fcreci A\u015famas\u0131:<\/strong> Bir multi-agent sisteminde bir i\u015flemin hangi a\u015famas\u0131nda olundu\u011funu (\u00f6rne\u011fin, “\u00fcr\u00fcn se\u00e7imi”, “\u00f6deme”, “sipari\u015f onay\u0131”) belirten nitelikler eklemek, i\u015f ak\u0131\u015f\u0131n\u0131n takibini kolayla\u015ft\u0131r\u0131r.<\/li>\n
- Duygu Analizi Sonucu:<\/strong> E\u011fer ajanlar\u0131n\u0131z kullan\u0131c\u0131 girdileri \u00fczerinde duygu analizi yap\u0131yorsa, bu sonucu span’e ekleyerek, olumsuz duyguya sahip kullan\u0131c\u0131lar\u0131n hangi ajanlarla veya LLM \u00e7a\u011fr\u0131lar\u0131yla kar\u015f\u0131la\u015ft\u0131\u011f\u0131n\u0131 inceleyebilirsiniz.<\/li>\n<\/ul>\n\n
\nfrom opentelemetry import trace\n# ... di\u011fer OpenTelemetry ve otel-swarm kurulumlar\u0131 ...\n\nwith llm_tracer.start_llm_span(\"customer-interaction-step\", llm_provider=\"openai\", model=\"gpt-4\"):\n current_span = trace.get_current_span()\n current_span.set_attribute(\"user.id\", \"user_12345\")\n current_span.set_attribute(\"agent.version\", \"2.1.0\")\n current_span.set_attribute(\"process.stage\", \"product_recommendation\")\n # LLM \u00e7a\u011fr\u0131s\u0131 ve di\u011fer i\u015flemler burada\n <\/code><\/pre>\n<\/div>\nBu \u00f6zel nitelikler, SigNoz’da filtreleme, gruplama ve g\u00f6rselle\u015ftirme yaparken size inan\u0131lmaz bir esneklik sa\u011flar. \u00d6rne\u011fin, sadece belirli bir kullan\u0131c\u0131 ID’sine ait trace’leri g\u00f6r\u00fcnt\u00fcleyebilir veya belirli bir ajan versiyonunun performans\u0131n\u0131 di\u011ferleriyle kar\u015f\u0131la\u015ft\u0131rabilirsiniz.<\/p>\n
Hata Tespiti ve Uyar\u0131 Mekanizmalar\u0131<\/h3>\n
LLM sistemleri, tahmin edilemez davran\u0131\u015flar sergileyebilir veya harici API’ler nedeniyle hatalar f\u0131rlatabilir. otel-swarm ile bu hatalar\u0131 yakalamak ve SigNoz’da uyar\u0131lar (alerts) olu\u015fturmak, proaktif bir y\u00f6netim i\u00e7in kritik \u00f6neme sahiptir. Bir span hata ile sonu\u00e7land\u0131\u011f\u0131nda, OpenTelemetry bunu otomatik olarak i\u015faretler. SigNoz’da, belirli bir servis ad\u0131ndan (ajan\u0131n\u0131zdan) gelen ve hata i\u00e7eren span’lerin say\u0131s\u0131nda ani bir art\u0131\u015f oldu\u011funda sizi bilgilendirecek uyar\u0131 kurallar\u0131 tan\u0131mlayabilirsiniz. \u00d6rne\u011fin, “Son 5 dakikada ‘intent-agent’ servisinde hata i\u00e7eren span say\u0131s\u0131 10’u a\u015farsa bana e-posta g\u00f6nder.” \u015feklinde bir kural belirleyebilirsiniz. Bu sayede, kullan\u0131c\u0131lar bir sorunla kar\u015f\u0131la\u015fmadan \u00f6nce veya sorun yay\u0131lmadan m\u00fcdahale etme \u015fans\u0131n\u0131z olur.<\/p>\n
Maliyet Optimizasyonu \u0130\u00e7in Token Say\u0131m\u0131 \u0130zleme<\/h3>\n
LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n maliyeti, genellikle kullan\u0131lan girdi ve \u00e7\u0131kt\u0131 token say\u0131s\u0131na ba\u011fl\u0131d\u0131r. otel-swarm, bu bilgiyi span nitelikleri olarak otomatik kaydeder (llm.prompt.tokens<\/code>, llm.completion.tokens<\/code>). SigNoz’da bu metrikleri toplayarak, hangi ajanlar\u0131n veya LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n en \u00e7ok token t\u00fcketti\u011fini belirleyebilirsiniz. Bu verilerle:<\/p>\n\n- Prompt M\u00fchendisli\u011fi:<\/strong> Daha k\u0131sa veya daha etkili prompt’lar tasarlayarak token kullan\u0131m\u0131n\u0131 azaltabilirsiniz.<\/li>\n
- Model Se\u00e7imi:<\/strong> Belirli g\u00f6revler i\u00e7in daha uygun maliyetli, k\u00fc\u00e7\u00fck modeller kullanmay\u0131 d\u00fc\u015f\u00fcnebilirsiniz.<\/li>\n
- \u00d6nbellekleme (Caching):<\/strong> S\u0131k\u00e7a sorulan sorular veya tekrarlayan LLM yan\u0131tlar\u0131 i\u00e7in \u00f6nbellekleme stratejileri uygulayabilirsiniz.<\/li>\n<\/ul>\n
Bu verileri bir pano \u00fczerinde g\u00f6rselle\u015ftirerek, maliyet e\u011filimlerini izleyebilir ve b\u00fct\u00e7enizi optimize etmek i\u00e7in bilin\u00e7li kararlar alabilirsiniz.<\/p>\n
Bu ileri d\u00fczey teknikler ve ipu\u00e7lar\u0131, multi-agent LLM sistemlerinizin sadece \u00e7al\u0131\u015f\u0131p \u00e7al\u0131\u015fmad\u0131\u011f\u0131n\u0131 de\u011fil, ayn\u0131 zamanda ne kadar verimli, g\u00fcvenilir ve maliyet etkin \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 anlaman\u0131za yard\u0131mc\u0131 olur. otel-swarm ve SigNoz entegrasyonu, bu karma\u015f\u0131k sistemlerin i\u00e7 d\u00fcnyas\u0131na a\u00e7\u0131lan bir pencere sunarak, s\u00fcrekli iyile\u015ftirme ve inovasyon i\u00e7in sa\u011flam bir temel olu\u015fturur.<\/p>\n
Gelece\u011fin LLM Sistemlerini G\u00fcvenle \u0130zlemek: Sonu\u00e7 ve S\u0131k\u00e7a Sorulan Sorular<\/h2>\n
Multi-agent B\u00fcy\u00fck Dil Modeli (LLM) sistemleri, yapay zeka uygulamalar\u0131n\u0131n gelece\u011fini \u015fekillendiren g\u00fc\u00e7l\u00fc bir paradigma sunuyor. Ancak bu g\u00fc\u00e7, beraberinde ciddi karma\u015f\u0131kl\u0131k ve izlenebilirlik zorluklar\u0131 getiriyor. Bu makale boyunca, otel-swarm k\u00fct\u00fcphanesinin OpenTelemetry standartlar\u0131n\u0131 kullanarak LLM etkile\u015fimlerini nas\u0131l detayl\u0131 bir \u015fekilde izleyebilece\u011fimizi ve bu zengin verileri SigNoz gibi kapsaml\u0131 bir g\u00f6zlemlenebilirlik platformunda nas\u0131l g\u00f6rselle\u015ftirebilece\u011fimizi ad\u0131m ad\u0131m inceledik. Geleneksel izleme y\u00f6ntemlerinin yetersiz kald\u0131\u011f\u0131 bu dinamik sistemlerde, da\u011f\u0131t\u0131k izleme ve metrik toplama, performans darbo\u011fazlar\u0131n\u0131 tespit etmek, maliyetleri optimize etmek ve ajanlar\u0131n karar alma s\u00fcre\u00e7lerini anlamak i\u00e7in vazge\u00e7ilmez bir ara\u00e7 haline gelmi\u015ftir.<\/p>\n
otel-swarm ile LLM \u00e7a\u011fr\u0131lar\u0131ndan ajan etkile\u015fimlerine kadar her ad\u0131m\u0131 birer span olarak kaydederek, sistemin i\u015fleyi\u015fine dair derinlemesine bir g\u00f6r\u00fcn\u00fcm elde edebiliriz. SigNoz ise, bu ham verileri anlaml\u0131 grafiklere, tablolara ve iz g\u00f6rselle\u015ftirmelerine d\u00f6n\u00fc\u015ft\u00fcrerek, teknik ekiplerin sorunlar\u0131 h\u0131zl\u0131ca te\u015fhis etmesine ve proaktif \u00e7\u00f6z\u00fcmler \u00fcretmesine olanak tan\u0131r. Ak\u0131ll\u0131 asistan botu vaka analizimizle, bu entegrasyonun ger\u00e7ek d\u00fcnya senaryolar\u0131nda nas\u0131l de\u011fer yaratt\u0131\u011f\u0131n\u0131 somut bir \u015fekilde g\u00f6sterdik. \u00d6zel nitelikler ekleyerek izleme verilerini zenginle\u015ftirmek, hata uyar\u0131 mekanizmalar\u0131 kurmak ve token kullan\u0131m\u0131n\u0131 izleyerek maliyet optimizasyonu yapmak gibi ileri d\u00fczey teknikler, sistemlerinizin daha sa\u011flam, verimli ve \u00f6l\u00e7eklenebilir olmas\u0131n\u0131 sa\u011flar.<\/p>\n
Gelecekte, multi-agent LLM sistemleri daha da karma\u015f\u0131kla\u015facak ve otonom yetenekleri artacakt\u0131r. Bu nedenle, g\u00f6zlemlenebilirlik ara\u00e7lar\u0131na olan ihtiya\u00e7 hi\u00e7 olmad\u0131\u011f\u0131 kadar kritik hale gelecektir. otel-swarm ve SigNoz gibi a\u00e7\u0131k kaynakl\u0131 \u00e7\u00f6z\u00fcmler, bu karma\u015f\u0131kl\u0131\u011f\u0131 y\u00f6netmek i\u00e7in g\u00fc\u00e7l\u00fc, esnek ve gelece\u011fe d\u00f6n\u00fck bir yakla\u015f\u0131m sunar. Bu ara\u00e7lar\u0131 benimseyerek, geli\u015ftiriciler ve operasyon ekipleri, LLM tabanl\u0131 uygulamalar\u0131n\u0131 g\u00fcvenle geli\u015ftirebilir, da\u011f\u0131tabilir ve i\u015fletebilirler.<\/p>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n\n- \n otel-swarm sadece Python ile mi kullan\u0131labilir?<\/strong><\/p>\n
Evet, otel-swarm \u015fu anda a\u011f\u0131rl\u0131kl\u0131 olarak Python ekosistemi i\u00e7in geli\u015ftirilmi\u015f bir k\u00fct\u00fcphanedir. Ancak OpenTelemetry, farkl\u0131 programlama dilleri i\u00e7in SDK’lar sunar. Di\u011fer dillerde benzer izleme ihtiya\u00e7lar\u0131n\u0131z varsa, o dilin OpenTelemetry SDK’s\u0131n\u0131 kullanarak manuel veya otomatik enstr\u00fcmantasyon yapman\u0131z gerekebilir.<\/p>\n<\/li>\n
- \n SigNoz yerine ba\u015fka bir g\u00f6zlemlenebilirlik platformu kullanabilir miyim?<\/strong><\/p>\n
Kesinlikle! OpenTelemetry’nin en b\u00fcy\u00fck avantajlar\u0131ndan biri vendor ba\u011f\u0131ms\u0131zl\u0131\u011f\u0131d\u0131r. otel-swarm taraf\u0131ndan \u00fcretilen OpenTelemetry verilerini, Jaeger, Zipkin, Datadog, New Relic veya Prometheus gibi OpenTelemetry uyumlu herhangi bir g\u00f6zlemlenebilirlik platformuna g\u00f6nderebilirsiniz. SigNoz, OpenTelemetry’i do\u011fal olarak destekledi\u011fi ve a\u00e7\u0131k kaynakl\u0131 oldu\u011fu i\u00e7in pop\u00fcler bir se\u00e7imdir.<\/p>\n<\/li>\n
- \n LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n i\u00e7eri\u011fini (prompt, yan\u0131t) izlemek g\u00fcvenlik veya gizlilik riski ta\u015f\u0131r m\u0131?<\/strong><\/p>\n
Evet, LLM \u00e7a\u011fr\u0131lar\u0131n\u0131n prompt ve yan\u0131t i\u00e7eri\u011fi hassas bilgiler i\u00e7erebilir. Bu verileri izlerken g\u00fcvenlik ve gizlilik politikalar\u0131n\u0131za uyman\u0131z \u00e7ok \u00f6nemlidir. SigNoz veya kulland\u0131\u011f\u0131n\u0131z di\u011fer g\u00f6zlemlenebilirlik platformunda hassas verilerin maskelenmesi (masking) veya filtrelenmesi (filtering) gibi \u00f6zellikler bulunuyorsa bunlar\u0131 kullanmal\u0131s\u0131n\u0131z. Alternatif olarak, otel-swarm ile bu t\u00fcr hassas bilgileri span nitelikleri olarak kaydetmeden \u00f6nce anonimle\u015ftirebilir veya tamamen atlayabilirsiniz.<\/p>\n<\/li>\n
- \n otel-swarm, ajanlar aras\u0131 ileti\u015fim i\u00e7in \u00f6zel bir izleme mekanizmas\u0131 sunuyor mu?<\/strong><\/p>\n
otel-swarm, \u00f6zellikle LLM \u00e7a\u011fr\u0131lar\u0131n\u0131 ve ara\u00e7 kullan\u0131mlar\u0131n\u0131 izlemeye odaklanm\u0131\u015ft\u0131r. Ajanlar aras\u0131 ileti\u015fim i\u00e7in do\u011frudan bir “agent-to-agent communication span” mekanizmas\u0131 sunmasa da, bu etkile\u015fimleri manuel olarak OpenTelemetry span’leri olu\u015fturarak izleyebilirsiniz. \u00d6rne\u011fin, bir ajan ba\u015fka bir ajana bir mesaj g\u00f6nderdi\u011finde, bu olay\u0131 temsil eden \u00f6zel bir span olu\u015fturup, mesaj\u0131n i\u00e7eri\u011fi veya al\u0131c\u0131 ajan\u0131n kimli\u011fi gibi nitelikleri ekleyebilirsiniz. Bu sayede, ajanlar aras\u0131 ak\u0131\u015f\u0131 da trace’lerinizde net bir \u015fekilde g\u00f6rebilirsiniz.<\/p>\n<\/li>\n<\/ol>\n
#LLM #MultiAgent #OpenTelemetry #otel-swarm #SigNoz #G\u00f6zlemlenebilirlik #Da\u011f\u0131t\u0131k\u0130zleme #YapayZeka #APM<\/p>\n