Yapay zeka ajanlar\u0131, g\u00fcn\u00fcm\u00fcz\u00fcn h\u0131zla geli\u015fen teknoloji d\u00fcnyas\u0131nda karma\u015f\u0131k g\u00f6revleri otonom bir \u015fekilde yerine getiren yaz\u0131l\u0131m sistemleridir. Bu ajanlar\u0131n davran\u0131\u015flar\u0131n\u0131 anlamak, performanslar\u0131n\u0131 izlemek ve potansiyel sorunlar\u0131 tespit etmek i\u00e7in g\u00f6zlemlenebilirlik (observability) hayati \u00f6nem ta\u015f\u0131r. Ancak, sadece ne yapt\u0131klar\u0131n\u0131 g\u00f6rmek, ne kadar iyi yapt\u0131klar\u0131n\u0131 veya hedeflerine ula\u015f\u0131p ula\u015fmad\u0131klar\u0131n\u0131 anlamak i\u00e7in yeterli de\u011fildir. \u0130\u015fte bu noktada de\u011ferlendirme (evaluations) eksikli\u011fi devreye girer. Bu makalede, ajanlar\u0131n\u0131zda g\u00f6zlemlenebilirli\u011fin mevcut oldu\u011fu ancak de\u011ferlendirme mekanizmalar\u0131n\u0131n bulunmad\u0131\u011f\u0131 bir senaryoyu ele alacak, bu durumun yaratabilece\u011fi sorunlar\u0131 inceleyecek ve bu kritik bo\u015flu\u011fu nas\u0131l doldurabilece\u011finizi ad\u0131m ad\u0131m anlataca\u011f\u0131z.<\/p>\n
Yapay zeka ajan\u0131, belirli bir ortamda hareket eden, alg\u0131layan, ak\u0131l y\u00fcr\u00fcten ve eylemler ger\u00e7ekle\u015ftiren otonom bir yaz\u0131l\u0131m veya donan\u0131m varl\u0131\u011f\u0131d\u0131r. Bu ajanlar, basit otomasyon komutlar\u0131ndan, karma\u015f\u0131k karar alma s\u00fcre\u00e7lerine kadar geni\u015f bir yelpazede g\u00f6rev alabilirler. \u00d6rne\u011fin, bir sanal asistan, bir finansal ticaret botu, bir \u00fcretim hatt\u0131 otomasyon sistemi veya bir i\u00e7erik \u00f6neri motoru birer yapay zeka ajan\u0131d\u0131r. Bu ajanlar\u0131n etkin \u00e7al\u0131\u015fabilmesi ve g\u00fcvenilirli\u011fini s\u00fcrd\u00fcrebilmesi i\u00e7in, i\u00e7 i\u015fleyi\u015flerini ve d\u0131\u015f etkile\u015fimlerini izleyebilmek b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. \u0130\u015fte bu izlenebilirlik yetene\u011fine g\u00f6zlemlenebilirlik diyoruz.<\/p>\n
G\u00f6zlemlenebilirlik, bir sistemin d\u0131\u015far\u0131dan incelenerek i\u00e7 durumunun ne oldu\u011funu anlayabilme yetene\u011fidir. Yapay zeka ajanlar\u0131 ba\u011flam\u0131nda, bu genellikle \u00fc\u00e7 ana s\u00fctun \u00fczerine kuruludur: Loglar, Metrikler ve \u0130zler (Traces). Loglar, ajan\u0131n belirli olaylar s\u0131ras\u0131nda kaydetti\u011fi yap\u0131land\u0131r\u0131lm\u0131\u015f veya yap\u0131land\u0131r\u0131lmam\u0131\u015f metin tabanl\u0131 verilerdir. \u00d6rne\u011fin, bir kullan\u0131c\u0131n\u0131n sorgusunu i\u015flerken att\u0131\u011f\u0131 ad\u0131mlar, kar\u015f\u0131la\u015ft\u0131\u011f\u0131 hatalar veya ald\u0131\u011f\u0131 kararlar loglanabilir. Metrikler ise sistemin belirli bir zaman dilimindeki performans\u0131n\u0131 veya durumunu g\u00f6steren say\u0131sal de\u011ferlerdir. CPU kullan\u0131m\u0131, bellek t\u00fcketimi, yan\u0131t s\u00fcreleri, i\u015flenen istek say\u0131s\u0131 gibi veriler metrik olarak toplan\u0131r. \u0130zler (Traces) ise, bir iste\u011fin veya i\u015flemin sistemin farkl\u0131 bile\u015fenleri aras\u0131nda nas\u0131l ilerledi\u011fini g\u00f6steren u\u00e7tan uca bir g\u00f6r\u00fcn\u00fcm sunar. Bir ajan\u0131n karma\u015f\u0131k bir g\u00f6revi yerine getirirken hangi mod\u00fcllerden ge\u00e7ti\u011fini, her ad\u0131m\u0131n ne kadar s\u00fcrd\u00fc\u011f\u00fcn\u00fc ve potansiyel darbo\u011fazlar\u0131 izlemek i\u00e7in kullan\u0131l\u0131r.<\/p>\n
G\u00f6zlemlenebilirli\u011fin \u00f6nemi, \u00f6zellikle \u00fcretim ortam\u0131ndaki ajanlar i\u00e7in yads\u0131namaz. Bir ajan beklenmedik bir \u015fekilde davrand\u0131\u011f\u0131nda veya bir hata verdi\u011finde, g\u00f6zlemlenebilirlik verileri, sorunun k\u00f6k nedenini h\u0131zl\u0131ca bulmak i\u00e7in bir yol haritas\u0131 sunar. \u00d6rne\u011fin, bir chatbot’un belirli bir kullan\u0131c\u0131 sorgusuna yanl\u0131\u015f yan\u0131t verdi\u011fini fark etti\u011finizde, log kay\u0131tlar\u0131na bakarak ajan\u0131n hangi a\u015famada yanl\u0131\u015f anlad\u0131\u011f\u0131n\u0131 veya hangi bilgiye eri\u015femedi\u011fini g\u00f6rebilirsiniz. Metrikler sayesinde, ajan\u0131n genel performans\u0131nda bir d\u00fc\u015f\u00fc\u015f olup olmad\u0131\u011f\u0131n\u0131 veya kaynak kullan\u0131m\u0131nda anormal bir art\u0131\u015f olup olmad\u0131\u011f\u0131n\u0131 anlayabilirsiniz. Bu, \u00f6zellikle karma\u015f\u0131k ve da\u011f\u0131t\u0131k sistemlerde, ajanlar\u0131n “kara kutu” olmaktan \u00e7\u0131kar\u0131lmas\u0131na yard\u0131mc\u0131 olur.<\/p>\n
Ger\u00e7ek d\u00fcnya senaryolar\u0131nda, g\u00f6zlemlenebilirlik, otonom s\u00fcr\u00fc\u015f sistemlerinden e-ticaret \u00f6neri motorlar\u0131na kadar her yerde kritik bir rol oynar. Bir otonom arac\u0131n sens\u00f6r verilerini, karar alma s\u00fcre\u00e7lerini ve motor komutlar\u0131n\u0131 anl\u0131k olarak loglamas\u0131, olas\u0131 bir kaza durumunda veya beklenmedik bir manevra yapt\u0131\u011f\u0131nda ne oldu\u011funu anlamak i\u00e7in zorunludur. Ayn\u0131 \u015fekilde, bir e-ticaret sitesindeki \u00fcr\u00fcn \u00f6neri ajan\u0131, kullan\u0131c\u0131n\u0131n t\u0131klama ge\u00e7mi\u015fi, g\u00f6sterilen \u00fcr\u00fcnler ve \u00f6neri mekanizmas\u0131n\u0131n \u00e7\u0131kt\u0131s\u0131 gibi verileri loglayarak, sistem y\u00f6neticilerinin performans sorunlar\u0131n\u0131 veya ki\u015fiselle\u015ftirme hatalar\u0131n\u0131 tespit etmesine olanak tan\u0131r. Bu veriler olmasayd\u0131, ajanlar\u0131n neden belirli \u015fekillerde davrand\u0131\u011f\u0131n\u0131 anlamak neredeyse imkans\u0131z olurdu. G\u00f6zlemlenebilirlik ara\u00e7lar\u0131 aras\u0131nda ELK Stack (Elasticsearch, Logstash, Kibana), Prometheus, Grafana, Jaeger ve \u00e7e\u015fitli bulut tabanl\u0131 izleme hizmetleri (AWS CloudWatch, Azure Monitor, Google Cloud Operations) say\u0131labilir. Bu ara\u00e7lar, ajanlardan gelen veriyi toplar, depolar, g\u00f6rselle\u015ftirir ve alarm sistemleri kurman\u0131za yard\u0131mc\u0131 olur.<\/p>\n
A\u015fa\u011f\u0131da, basit bir Python ajan\u0131 i\u00e7in temel bir loglama \u00f6rne\u011fi g\u00f6rebilirsiniz. Bu kod, ajan\u0131n ne yapt\u0131\u011f\u0131n\u0131 ve hangi ad\u0131mlar\u0131 izledi\u011fini g\u00f6steren temel g\u00f6zlemlenebilirlik verilerini \u00fcretir:<\/p>\n
\nimport logging\nimport time\n\n# Loglama yap\u0131land\u0131rmas\u0131\nlogging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')\nlogger = logging.getLogger('MyAgent')\n\nclass SimpleAgent:\n def __init__(self, name):\n self.name = name\n logger.info(f\"{self.name} ajan\u0131 ba\u015flat\u0131l\u0131yor.\")\n\n def process_task(self, task_id, data):\n logger.info(f\"{self.name} ajan\u0131, g\u00f6rev {task_id} \u00fczerinde \u00e7al\u0131\u015fmaya ba\u015flad\u0131. Veri boyutu: {len(data)}.\")\n try:\n # G\u00f6rev sim\u00fclasyonu\n time.sleep(0.5) \n result = f\"\u0130\u015flenen veri: {data[:10]}...\"\n logger.info(f\"{self.name} ajan\u0131, g\u00f6rev {task_id} ba\u015far\u0131yla tamamland\u0131. Sonu\u00e7: {result}.\")\n return result\n except Exception as e:\n logger.error(f\"{self.name} ajan\u0131, g\u00f6rev {task_id} s\u0131ras\u0131nda hata ile kar\u015f\u0131la\u015ft\u0131: {e}\", exc_info=True)\n return None\n\n def shutdown(self):\n logger.info(f\"{self.name} ajan\u0131 kapat\u0131l\u0131yor.\")\n\nif __name__ == \"__main__\":\n agent = SimpleAgent(\"Veri \u0130\u015fleyici Ajan\")\n \n # \u00d6rnek g\u00f6revler\n agent.process_task(1, \"Bu bir deneme verisidir ve i\u015flenecektir.\")\n agent.process_task(2, \"\u0130kinci g\u00f6rev i\u00e7in daha uzun bir veri seti.\")\n agent.process_task(3, \"Hata tetikleyecek bir senaryo\" * 100000) # B\u00fcy\u00fck veri, hata sim\u00fclasyonu\n \n agent.shutdown()\n <\/code><\/pre>\n<\/div>\nBu kod blo\u011fu, ajan\u0131n her ad\u0131mda ne yapt\u0131\u011f\u0131n\u0131, hangi veriyi i\u015fledi\u011fini ve olas\u0131 hatalar\u0131 nas\u0131l kaydetti\u011fini g\u00f6sterir. Bu t\u00fcr loglar, ajan\u0131n davran\u0131\u015flar\u0131n\u0131 anlamak i\u00e7in temel bir ba\u015flang\u0131\u00e7 noktas\u0131 sunar. Ancak, bu loglar bize ajan\u0131n “iyi” mi yoksa “k\u00f6t\u00fc” m\u00fc davrand\u0131\u011f\u0131n\u0131 s\u00f6ylemez; sadece “ne” yapt\u0131\u011f\u0131n\u0131 g\u00f6sterir. \u0130\u015fte bu noktada de\u011ferlendirme (evals) ihtiyac\u0131 ortaya \u00e7\u0131kar.<\/p>\n
Ajan De\u011ferlendirmeleri (Evals) Neden Kritik Bir Eksikliktir?<\/h2>\n
G\u00f6zlemlenebilirlik, bir yapay zeka ajan\u0131n\u0131n i\u00e7 i\u015fleyi\u015fini ve d\u0131\u015f etkile\u015fimlerini anlamak i\u00e7in vazge\u00e7ilmez bir ara\u00e7t\u0131r. Ancak, g\u00f6zlemlenebilirlik verileri genellikle ajan\u0131n “ne” yapt\u0131\u011f\u0131n\u0131 g\u00f6sterirken, “ne kadar iyi” yapt\u0131\u011f\u0131n\u0131 veya “do\u011fru” \u015feyi yap\u0131p yapmad\u0131\u011f\u0131n\u0131 do\u011frudan \u00f6l\u00e7mez. \u0130\u015fte bu kritik bo\u015flu\u011fu dolduran mekanizmalara ajan de\u011ferlendirmeleri veya k\u0131saca “evals” diyoruz. Evals, bir ajan\u0131n performans\u0131n\u0131, do\u011frulu\u011funu, verimlili\u011fini, g\u00fcvenilirli\u011fini ve genel olarak hedeflerine ula\u015fma yetene\u011fini sistematik bir \u015fekilde \u00f6l\u00e7en ve nicelendiren s\u00fcre\u00e7lerdir.<\/p>\n
G\u00f6zlemlenebilirlik ve de\u011ferlendirme aras\u0131ndaki temel fark\u0131 \u015f\u00f6yle a\u00e7\u0131klayabiliriz: G\u00f6zlemlenebilirlik, bir araban\u0131n motor sesini dinlemek, yak\u0131t seviyesini ve h\u0131z\u0131n\u0131 kontrol etmek gibidir. Bu verilerle araban\u0131n \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 ve belirli bir h\u0131zda gitti\u011fini anlars\u0131n\u0131z. De\u011ferlendirme ise, araban\u0131n belirlenen var\u0131\u015f noktas\u0131na zaman\u0131nda, g\u00fcvenli bir \u015fekilde ve yak\u0131t verimlili\u011fiyle ula\u015f\u0131p ula\u015fmad\u0131\u011f\u0131n\u0131 \u00f6l\u00e7mek gibidir. Motor sesi normal olsa bile, araba yanl\u0131\u015f yola sapm\u0131\u015f veya hedefine ula\u015famam\u0131\u015f olabilir. Yapay zeka ajanlar\u0131 i\u00e7in de durum benzerdir. Ajan\u0131n loglar\u0131 m\u00fckemmel g\u00f6r\u00fcnebilir, hi\u00e7bir hata vermiyor olabilir, ancak yine de i\u015f hedeflerini kar\u015f\u0131layam\u0131yor veya kullan\u0131c\u0131lar\u0131 memnun edemiyor olabilir.<\/p>\n
Evals eksikli\u011finin yol a\u00e7abilece\u011fi riskler olduk\u00e7a ciddidir. \u00d6ncelikle, regresyonlar<\/strong> g\u00f6zden ka\u00e7abilir. Yeni bir \u00f6zellik eklendi\u011finde veya bir model g\u00fcncellendi\u011finde, ajan\u0131n daha \u00f6nce do\u011fru yapt\u0131\u011f\u0131 bir i\u015fi art\u0131k yapamamas\u0131 durumu regresyon olarak adland\u0131r\u0131l\u0131r. G\u00f6zlemlenebilirlik, bir hatan\u0131n ortaya \u00e7\u0131kt\u0131\u011f\u0131n\u0131 g\u00f6sterebilir, ancak evals olmadan bu hatan\u0131n bir regresyon olup olmad\u0131\u011f\u0131n\u0131, yani ajan\u0131n temel yetkinliklerinden birini kaybedip kaybetmedi\u011fini anlamak zordur. \u0130kinci olarak, ba\u015far\u0131s\u0131z hedefler<\/strong> riski vard\u0131r. Bir ajan, belirli bir i\u015f hedefini (\u00f6rne\u011fin, m\u00fc\u015fteri \u015fikayetlerini %20 azaltmak) yerine getirmek \u00fczere tasarlanm\u0131\u015ft\u0131r. E\u011fer ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n bu hedefe ne kadar hizmet etti\u011fini \u00f6l\u00e7en bir de\u011ferlendirme mekanizmas\u0131 yoksa, ajan “\u00e7al\u0131\u015f\u0131yor” gibi g\u00f6r\u00fcnse bile asl\u0131nda ba\u015far\u0131s\u0131z olabilir. \u00dc\u00e7\u00fcnc\u00fc olarak, g\u00fcven kayb\u0131<\/strong> ya\u015fanabilir. Bir ajan s\u00fcrekli olarak hatal\u0131 veya yetersiz sonu\u00e7lar \u00fcretiyorsa, kullan\u0131c\u0131lar veya i\u015f ortaklar\u0131 ajana olan g\u00fcvenlerini kaybedebilirler. Bu durum, \u00f6zellikle finans, sa\u011fl\u0131k veya hukuk gibi kritik sekt\u00f6rlerde telafisi zor sonu\u00e7lar do\u011furabilir.<\/p>\nBir ger\u00e7ek d\u00fcnya senaryosunu ele alal\u0131m: Bir finansal dan\u0131\u015fman ajan\u0131. Bu ajan, kullan\u0131c\u0131lar\u0131n yat\u0131r\u0131m portf\u00f6ylerini y\u00f6netmelerine yard\u0131mc\u0131 olmak \u00fczere tasarlanm\u0131\u015f olsun. Ajan\u0131n g\u00f6zlemlenebilirlik verileri (loglar\u0131, metrikleri) her \u015feyin yolunda oldu\u011funu g\u00f6steriyor olabilir: \u0130stekler i\u015fleniyor, yan\u0131t s\u00fcreleri d\u00fc\u015f\u00fck, sistem kaynaklar\u0131 normal. Ancak, e\u011fer ajan\u0131n verdi\u011fi yat\u0131r\u0131m tavsiyelerinin finansal performans\u0131 (\u00f6rne\u011fin, getirisi, risk-getiri oran\u0131) veya kullan\u0131c\u0131n\u0131n hedeflerine uygunlu\u011fu sistematik olarak de\u011ferlendirilmiyorsa, ajan zararl\u0131 tavsiyelerde bulunuyor olabilir. Kullan\u0131c\u0131lar ajan sayesinde para kaybedebilir, ancak sistem loglar\u0131nda hi\u00e7bir “hata” g\u00f6r\u00fcnmeyecektir. Ajan\u0131n i\u015f ak\u0131\u015f\u0131 d\u00fczg\u00fcn \u00e7al\u0131\u015f\u0131yor gibi g\u00f6r\u00fcnse de, as\u0131l amac\u0131 olan “do\u011fru ve karl\u0131 tavsiye vermek” konusunda ba\u015far\u0131s\u0131z olabilir. Bu t\u00fcr bir senaryoda, g\u00f6zlemlenebilirlik sadece bir yan\u0131lsama yarat\u0131r; ajan\u0131n “\u00e7al\u0131\u015ft\u0131\u011f\u0131” hissini verirken, asl\u0131nda kritik bir ba\u015far\u0131s\u0131zl\u0131\u011fa do\u011fru ilerlemesine engel olamaz.<\/p>\n
Evals olmadan geli\u015ftirme yapmak, karanl\u0131kta y\u00fcr\u00fcmeye benzer. Bir de\u011fi\u015fikli\u011fin ajan\u0131n performans\u0131n\u0131 iyile\u015ftirip iyile\u015ftirmedi\u011fini, yeni bir modelin eskisinden daha iyi olup olmad\u0131\u011f\u0131n\u0131 veya bir hata d\u00fczeltmesinin ba\u015fka bir yere zarar verip vermedi\u011fini kesin olarak bilemezsiniz. Geli\u015ftiriciler, sezgisel olarak veya s\u0131n\u0131rl\u0131 manuel testlerle ilerlemek zorunda kal\u0131r, bu da s\u00fcre\u00e7leri yava\u015flat\u0131r, maliyetleri art\u0131r\u0131r ve hatalar\u0131n \u00fcretim ortam\u0131na s\u0131zma riskini y\u00fckseltir. K\u0131sacas\u0131, g\u00f6zlemlenebilirlik “ne oldu\u011funu” anlamam\u0131z\u0131 sa\u011flarken, de\u011ferlendirme “ne kadar iyi oldu\u011funu” ve “olmas\u0131 gerekti\u011fi gibi olup olmad\u0131\u011f\u0131n\u0131” anlamam\u0131z\u0131 sa\u011flar. Bu iki kavram birle\u015fti\u011finde, ajanlar\u0131m\u0131z\u0131 daha \u015feffaf, daha g\u00fcvenilir ve daha ba\u015far\u0131l\u0131 hale getirebiliriz.<\/p>\n
G\u00f6zlemlenebilirlik ile De\u011ferlendirme Aras\u0131ndaki K\u00f6pr\u00fcy\u00fc Kurmak M\u00fcmk\u00fcn m\u00fc?<\/h3>\n
G\u00f6zlemlenebilirlik ve de\u011ferlendirme, bir yapay zeka ajan\u0131n\u0131n ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fcn farkl\u0131 ancak birbiriyle ayr\u0131lmaz par\u00e7alar\u0131d\u0131r. G\u00f6zlemlenebilirlik, ajan\u0131n i\u00e7 durumunu ve davran\u0131\u015flar\u0131n\u0131 anlamak i\u00e7in temel verileri sa\u011flarken, de\u011ferlendirme bu verileri ajan\u0131n performans\u0131n\u0131 \u00f6l\u00e7mek ve iyile\u015ftirmek i\u00e7in anlaml\u0131 metrikler haline getirir. Bu iki kavram aras\u0131nda sa\u011flam bir k\u00f6pr\u00fc kurmak, ajanlar\u0131n\u0131z\u0131 sadece “\u00e7al\u0131\u015f\u0131r” de\u011fil, ayn\u0131 zamanda “etkili” ve “g\u00fcvenilir” hale getirmenin anahtar\u0131d\u0131r.<\/p>\n
Bu k\u00f6pr\u00fcy\u00fc kurman\u0131n ilk ad\u0131m\u0131, g\u00f6zlem verilerini de\u011ferlendirme metriklerine d\u00f6n\u00fc\u015ft\u00fcrmektir. Ajan\u0131n\u0131z\u0131n \u00fcretti\u011fi loglar, metrikler ve izler, ham verilerdir. Bu ham verileri, ajan\u0131n hedefleriyle ili\u015fkilendirilmi\u015f nicel performans g\u00f6stergelerine (KPI’lar) \u00e7evirmemiz gerekir. \u00d6rne\u011fin, bir chatbot i\u00e7in “yan\u0131t s\u00fcresi” bir g\u00f6zlem metri\u011fi olabilir, ancak bu metri\u011fin “kullan\u0131c\u0131 memnuniyeti” \u00fczerindeki etkisi de\u011ferlendirme metri\u011fi haline gelir. Yan\u0131t s\u00fcresinin belirli bir e\u015fi\u011fin \u00fczerinde olmas\u0131, kullan\u0131c\u0131 memnuniyetinde d\u00fc\u015f\u00fc\u015fe yol a\u00e7\u0131yorsa, bu bir de\u011ferlendirme kriteri olur. Ba\u015fka bir \u00f6rnek olarak, bir spam filtresi ajan\u0131, gelen e-postalar\u0131 “spam” veya “spam de\u011fil” olarak s\u0131n\u0131fland\u0131r\u0131r. Ajan\u0131n loglar\u0131nda s\u0131n\u0131fland\u0131rma kararlar\u0131 bulunur (g\u00f6zlemlenebilirlik). Ancak bu kararlar\u0131n ne kadar do\u011fru oldu\u011funu (hassasiyet, geri \u00e7a\u011f\u0131rma, F1 skoru gibi de\u011ferlendirme metrikleri) \u00f6l\u00e7mek i\u00e7in etiketlenmi\u015f bir test veri setine ve bir de\u011ferlendirme s\u00fcrecine ihtiya\u00e7 duyar\u0131z.<\/p>\n
Otomatik de\u011ferlendirme mekanizmalar\u0131, bu k\u00f6pr\u00fcy\u00fc sa\u011flamla\u015ft\u0131rman\u0131n \u00f6nemli bir yoludur. Ajan\u0131n belirli g\u00f6revleri yerine getirmesi sonras\u0131nda, \u00e7\u0131kt\u0131lar\u0131n\u0131n otomatik olarak do\u011fru olup olmad\u0131\u011f\u0131n\u0131 kontrol eden testler veya algoritmalar geli\u015ftirilebilir. \u00d6rne\u011fin, bir kod \u00fcreten yapay zeka ajan\u0131 i\u00e7in, \u00fcretilen kodun birim testlerden ge\u00e7ip ge\u00e7medi\u011fini veya belirli bir derleyici hatas\u0131 verip vermedi\u011fini otomatik olarak kontrol edebiliriz. Bir metin \u00f6zetleme ajan\u0131 i\u00e7in, \u00fcretilen \u00f6zetin anahtar kelimeler i\u00e7erip i\u00e7ermedi\u011fini veya referans \u00f6zetlerle semantik olarak ne kadar benzer oldu\u011funu \u00f6l\u00e7en algoritmalar kullan\u0131labilir. Bu t\u00fcr otomatik evals, s\u00fcrekli entegrasyon (CI) ve s\u00fcrekli da\u011f\u0131t\u0131m (CD) boru hatlar\u0131na entegre edilerek, her kod de\u011fi\u015fikli\u011finde veya model g\u00fcncellemesinde ajan\u0131n performans\u0131n\u0131n otomatik olarak test edilmesini sa\u011flar.<\/p>\n
Ancak, her zaman otomatik de\u011ferlendirme m\u00fcmk\u00fcn veya yeterli olmayabilir, \u00f6zellikle insan dilini anlama, yarat\u0131c\u0131l\u0131k veya karma\u015f\u0131k problem \u00e7\u00f6zme gibi alanlarda. Bu durumlarda, insan d\u00f6ng\u00fcs\u00fcnde de\u011ferlendirme (Human-in-the-loop – HITL)<\/strong> devreye girer. Ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n bir k\u0131sm\u0131, insan uzmanlar taraf\u0131ndan g\u00f6zden ge\u00e7irilir, derecelendirilir ve geri bildirim sa\u011flan\u0131r. Bu geri bildirimler, hem ajan\u0131 e\u011fitmek hem de otomatik de\u011ferlendirme metriklerini kalibre etmek i\u00e7in kullan\u0131l\u0131r. \u00d6rne\u011fin, bir i\u00e7erik moderasyon ajan\u0131, potansiyel olarak uygunsuz i\u00e7eri\u011fi i\u015faretleyebilir, ancak nihai karar\u0131 bir insan moderat\u00f6r verir. Bu moderat\u00f6r\u00fcn kararlar\u0131, ajan\u0131n performans\u0131n\u0131 de\u011ferlendirmek ve gelecekteki kararlar\u0131n\u0131 iyile\u015ftirmek i\u00e7in bir veri k\u00fcmesi olu\u015fturur.<\/p>\nBir e-ticaret \u00f6neri sisteminin g\u00f6zlem verileriyle performans\u0131n\u0131 \u00f6l\u00e7me \u00f6rne\u011fini ele alal\u0131m. \u00d6neri ajan\u0131, kullan\u0131c\u0131lara \u00fcr\u00fcnler \u00f6nerir. G\u00f6zlemlenebilirlik taraf\u0131nda, hangi kullan\u0131c\u0131ya hangi \u00fcr\u00fcnlerin \u00f6nerildi\u011fi, kullan\u0131c\u0131n\u0131n bu \u00f6nerilere t\u0131klay\u0131p t\u0131klamad\u0131\u011f\u0131, sepete ekleyip eklemedi\u011fi veya sat\u0131n al\u0131p almad\u0131\u011f\u0131 gibi veriler loglan\u0131r. Bu ham veriler, de\u011ferlendirme i\u00e7in bir temel olu\u015fturur. De\u011ferlendirme a\u015famas\u0131nda ise, bu veriler kullan\u0131larak a\u015fa\u011f\u0131daki gibi metrikler hesaplanabilir:<\/p>\n
\n- T\u0131klama Oran\u0131 (CTR)<\/strong>: \u00d6nerilen \u00fcr\u00fcnlerin ne s\u0131kl\u0131kla t\u0131kland\u0131\u011f\u0131.<\/li>\n
- D\u00f6n\u00fc\u015f\u00fcm Oran\u0131<\/strong>: \u00d6nerilen \u00fcr\u00fcnlerin ne s\u0131kl\u0131kla sat\u0131n al\u0131nd\u0131\u011f\u0131.<\/li>\n
- Ortalama Sepet De\u011feri<\/strong>: \u00d6nerilen \u00fcr\u00fcnler sayesinde sepetin ortalama de\u011ferinde art\u0131\u015f olup olmad\u0131\u011f\u0131.<\/li>\n
- \u00c7e\u015fitlilik<\/strong>: Ajan\u0131n farkl\u0131 kullan\u0131c\u0131lara ne kadar \u00e7e\u015fitli \u00fcr\u00fcnler \u00f6nerdi\u011fi (monotonluktan ka\u00e7\u0131nma).<\/li>\n
- Yenilik<\/strong>: Ajan\u0131n kullan\u0131c\u0131n\u0131n daha \u00f6nce g\u00f6rmedi\u011fi veya beklemedi\u011fi, ancak ilgisini \u00e7ekebilecek \u00fcr\u00fcnleri ne s\u0131kl\u0131kla \u00f6nerdi\u011fi.<\/li>\n<\/ul>\n
Bu metrikler, ajan\u0131n i\u015f hedeflerine ne kadar katk\u0131da bulundu\u011funu g\u00f6sterir. E\u011fer g\u00f6zlemlenebilirlik verileri, ajan\u0131n her g\u00fcn milyonlarca \u00f6neri yapt\u0131\u011f\u0131n\u0131 g\u00f6sterirken, de\u011ferlendirme metrikleri t\u0131klama oranlar\u0131n\u0131n d\u00fc\u015f\u00fck oldu\u011funu ortaya koyuyorsa, bu ajan\u0131n “\u00e7al\u0131\u015ft\u0131\u011f\u0131” ancak “etkili olmad\u0131\u011f\u0131” anlam\u0131na gelir. Bu durumda, ajan modelinin veya \u00f6neri algoritmalar\u0131n\u0131n iyile\u015ftirilmesi gerekti\u011fi sonucuna var\u0131l\u0131r. G\u00f6zlemlenebilirlik olmadan, bu t\u00fcr de\u011ferlendirme metriklerini hesaplamak imkans\u0131z olurdu; de\u011ferlendirme olmadan ise, g\u00f6zlem verileri sadece birer say\u0131dan ibaret kal\u0131rd\u0131.<\/p>\n
Pratik Ad\u0131mlarla Ajanlar\u0131n\u0131z \u0130\u00e7in De\u011ferlendirme S\u00fcre\u00e7leri Olu\u015fturma<\/h2>\n
Yapay zeka ajanlar\u0131n\u0131z i\u00e7in etkili de\u011ferlendirme (evals) s\u00fcre\u00e7leri olu\u015fturmak, ajan\u0131n ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fcn kritik bir par\u00e7as\u0131d\u0131r. Bu s\u00fcre\u00e7ler, ajan\u0131n sadece \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 de\u011fil, ayn\u0131 zamanda belirlenen hedeflere ula\u015ft\u0131\u011f\u0131n\u0131 ve beklenen performans\u0131 sergiledi\u011fini garanti eder. \u0130\u015fte pratik ad\u0131mlarla bir de\u011ferlendirme s\u00fcreci olu\u015fturma rehberi:<\/p>\n
1. Hedef Belirleme ve Metrik Tan\u0131mlama<\/h3>\n
Her \u015feyden \u00f6nce, ajandan ne bekledi\u011finizi netle\u015ftirmelisiniz. Ajan\u0131n temel amac\u0131 nedir? Bu amac\u0131 \u00f6l\u00e7mek i\u00e7in hangi nicel g\u00f6stergeler kullan\u0131labilir? \u00d6rne\u011fin:<\/p>\n
\n- Chatbot i\u00e7in:<\/strong> Yan\u0131t do\u011frulu\u011fu, kullan\u0131c\u0131 memnuniyet puan\u0131, g\u00f6rev tamamlama oran\u0131, yan\u0131t s\u00fcresi.<\/li>\n
- \u00d6neri sistemi i\u00e7in:<\/strong> T\u0131klama oran\u0131, d\u00f6n\u00fc\u015f\u00fcm oran\u0131, ortalama sepet de\u011feri, \u00f6neri \u00e7e\u015fitlili\u011fi.<\/li>\n
- Doland\u0131r\u0131c\u0131l\u0131k tespit ajan\u0131 i\u00e7in:<\/strong> Do\u011fruluk (accuracy), hassasiyet (precision), geri \u00e7a\u011f\u0131rma (recall), F1 skoru, yanl\u0131\u015f pozitif\/negatif oran\u0131.<\/li>\n<\/ul>\n
Bu metrikler, ajan\u0131n i\u015f hedeflerine ne kadar katk\u0131da bulundu\u011funu g\u00f6steren kritik performans g\u00f6stergeleri (KPI’lar) olmal\u0131d\u0131r. Metrikleri tan\u0131mlarken SMART (Specific, Measurable, Achievable, Relevant, Time-bound) kriterlerine uygun olmalar\u0131na dikkat edin.<\/p>\n
2. Veri Toplama ve Etiketleme<\/h3>\n
De\u011ferlendirme i\u00e7in g\u00fcvenilir verilere ihtiyac\u0131n\u0131z vard\u0131r. Bu veriler genellikle iki t\u00fcrde olur:<\/p>\n
\n- Ger\u00e7ek D\u00fcnya Verileri:<\/strong> \u00dcretimdeki ajan\u0131n etkile\u015fimlerinden elde edilen loglar ve telemetri verileri.<\/li>\n
- Etiketlenmi\u015f Test Verileri:<\/strong> Ajan\u0131n belirli senaryolarda nas\u0131l performans g\u00f6stermesi gerekti\u011fini g\u00f6steren, insan uzmanlar taraf\u0131ndan do\u011fru \u00e7\u0131kt\u0131larla etiketlenmi\u015f veri setleri.<\/li>\n<\/ul>\n
\u00d6zellikle etiketlenmi\u015f test verileri, ajan\u0131n do\u011frulu\u011funu ve tutarl\u0131l\u0131\u011f\u0131n\u0131 \u00f6l\u00e7mek i\u00e7in hayati \u00f6neme sahiptir. Bu verilerin kalitesi, de\u011ferlendirmelerin g\u00fcvenilirli\u011fini do\u011frudan etkiler. Etiketleme s\u00fcre\u00e7leri i\u00e7in dahili ekipler veya d\u0131\u015f kaynak kullan\u0131m\u0131 d\u00fc\u015f\u00fcn\u00fclebilir.<\/p>\n
3. De\u011ferlendirme Senaryolar\u0131 ve Test Setleri Olu\u015fturma<\/h3>\n
Ajan\u0131n farkl\u0131 kullan\u0131m durumlar\u0131nda nas\u0131l davrand\u0131\u011f\u0131n\u0131 test etmek i\u00e7in \u00e7e\u015fitli senaryolar olu\u015fturun. Bu senaryolar, ajan\u0131n kar\u015f\u0131la\u015fabilece\u011fi tipik durumlar\u0131, u\u00e7 durumlar\u0131 ve hatta hatal\u0131 girdileri i\u00e7ermelidir. Bu senaryolar\u0131 kullanarak test setleri olu\u015fturun. \u00d6rne\u011fin, bir sanal asistan i\u00e7in “hava durumu sorgulama”, “randevu olu\u015fturma”, “\u00fcr\u00fcn iade etme” gibi senaryolar ve her senaryo i\u00e7in farkl\u0131 ifade bi\u00e7imleriyle test girdileri haz\u0131rlay\u0131n. Bu test setleri, ajan\u0131n farkl\u0131 yeteneklerini ve s\u0131n\u0131rlar\u0131n\u0131 zorlayacakt\u0131r.<\/p>\n
4. Otomatik ve Manuel De\u011ferlendirme Y\u00f6ntemleri<\/h3>\n
De\u011ferlendirmeler hem otomatik hem de manuel y\u00f6ntemlerle yap\u0131labilir:<\/p>\n
\n- Otomatik De\u011ferlendirme:<\/strong> Ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n belirli kurallara, referans \u00e7\u0131kt\u0131lara veya di\u011fer modellere g\u00f6re otomatik olarak kar\u015f\u0131la\u015ft\u0131r\u0131lmas\u0131. Bu y\u00f6ntem h\u0131zl\u0131 ve \u00f6l\u00e7eklenebilirdir. \u00d6rne\u011fin, bir metin s\u0131n\u0131fland\u0131rma ajan\u0131 i\u00e7in tahmin edilen etiketlerin ger\u00e7ek etiketlerle kar\u015f\u0131la\u015ft\u0131r\u0131lmas\u0131.<\/li>\n
- Manuel\/\u0130nsan Tabanl\u0131 De\u011ferlendirme:<\/strong> \u00d6zellikle do\u011fal dil i\u015fleme veya karma\u015f\u0131k karar alma gibi alanlarda, ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n insan uzmanlar taraf\u0131ndan incelenmesi ve derecelendirilmesi. Bu y\u00f6ntem daha maliyetli ve yava\u015ft\u0131r ancak daha derinlemesine ve ba\u011flamsal bir de\u011ferlendirme sa\u011flar.<\/li>\n<\/ul>\n
\u0130deal olarak, bu iki y\u00f6ntem bir arada kullan\u0131l\u0131r. Otomatik evals, genel performans\u0131 izlerken ve regresyonlar\u0131 yakalarken, manuel evals daha ince ayar ve niteliksel geri bildirim sa\u011flar.<\/p>\n
5. CI\/CD S\u00fcre\u00e7lerine Entegrasyon<\/h3>\n
De\u011ferlendirme s\u00fcre\u00e7lerini s\u00fcrekli entegrasyon\/s\u00fcrekli da\u011f\u0131t\u0131m (CI\/CD) boru hatlar\u0131n\u0131za entegre edin. Her kod de\u011fi\u015fikli\u011fi veya model g\u00fcncellemesi yap\u0131ld\u0131\u011f\u0131nda, otomatik evals’\u0131n \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131, ajan\u0131n performans\u0131n\u0131n d\u00fc\u015fmedi\u011finden emin olman\u0131z\u0131 sa\u011flar. Belirlenen e\u015fik de\u011ferlerinin alt\u0131nda kalan performans durumlar\u0131nda otomatik olarak uyar\u0131lar tetiklenmeli ve da\u011f\u0131t\u0131m durdurulmal\u0131d\u0131r. Bu, \u00fcretim ortam\u0131na hatal\u0131 veya d\u00fc\u015f\u00fck performansl\u0131 ajanlar\u0131n da\u011f\u0131t\u0131lmas\u0131n\u0131 engeller.<\/p>\n
A\u015fa\u011f\u0131da, basit bir metrik hesaplama ve e\u015fik de\u011feri kontrol\u00fc \u00f6rne\u011fi g\u00f6rebilirsiniz. Bu \u00f6rnek, bir ajan\u0131n belirli bir g\u00f6revi tamamlama ba\u015far\u0131s\u0131n\u0131 \u00f6l\u00e7er:<\/p>\n
\n\ndef calculate_success_rate(agent_outputs, expected_outputs):\n \"\"\"\n Ajan \u00e7\u0131kt\u0131lar\u0131n\u0131n beklenen \u00e7\u0131kt\u0131larla kar\u015f\u0131la\u015ft\u0131r\u0131larak ba\u015far\u0131 oran\u0131n\u0131 hesaplar.\n \"\"\"\n if not agent_outputs or not expected_outputs or len(agent_outputs) != len(expected_outputs):\n raise ValueError(\"\u00c7\u0131kt\u0131 ve beklenen \u00e7\u0131kt\u0131 listeleri uygun de\u011fil.\")\n\n successful_tasks = 0\n for i in range(len(agent_outputs)):\n # Basit bir kar\u015f\u0131la\u015ft\u0131rma. Ger\u00e7ek senaryoda daha karma\u015f\u0131k olabilir.\n if agent_outputs[i] == expected_outputs[i]:\n successful_tasks += 1\n \n success_rate = (successful_tasks \/ len(agent_outputs)) * 100\n return success_rate\n\ndef run_eval(agent_function, test_cases):\n \"\"\"\n Bir ajan fonksiyonunu test senaryolar\u0131 \u00fczerinde \u00e7al\u0131\u015ft\u0131r\u0131r ve ba\u015far\u0131 oran\u0131n\u0131 d\u00f6nd\u00fcr\u00fcr.\n \"\"\"\n agent_results = []\n expected_results = []\n\n for test_input, expected_output in test_cases:\n agent_output = agent_function(test_input)\n agent_results.append(agent_output)\n expected_results.append(expected_output)\n \n return calculate_success_rate(agent_results, expected_results)\n\n# Vaka Analizi: Bir m\u00fc\u015fteri hizmetleri botunun de\u011ferlendirme s\u00fcreci\n# M\u00fc\u015fteri hizmetleri botu, basit sorulara do\u011fru yan\u0131t vermeli.\n\n# 1. Ajan\u0131n sim\u00fcle edilmi\u015f fonksiyonu\ndef customer_service_bot(query):\n query = query.lower()\n if \"fatura\" in query:\n return \"Fatura bilgilerinize hesab\u0131n\u0131zdan ula\u015fabilirsiniz.\"\n elif \"sipari\u015f durumu\" in query:\n return \"Sipari\u015f durumunuzu kontrol etmek i\u00e7in sipari\u015f numaran\u0131z\u0131 girin.\"\n elif \"ileti\u015fim\" in query or \"m\u00fc\u015fteri hizmetleri\" in query:\n return \"M\u00fc\u015fteri hizmetleri temsilcimize ba\u011flanmak i\u00e7in 1'i tu\u015flay\u0131n.\"\n else:\n return \"\u00dczg\u00fcn\u00fcm, bu konuda yard\u0131mc\u0131 olam\u0131yorum.\"\n\n# 2. Test senaryolar\u0131 ve beklenen \u00e7\u0131kt\u0131lar\ntest_cases_customer_service = [\n (\"Fatura bilgilerimi nas\u0131l \u00f6\u011frenebilirim?\", \"Fatura bilgilerinize hesab\u0131n\u0131zdan ula\u015fabilirsiniz.\"),\n (\"Sipari\u015fimin durumu nedir?\", \"Sipari\u015f durumunuzu kontrol etmek i\u00e7in sipari\u015f numaran\u0131z\u0131 girin.\"),\n (\"M\u00fc\u015fteri hizmetleriyle nas\u0131l konu\u015fabilirim?\", \"M\u00fc\u015fteri hizmetleri temsilcimize ba\u011flanmak i\u00e7in 1'i tu\u015flay\u0131n.\"),\n (\"\u00dcr\u00fcn iadesi yapabilir miyim?\", \"\u00dczg\u00fcn\u00fcm, bu konuda yard\u0131mc\u0131 olam\u0131yorum.\"), # Botun hen\u00fcz bilmedi\u011fi bir soru\n (\"Faturalar\u0131m\u0131 g\u00f6rebilir miyim?\", \"Fatura bilgilerinize hesab\u0131n\u0131zdan ula\u015fabilirsiniz.\"),\n (\"Kargom ne zaman gelir?\", \"Sipari\u015f durumunuzu kontrol etmek i\u00e7in sipari\u015f numaran\u0131z\u0131 girin.\") # Yanl\u0131\u015f e\u015fle\u015fme \u00f6rne\u011fi\n]\n\n# 3. De\u011ferlendirme s\u00fcrecini \u00e7al\u0131\u015ft\u0131r\nsuccess_rate_bot = run_eval(customer_service_bot, test_cases_customer_service)\nprint(f\"M\u00fc\u015fteri Hizmetleri Botu Ba\u015far\u0131 Oran\u0131: %{success_rate_bot:.2f}\")\n\n# 4. E\u015fik de\u011feri kontrol\u00fc\nthreshold = 80.0\nif success_rate_bot >= threshold:\n print(f\"Bot performans\u0131 e\u015fik de\u011ferinin (%{threshold}) \u00fczerinde. Da\u011f\u0131t\u0131ma uygun.\")\nelse:\n print(f\"Bot performans\u0131 e\u015fik de\u011ferinin (%{threshold}) alt\u0131nda. \u0130yile\u015ftirme gerekiyor.\")\n <\/code><\/pre>\n<\/div>\nBu \u00f6rnek, bir m\u00fc\u015fteri hizmetleri botunun belirli bir test seti \u00fczerindeki ba\u015far\u0131 oran\u0131n\u0131 hesaplar ve bu oran\u0131 \u00f6nceden belirlenmi\u015f bir e\u015fik de\u011feriyle kar\u015f\u0131la\u015ft\u0131r\u0131r. Bu basit yap\u0131, daha karma\u015f\u0131k ajan de\u011ferlendirme sistemlerinin temelini olu\u015fturur. G\u00f6zlemlenebilirlik verileri (botun hangi sorguya ne yan\u0131t verdi\u011fi) bu de\u011ferlendirme s\u00fcrecine girdi olarak sa\u011flan\u0131r ve sonu\u00e7lar ajan\u0131n ne kadar “iyi” oldu\u011funu g\u00f6sterir.<\/p>\n
\u0130leri D\u00fczey Ajan De\u011ferlendirme Stratejileri ve Zorluklar\u0131<\/h2>\n
Basit ba\u015far\u0131 oranlar\u0131 ve temel metrikler, ajan de\u011ferlendirme yolculu\u011funun sadece ba\u015flang\u0131c\u0131d\u0131r. \u00d6zellikle karma\u015f\u0131k, dinamik ve \u00fcretken yapay zeka ajanlar\u0131 (\u00f6rne\u011fin, b\u00fcy\u00fck dil modelleri – LLM’ler \u00fczerine kurulu ajanlar) i\u00e7in de\u011ferlendirme s\u00fcre\u00e7leri \u00e7ok daha sofistike stratejiler ve \u00e7\u00f6z\u00fclmesi gereken zorluklar gerektirir.<\/p>\n
Karma\u015f\u0131k Ajanlar \u0130\u00e7in \u00c7ok Boyutlu De\u011ferlendirme<\/h3>\n
Bir ajan tek bir g\u00f6rev yerine getirmek yerine birden fazla yetene\u011fe sahip oldu\u011funda veya farkl\u0131 senaryolarda farkl\u0131 davran\u0131\u015flar sergilemesi gerekti\u011finde, tek bir metrikle de\u011ferlendirmek yetersiz kal\u0131r. \u00d6rne\u011fin, bir sanal asistan hem bilgi sorgular\u0131n\u0131 yan\u0131tlamal\u0131, hem randevu olu\u015fturmal\u0131 hem de problem \u00e7\u00f6zme yetene\u011fine sahip olmal\u0131d\u0131r. Bu durumda, her bir yetenek alan\u0131 i\u00e7in ayr\u0131 ayr\u0131 metrikler ve de\u011ferlendirme senaryolar\u0131 tan\u0131mlanmal\u0131d\u0131r. Bu, ajan\u0131n genel performans\u0131n\u0131 bir “de\u011ferlendirme panosu” (evaluation dashboard) arac\u0131l\u0131\u011f\u0131yla \u00e7ok boyutlu bir \u015fekilde izlemeyi gerektirir. Her bir boyut i\u00e7in a\u011f\u0131rl\u0131kland\u0131rma yap\u0131labilir ve ajan\u0131n genel “sa\u011fl\u0131k puan\u0131” hesaplanabilir.<\/p>\n
G\u00fcvenlik, Etik ve Tarafs\u0131zl\u0131k De\u011ferlendirmeleri<\/h3>\n
Yapay zeka ajanlar\u0131, \u00f6zellikle hassas alanlarda kullan\u0131ld\u0131\u011f\u0131nda, sadece teknik olarak do\u011fru olmalar\u0131 yetmez. G\u00fcvenlik a\u00e7\u0131klar\u0131 (\u00f6rne\u011fin, prompt injection sald\u0131r\u0131lar\u0131), etik ihlaller (zararl\u0131 i\u00e7erik \u00fcretme) ve tarafs\u0131zl\u0131k sorunlar\u0131 (belirli demografik gruplara kar\u015f\u0131 \u00f6nyarg\u0131l\u0131 davranma) ciddi sonu\u00e7lar do\u011furabilir. Bu t\u00fcr sorunlar\u0131 tespit etmek i\u00e7in \u00f6zel de\u011ferlendirme y\u00f6ntemleri geli\u015ftirilmelidir:<\/p>\n
\n- G\u00fcvenlik Evals:<\/strong> Ajan\u0131n g\u00fcvenlik a\u00e7\u0131klar\u0131na kar\u015f\u0131 dayan\u0131kl\u0131l\u0131\u011f\u0131n\u0131 test eden senaryolar (\u00f6rne\u011fin, k\u00f6t\u00fc niyetli girdilerle ajan\u0131 manip\u00fcle etmeye \u00e7al\u0131\u015fma).<\/li>\n
- Etik Evals:<\/strong> Ajan\u0131n belirli etik kurallara uygun davran\u0131p davranmad\u0131\u011f\u0131n\u0131 \u00f6l\u00e7en testler (\u00f6rne\u011fin, hassas konularda tarafs\u0131z ve sayg\u0131l\u0131 yan\u0131tlar verme).<\/li>\n
- Tarafs\u0131zl\u0131k Evals:<\/strong> Ajan\u0131n farkl\u0131 demografik gruplara (cinsiyet, \u0131rk, ya\u015f vb.) kar\u015f\u0131 \u00f6nyarg\u0131l\u0131 \u00e7\u0131kt\u0131lar \u00fcretip \u00fcretmedi\u011fini analiz eden test setleri. Bu, genellikle farkl\u0131 demografik gruplar\u0131 temsil eden veri setleri \u00fczerinde performans kar\u015f\u0131la\u015ft\u0131rmalar\u0131 yaparak yap\u0131l\u0131r.<\/li>\n<\/ul>\n
\u00dcretken Modellerin (LLM Tabanl\u0131 Ajanlar) De\u011ferlendirilmesi<\/h3>\n
B\u00fcy\u00fck Dil Modelleri (LLM’ler) \u00fczerine kurulu ajanlar\u0131n de\u011ferlendirilmesi, geleneksel modellerden \u00e7ok daha zordur. LLM’ler, deterministik olmayan, yarat\u0131c\u0131 ve ba\u011flama duyarl\u0131 \u00e7\u0131kt\u0131lar \u00fcrettikleri i\u00e7in, “do\u011fru” cevab\u0131 tan\u0131mlamak genellikle zordur. Bu alandaki ileri d\u00fczey stratejiler \u015funlar\u0131 i\u00e7erir:<\/p>\n
\n- Referans Olmadan De\u011ferlendirme (Reference-Free Evals):<\/strong> Modelin \u00e7\u0131kt\u0131s\u0131n\u0131n ak\u0131c\u0131l\u0131k, tutarl\u0131l\u0131k, uygunluk gibi niteliksel \u00f6zelliklerini \u00f6l\u00e7en metrikler (\u00f6rne\u011fin, ROUGE, BLEU gibi geleneksel metrikler her zaman yeterli olmaz).<\/li>\n
- Model Tabanl\u0131 De\u011ferlendirme (Model-Based Evals):<\/strong> Ba\u015fka bir (genellikle daha b\u00fcy\u00fck ve daha yetenekli) LLM’i, de\u011ferlendirilen ajan\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 puanlamak veya kar\u015f\u0131la\u015ft\u0131rmak i\u00e7in kullanma. Bu, insan de\u011ferlendirmesine yak\u0131n sonu\u00e7lar verebilir ancak kendi \u00f6nyarg\u0131lar\u0131 ve maliyetleri vard\u0131r.<\/li>\n
- \u0130nsan Geri Bildirimiyle \u00d6\u011frenme (Reinforcement Learning from Human Feedback – RLHF):<\/strong> \u0130nsanlar\u0131n ajan\u0131n \u00e7\u0131kt\u0131lar\u0131ndan hangisini tercih etti\u011fini veya daha iyi buldu\u011funu belirterek modeli e\u011fitme ve de\u011ferlendirme.<\/li>\n
- \u00c7ok Ad\u0131ml\u0131 Ak\u0131l Y\u00fcr\u00fctme De\u011ferlendirmesi:<\/strong> Ajan\u0131n karma\u015f\u0131k bir g\u00f6revi yerine getirirken att\u0131\u011f\u0131 her ad\u0131m\u0131 ayr\u0131 ayr\u0131 de\u011ferlendirme, sadece nihai \u00e7\u0131kt\u0131y\u0131 de\u011fil.<\/li>\n<\/ul>\n
A\/B Testleri ve G\u00f6lge Da\u011f\u0131t\u0131mlar<\/h3>\n
\u00dcretim ortam\u0131nda ger\u00e7ek kullan\u0131c\u0131 verileriyle ajan\u0131n performans\u0131n\u0131 de\u011ferlendirmek i\u00e7in A\/B testleri ve g\u00f6lge da\u011f\u0131t\u0131mlar kullan\u0131l\u0131r. A\/B testi, kullan\u0131c\u0131lar\u0131n bir k\u0131sm\u0131na ajan\u0131n yeni s\u00fcr\u00fcm\u00fcn\u00fc (B grubu), di\u011fer k\u0131sm\u0131na ise mevcut s\u00fcr\u00fcm\u00fcn\u00fc (A grubu) sunarak performans metriklerini kar\u015f\u0131la\u015ft\u0131rmay\u0131 i\u00e7erir. G\u00f6lge da\u011f\u0131t\u0131m (shadow deployment) ise, yeni ajan\u0131 ger\u00e7ek trafikle \u00e7al\u0131\u015ft\u0131r\u0131r ancak \u00e7\u0131kt\u0131s\u0131n\u0131 do\u011frudan kullan\u0131c\u0131lara sunmaz; bunun yerine, eski ajan\u0131n \u00e7\u0131kt\u0131s\u0131yla kar\u015f\u0131la\u015ft\u0131rmak i\u00e7in arka planda \u00e7al\u0131\u015ft\u0131r\u0131r. Bu y\u00f6ntemler, ajan\u0131n ger\u00e7ek d\u00fcnya ko\u015fullar\u0131nda nas\u0131l performans g\u00f6sterdi\u011fini g\u00fcvenli bir \u015fekilde anlamak i\u00e7in kritik \u00f6neme sahiptir.<\/p>\n
Dinamik Ortamda S\u00fcrekli De\u011ferlendirme ve \u00d6l\u00e7eklenebilirlik Sorunlar\u0131<\/h3>\n
Ajanlar genellikle dinamik ve s\u00fcrekli de\u011fi\u015fen ortamlarda \u00e7al\u0131\u015f\u0131r. Bu durum, de\u011ferlendirme s\u00fcre\u00e7lerinin de s\u00fcrekli ve adaptif olmas\u0131 gerekti\u011fi anlam\u0131na gelir. Model kaymas\u0131 (model drift), yani ajan\u0131n performans\u0131n\u0131n zamanla d\u00fc\u015fmesi, s\u00fcrekli de\u011ferlendirme ile tespit edilebilir. Ancak, her ajan\u0131n her \u00e7\u0131kt\u0131s\u0131n\u0131 s\u00fcrekli olarak de\u011ferlendirmek, \u00f6zellikle b\u00fcy\u00fck \u00f6l\u00e7ekli sistemlerde, ciddi bir \u00f6l\u00e7eklenebilirlik ve maliyet sorunu yarat\u0131r. Bu zorlu\u011fun \u00fcstesinden gelmek i\u00e7in:<\/p>\n
\n- \u00d6rnekleme (Sampling):<\/strong> T\u00fcm \u00e7\u0131kt\u0131lar yerine, istatistiksel olarak anlaml\u0131 bir \u00f6rneklem \u00fczerinden de\u011ferlendirme yapmak.<\/li>\n
- \u00d6nceliklendirme:<\/strong> Kritik veya riskli senaryolara \u00f6ncelik vererek daha s\u0131k\u0131 de\u011ferlendirme uygulamak.<\/li>\n
- Otomasyon ve Altyap\u0131:<\/strong> Y\u00fcksek performansl\u0131 de\u011ferlendirme altyap\u0131lar\u0131 ve otomatik test otomasyonu ara\u00e7lar\u0131 kullanmak.<\/li>\n<\/ul>\n
Bu ileri d\u00fczey stratejiler ve zorluklar, yapay zeka ajanlar\u0131n\u0131n olgunla\u015fmas\u0131 ve daha karma\u015f\u0131k g\u00f6revleri \u00fcstlenmesiyle birlikte daha da \u00f6nem kazanmaktad\u0131r. Sadece g\u00f6zlemlenebilirli\u011fe sahip olmak, bu karma\u015f\u0131k sistemlerin g\u00fcvenli, etik ve etkili bir \u015fekilde \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flamak i\u00e7in yeterli de\u011fildir; kapsaml\u0131 ve s\u00fcrekli de\u011ferlendirme s\u00fcre\u00e7leri de mutlak suretle gereklidir.<\/p>\n
Sonu\u00e7: G\u00f6zlem ve De\u011ferlendirme \u0130le Daha Ak\u0131ll\u0131 Ajanlar<\/h2>\n
Yapay zeka ajanlar\u0131, modern dijital ekosistemlerin temel ta\u015flar\u0131ndan biri haline gelmi\u015ftir. Bu ajanlar\u0131n geli\u015ftirilmesi, da\u011f\u0131t\u0131lmas\u0131 ve s\u00fcrd\u00fcr\u00fclmesi s\u00fcre\u00e7lerinde, onlar\u0131n davran\u0131\u015flar\u0131n\u0131 anlamak ve performanslar\u0131n\u0131 s\u00fcrekli olarak iyile\u015ftirmek esast\u0131r. Bu makalede vurgulad\u0131\u011f\u0131m\u0131z gibi, bir ajan\u0131n sadece g\u00f6zlemlenebilir olmas\u0131, yani i\u00e7 i\u015fleyi\u015fini ve \u00e7\u0131kt\u0131s\u0131n\u0131 loglamas\u0131, metrikler \u00fcretmesi, ne yapt\u0131\u011f\u0131n\u0131 anlamak i\u00e7in yeterli olabilir; ancak ne kadar iyi yapt\u0131\u011f\u0131n\u0131, hedeflerine ula\u015f\u0131p ula\u015fmad\u0131\u011f\u0131n\u0131 veya istenmeyen sonu\u00e7lar do\u011furup do\u011furmad\u0131\u011f\u0131n\u0131 anlamak i\u00e7in yetersizdir. G\u00f6zlemlenebilirlik, “ne oluyor?” sorusuna yan\u0131t verirken, de\u011ferlendirme (evals) “ne kadar iyi oluyor?” sorusunun cevab\u0131n\u0131 sunar.<\/p>\n
G\u00f6zlemlenebilirlik ve de\u011ferlendirme aras\u0131ndaki bu kritik bo\u015flu\u011fu doldurmak, ajanlar\u0131n\u0131z\u0131 “kara kutu” olmaktan \u00e7\u0131kararak daha \u015feffaf, g\u00fcvenilir ve etkili sistemler in\u015fa etmenizi sa\u011flar. De\u011ferlendirme mekanizmalar\u0131n\u0131n eksikli\u011fi, regresyonlar\u0131n g\u00f6zden ka\u00e7mas\u0131na, i\u015f hedeflerinin kar\u015f\u0131lanamamas\u0131na ve kullan\u0131c\u0131 g\u00fcveninin sars\u0131lmas\u0131na yol a\u00e7abilir. Bu nedenle, ajan geli\u015ftirme s\u00fcre\u00e7lerinize ba\u015ftan itibaren g\u00fc\u00e7l\u00fc de\u011ferlendirme s\u00fcre\u00e7lerini entegre etmek hayati \u00f6nem ta\u015f\u0131r. Hedeflerin net bir \u015fekilde tan\u0131mlanmas\u0131, uygun metriklerin se\u00e7ilmesi, g\u00fcvenilir test setlerinin olu\u015fturulmas\u0131 ve hem otomatik hem de insan d\u00f6ng\u00fcs\u00fcnde de\u011ferlendirme y\u00f6ntemlerinin kullan\u0131lmas\u0131, bu entegrasyonun temel ad\u0131mlar\u0131d\u0131r.<\/p>\n
Gelecekte, yapay zeka ajanlar\u0131n\u0131n karma\u015f\u0131kl\u0131\u011f\u0131 ve otonomisi artt\u0131k\u00e7a, ileri d\u00fczey de\u011ferlendirme stratejilerine olan ihtiya\u00e7 da artacakt\u0131r. \u00c7ok boyutlu performans de\u011ferlendirmeleri, g\u00fcvenlik, etik ve tarafs\u0131zl\u0131k gibi alanlarda \u00f6zel evals, \u00fcretken modellerin \u00f6zg\u00fcn zorluklar\u0131n\u0131 ele alan yeni metrikler ve s\u00fcrekli adaptif de\u011ferlendirme sistemleri, bu alandaki inovasyonun anahtar noktalar\u0131 olacakt\u0131r. A\/B testleri ve g\u00f6lge da\u011f\u0131t\u0131mlar gibi y\u00f6ntemler, ajanlar\u0131n ger\u00e7ek d\u00fcnya ko\u015fullar\u0131nda g\u00fcvenli bir \u015fekilde test edilmesini sa\u011flayarak, \u00fcretim ortam\u0131na daha olgun ve g\u00fcvenilir sistemlerin \u00e7\u0131k\u0131\u015f\u0131n\u0131 h\u0131zland\u0131racakt\u0131r.<\/p>\n
\u00d6zetle, g\u00f6zlemlenebilirlik, ajan\u0131n i\u00e7 d\u00fcnyas\u0131na a\u00e7\u0131lan bir pencere gibidir; ancak de\u011ferlendirme, bu pencereden g\u00f6r\u00fcnen manzaran\u0131n kalitesini ve amac\u0131na uygunlu\u011funu \u00f6l\u00e7en bir pusulad\u0131r. Her ikisi de bir araya geldi\u011finde, yapay zeka ajanlar\u0131n\u0131z\u0131 sadece \u00e7al\u0131\u015f\u0131r durumda tutmakla kalmaz, ayn\u0131 zamanda onlar\u0131 s\u00fcrekli olarak geli\u015ftirmenize, optimize etmenize ve nihayetinde daha ak\u0131ll\u0131, daha g\u00fcvenilir ve daha de\u011ferli hale getirmenize olanak tan\u0131r. Ajanlar\u0131n\u0131z\u0131 sadece g\u00f6zlemlemeyin, ayn\u0131 zamanda onlar\u0131 titizlikle de\u011ferlendirin.<\/p>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n\n- \n Yapay zeka ajan\u0131 i\u00e7in g\u00f6zlemlenebilirlik ve de\u011ferlendirme aras\u0131ndaki temel fark nedir?<\/strong>
\n G\u00f6zlemlenebilirlik, ajan\u0131n i\u00e7 i\u015fleyi\u015fini (loglar, metrikler, izler) izleyerek “ne yapt\u0131\u011f\u0131n\u0131” anlamam\u0131z\u0131 sa\u011flar. De\u011ferlendirme ise, ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n ve davran\u0131\u015flar\u0131n\u0131n belirlenen hedeflere, performans standartlar\u0131na veya do\u011fruluk kriterlerine g\u00f6re “ne kadar iyi oldu\u011funu” \u00f6l\u00e7er. Birincisi g\u00f6zlem, ikincisi yarg\u0131d\u0131r.\n <\/li>\n- \n Neden sadece g\u00f6zlemlenebilirlik yeterli de\u011fildir?<\/strong>
\n Sadece g\u00f6zlemlenebilirlik, ajan\u0131n teknik olarak \u00e7al\u0131\u015ft\u0131\u011f\u0131n\u0131 g\u00f6sterebilir ancak i\u015f hedeflerine ula\u015f\u0131p ula\u015fmad\u0131\u011f\u0131n\u0131 veya do\u011fru sonu\u00e7lar \u00fcretip \u00fcretmedi\u011fini garanti etmez. Bir ajan hatas\u0131z \u00e7al\u0131\u015f\u0131yor gibi g\u00f6r\u00fcnse de, kullan\u0131c\u0131lar\u0131 memnun etmiyor veya yanl\u0131\u015f kararlar veriyor olabilir. De\u011ferlendirme olmadan, bu kritik sorunlar g\u00f6zden ka\u00e7abilir.\n <\/li>\n- \n Ajan de\u011ferlendirmeleri i\u00e7in hangi metrikler kullan\u0131labilir?<\/strong>
\n Kullan\u0131lacak metrikler ajan\u0131n amac\u0131na g\u00f6re de\u011fi\u015fir. Genel metrikler aras\u0131nda do\u011fruluk (accuracy), hassasiyet (precision), geri \u00e7a\u011f\u0131rma (recall), F1 skoru, yan\u0131t s\u00fcresi, g\u00f6rev tamamlama oran\u0131, t\u0131klama oran\u0131, d\u00f6n\u00fc\u015f\u00fcm oran\u0131, kullan\u0131c\u0131 memnuniyet puan\u0131 say\u0131labilir. LLM tabanl\u0131 ajanlar i\u00e7in ak\u0131c\u0131l\u0131k, tutarl\u0131l\u0131k, uygunluk gibi niteliksel metrikler de \u00f6nemlidir.\n <\/li>\n- \n \u0130nsan d\u00f6ng\u00fcs\u00fcnde de\u011ferlendirme (Human-in-the-loop) nedir ve neden \u00f6nemlidir?<\/strong>
\n \u0130nsan d\u00f6ng\u00fcs\u00fcnde de\u011ferlendirme, ajan\u0131n \u00e7\u0131kt\u0131lar\u0131n\u0131n bir k\u0131sm\u0131n\u0131n insan uzmanlar taraf\u0131ndan g\u00f6zden ge\u00e7irilmesi, derecelendirilmesi ve geri bildirim sa\u011flanmas\u0131 s\u00fcrecidir. \u00d6zellikle do\u011fal dil anlama, yarat\u0131c\u0131l\u0131k veya karma\u015f\u0131k problem \u00e7\u00f6zme gibi alanlarda, otomatik de\u011ferlendirme yetersiz kald\u0131\u011f\u0131nda insan uzmanlar\u0131n bilgeli\u011fi ve yarg\u0131s\u0131 kritik hale gelir. Bu geri bildirimler hem ajan\u0131 e\u011fitmek hem de otomatik de\u011ferlendirme sistemlerini kalibre etmek i\u00e7in kullan\u0131l\u0131r.\n <\/li>\n- \n Ajan de\u011ferlendirme s\u00fcre\u00e7lerini CI\/CD boru hatt\u0131na entegre etmek ne anlama gelir?<\/strong>
\n Bu, ajan\u0131n kodunda veya modelinde yap\u0131lan her de\u011fi\u015fikli\u011fin ard\u0131ndan, tan\u0131mlanm\u0131\u015f de\u011ferlendirme testlerinin otomatik olarak \u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131 ve belirlenen performans e\u015fiklerinin kontrol edilmesidir. E\u011fer ajan yeni de\u011fi\u015fiklikle birlikte performans e\u015fiklerinin alt\u0131na d\u00fc\u015ferse, da\u011f\u0131t\u0131m s\u00fcreci otomatik olarak durdurulur veya uyar\u0131 verilir. Bu, \u00fcretim ortam\u0131na regresyonlar\u0131n veya d\u00fc\u015f\u00fck performansl\u0131 s\u00fcr\u00fcmlerin ula\u015fmas\u0131n\u0131 engeller.\n <\/li>\n<\/ol>\n#YapayZeka #Ajanlar #G\u00f6zlemlenebilirlik #De\u011ferlendirme #AIops<\/p>\n