Yapay zeka ajanlar\u0131 ve b\u00fcy\u00fck dil modelleri (LLM’ler) hayat\u0131m\u0131z\u0131n her alan\u0131na entegre olduk\u00e7a, bu ajanlar\u0131n \u00fcretti\u011fi \u00e7\u0131kt\u0131lar\u0131n kalitesini de\u011ferlendirmek kritik bir \u00f6neme sahip hale gelmi\u015ftir. Ancak, karma\u015f\u0131k de\u011ferlendirme \u00e7er\u00e7eveleri ve a\u011f\u0131r altyap\u0131lar her zaman pratik veya eri\u015filebilir olmayabilir. Bu makale, kapsaml\u0131 bir \u00e7er\u00e7eveye ihtiya\u00e7 duymadan, h\u0131zl\u0131 ve etkili bir \u015fekilde ajan \u00e7\u0131kt\u0131lar\u0131n\u0131n kalitesini \u00f6l\u00e7meye y\u00f6nelik hafif ve pratik de\u011ferlendirme y\u00f6ntemlerini ele alacakt\u0131r.<\/p>\n
Geli\u015ftirme s\u00fcre\u00e7lerinde h\u0131z ve esneklik, \u00f6zellikle yapay zeka projelerinde b\u00fcy\u00fck \u00f6nem ta\u015f\u0131r. A\u011f\u0131r de\u011ferlendirme \u00e7er\u00e7eveleri, ba\u015flang\u0131\u00e7ta cazip g\u00f6r\u00fcnse de, \u00e7o\u011fu zaman ek y\u00fck, karma\u015f\u0131kl\u0131k ve yava\u015flama getirebilir.<\/p>\n
Kapsaml\u0131 de\u011ferlendirme \u00e7er\u00e7eveleri genellikle karma\u015f\u0131k kurulumlar, entegrasyon zorluklar\u0131 ve y\u00fcksek \u00f6\u011frenme e\u011frileri gerektirir. Bu durum, \u00f6zellikle k\u00fc\u00e7\u00fck ekipler veya h\u0131zl\u0131 prototipleme a\u015famalar\u0131 i\u00e7in ciddi bir engel te\u015fkil edebilir. \u00c7er\u00e7eveler, standartla\u015fm\u0131\u015f metrikler ve raporlama yetenekleri sunsa da, bu avantajlar \u00e7o\u011fu zaman ek bak\u0131m ve y\u00f6netim maliyetleriyle birlikte gelir.<\/p>\n
Yapay zeka modelleri h\u0131zla geli\u015firken, geli\u015ftiricilerin modellerini s\u00fcrekli olarak test etmeleri ve iyile\u015ftirmeleri gerekir. A\u011f\u0131r de\u011ferlendirme s\u00fcre\u00e7leri, bu h\u0131zl\u0131 iterasyon d\u00f6ng\u00fcs\u00fcn\u00fc yava\u015flatarak, yenilik\u00e7i fikirlerin pazara sunulmas\u0131n\u0131 geciktirebilir. Hafif de\u011ferlendirme y\u00f6ntemleri, h\u0131zl\u0131 geri bildirim sa\u011flayarak geli\u015ftirme s\u00fcrecini h\u0131zland\u0131r\u0131r.<\/p>\n
Her projenin veya ekibin, de\u011ferlendirme i\u00e7in ayr\u0131lan s\u0131n\u0131rs\u0131z b\u00fct\u00e7esi veya insan kayna\u011f\u0131 olmayabilir. Hafif de\u011ferlendirmeler, daha az hesaplama g\u00fcc\u00fc, daha az insan m\u00fcdahalesi ve daha az uzmanl\u0131k gerektirerek, k\u0131s\u0131tl\u0131 kaynaklara sahip ekipler i\u00e7in ideal bir \u00e7\u00f6z\u00fcm sunar.<\/p>\n
Etkili bir de\u011ferlendirme i\u00e7in, ajan \u00e7\u0131kt\u0131lar\u0131n\u0131n hangi kriterlere g\u00f6re ba\u015far\u0131l\u0131 say\u0131laca\u011f\u0131n\u0131 net bir \u015fekilde belirlemek esast\u0131r. Bu, de\u011ferlendirme s\u00fcrecinin temelini olu\u015fturur.<\/p>\n
De\u011ferlendirme metrikleri, ajan\u0131n nihai amac\u0131na uygun olmal\u0131d\u0131r. \u00d6rne\u011fin, bir m\u00fc\u015fteri hizmetleri botu i\u00e7in “sorun \u00e7\u00f6zme oran\u0131” veya “kullan\u0131c\u0131 memnuniyeti”, bir i\u00e7erik olu\u015fturma ajan\u0131 i\u00e7in “yarat\u0131c\u0131l\u0131k” veya “bilgi do\u011frulu\u011fu” daha anlaml\u0131 olabilir. Metrikler, ajan\u0131n i\u015flevselli\u011fini do\u011frudan yans\u0131tmal\u0131d\u0131r.<\/p>\n
Genel kalite boyutlar\u0131, \u00e7o\u011fu ajan \u00e7\u0131kt\u0131s\u0131 i\u00e7in ge\u00e7erlidir:<\/p>\n
Bu boyutlar, basit bir derecelendirme rubri\u011fi olu\u015fturmak i\u00e7in kullan\u0131labilir.<\/p>\n
Nihayetinde, bir ajan\u0131n ba\u015far\u0131s\u0131 genellikle son kullan\u0131c\u0131n\u0131n deneyimiyle \u00f6l\u00e7\u00fcl\u00fcr. Bu nedenle, de\u011ferlendirme metrikleri aras\u0131na “kullan\u0131m kolayl\u0131\u011f\u0131”, “anla\u015f\u0131l\u0131rl\u0131k” ve “memnuniyet” gibi s\u00fcbjektif ama kritik unsurlar\u0131 dahil etmek \u00f6nemlidir. Kullan\u0131c\u0131 geri bildirimleri, bu t\u00fcr metriklerin toplanmas\u0131nda de\u011ferli bir kaynakt\u0131r.<\/p>\n
Hafif de\u011ferlendirme denince akla ilk gelen ve en g\u00fcvenilir y\u00f6ntemlerden biri insan odakl\u0131 manuel de\u011ferlendirmedir. \u0130nsan g\u00f6z\u00fc ve beyni, karma\u015f\u0131k n\u00fcanslar\u0131 ve ba\u011flam\u0131 alg\u0131lamada hala en yetenekli ara\u00e7t\u0131r.<\/p>\n
En basit haliyle, bir grup insan de\u011ferlendiricinin (proje ekibi \u00fcyeleri, g\u00f6n\u00fcll\u00fcler veya k\u00fc\u00e7\u00fck bir d\u0131\u015f grup) ajan \u00e7\u0131kt\u0131lar\u0131n\u0131 manuel olarak incelemesidir. Bu s\u00fcre\u00e7te, de\u011ferlendiricilere belirli y\u00f6nergeler ve bir derecelendirme \u00f6l\u00e7e\u011fi sa\u011flan\u0131r.<\/p>\n
\n# \u00d6rnek bir manuel de\u011ferlendirme formu yap\u0131s\u0131\ndegerlendirme_formu = {\n \"agent_output_id\": \"UUID_12345\",\n \"prompt\": \"\u0130stanbul'da gezilecek tarihi yerler nelerdir?\",\n \"agent_response\": \"\u0130stanbul'da Ayasofya, Topkap\u0131 Saray\u0131, Sultanahmet Camii gibi bir\u00e7ok tarihi yer bulunmaktad\u0131r...\",\n \"degerlendirme_kriterleri\": {\n \"dogruluk\": \"1-5 aras\u0131 puan\", # 1: \u00c7ok Yanl\u0131\u015f, 5: Tamamen Do\u011fru\n \"alaka_duzeyi\": \"1-5 aras\u0131 puan\", # 1: \u0130lgisiz, 5: \u00c7ok \u0130lgili\n \"tamlik\": \"1-5 aras\u0131 puan\", # 1: Eksik, 5: Tam\n \"anlasilirlik\": \"1-5 aras\u0131 puan\", # 1: Anla\u015f\u0131lmaz, 5: \u00c7ok Anla\u015f\u0131l\u0131r\n \"genel_yorum\": \"Serbest metin alan\u0131\"\n },\n \"degerlendiren_id\": \"DEGERLENDIREN_A\",\n \"tarih\": \"2023-10-27\"\n}\n<\/pre>\n<\/code>
\nBu veriler basit bir e-tabloda toplanarak analiz edilebilir.<\/p>\n
Derecelendirme \u00d6l\u00e7ekleri ve Rubrikler<\/h4>\n
De\u011ferlendiricilerin s\u00fcbjektifli\u011fini azaltmak ve tutarl\u0131l\u0131\u011f\u0131 art\u0131rmak i\u00e7in derecelendirme \u00f6l\u00e7ekleri (\u00f6rne\u011fin, 1'den 5'e kadar Likert \u00f6l\u00e7e\u011fi) ve detayl\u0131 rubrikler kullan\u0131lmal\u0131d\u0131r. Rubrikler, her puan seviyesi i\u00e7in net a\u00e7\u0131klamalar sunar.<\/p>\n
\n\n\nKriter<\/th>\n 1 Puan (Zay\u0131f)<\/th>\n 3 Puan (Orta)<\/th>\n 5 Puan (M\u00fckemmel)<\/th>\n<\/tr>\n<\/thead>\n \n\nDo\u011fruluk<\/b><\/td>\n \u00c7ok say\u0131da yanl\u0131\u015f bilgi i\u00e7eriyor.<\/td>\n Baz\u0131 k\u00fc\u00e7\u00fck yanl\u0131\u015flar veya eksiklikler var.<\/td>\n T\u00fcm bilgiler do\u011fru ve g\u00fcvenilir.<\/td>\n<\/tr>\n \nAlaka D\u00fczeyi<\/b><\/td>\n Sorudan tamamen alakas\u0131z.<\/td>\n K\u0131smen ilgili, ancak odak d\u0131\u015f\u0131 noktalar var.<\/td>\n Soruyu do\u011frudan ve eksiksiz yan\u0131tl\u0131yor.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nA\/B Testleri ve Kullan\u0131c\u0131 Geri Bildirimleri<\/h4>\n
Ger\u00e7ek kullan\u0131c\u0131larla yap\u0131lan A\/B testleri, farkl\u0131 ajan versiyonlar\u0131n\u0131n performans\u0131n\u0131 kar\u015f\u0131la\u015ft\u0131rmak i\u00e7in g\u00fc\u00e7l\u00fc bir y\u00f6ntemdir. Kullan\u0131c\u0131lardan do\u011frudan geri bildirim almak (anketler, derecelendirmeler, serbest metin yorumlar\u0131) ajan\u0131n ger\u00e7ek d\u00fcnyadaki performans\u0131n\u0131 anlamak i\u00e7in paha bi\u00e7ilmezdir.<\/p>\n
Otomatikle\u015ftirilmi\u015f Hafif Yakla\u015f\u0131mlar<\/h3>\n
Manuel de\u011ferlendirmeler de\u011ferli olsa da, b\u00fcy\u00fck veri k\u00fcmeleri i\u00e7in \u00f6l\u00e7eklenmesi zor olabilir. Belirli senaryolarda, otomatikle\u015ftirilmi\u015f, hafif y\u00f6ntemler h\u0131zl\u0131 ve maliyet etkin bir ilk filtreleme sa\u011flayabilir.<\/p>\n
Anahtar Kelime ve Desen E\u015fle\u015ftirme<\/h4>\n
Ajan\u0131n belirli anahtar kelimeleri veya kal\u0131plar\u0131 i\u00e7ermesi veya i\u00e7ermemesi gereken durumlar i\u00e7in basit regex (d\u00fczenli ifade) tabanl\u0131 kontroller kullan\u0131labilir. \u00d6rne\u011fin, bir g\u00fcvenlik ajan\u0131 i\u00e7in hassas bilgilerin (e-posta, telefon numaras\u0131) \u00e7\u0131kt\u0131da yer al\u0131p almad\u0131\u011f\u0131n\u0131 kontrol etmek.<\/p>\n
\nimport re\n\ndef hassas_bilgi_kontrolu(metin):\n email_pattern = r'\\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\\.[A-Z|a-z]{2,}\\b'\n phone_pattern = r'(\\+\\d{1,2}\\s?)?(\\d{3}[-\\s]?\\d{3}[-\\s]?\\d{4})'\n \n if re.search(email_pattern, metin) or re.search(phone_pattern, metin):\n return False # Hassas bilgi bulundu\n return True # Hassas bilgi bulunamad\u0131\n\noutput = \"L\u00fctfen benimle example@mail.com adresinden veya 555-123-4567 numaral\u0131 telefondan ileti\u015fime ge\u00e7in.\"\nprint(f\"Hassas bilgi kontrol\u00fc: {hassas_bilgi_kontrolu(output)}\") # \u00c7\u0131kt\u0131: Hassas bilgi kontrol\u00fc: False\n<\/pre>\n<\/code><\/p>\n
Basit Do\u011fruluk Kontrolleri<\/h4>\n
Ajan\u0131n belirli bir bilgi kayna\u011f\u0131na (\u00f6rne\u011fin, bir veritaban\u0131 veya API) dayanarak yan\u0131t vermesi gerekiyorsa, \u00e7\u0131kt\u0131n\u0131n bu kaynaktaki verilerle tutarl\u0131l\u0131\u011f\u0131n\u0131 basit sorgularla kontrol edebilirsiniz. \u00d6rne\u011fin, bir \u00fcr\u00fcn ajan\u0131 i\u00e7in \u00fcr\u00fcn fiyat\u0131n\u0131n do\u011fru olup olmad\u0131\u011f\u0131n\u0131 kontrol etmek.<\/p>\n
LLM Destekli Hafif De\u011ferlendirmeler (Kendi Kendine De\u011ferlendirme)<\/h4>\n
Daha geli\u015fmi\u015f bir hafif yakla\u015f\u0131m, ba\u015fka bir LLM'i de\u011ferlendirici olarak kullanmakt\u0131r. Bu \"meta-de\u011ferlendirme\" y\u00f6ntemi, insan de\u011ferlendirmesinin bir sim\u00fclasyonunu sunabilir. Bir LLM'e, ajan\u0131n \u00e7\u0131kt\u0131s\u0131n\u0131 belirli kriterlere g\u00f6re derecelendirmesi veya bir hata olup olmad\u0131\u011f\u0131n\u0131 belirlemesi istenir.<\/p>\n
\n# Basit bir LLM destekli de\u011ferlendirme \u00f6rne\u011fi (pseudocode)\ndef llm_ile_degerlendir(prompt, agent_output):\n degerlendirme_prompt = f\"\"\"\n A\u015fa\u011f\u0131daki ajan \u00e7\u0131kt\u0131s\u0131n\u0131 de\u011ferlendir.\n Kullan\u0131c\u0131 sorusu: \"{prompt}\"\n Ajan yan\u0131t\u0131: \"{agent_output}\"\n \n Yan\u0131t\u0131n do\u011fru, alakal\u0131 ve tam olup olmad\u0131\u011f\u0131n\u0131 1 (\u00e7ok k\u00f6t\u00fc) ile 5 (m\u00fckemmel) aras\u0131nda puanla.\n Sadece puanlar\u0131 ve k\u0131sa bir yorumu JSON format\u0131nda d\u00f6nd\u00fcr:\n {{\n \"dogruluk\": [1-5],\n \"alaka_duzeyi\": [1-5],\n \"tamlik\": [1-5],\n \"yorum\": \"K\u0131sa bir a\u00e7\u0131klama\"\n }}\n \"\"\"\n # Bu k\u0131sm\u0131 bir LLM API \u00e7a\u011fr\u0131s\u0131 ile de\u011fi\u015ftirmelisiniz\n # response = call_llm_api(degerlendirme_prompt)\n # return json.loads(response)\n return {\"dogruluk\": 4, \"alaka_duzeyi\": 5, \"tamlik\": 4, \"yorum\": \"Genel olarak iyi, k\u00fc\u00e7\u00fck bir detay eksik.\"}\n\n# Ornek kullanim\n# prompt = \"En h\u0131zl\u0131 araba markas\u0131 nedir?\"\n# agent_output = \"Bugatti Chiron, d\u00fcnyan\u0131n en h\u0131zl\u0131 seri \u00fcretim otomobillerinden biridir.\"\n# degerlendirme = llm_ile_degerlendir(prompt, agent_output)\n# print(degerlendirme)\n<\/pre>\n<\/code>
\nBu y\u00f6ntem, insan de\u011ferlendiricilerin y\u00fck\u00fcn\u00fc \u00f6nemli \u00f6l\u00e7\u00fcde azaltabilir ancak LLM'in kendi \u00f6nyarg\u0131lar\u0131n\u0131 ve s\u0131n\u0131rlamalar\u0131n\u0131 da beraberinde getirebilir.<\/p>\n
Veri Toplama ve Etiketleme<\/h3>\n
Hafif de\u011ferlendirmelerin temelinde, ajan\u0131n performans\u0131n\u0131 anlamak i\u00e7in do\u011fru ve yeterli veriyi toplamak ve etiketlemek yatar. Bu s\u00fcre\u00e7, karma\u015f\u0131k bir altyap\u0131ya ihtiya\u00e7 duymadan da verimli bir \u015fekilde y\u00f6netilebilir.<\/p>\n
Ger\u00e7ek D\u00fcnya Verilerinin \u00d6nemi<\/h4>\n
Sentetik veriler veya test senaryolar\u0131 ba\u015flang\u0131\u00e7 i\u00e7in faydal\u0131 olsa da, ajan\u0131n ger\u00e7ek kullan\u0131c\u0131larla etkile\u015fiminden elde edilen veriler paha bi\u00e7ilmezdir. Bu veriler, ajan\u0131n beklenmedik durumlarla nas\u0131l ba\u015fa \u00e7\u0131kt\u0131\u011f\u0131n\u0131, hangi konularda zorland\u0131\u011f\u0131n\u0131 ve ger\u00e7ek d\u00fcnya ba\u011flam\u0131nda ne kadar etkili oldu\u011funu g\u00f6sterir. M\u00fc\u015fteri hizmetleri g\u00fcnl\u00fckleri, web sitesi etkile\u015fimleri veya kullan\u0131c\u0131 anketleri bu t\u00fcr verilere \u00f6rnek te\u015fkil eder.<\/p>\n
Etiketleme S\u00fcre\u00e7lerinin Basitle\u015ftirilmesi<\/h4>\n
Veri etiketleme, zaman al\u0131c\u0131 ve maliyetli olabilir. Hafif yakla\u015f\u0131mlarda, etiketleme s\u00fcrecini basitle\u015ftirmek esast\u0131r. Bunun i\u00e7in:<\/p>\n
\n- Sadece en kritik metrikleri etiketleyin.<\/li>\n
- \u0130kili (evet\/hay\u0131r) veya \u00e7oktan se\u00e7meli basit etiketleme g\u00f6revleri kullan\u0131n.<\/li>\n
- Proje ekibinin kendisi veya k\u00fc\u00e7\u00fck bir g\u00f6n\u00fcll\u00fc grubu taraf\u0131ndan etiketleme yap\u0131n.<\/li>\n
- Etiketleme ara\u00e7lar\u0131 yerine basit e-tablolar veya formlar kullan\u0131n.<\/li>\n<\/ul>\n
K\u00fc\u00e7\u00fck ve Temsili Veri K\u00fcmeleri<\/h4>\n
Her zaman binlerce \u00f6rnek etiketlemek gerekmez. \u0130yi se\u00e7ilmi\u015f, k\u00fc\u00e7\u00fck ve ajan\u0131n kar\u015f\u0131la\u015fabilece\u011fi farkl\u0131 senaryolar\u0131 temsil eden bir veri k\u00fcmesi, performans\u0131 hakk\u0131nda yeterli bilgi sa\u011flayabilir. \u00d6nemli olan, veri k\u00fcmesinin \u00e7e\u015fitlili\u011fi ve ajan\u0131n tipik kullan\u0131m durumlar\u0131n\u0131 yans\u0131tmas\u0131d\u0131r.<\/p>\n
Geri Bildirim D\u00f6ng\u00fcs\u00fc ve S\u00fcrekli \u0130yile\u015ftirme<\/h3>\n
De\u011ferlendirmelerin as\u0131l amac\u0131, ajan performans\u0131n\u0131 iyile\u015ftirmektir. Hafif de\u011ferlendirme yakla\u015f\u0131mlar\u0131, h\u0131zl\u0131 bir geri bildirim d\u00f6ng\u00fcs\u00fc olu\u015fturarak s\u00fcrekli iyile\u015ftirmeyi destekler.<\/p>\n
H\u0131zl\u0131 \u0130terasyon ve D\u00fczeltme<\/h4>\n
Hafif de\u011ferlendirmeler sayesinde, bir sorun tespit edildi\u011finde h\u0131zla m\u00fcdahale edilebilir. \u00d6rne\u011fin, manuel incelemede bir ajan\u0131n belirli bir soru tipine yanl\u0131\u015f yan\u0131t verdi\u011fi fark edilirse, bu durum h\u0131zla d\u00fczeltilebilir ve yeni bir test setiyle tekrar de\u011ferlendirilebilir. Bu, \"h\u0131zl\u0131 ba\u015far\u0131s\u0131z ol, daha h\u0131zl\u0131 \u00f6\u011fren\" prensibini destekler.<\/p>\n
De\u011ferlendirme Sonu\u00e7lar\u0131n\u0131 Geli\u015ftirmeye Yans\u0131tma<\/h4>\n
Toplanan de\u011ferlendirme verileri, ajan\u0131n zay\u0131f y\u00f6nlerini ve geli\u015ftirme alanlar\u0131n\u0131 belirlemek i\u00e7in kullan\u0131lmal\u0131d\u0131r. \u00d6rne\u011fin:<\/p>\n
\n- Hangi prompt t\u00fcrlerinde ajan daha k\u00f6t\u00fc performans g\u00f6steriyor?<\/li>\n
- Hangi bilgi alanlar\u0131nda ajan\u0131n bilgisi eksik veya yanl\u0131\u015f?<\/li>\n
- Kullan\u0131c\u0131lar hangi \u00e7\u0131kt\u0131lardan memnuniyetsiz?<\/li>\n<\/ul>\n
Bu analizler, modelin yeniden e\u011fitilmesi, prompt m\u00fchendisli\u011fi stratejilerinin ayarlanmas\u0131 veya bilgi taban\u0131n\u0131n g\u00fcncellenmesi gibi geli\u015ftirme ad\u0131mlar\u0131na do\u011frudan yol g\u00f6stermelidir.<\/p>\n
S\u00fcrekli \u0130zleme ve Adaptasyon<\/h4>\n
Ajanlar statik de\u011fildir; \u00e7evreleriyle etkile\u015fim kurduk\u00e7a ve yeni verilerle kar\u015f\u0131la\u015ft\u0131k\u00e7a performanslar\u0131 de\u011fi\u015febilir. Hafif de\u011ferlendirme y\u00f6ntemleri, ajan\u0131n zaman i\u00e7indeki performans\u0131n\u0131 s\u00fcrekli olarak izlemeyi ve gerekti\u011finde adaptasyonlar yapmay\u0131 m\u00fcmk\u00fcn k\u0131lar. D\u00fczenli, k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli de\u011ferlendirmeler, b\u00fcy\u00fck bir sorun haline gelmeden \u00f6nce performans d\u00fc\u015f\u00fc\u015flerini tespit etmeye yard\u0131mc\u0131 olur.<\/p>\n
Sonu\u00e7<\/h3>\n
Ajan \u00e7\u0131kt\u0131 kalitesini de\u011ferlendirmek, yapay zeka geli\u015ftirme s\u00fcrecinin vazge\u00e7ilmez bir par\u00e7as\u0131d\u0131r. B\u00fcy\u00fck ve karma\u015f\u0131k \u00e7er\u00e7eveler her zaman gerekli veya pratik de\u011fildir. Hafif de\u011ferlendirme y\u00f6ntemleri, \u00f6zellikle h\u0131zl\u0131 iterasyon, kaynak k\u0131s\u0131tlamalar\u0131 ve \u00e7evik geli\u015ftirme ortamlar\u0131 i\u00e7in m\u00fckemmel bir \u00e7\u00f6z\u00fcm sunar. Manuel g\u00f6zden ge\u00e7irme, basit otomatik kontroller ve hatta LLM destekli kendi kendine de\u011ferlendirme gibi yakla\u015f\u0131mlar, de\u011ferli i\u00e7g\u00f6r\u00fcler sa\u011flayarak ajan\u0131n performans\u0131n\u0131 s\u00fcrekli olarak iyile\u015ftirmeye olanak tan\u0131r. \u00d6nemli olan, ajan\u0131n amac\u0131na uygun, \u00f6l\u00e7\u00fclebilir metrikler belirlemek ve bu metrikleri kullanarak s\u00fcrekli bir geri bildirim ve iyile\u015ftirme d\u00f6ng\u00fcs\u00fc olu\u015fturmakt\u0131r. Bu sayede, ajanlar\u0131n\u0131z\u0131n kalitesini etkin bir \u015fekilde y\u00f6netebilir ve kullan\u0131c\u0131lar\u0131n\u0131za daha iyi deneyimler sunabilirsiniz.<\/p>\n
SSS (S\u0131k Sorulan Sorular)<\/h3>\n1. Hafif de\u011ferlendirme y\u00f6ntemleri ne zaman tercih edilmelidir?<\/h4>\n
Hafif de\u011ferlendirmeler, \u00f6zellikle prototipleme a\u015famalar\u0131nda, k\u00fc\u00e7\u00fck veya orta \u00f6l\u00e7ekli projelerde, h\u0131zl\u0131 iterasyon d\u00f6ng\u00fclerine ihtiya\u00e7 duyuldu\u011funda ve k\u0131s\u0131tl\u0131 kaynaklarla \u00e7al\u0131\u015f\u0131ld\u0131\u011f\u0131nda tercih edilmelidir. Ayr\u0131ca, karma\u015f\u0131k bir de\u011ferlendirme altyap\u0131s\u0131 kurmaya gerek olmayan basit kullan\u0131m durumlar\u0131 i\u00e7in de idealdir.<\/p>\n
2. Hafif de\u011ferlendirmelerin ana dezavantajlar\u0131 nelerdir?<\/h4>\n
Ana dezavantajlar aras\u0131nda \u00f6l\u00e7eklenebilirlik sorunlar\u0131 (b\u00fcy\u00fck veri setleri i\u00e7in manuel y\u00f6ntemlerin yava\u015f kalmas\u0131), insan de\u011ferlendirmesindeki \u00f6nyarg\u0131 ve s\u00fcbjektiflik riski, ve otomatikle\u015ftirilmi\u015f hafif y\u00f6ntemlerin karma\u015f\u0131k n\u00fcanslar\u0131 yakalayamamas\u0131 say\u0131labilir. Ayr\u0131ca, kapsaml\u0131 bir \u00e7er\u00e7eveye g\u00f6re daha az standartla\u015fm\u0131\u015f metrik ve raporlama sunabilirler.<\/p>\n
3. LLM'leri de\u011ferlendirici olarak kullanmak ne kadar g\u00fcvenilirdir?<\/h4>\n
LLM'leri de\u011ferlendirici olarak kullanmak, h\u0131zl\u0131 ve \u00f6l\u00e7eklenebilir bir \u00e7\u00f6z\u00fcm sunar, ancak g\u00fcvenilirlik, kullan\u0131lan LLM'in yeteneklerine, prompt'un kalitesine ve de\u011ferlendirilen \u00e7\u0131kt\u0131n\u0131n karma\u015f\u0131kl\u0131\u011f\u0131na ba\u011fl\u0131d\u0131r. LLM'ler insan gibi \u00f6nyarg\u0131lara sahip olabilir ve karma\u015f\u0131k, ba\u011flama duyarl\u0131 de\u011ferlendirmelerde hata yapabilir. Genellikle, insan de\u011ferlendirmesinin yerini tamamen almaktan ziyade, bir \u00f6n filtreleme veya ilk de\u011ferlendirme katman\u0131 olarak d\u00fc\u015f\u00fcn\u00fclmelidir.<\/p>\n
4. Hafif de\u011ferlendirmelerle hangi metrikler \u00f6l\u00e7\u00fclebilir?<\/h4>\n
Hafif de\u011ferlendirmelerle do\u011fruluk, alaka d\u00fczeyi, taml\u0131k, anla\u015f\u0131l\u0131rl\u0131k, ton uygunlu\u011fu, dilbilgisi hatalar\u0131 ve kullan\u0131c\u0131 memnuniyeti gibi hem nicel hem de nitel metrikler \u00f6l\u00e7\u00fclebilir. \u00d6nemli olan, bu metrikleri basit ve anla\u015f\u0131l\u0131r bir \u015fekilde tan\u0131mlamak ve de\u011ferlendirme s\u00fcrecini bu metrikler etraf\u0131nda yap\u0131land\u0131rmakt\u0131r.<\/p>\n
5. Hafif de\u011ferlendirme s\u00fcre\u00e7lerini nas\u0131l otomatikle\u015ftirebilirim?<\/h4>\n
Hafif otomasyon i\u00e7in anahtar kelime\/regex e\u015fle\u015ftirmeleri, basit kural tabanl\u0131 kontroller ve LLM destekli kendi kendine de\u011ferlendirme kullan\u0131labilir. Bu y\u00f6ntemler, manuel incelemeye k\u0131yasla daha h\u0131zl\u0131 sonu\u00e7lar verir ve b\u00fcy\u00fck hacimli veriler \u00fczerinde ilk taramay\u0131 yapmak i\u00e7in uygundur. Tam otomasyon genellikle daha karma\u015f\u0131k \u00e7er\u00e7eveler gerektirse de, bu hafif yakla\u015f\u0131mlar s\u00fcre\u00e7leri \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131rabilir.<\/p>\n","protected":false},"excerpt":{"rendered":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler Yapay zeka ajanlar\u0131 ve b\u00fcy\u00fck dil modelleri (LLM’ler) hayat\u0131m\u0131z\u0131n her alan\u0131na entegre olduk\u00e7a, bu ajanlar\u0131n \u00fcretti\u011fi \u00e7\u0131kt\u0131lar\u0131n kalitesini de\u011ferlendirmek kritik bir \u00f6neme sahip hale gelmi\u015ftir.","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-41143","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler - Kodlar\u0131n Gizemli D\u00fcnyas\u0131<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\" \/>\n<meta property=\"og:locale\" content=\"tr_TR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler\" \/>\n<meta property=\"og:description\" content=\"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler Yapay zeka ajanlar\u0131 ve b\u00fcy\u00fck dil modelleri (LLM'ler) hayat\u0131m\u0131z\u0131n her alan\u0131na entegre olduk\u00e7a, bu ajanlar\u0131n \u00fcretti\u011fi \u00e7\u0131kt\u0131lar\u0131n kalitesini de\u011ferlendirmek kritik bir \u00f6neme sahip hale gelmi\u015ftir.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\" \/>\n<meta property=\"og:site_name\" content=\"Kodlar\u0131n Gizemli D\u00fcnyas\u0131\" \/>\n<meta property=\"article:published_time\" content=\"2026-03-03T16:30:35+00:00\" \/>\n<meta name=\"author\" content=\"Fatih Soysal\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Yazan:\" \/>\n\t<meta name=\"twitter:data1\" content=\"Fatih Soysal\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tahmini okuma s\u00fcresi\" \/>\n\t<meta name=\"twitter:data2\" content=\"12 dakika\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\"},\"author\":{\"name\":\"Fatih Soysal\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"headline\":\"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler\",\"datePublished\":\"2026-03-03T16:30:35+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\"},\"wordCount\":2190,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#respond\"]}],\"copyrightYear\":\"2026\",\"copyrightHolder\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\",\"name\":\"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler - Kodlar\u0131n Gizemli D\u00fcnyas\u0131\",\"isPartOf\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\"},\"datePublished\":\"2026-03-03T16:30:35+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#breadcrumb\"},\"inLanguage\":\"tr\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Anasayfa\",\"item\":\"https:\/\/fatihsoysal.com\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#website\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/\",\"name\":\"Fatihsoysal.com\",\"description\":\"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim\",\"publisher\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"tr\"},{\"@type\":[\"Person\",\"Organization\"],\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1\",\"name\":\"Fatih Soysal\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"tr\",\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"contentUrl\":\"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png\",\"width\":512,\"height\":512,\"caption\":\"Fatih Soysal\"},\"logo\":{\"@id\":\"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/\"},\"description\":\"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.\",\"url\":\"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler - Kodlar\u0131n Gizemli D\u00fcnyas\u0131","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/","og_locale":"tr_TR","og_type":"article","og_title":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler","og_description":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler Yapay zeka ajanlar\u0131 ve b\u00fcy\u00fck dil modelleri (LLM'ler) hayat\u0131m\u0131z\u0131n her alan\u0131na entegre olduk\u00e7a, bu ajanlar\u0131n \u00fcretti\u011fi \u00e7\u0131kt\u0131lar\u0131n kalitesini de\u011ferlendirmek kritik bir \u00f6neme sahip hale gelmi\u015ftir.","og_url":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/","og_site_name":"Kodlar\u0131n Gizemli D\u00fcnyas\u0131","article_published_time":"2026-03-03T16:30:35+00:00","author":"Fatih Soysal","twitter_card":"summary_large_image","twitter_misc":{"Yazan:":"Fatih Soysal","Tahmini okuma s\u00fcresi":"12 dakika"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#article","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/"},"author":{"name":"Fatih Soysal","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"headline":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler","datePublished":"2026-03-03T16:30:35+00:00","mainEntityOfPage":{"@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/"},"wordCount":2190,"commentCount":0,"publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"inLanguage":"tr","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#respond"]}],"copyrightYear":"2026","copyrightHolder":{"@id":"https:\/\/fatihsoysal.com\/blog\/#organization"}},{"@type":"WebPage","@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/","url":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/","name":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler - Kodlar\u0131n Gizemli D\u00fcnyas\u0131","isPartOf":{"@id":"https:\/\/fatihsoysal.com\/blog\/#website"},"datePublished":"2026-03-03T16:30:35+00:00","breadcrumb":{"@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#breadcrumb"},"inLanguage":"tr","potentialAction":[{"@type":"ReadAction","target":["https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/fatihsoysal.com\/blog\/ajan-cikti-kalitesini-degerlendirme-cerceve-kullanmadan-hafif-degerlendirmeler\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Anasayfa","item":"https:\/\/fatihsoysal.com\/blog\/"},{"@type":"ListItem","position":2,"name":"Ajan \u00c7\u0131kt\u0131 Kalitesini De\u011ferlendirme: \u00c7er\u00e7eve Kullanmadan Hafif De\u011ferlendirmeler"}]},{"@type":"WebSite","@id":"https:\/\/fatihsoysal.com\/blog\/#website","url":"https:\/\/fatihsoysal.com\/blog\/","name":"Fatihsoysal.com","description":"Blog - Yaz\u0131l\u0131m D\u00fcnyas\u0131 Tecr\u00fcbelerim","publisher":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/fatihsoysal.com\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"tr"},{"@type":["Person","Organization"],"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/002a254750921dcfd568a99e48240dd1","name":"Fatih Soysal","image":{"@type":"ImageObject","inLanguage":"tr","@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/","url":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","contentUrl":"https:\/\/fatihsoysal.com\/blog\/wp-content\/uploads\/2024\/04\/cropped-replicate-prediction-3kgg1hgjn5rgp0cf0p5tr0jw7w-1.png","width":512,"height":512,"caption":"Fatih Soysal"},"logo":{"@id":"https:\/\/fatihsoysal.com\/blog\/#\/schema\/person\/image\/"},"description":"Kullan\u0131m ve kodlama m\u00fckemmeliyetini odak alan uygulamalar olu\u015fturma deneyimine sahip, profesyonel olarak 15+ y\u0131l \u00fczeri deneyime sahip bir yaz\u0131l\u0131m m\u00fchendisi.","url":"https:\/\/fatihsoysal.com\/blog\/author\/fatihsoysal\/"}]}},"yoast_meta":{"yoast_wpseo_title":"","yoast_wpseo_metadesc":"","yoast_wpseo_canonical":""},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/41143","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/comments?post=41143"}],"version-history":[{"count":0,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/posts\/41143\/revisions"}],"wp:attachment":[{"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/media?parent=41143"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/categories?post=41143"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fatihsoysal.com\/blog\/wp-json\/wp\/v2\/tags?post=41143"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}