LiteLLM Eklentileri ve async_pre_call_hook ile Proxy Modu<\/p>\n
Merhaba! Fatih Soysal olarak, bug\u00fcn sizlere LiteLLM eklentileri geli\u015ftirme konusunda, \u00f6zellikle proxy modu<\/strong> ve Proxy modu, LiteLLM istemcilerinizin LLM’lere do\u011frudan eri\u015fim yerine, bir proxy sunucu arac\u0131l\u0131\u011f\u0131yla ileti\u015fim kurmas\u0131n\u0131 sa\u011flar. Bu sayede, LLM API anahtarlar\u0131n\u0131z\u0131n g\u00fcvenli\u011fi sa\u011flan\u0131r ve isteklerinizi y\u00f6netmek i\u00e7in ek bir katman eklenir. Ayr\u0131ca, proxy sunucular\u0131, trafi\u011fi dengeleme, g\u00fcvenlik duvarlar\u0131n\u0131n arkas\u0131ndan eri\u015fim sa\u011flama ve performans\u0131 iyile\u015ftirme gibi avantajlar sunar. Sonu\u00e7 olarak, uygulamalar\u0131n\u0131z daha g\u00fcvenli ve daha verimli \u00e7al\u0131\u015f\u0131r.<\/p>\n Bununla birlikte, proxy kullan\u0131m\u0131, isteklerinizi i\u015fleme bi\u00e7imini de\u011fi\u015ftirdi\u011finden, baz\u0131 ek konfig\u00fcrasyonlar gerektirebilir. \u0130\u015fte tam bu noktada \u00d6rne\u011fin, a\u015fa\u011f\u0131daki kod blo\u011fu, bir iste\u011fi proxy sunucusundan ge\u00e7irmek i\u00e7in Bu \u00f6rnekte, Umar\u0131m bu makale size yard\u0131mc\u0131 olmu\u015ftur. Herhangi bir sorunuz varsa, l\u00fctfen yorumlarda belirtin. Ba\u015fka bir makalede g\u00f6r\u00fc\u015fmek \u00fczere!<\/p>\n #Etiketler: LiteLLM, async_pre_call_hook, proxy modu, LLM, g\u00fcvenlik, performans, API, yaz\u0131l\u0131m geli\u015ftirme, Python, Fatih Soysal<\/p>\n","protected":false},"excerpt":{"rendered":"LiteLLM Eklentileri ve async_pre_call_hook ile Proxy Modu Merhaba! Fatih Soysal olarak, bug\u00fcn sizlere LiteLLM eklentileri geli\u015ftirme konusunda, \u00f6zellikle…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-16626","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nasync_pre_call_hook<\/code><\/strong> kullan\u0131m\u0131 \u00fczerine detayl\u0131 bir rehber sunaca\u011f\u0131m. Bu, LLM uygulamalar\u0131n\u0131z\u0131n g\u00fcvenli\u011fini ve performans\u0131n\u0131 art\u0131rman\u0131n g\u00fc\u00e7l\u00fc bir yoludur. \u00d6ncelikle, proxy modunun ne oldu\u011funu ve neden \u00f6nemli oldu\u011funu anlamakla ba\u015flayal\u0131m.<\/p>\nProxy Modu: G\u00fcvenlik ve Performans Art\u0131\u015f\u0131<\/h2>\n
async_pre_call_hook<\/code> devreye giriyor.<\/p>\nasync_pre_call_hook ile \u0130stekleri \u00d6zelle\u015ftirme<\/h2>\n
async_pre_call_hook<\/code>, LiteLLM’nin sa\u011flad\u0131\u011f\u0131 g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r. Bu hook, bir istek LLM’ye g\u00f6nderilmeden \u00f6nce \u00e7al\u0131\u015ft\u0131r\u0131l\u0131r ve iste\u011fi de\u011fi\u015ftirmenize olanak tan\u0131r. Proxy modu kullan\u0131yorsan\u0131z, bu hook’u proxy sunucusu ile ileti\u015fim kurmak, istek ba\u015fl\u0131klar\u0131n\u0131 ayarlamak veya istek g\u00f6vdesini d\u00f6n\u00fc\u015ft\u00fcrmek i\u00e7in kullanabilirsiniz. Bu, proxy ile entegrasyonu olduk\u00e7a kolayla\u015ft\u0131r\u0131r.<\/p>\nasync_pre_call_hook<\/code>‘u nas\u0131l kullanabilece\u011finizi g\u00f6stermektedir:<\/p>\n\nasync def my_pre_call_hook(context):\n # Proxy sunucu adresi ve portu\n proxy_url = \"http:\/\/proxy_server:8080\"\n\n # \u0130ste\u011fi proxy sunucusundan ge\u00e7ir\n context.request_kwargs['proxies'] = {'http': proxy_url, 'https': proxy_url}\n return context\n\n# LiteLLM \u00f6rne\u011fi olu\u015fturulurken hook'u ekleyin\nlitellm_client = LiteLLM(...)\nlitellm_client.add_async_pre_call_hook(my_pre_call_hook)\n\n# \u015eimdi LLM istekleri proxy sunucusundan ge\u00e7ecektir.\n<\/code><\/pre>\nmy_pre_call_hook<\/code> fonksiyonu, context.request_kwargs<\/code> s\u00f6zl\u00fc\u011f\u00fcn\u00fc de\u011fi\u015ftirerek, iste\u011fin proxy sunucusu \u00fczerinden y\u00f6nlendirilmesini sa\u011flar. Bu, di\u011fer istek ayarlar\u0131n\u0131 de\u011fi\u015ftirmek i\u00e7in de kullan\u0131labilir. \u00d6rne\u011fin, HTTP ba\u015fl\u0131klar\u0131n\u0131 eklemek veya iste\u011fin zaman a\u015f\u0131m\u0131n\u0131 de\u011fi\u015ftirmek i\u00e7in kullan\u0131labilir. Bu, esnek ve \u00f6zelle\u015ftirilebilir bir proxy entegrasyonu sa\u011flar.<\/p>\nSonu\u00e7 ve Ek Kaynaklar<\/h2>\n
async_pre_call_hook<\/code>, LiteLLM’de proxy modu kullan\u0131rken isteklerinizi \u00f6zelle\u015ftirmenin g\u00fc\u00e7l\u00fc ve esnek bir yoludur. Bu, uygulamalar\u0131n\u0131z\u0131n g\u00fcvenli\u011fini ve performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde iyile\u015ftirebilir. Daha fazla bilgi i\u00e7in, orijinal makaleye<\/a> ve LiteLLM d\u00f6k\u00fcmanlar\u0131na g\u00f6z atabilirsiniz. Ayr\u0131ca, daha fazla bilgi ve yaz\u0131l\u0131m geli\u015ftirme konular\u0131nda web sitemi<\/a> ziyaret edebilirsiniz.<\/p>\n