Python ile S\u0131f\u0131rdan LLM Web Uygulamas\u0131: 4. B\u00f6l\u00fcm (FastAPI, Arka Plan G\u00f6revleri & SSE)<\/p>\n
Merhaba! Bu yaz\u0131da, Python kullanarak s\u0131f\u0131rdan bir B\u00fcy\u00fck Dil Modeli (LLM) web uygulamas\u0131 geli\u015ftirme serisinin d\u00f6rd\u00fcnc\u00fc b\u00f6l\u00fcm\u00fcn\u00fc ele alaca\u011f\u0131z. \u00d6nceki b\u00f6l\u00fcmlerde temel altyap\u0131y\u0131 kurduk. \u015eimdi ise, uygulaman\u0131n performans\u0131n\u0131 ve kullan\u0131c\u0131 deneyimini art\u0131rmak i\u00e7in FastAPI, arka plan g\u00f6revleri ve Server-Sent Events (SSE) kullanaca\u011f\u0131z. Bu geli\u015ftirmeler sayesinde, LLM’nin yan\u0131t s\u00fcresi k\u0131salacak ve kullan\u0131c\u0131lar, i\u015flemin ilerlemesini ger\u00e7ek zamanl\u0131 olarak takip edebilecekler.<\/p>\n
Bu b\u00f6l\u00fcmde, \u00f6zellikle uzun s\u00fcrebilen LLM isteklerinin nas\u0131l arka plana al\u0131naca\u011f\u0131n\u0131 ve i\u015flemin durumunun nas\u0131l ger\u00e7ek zamanl\u0131 olarak kullan\u0131c\u0131ya bildirilece\u011fini g\u00f6rece\u011fiz. Bunun i\u00e7in, FastAPI’nin g\u00fc\u00e7l\u00fc \u00f6zelliklerinden ve SSE’nin sundu\u011fu avantajlardan faydalanaca\u011f\u0131z. \u00d6ncelikle, FastAPI’nin arka plan g\u00f6revlerini y\u00f6netme yetene\u011fini inceleyelim. Bu sayede, LLM’nin i\u015flenmesi ana uygulama ipli\u011fini bloke etmeyecek ve uygulama yan\u0131t verebilirli\u011fini koruyacakt\u0131r.<\/p>\n
FastAPI, Background Tasks kullanarak uzun s\u00fcre\u00e7leri ana uygulama ipli\u011finden ay\u0131rmam\u0131z\u0131 sa\u011flar. Bu, \u00f6zellikle LLM gibi yo\u011fun kaynak gerektiren i\u015flemler i\u00e7in olduk\u00e7a \u00f6nemlidir. A\u015fa\u011f\u0131daki kod \u00f6rne\u011fi, bir LLM iste\u011fini arka plana ta\u015f\u0131man\u0131n nas\u0131l yap\u0131ld\u0131\u011f\u0131n\u0131 g\u00f6stermektedir:<\/p>\n
\nfrom fastapi import FastAPI, BackgroundTasks\nfrom some_llm_library import process_llm_request # LLM isteklerini i\u015fleyen fonksiyon\n\napp = FastAPI()\n\n@app.post(\"\/llm_request\")\nasync def llm_request(background_tasks: BackgroundTasks, request_data: RequestData):\n background_tasks.add_task(process_llm_request, request_data)\n return {\"message\": \"Istek arka plana al\u0131nd\u0131.\"}\n<\/code><\/pre>\nBu kodda, background_tasks.add_task()<\/code> fonksiyonu, process_llm_request<\/code> fonksiyonunu arka plana ekler. B\u00f6ylece, LLM iste\u011fi ayr\u0131 bir iplikte i\u015flenir ve ana uygulama ipli\u011fi bloke edilmez. Bu sayede, kullan\u0131c\u0131lar uygulamaya h\u0131zl\u0131 bir yan\u0131t al\u0131r ve uygulama duyarl\u0131l\u0131\u011f\u0131n\u0131 korur.<\/p>\nServer-Sent Events (SSE) ile Ger\u00e7ek Zamanl\u0131 G\u00fcncellemeler<\/h2>\n
Ancak, LLM i\u015fleminin durumunu kullan\u0131c\u0131ya nas\u0131l bildirece\u011fiz? \u0130\u015fte burada Server-Sent Events (SSE) devreye giriyor. SSE, sunucudan taray\u0131c\u0131ya tek y\u00f6nl\u00fc veri ak\u0131\u015f\u0131 sa\u011flayan bir teknolojidir. Bu sayede, LLM i\u015fleminin ilerlemesini ger\u00e7ek zamanl\u0131 olarak kullan\u0131c\u0131ya g\u00f6sterebiliriz.<\/p>\n
FastAPI ile SSE kullanarak bir ger\u00e7ek zamanl\u0131 g\u00fcncelleme sistemi olu\u015fturmak i\u00e7in a\u015fa\u011f\u0131daki gibi bir kod yazabiliriz:<\/p>\n
\nfrom fastapi import FastAPI, BackgroundTasks, StreamingResponse\nimport asyncio\n\n# ... (\u00f6nceki kodlar) ...\n\nasync def stream_llm_progress(request_id):\n while True:\n progress = get_llm_progress(request_id) # LLM'nin ilerleme durumunu al\n yield f\"data: {progress}\\n\\n\"\n await asyncio.sleep(1) # 1 saniye bekle\n\n\n@app.get(\"\/llm_progress\/{request_id}\")\nasync def llm_progress(request_id: str):\n return StreamingResponse(stream_llm_progress(request_id), media_type=\"text\/event-stream\")\n<\/code><\/pre>\n