AWS Anahtarlarını Dağıtmak Yerine: Güvenli ve Verimli Bir LLM Ağ Geçidi Nasıl Kurulur?

AWS Anahtarlarını Dağıtmak Yerine: Güvenli ve Verimli Bir LLM Ağ Geçidi Nasıl Kurulur?

Günümüzün hızla dijitalleşen dünyasında, yapay zeka (YZ) ve özellikle Büyük Dil Modelleri (LLM’ler), iş süreçlerimizi dönüştürme potansiyeli taşıyor. Ancak bu güçlü teknolojilerin sunduğu fırsatlarla birlikte önemli güvenlik ve yönetim zorlukları da ortaya çıkıyor. Birçok şirket, ekiplerine LLM erişimi sağlamak isterken, farkında olmadan kritik AWS anahtarlarını geniş kitlelere dağıtma riskiyle karşı karşıya kalabiliyor. Bu durum, siber güvenlik açısından ciddi zafiyetlere yol açabilir ve uyumluluk sorunlarına neden olabilir. Peki, bu riski nasıl bertaraf edebiliriz? Yanıt: Güvenli ve merkezi bir LLM Ağ Geçidi (LLM Gateway) inşa etmek.

Bu makalede, AWS anahtarlarını her ekibe dağıtmanın neden tehlikeli olduğunu, bir LLM ağ geçidinin temel işlevlerini ve bu ağ geçidini adım adım nasıl tasarlayıp uygulayabileceğimizi detaylı bir şekilde inceleyeceğiz. Amacımız, hem geliştiricilerin LLM’lere kolayca erişmesini sağlamak hem de şirketinizin güvenlik duruşunu güçlendirmektir. Okuyucuyu sıfırdan konuya dahil ederek, temel kavramlardan ileri düzey uygulamalara kadar her şeyi kapsayan kapsamlı bir rehber sunmayı hedefliyoruz.

Neden AWS Anahtarlarını Her Yere Dağıtmak Büyük Bir Güvenlik Riskidir?

Bir organizasyon içinde AWS anahtarlarını, özellikle de yüksek ayrıcalıklı olanları, birden fazla ekibe veya bireye dağıtmak, siber güvenlik açısından adeta bir mayın tarlası üzerinde yürümek gibidir. Bu yaklaşım, başlangıçta kolay ve hızlı bir çözüm gibi görünse de, uzun vadede şirketiniz için telafisi zor güvenlik açıkları yaratabilir. Bu durumun altında yatan temel nedenleri ve potansiyel tehlikeleri anlamak, bir LLM ağ geçidi ihtiyacını daha iyi kavramamızı sağlayacaktır.

Öncelikle, yetki yükseltme (privilege escalation) ve yan hareket (lateral movement) riskini ele alalım. Bir AWS anahtarı, genellikle belirli bir dizi izne sahiptir. Eğer bu anahtarlar doğrudan geliştiricilere veya uygulamalara dağıtılırsa, anahtarın ele geçirilmesi durumunda saldırganlar, bu anahtarla ilişkili tüm yetkilere sahip olurlar. Bu, sadece LLM’lere erişimle sınırlı kalmayabilir; aynı zamanda S3 kovalarına, veritabanlarına veya hatta kritik yönetim konsollarına erişim anlamına gelebilir. Ele geçirilen bir anahtar, saldırganların ağ içinde daha fazla ayrıcalık elde etmelerine ve sistemler arasında yatay olarak hareket etmelerine olanak tanır, bu da bir ihlalin kapsamını katlanarak artırır.

İkinci olarak, denetim ve izlenebilirlik (auditing and traceability) sorunları ortaya çıkar. Hangi anahtarın kim tarafından, ne zaman ve hangi amaçla kullanıldığını takip etmek, anahtar sayısı arttıkça imkansız hale gelir. Bir güvenlik ihlali durumunda, saldırının kaynağını ve etkilenen sistemleri belirlemek son derece zorlaşır. Bu durum, hem adli soruşturmaları karmaşıklaştırır hem de gelecekteki saldırıları önlemek için gerekli dersleri çıkarmayı engeller. AWS CloudTrail gibi hizmetler olsa bile, her anahtarın bireysel olarak izlenmesi ve yönetilmesi devasa bir operasyonel yük getirir.

Üçüncü olarak, uyumluluk (compliance) ve regülasyon gereklilikleri büyük bir problem teşkil eder. GDPR, HIPAA, PCI DSS gibi birçok regülasyon, hassas verilere erişimin sıkı bir şekilde kontrol edilmesini ve izlenmesini şart koşar. AWS anahtarlarının kontrolsüz dağıtımı, bu uyumluluk standartlarının ihlal edilmesine yol açabilir. Denetimler sırasında, yetersiz erişim kontrolü uygulamaları ciddi cezalara ve itibar kaybına neden olabilir. Şirketler, bu tür regülasyonlara uymak adına çok ciddi yatırımlar yapmakta ve anahtar yönetimindeki gevşeklik, bu yatırımları boşa çıkarabilmektedir.

Dördüncü olarak, anahtar yönetimi ve yaşam döngüsü (key management and lifecycle) karmaşıklığı vardır. Anahtarların düzenli olarak döndürülmesi (rotation), süresi dolan anahtarların iptal edilmesi ve kullanılmayan anahtarların silinmesi gibi işlemler, dağıtılan anahtar sayısı arttıkça yönetilmesi zor bir hal alır. Manuel anahtar yönetimi hatalara açıktır ve otomasyon olmadan ölçeklenmesi neredeyse imkansızdır. Bir anahtarın yanlışlıkla bir kod deposuna yüklenmesi veya bir geliştiricinin bilgisayarından sızdırılması gibi senaryolar, gerçek dünyada sıkça karşılaşılan ve yıkıcı sonuçlara yol açabilen durumlardır. Örneğin, yanlışlıkla GitHub’a yüklenen bir AWS anahtarı, saniyeler içinde kötü niyetli aktörler tarafından tespit edilip kullanılabilir.

Son olarak, maliyet kontrolü de önemli bir faktördür. LLM’ler, kullanıma bağlı olarak önemli maliyetler yaratabilir. Eğer her ekip kendi AWS anahtarıyla doğrudan LLM API’lerine erişirse, hangi ekibin ne kadar harcama yaptığını takip etmek ve bütçe aşımını önlemek zorlaşır. Bir ağ geçidi olmadan, maliyetlerin şeffaf bir şekilde izlenmesi ve belirli limitler dahilinde tutulması neredeyse imkansız hale gelir. Bu durum, beklenmedik ve yüksek faturalarla karşılaşma riskini artırır, bu da şirket bütçesi üzerinde olumsuz bir etki yaratabilir.

Bu nedenlerden ötürü, AWS anahtarlarını her ekibe dağıtmak yerine, merkezi, güvenli ve iyi yönetilen bir LLM ağ geçidi kurmak, hem güvenlik duruşunuzu güçlendirecek hem de operasyonel verimliliği artıracaktır. Bu ağ geçidi, tüm bu riskleri tek bir noktada ele alarak, LLM erişimini kontrol altına almanızı sağlar.

LLM Ağ Geçidi (Gateway) Nedir ve Temel İşlevleri Nelerdir?

LLM Ağ Geçidi, şirketinizin içindeki farklı uygulamaların ve ekiplerin Büyük Dil Modellerine (LLM’ler) güvenli, kontrollü ve verimli bir şekilde erişmesini sağlayan merkezi bir ara katmandır. Basitçe ifade etmek gerekirse, LLM API’leri ile şirket içi kullanıcılar veya uygulamalar arasında bir “güvenlik duvarı” ve “yönetim noktası” görevi görür. Bu ağ geçidi, doğrudan LLM sağlayıcısının (örneğin OpenAI, Anthropic, Google Gemini veya kendi AWS tabanlı modelleriniz) API’lerine erişmek yerine, tüm istekleri kendi üzerinden yönlendirir ve bu sayede birçok avantaj sunar.

Bir LLM ağ geçidinin temel amacı, LLM erişimini basitleştirirken aynı zamanda güvenlik, maliyet kontrolü ve operasyonel verimlilik sağlamaktır. Geleneksel API ağ geçitlerinin LLM’lere özgü uyarlaması olarak düşünebiliriz. Bu ağ geçidi, geliştiricilerin doğrudan AWS anahtarları veya LLM sağlayıcı anahtarları ile uğraşmak yerine, şirket içi kimlik doğrulama mekanizmalarını kullanarak LLM’lere erişmesine olanak tanır. Böylece, hassas anahtarlar tek bir güvenli noktada saklanır ve yönetilir.

Peki, bir LLM ağ geçidinin olmazsa olmaz temel işlevleri nelerdir? İşte başlıcaları:

1. Kimlik Doğrulama ve Yetkilendirme (Authentication and Authorization):

   Bu, bir ağ geçidinin en kritik işlevidir. Ağ geçidi, gelen her isteğin kimliğini doğrular ve bu kimliğin istenen LLM işlemine erişim yetkisi olup olmadığını kontrol eder. Şirket içi kimlik sağlayıcıları (örneğin, Okta, Azure AD, AWS Cognito veya şirketinizin kendi IAM sistemi) ile entegre olabilir. Bu sayede, geliştiriciler kendi şirket kimlik bilgilerini kullanarak LLM’lere erişebilirler. Yetkilendirme ise, belirli bir ekibin veya kullanıcının hangi LLM modellerine (GPT-4, Claude, Llama vb.) veya hangi tür isteklere (sadece okuma, yazma, ince ayar) erişebileceğini belirler. Örneğin, pazarlama ekibine sadece metin oluşturma modellerine erişim izni verilirken, veri bilimcilerine daha gelişmiş modeller ve ince ayar yetenekleri tanınabilir. Bu, en az ayrıcalık (least privilege) prensibinin uygulanmasını sağlar.

2. İstek Yönlendirme ve Proxy (Request Routing and Proxying):

   Ağ geçidi, gelen LLM isteklerini alır, işler ve uygun LLM sağlayıcısına veya modele yönlendirir. Bu, geliştiricilerin farklı LLM API’lerinin karmaşıklığıyla uğraşmasına gerek kalmadan, tek bir uç nokta (endpoint) üzerinden tüm LLM’lere erişmesini sağlar. Ağ geçidi, gelen isteği LLM sağlayıcısının beklediği formata dönüştürebilir ve yanıtı da geri döndürmeden önce işleyebilir. Bu sayede, gelecekte farklı bir LLM sağlayıcısına geçiş yapmak veya yeni bir model eklemek çok daha kolay hale gelir, çünkü uygulamaların sadece ağ geçidi API’si ile entegrasyonu yeterlidir.

3. Maliyet Yönetimi ve Kota Uygulaması (Cost Management and Quota Enforcement):

   LLM kullanımları maliyetli olabilir. Ağ geçidi, her ekibin veya uygulamanın ne kadar LLM kredisi tükettiğini izleyebilir ve önceden belirlenmiş bütçe veya kota limitlerini uygulayabilir. Bir ekip kotasını aşarsa, ağ geçidi sonraki istekleri reddedebilir veya yavaşlatabilir. Bu, beklenmedik faturaları önlemeye ve LLM kaynaklarının adil bir şekilde dağıtılmasına yardımcı olur. Ayrıca, farklı modellerin maliyetlerini izleyerek, hangi modellerin daha verimli kullanıldığını analiz etme imkanı sunar.

4. Günlük Kaydı ve İzleme (Logging and Monitoring):

   Tüm LLM istekleri, yanıtlar, kimlik doğrulama denemeleri ve hata mesajları ağ geçidi tarafından kaydedilir. Bu günlükler, güvenlik denetimleri, performans analizi ve sorun giderme için hayati öneme sahiptir. İzleme araçları (örneğin, Prometheus, Grafana, CloudWatch) ile entegrasyon sayesinde, LLM kullanım eğilimleri, performans metrikleri ve olası güvenlik ihlalleri gerçek zamanlı olarak takip edilebilir. Bu, şirketin uyumluluk gereksinimlerini karşılamasına ve olası zafiyetleri hızlıca tespit etmesine yardımcı olur.

5. Önbellekleme (Caching):

   Sıkça sorulan veya aynı girdiye sahip LLM istekleri için yanıtlar önbelleğe alınabilir. Bu, hem LLM maliyetlerini düşürür hem de yanıt sürelerini iyileştirir. Örneğin, belirli bir ürün hakkında sıkça sorulan soruların yanıtları önbelleğe alınarak, her seferinde LLM’ye yeni bir istek göndermek yerine önbellekten servis edilebilir. Bu, özellikle yüksek hacimli ve tekrar eden sorgular için büyük bir optimizasyon sağlar.

6. Veri Maskeleme ve Güvenlik Filtreleri (Data Masking and Security Filters):

   Hassas verilerin LLM’lere gönderilmeden önce maskelenmesi veya filtrelenmesi gerekebilir. Ağ geçidi, bu tür güvenlik politikalarını uygulayabilir. Örneğin, kredi kartı numaraları veya kişisel kimlik bilgileri gibi veriler, LLM’ye gönderilmeden önce anonimleştirilebilir veya tamamen kaldırılabilir. Ayrıca, istenmeyen veya kötü niyetli prompt’ları (prompt injection) tespit edip engelleyebilir, bu da LLM’lerin kötüye kullanılmasını önler.

Kısacası, bir LLM ağ geçidi, şirketinizin LLM stratejisinin temel bir bileşenidir. Güvenliği artırır, maliyetleri optimize eder, operasyonel yükü azaltır ve geliştiricilere daha tutarlı bir deneyim sunar. Bu merkezi kontrol noktası sayesinde, yapay zeka teknolojilerini güvenle ve verimli bir şekilde iş süreçlerinize entegre edebilirsiniz.

LLM Ağ Geçidinizi Tasarlamak: Temel Bileşenler ve Mimari Yaklaşımlar

Bir LLM ağ geçidi inşa etmek, sadece bir proxy kurmaktan çok daha fazlasını içerir. Bu, güvenlik, ölçeklenebilirlik, esneklik ve maliyet etkinliğini göz önünde bulunduran iyi düşünülmüş bir mimari gerektirir. AWS ekosistemi içinde bu tür bir ağ geçidini tasarlamak için birçok güçlü araç ve hizmet mevcuttur. İşte temel bileşenler ve mimari yaklaşımlar:

Mimari Yaklaşım: Sunucusuz (Serverless) Çözüm

LLM ağ geçidi için sunucusuz bir mimari, birçok avantaj sunar: otomatik ölçeklenme, kullandıkça öde modeli, düşük operasyonel yük ve yüksek erişilebilirlik. AWS’de bu, genellikle AWS API Gateway, AWS Lambda ve AWS IAM (Identity and Access Management) kombinasyonu ile gerçekleştirilir.

1. AWS API Gateway:

   Ağ geçidinizin dış dünyaya açılan tek kapısıdır. Tüm LLM istekleri buradan geçer. API Gateway, kimlik doğrulama, yetkilendirme (IAM veya Cognito ile entegrasyon), istek doğrulama, hız sınırlama (rate limiting) ve önbellekleme gibi birçok kritik işlevi doğal olarak sağlar. Bu, geliştiriciler için tek ve tutarlı bir API uç noktası sunar. API Gateway’i kullanarak, farklı LLM modelleri için farklı kaynak yolları (örneğin, /v1/chat/completions/gpt4, /v1/chat/completions/claude) tanımlayabilirsiniz.

2. AWS Lambda:

   API Gateway tarafından alınan istekleri işleyen sunucusuz işlem birimidir. Lambda fonksiyonları, gelen isteği alır, gerekli güvenlik kontrollerini (ek kimlik doğrulama/yetkilendirme, veri maskeleme), maliyet kotası kontrollerini yapar ve ardından LLM sağlayıcısının API’sine (örneğin OpenAI, Anthropic veya kendi özel modeliniz) ve AWS anahtarlarını kullanarak bir istek gönderir. LLM’den gelen yanıtı işler ve API Gateway üzerinden istemciye geri döndürür. Lambda’nın en büyük avantajı, sadece çalıştığı süre boyunca ücret ödemeniz ve otomatik olarak ölçeklenmesidir.

3. AWS IAM (Identity and Access Management):

   Bu, tüm AWS kaynaklarınıza (Lambda fonksiyonları, S3 kovaları, DynamoDB tabloları vb.) erişimi yönetmek için merkezi bir hizmettir. LLM ağ geçidiniz bağlamında IAM, Lambda fonksiyonlarınızın LLM sağlayıcı API’lerine güvenli bir şekilde erişmesini sağlayan rol tabanlı yetkilendirme (Role-Based Access Control – RBAC) sağlar. Örneğin, bir Lambda fonksiyonuna yalnızca belirli bir OpenAI anahtarını kullanma veya belirli bir S3 kovasına günlük kaydı yazma izni verebilirsiniz. Bu, en az ayrıcalık prensibini uygulamanın temelidir. Ayrıca, API Gateway ile entegre olarak, son kullanıcıların IAM kimlikleri üzerinden de yetkilendirme yapabilirsiniz.

4. AWS DynamoDB veya Redis (ElastiCache):

   Maliyet kotalarını, kullanım istatistiklerini, önbellek verilerini ve diğer yapılandırma bilgilerini depolamak için kullanılabilir. DynamoDB, sunucusuz, yüksek performanslı ve anahtar-değer tabanlı bir veritabanıdır. Redis ise özellikle yüksek performanslı önbellekleme ve oturum yönetimi için idealdir. Örneğin, bir kullanıcının anlık LLM tüketimini DynamoDB’de tutabilir ve her istekte bu değeri güncelleyerek kotasını kontrol edebilirsiniz. Önbellekleme için Redis, yanıt sürelerini önemli ölçüde hızlandırabilir.

5. AWS CloudWatch ve CloudTrail:

   Bu hizmetler, ağ geçidinizin izlenmesi ve denetlenmesi için kritik öneme sahiptir. CloudWatch, Lambda fonksiyonlarınızın performans metriklerini, hata oranlarını ve günlüklerini toplar. Alarm kurarak anormal durumları (örneğin, yüksek hata oranları, kota aşımları) anında tespit edebilirsiniz. CloudTrail ise AWS hesaplarınızdaki tüm API çağrılarını kaydeder, bu da kimin ne zaman hangi işlemi yaptığını izlemenizi sağlar. Bu, güvenlik denetimleri ve uyumluluk gereksinimleri için vazgeçilmezdir.

6. AWS Secrets Manager veya AWS Systems Manager Parameter Store:

   LLM sağlayıcı anahtarları gibi hassas bilgileri güvenli bir şekilde depolamak için kullanılır. Bu hizmetler, anahtarlarınızı şifreler ve Lambda fonksiyonlarınızın bu anahtarlara güvenli bir şekilde erişmesini sağlar. Anahtarları doğrudan kod içine gömmek yerine, bu hizmetler aracılığıyla dinamik olarak çekmek, güvenlik riskini büyük ölçüde azaltır ve anahtar rotasyonunu kolaylaştırır.

Vaka Analizi: Bir Startup’ın LLM Entegrasyon Yolculuğu

Genç bir e-ticaret startup’ı olan “TrendyBot”, müşteri hizmetleri süreçlerini otomatikleştirmek ve ürün açıklamalarını dinamik olarak oluşturmak için LLM’leri kullanmaya karar verdi. Başlangıçta, küçük bir geliştirici ekibi, OpenAI API anahtarlarını doğrudan kendi uygulamalarına entegre etti. Ancak şirket büyüdükçe ve daha fazla ekip (pazarlama, içerik, ürün) LLM’leri kullanmaya başlayınca, anahtar yönetimi bir kabusa dönüştü. Her ekibin farklı bir anahtarı vardı, hangi anahtarın ne kadar harcama yaptığını takip etmek imkansız hale geldi ve bir geliştiricinin yanlışlıkla bir anahtarı herkese açık bir GitHub deposuna yüklemesiyle büyük bir güvenlik ihlali riski atlattılar.

Bu kriz anının ardından TrendyBot, merkezi bir LLM ağ geçidi kurmaya karar verdi. AWS API Gateway’i ana giriş noktası olarak kullandılar, tüm LLM isteklerini buradan geçirdiler. API Gateway, gelen isteklerin kimliğini AWS Cognito ile doğruladı. Yetkilendirilen istekler, bir AWS Lambda fonksiyonuna yönlendirildi. Bu Lambda fonksiyonu, TrendyBot’un kendi iç IAM rolleri aracılığıyla AWS Secrets Manager’dan OpenAI anahtarını güvenli bir şekilde çekti ve isteği OpenAI’ye iletti. Ayrıca, DynamoDB’de her ekibin kullanım kotalarını takip ettiler ve bir ekip kotasını aştığında Lambda, isteği reddederek bilgilendirme yaptı. Tüm işlemler CloudWatch ve CloudTrail ile izlendi. Bu sayede:

• AWS anahtarlarının dağıtımı tamamen durduruldu. Sadece Lambda fonksiyonu anahtarı biliyordu.
• Her ekibin LLM kullanım maliyetleri şeffaf hale geldi ve kotalar sayesinde bütçe aşımları önlendi.
• Kimlik doğrulama ve yetkilendirme merkezi hale geldi, güvenlik duruşu önemli ölçüde güçlendi.
• Geliştiriciler, farklı LLM sağlayıcılarının API’leriyle uğraşmak yerine tek bir TrendyBot LLM API’sine istek gönderdi, bu da geliştirme sürecini hızlandırdı.

TrendyBot’un deneyimi, bir LLM ağ geçidinin sadece güvenlik değil, aynı zamanda operasyonel verimlilik ve maliyet kontrolü açısından da ne kadar kritik olduğunu açıkça göstermektedir.

Uygulamalı Kısım: Basit Bir LLM Gateway Nasıl Oluşturulur?

Şimdi teorik bilgileri pratiğe dökelim ve AWS üzerinde basit bir LLM ağ geçidinin temel yapı taşlarını nasıl oluşturacağımıza dair adım adım bir örnek sunalım. Bu örnek, bir istek geldiğinde kimlik doğrulaması yapan, LLM sağlayıcısına isteği ileten ve yanıtı geri döndüren bir proxy mantığını içerecektir. Güvenlik ve maliyet kontrolü gibi daha gelişmiş özellikler bu temel üzerine inşa edilebilir.

Adım 1: AWS Secrets Manager’da LLM API Anahtarını Saklama

İlk olarak, LLM sağlayıcınızın API anahtarını (örneğin OpenAI API Key) AWS Secrets Manager’da güvenli bir şekilde saklayalım. Bu, anahtarın kodunuza gömülmesini veya ortam değişkenleri olarak açıkta bırakılmasını engeller.

1. AWS Console’a giriş yapın.
2. Secrets Manager hizmetine gidin.
3. “Store a new secret” (Yeni bir sır depola) seçeneğini tıklayın.
4. “Other type of secret” (Diğer sır türü) seçeneğini seçin.
5. Bir anahtar-değer çifti olarak OPENAI_API_KEY ve gerçek API anahtarınızı girin.
6. Bir sır adı (örneğin, llm-gateway-openai-key) verin ve gerekli diğer adımları tamamlayın.

Bu sayede, Lambda fonksiyonunuz bu sırrı güvenli bir şekilde çekebilecektir.

Adım 2: AWS Lambda Fonksiyonunu Oluşturma (Python)

Şimdi, LLM isteklerini işleyecek ve yönlendirecek olan Lambda fonksiyonumuzu oluşturalım. Bu fonksiyon, Secrets Manager’dan anahtarı alacak ve LLM API’sine istek gönderecektir.

1. AWS Console’da Lambda hizmetine gidin.
2. “Create function” (Fonksiyon oluştur) seçeneğini tıklayın.
3. “Author from scratch” (Sıfırdan yaz) seçeneğini seçin.
4. Fonksiyon adı olarak LLMGatewayProxy gibi bir isim verin.
5. Runtime olarak Python 3.9 veya daha yeni bir sürüm seçin.
6. Bir yürütme rolü (execution role) oluşturun veya mevcut bir rolü kullanın. Bu role, Secrets Manager’dan sırrı okuma izni (secretsmanager:GetSecretValue) ve CloudWatch’a günlük yazma izni eklemeyi unutmayın.
7. Fonksiyonu oluşturun.

Fonksiyon kodu aşağıdaki gibi olabilir:

import json
import os
import boto3
import requests

# Secrets Manager istemcisini başlat
secrets_client = boto3.client('secretsmanager')

# Secrets Manager'dan API anahtarını çekmek için yardımcı fonksiyon
def get_secret(secret_name):
    try:
        response = secrets_client.get_secret_value(SecretId=secret_name)
        if 'SecretString' in response:
            return json.loads(response['SecretString'])
        else:
            # İkili (binary) sırları da işleyebiliriz, ancak LLM anahtarları genellikle stringdir.
            return response['SecretBinary']
    except Exception as e:
        print(f"Error retrieving secret: {e}")
        raise e

# LLM API anahtarı ve hedef URL'si
# Bu kısmı Secrets Manager'dan çekeceğiz
OPENAI_API_KEY_SECRET_NAME = "llm-gateway-openai-key" # Adım 1'de belirlediğiniz sır adı
OPENAI_API_BASE_URL = "https://api.openai.com/v1/chat/completions"

def lambda_handler(event, context):
    try:
        # 1. Gelen isteği işleme
        # API Gateway'den gelen istek body'si string olarak gelir, JSON'a dönüştür.
        request_body = json.loads(event['body'])

        # 2. Kimlik doğrulama/Yetkilendirme (Bu kısım genişletilebilir)
        # Örneğin, event['headers']['Authorization'] kontrol edilebilir
        # veya API Gateway'in kendi yetkilendiricisini kullanabilirsiniz.
        # Basitlik adına, burada sadece isteğin geldiğini varsayıyoruz.
        print(f"Received request: {request_body}")

        # 3. Secrets Manager'dan API anahtarını güvenli bir şekilde çek
        secrets = get_secret(OPENAI_API_KEY_SECRET_NAME)
        openai_api_key = secrets['OPENAI_API_KEY'] # Secrets Manager'daki anahtar adı

        # 4. LLM sağlayıcısına isteği ilet
        headers = {
            "Content-Type": "application/json",
            "Authorization": f"Bearer {openai_api_key}"
        }
        
        # OpenAI'nin beklediği formatı kontrol edin. Genellikle 'messages' alanı beklenir.
        # Örneğin: {"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "Merhaba!"}]}
        llm_response = requests.post(OPENAI_API_BASE_URL, headers=headers, json=request_body)
        llm_response.raise_for_status() # HTTP hata kodları için istisna fırlat

        # 5. LLM yanıtını istemciye geri döndür
        return {
            'statusCode': llm_response.status_code,
            'headers': {
                'Content-Type': 'application/json',
                'Access-Control-Allow-Origin': '*' # CORS için gerekli olabilir
            },
            'body': json.dumps(llm_response.json())
        }

    except requests.exceptions.RequestException as e:
        print(f"LLM API request failed: {e}")
        return {
            'statusCode': e.response.status_code if e.response else 500,
            'headers': {'Content-Type': 'application/json'},
            'body': json.dumps({"error": f"LLM API request failed: {str(e)}"})
        }
    except json.JSONDecodeError as e:
        print(f"Invalid JSON in request body: {e}")
        return {
            'statusCode': 400,
            'headers': {'Content-Type': 'application/json'},
            'body': json.dumps({"error": "Invalid JSON in request body."})
        }
    except Exception as e:
        print(f"An unexpected error occurred: {e}")
        return {
            'statusCode': 500,
            'headers': {'Content-Type': 'application/json'},
            'body': json.dumps({"error": f"Internal server error: {str(e)}"})
        }

Bu kod, requests kütüphanesini kullanır. Lambda katmanları (Lambda Layers) kullanarak bu kütüphaneyi fonksiyonunuza eklemeniz gerekecektir. Veya, fonksiyonunuzu bir sanal ortamda geliştirip bağımlılıkları zipleyerek yükleyebilirsiniz.

Adım 3: AWS API Gateway Kurulumu

Son olarak, Lambda fonksiyonumuzu bir API uç noktası üzerinden erişilebilir hale getirelim.

1. AWS Console’da API Gateway hizmetine gidin.
2. “Build” (Oluştur) seçeneğini tıklayarak yeni bir REST API oluşturun (Edge Optimized veya Regional seçebilirsiniz).
3. Bir kaynak (resource) oluşturun (örneğin, /llm-proxy).
4. Bu kaynak altında bir POST metodu oluşturun.
5. Entegrasyon tipi olarak “Lambda Function” (Lambda Fonksiyonu) seçin.
6. Lambda Proxy entegrasyonunu etkinleştirin (bu, API Gateway’in tüm isteği Lambda’ya olduğu gibi iletmesini sağlar).
7. Lambda fonksiyonunuzun adını (LLMGatewayProxy) girin.
8. API’yi dağıtın (deploy edin) (örneğin, dev sahnesi). Bu size bir Invoke URL sağlayacaktır.

Artık, elde ettiğiniz Invoke URL’ye POST istekleri göndererek LLM ağ geçidinizi test edebilirsiniz. Örneğin, https://abcdef123.execute-api.us-east-1.amazonaws.com/dev/llm-proxy adresine bir JSON body ile istek gönderebilirsiniz:

{
  "model": "gpt-3.5-turbo",
  "messages": [
    {"role": "system", "content": "Sen yardımcı bir asistansın."},
    {"role": "user", "content": "Türkiye'nin başkenti neresidir?"}
  ],
  "max_tokens": 50
}

Bu temel kurulum, LLM anahtarlarını doğrudan kodunuza gömme ihtiyacını ortadan kaldırır ve tüm LLM isteklerini merkezi bir noktadan yönetmenizi sağlar. Üzerine kimlik doğrulama, yetkilendirme, kota yönetimi ve önbellekleme gibi gelişmiş özellikler ekleyerek ağ geçidinizi daha da güçlendirebilirsiniz.

İleri Düzey Özellikler ve Optimizasyon İpuçları

Temel bir LLM ağ geçidi kurduktan sonra, sisteminizi daha güvenli, verimli ve ölçeklenebilir hale getirmek için çeşitli ileri düzey özellikler ve optimizasyonlar uygulayabilirsiniz. Bu özellikler, ağ geçidinizin sadece bir proxy olmaktan çıkıp, şirketinizin LLM stratejisinin kritik bir parçası haline gelmesini sağlar.

1. Gelişmiş Kimlik Doğrulama ve Yetkilendirme Mekanizmaları

API Gateway’in yerleşik yetkilendirme seçeneklerini kullanarak daha güçlü güvenlik sağlayabilirsiniz:

• AWS Cognito ile Entegrasyon: Kullanıcı havuzları (User Pools) ile son kullanıcı kimlik doğrulamasını yönetebilir, ID token’larını kullanarak LLM ağ geçidinize erişimi kısıtlayabilirsiniz. Bu, özellikle mobil veya web uygulamalarınız için kullanıcı tabanlı erişim kontrolü sağlamak istediğinizde idealdir.
• Lambda Yetkilendiriciler (Custom Authorizers): Kendi özel kimlik doğrulama ve yetkilendirme mantığınızı bir Lambda fonksiyonu içinde uygulayabilirsiniz. Örneğin, şirketinizin mevcut tekli oturum açma (Single Sign-On – SSO) sistemiyle entegre olabilir veya özel izin matrisleri oluşturabilirsiniz. Bu, daha esnek ve karmaşık yetkilendirme senaryoları için uygundur.
• Rol Tabanlı Erişim Kontrolü (RBAC): Geliştiricilerin veya ekiplerin hangi LLM modellerine (örneğin, GPT-4, Llama 2), hangi operasyonlara (oluşturma, düzenleme, silme) ve hangi prompt (istek) tiplerine erişebileceğini tanımlayan roller oluşturun. Bu roller, API Gateway veya Lambda yetkilendiricilerinizde kontrol edilebilir.

2. Akıllı İstek Yönlendirme ve Yük Dengeleme

Birden fazla LLM sağlayıcısı veya model kullanıyorsanız, ağ geçidi, istekleri en uygun hedefe yönlendirebilir:

• Model Seçimi: Gelen isteğin içeriğine veya metadata’sına göre farklı LLM modellerine yönlendirme yapın. Örneğin, “kod oluşturma” isteklerini Code Llama’ya, “metin özetleme” isteklerini GPT-3.5’e yönlendirebilirsiniz. Bu, maliyetleri optimize eder ve performans beklentilerini karşılar.
• Sağlayıcı Yedekliliği (Failover): Bir LLM sağlayıcısı kesintiye uğradığında, istekleri otomatik olarak başka bir sağlayıcıya yönlendirin. Bu, uygulamanızın dayanıklılığını artırır ve hizmet kesintilerini minimize eder.
• Maliyet Bazlı Yönlendirme: Gerçek zamanlı maliyet verilerine göre, aynı görevi yerine getirebilecek farklı LLM’ler arasında en uygun fiyatlı olanı seçerek yönlendirme yapın.

3. Gelişmiş Önbellekleme Stratejileri

Önbellekleme, hem maliyetleri düşürmek hem de yanıt sürelerini iyileştirmek için kritik bir araçtır:

• TTL (Time-To-Live) Tabanlı Önbellekleme: Yanıtları belirli bir süre (TTL) boyunca önbellekte tutun. Sıkça tekrar eden sorgular için bu çok etkilidir.
• Akıllı Önbellek Geçersiz Kılma: Eğer bir LLM modelinin davranışı değişirse veya yeni bir sürümü yayınlanırsa, ilgili önbellek girdilerini geçersiz kılın.
• Redis ile Önbellekleme: AWS ElastiCache for Redis, yüksek performanslı ve dağıtık bir önbellek çözümü sunar. Lambda fonksiyonlarınızdan kolayca erişilebilir ve büyük ölçekli önbellekleme ihtiyaçları için idealdir.

4. Prompt Mühendisliği ve Güvenlik Filtreleri

Ağ geçidi, LLM’lere giden ve gelen veriler üzerinde önemli kontroller sağlayabilir:

• Prompt İyileştirme: Gelen kullanıcı prompt’larını, LLM’nin daha iyi yanıt vermesi için otomatik olarak iyileştirin veya standartlaştırın. Örneğin, eksik bağlamı otomatik olarak ekleyin.
• Prompt Enjeksiyonu Koruması: Kötü niyetli kullanıcıların LLM’yi manipüle etmesini engellemek için prompt’ları analiz edin ve şüpheli kalıpları filtreleyin veya reddedin.
• Hassas Veri Maskeleme/Anonimleştirme: Kullanıcıların LLM’lere gönderebileceği kişisel tanımlayıcı bilgileri (PII) veya diğer hassas verileri otomatik olarak maskeleyin veya anonimleştirin. AWS Comprehend gibi hizmetler bu konuda yardımcı olabilir.
• Çıktı Kontrolü: LLM’den gelen yanıtları da güvenlik ve uyumluluk açısından kontrol edin. Örneğin, uygunsuz içerik veya gizli bilgi sızıntılarını tespit edip filtreleyin.

5. Maliyet Optimizasyonu ve Gelişmiş İzleme

Maliyetleri kontrol altında tutmak ve performansı optimize etmek için sürekli izleme şarttır:

• Detaylı Maliyet Raporlaması: Her ekip, uygulama veya kullanıcı bazında LLM tüketimini detaylı olarak izleyin ve raporlayın. AWS Cost Explorer, CloudWatch metrikleri ve özel etiketleme (tagging) bu konuda yardımcı olabilir.
• Dinamik Kota Yönetimi: Kullanım desenlerine veya bütçe hedeflerine göre kotaları dinamik olarak ayarlayın. Örneğin, belirli bir ekip için hafta sonları kotayı artırabilirsiniz.
• Performans Metrikleri: Yanıt süreleri, hata oranları, token kullanımı gibi metrikleri izleyerek performans darboğazlarını veya verimsizlikleri tespit edin.

6. Versiyonlama ve A/B Testi

LLM modellerini veya prompt mühendisliği stratejilerini güncellerken kesintisiz geçiş sağlayın:

• Model Versiyonlama: Ağ geçidi üzerinden farklı LLM model versiyonlarını yönetin. Örneğin, /v1/gpt-4 ve /v2/gpt-4 gibi uç noktalarla farklı sürümleri sunabilirsiniz.
• A/B Testi: Yeni bir model veya prompt stratejisi denemek istediğinizde, kullanıcı trafiğinin bir kısmını yeni versiyona yönlendirerek performansını ölçün. Bu, riskleri minimize eder ve en iyi çözümü bulmanızı sağlar.

Bu ileri düzey özelliklerin uygulanması, LLM ağ geçidinizi sadece bir güvenlik katmanı olmaktan çıkarıp, şirketinizin yapay zeka stratejisini destekleyen güçlü, esnek ve akıllı bir platforma dönüştürecektir. Her bir özelliğin uygulanması ek geliştirme ve yönetim çabası gerektirse de, uzun vadede sağlayacağı faydalar bu yatırıma değerdir.

Sonuç: Güvenli ve Akıllı Bir LLM Geleceği

AWS anahtarlarını her ekibe dağıtma riskini ortadan kaldırarak, merkezi bir LLM ağ geçidi inşa etmek, günümüzün hızla gelişen yapay zeka ortamında kritik bir güvenlik ve operasyonel zorunluluktur. Bu makalede ele aldığımız gibi, kontrolsüz anahtar dağıtımı, yetki yükseltmeden uyumluluk ihlallerine kadar birçok ciddi riski beraberinde getirir. Ancak doğru tasarlanmış bir LLM ağ geçidi, bu riskleri minimize ederken, ekiplerin YZ teknolojilerinden güvenli ve verimli bir şekilde faydalanmasını sağlar.

Bir LLM ağ geçidi, sadece bir proxy olmanın ötesine geçerek, kimlik doğrulama, yetkilendirme, maliyet yönetimi, günlük kaydı, önbellekleme ve veri maskeleme gibi temel işlevleri tek bir noktada birleştirir. AWS API Gateway, Lambda, IAM, Secrets Manager gibi servislerin akıllıca kullanılmasıyla, ölçeklenebilir, dayanıklı ve güvenli bir sunucusuz mimari oluşturmak mümkündür. TrendyBot örneğinde gördüğümüz gibi, bu tür bir ağ geçidi, hem güvenlik duruşunu güçlendirir hem de geliştirme süreçlerini hızlandırır, maliyetleri optimize eder ve kurumsal uyumluluğu sağlar.

İleri düzey özelliklerle (akıllı yönlendirme, gelişmiş önbellekleme, prompt mühendisliği ve A/B testi) ağ geçidinizi daha da zenginleştirmek, şirketinizin yapay zeka entegrasyon stratejisini bir üst seviyeye taşıyacaktır. Bu, sadece bugünün güvenlik ihtiyaçlarını karşılamakla kalmayacak, aynı zamanda yarının YZ trendlerine ve modellerine uyum sağlama esnekliği de sunacaktır. Sonuç olarak, güvenli ve akıllı bir LLM ağ geçidi, yapay zeka destekli bir geleceğe giden yolda atılacak en sağlam adımlardan biridir.

Sıkça Sorulan Sorular

1. LLM Ağ Geçidi kurmak çok mu maliyetli?

   Hayır, sunucusuz mimariler (AWS Lambda, API Gateway) kullandıkça öde modeliyle çalıştığı için başlangıç maliyetleri düşüktür. Sadece kullandığınız kaynaklar için ödeme yaparsınız. Uzun vadede, kontrolsüz LLM kullanımından kaynaklanan yüksek faturaları ve güvenlik ihlallerinin potansiyel maliyetlerini önleyerek aslında tasarruf sağlar.

2. Farklı LLM sağlayıcıları (OpenAI, Anthropic, Google) için tek bir ağ geçidi kullanabilir miyim?

   Evet, kesinlikle. Ağ geçidinin en büyük avantajlarından biri budur. Lambda fonksiyonunuz, gelen isteğe göre farklı sağlayıcıların API’lerine yönlendirme mantığı içerebilir. Bu, uygulamalarınızın tek bir API uç noktası üzerinden farklı LLM’lere erişmesini sağlar ve gelecekte sağlayıcı değiştirme esnekliği sunar.

3. LLM Ağ Geçidi gecikmeye (latency) neden olur mu?

   Her ek katman gibi, LLM ağ geçidi de teorik olarak bir miktar gecikmeye neden olabilir. Ancak AWS API Gateway ve Lambda gibi sunucusuz hizmetler, genellikle milisaniyeler düzeyinde çok düşük gecikmelerle çalışır. Önbellekleme gibi optimizasyonlarla, hatta bazı durumlarda doğrudan LLM API’sine erişimden daha hızlı yanıt süreleri elde edilebilir.

4. Prompt enjeksiyon saldırılarına karşı LLM Ağ Geçidi beni nasıl korur?

   Ağ geçidi, LLM’ye gönderilen prompt’ları analiz etmek için bir katman sağlar. Bu katmanda, bilinen kötü niyetli kalıpları veya anahtar kelimeleri tespit eden güvenlik filtreleri uygulayabilirsiniz. Ayrıca, hassas verilerin LLM’ye ulaşmasını engelleyerek ve çıktıları kontrol ederek prompt enjeksiyonunun potansiyel etkisini azaltabilirsiniz.

5. Şirket içi (on-premise) LLM’ler için de ağ geçidi kullanabilir miyim?

   Evet, ağ geçidi mimarisi sadece bulut tabanlı LLM’ler için değil, şirket içi veya özel bulutta barındırılan LLM’ler için de uyarlanabilir. Bu durumda, Lambda fonksiyonu yerine konteynerize edilmiş bir uygulama (örneğin, Docker üzerinde çalışan bir Flask/FastAPI uygulaması) veya şirket içi bir API ağ geçidi (Kong, Apigee) kullanabilirsiniz.

#LLMGateway #AWSSecurity #YapayZeka #SiberGüvenlik #BulutMimarisi