Giriş: Büyük Dil Modelleri Neden Hızlandırmaya İhtiyaç Duyar?

Büyük Dil Modelleri (BDM) dünyasında, devasa parametre sayıları ve artan hesaplama gereksinimleri, performans optimizasyonunu kritik hale getiriyor. Peki, açık kaynaklı bir dev olan gpt-oss 120B modelini, vLLM gibi yenilikçi bir çıkarım motoruyla, AMD Instinct MI300X GPU’nun sunduğu güçlü donanım üzerinde nasıl verimli bir şekilde çalıştırabilirsiniz?

Giriş: Büyük Dil Modelleri Neden Hızlandırmaya İhtiyaç Duyar?

Günümüz yapay zeka ekosisteminde, GPT-3, Llama, Falcon gibi Büyük Dil Modelleri (BDM’ler) hayatımızın vazgeçilmez bir parçası haline gelmiştir. Metin oluşturma, özetleme, çeviri, soru yanıtlama gibi birçok karmaşık görevi başarıyla yerine getirebilen bu modeller, insan benzeri iletişim yetenekleriyle dikkat çekmektedir. Ancak, bu modellerin sunduğu yetenekler, beraberinde ciddi hesaplama yüklerini de getirmektedir. Milyarlarca hatta trilyonlarca parametreye sahip olan BDM’ler, eğitim aşamasında olduğu kadar, gerçek dünya uygulamalarında kullanılan çıkarım (inference) aşamasında da yüksek donanım kaynaklarına ihtiyaç duyar. Özellikle düşük gecikme süresi ve yüksek verim (throughput) gerektiren senaryolarda, bu modelleri verimli bir şekilde çalıştırmak büyük bir zorluk teşkil eder.

Model boyutu arttıkça, her bir çıkarım isteği için gereken bellek miktarı ve hesaplama süresi de katlanarak artar. Geleneksel çıkarım yöntemleri, modelin tamamını GPU belleğine yüklemeyi ve her isteği sırayla işlemeyi gerektirir. Bu durum, özellikle yoğun trafik altındaki uygulamalarda darboğazlara yol açar, kullanıcı deneyimini olumsuz etkiler ve işletme maliyetlerini artırır. İşte tam bu noktada, donanım ve yazılım optimizasyonları devreye girer. Yüksek performanslı GPU’lar, özel çıkarım kütüphaneleri ve optimize edilmiş model formatları, BDM’lerin potansiyelini tam olarak ortaya çıkarmak için elzemdir. Bu makalede, AMD’nin yeni nesil Instinct MI300X GPU’sunun gücünü, vLLM gibi gelişmiş bir çıkarım çerçevesiyle birleştirerek, gpt-oss 120B gibi büyük bir modeli nasıl verimli bir şekilde çalıştırabileceğimizi adım adım inceleyeceğiz. Amacımız, okuyuculara bu güçlü kombinasyonun nasıl kurulacağını, yapılandırılacağını ve optimize edileceğini göstererek, kendi yapay zeka projelerinde bu teknolojileri kullanmaları için pratik bir rehber sunmaktır. Böylece, hem maliyet etkinliğini artırabilir hem de kullanıcılarınıza daha hızlı ve akıcı bir yapay zeka deneyimi sunabilirsiniz.

Temel Kavramlar: gpt-oss 120B, vLLM ve AMD Instinct MI300X Nedir?

Bu karmaşık sistemin her bir bileşenini anlamak, başarılı bir kurulum ve optimizasyon için hayati öneme sahiptir. Bu bölümde, projemizin temel taşlarını oluşturan gpt-oss 120B modelini, vLLM çıkarım motorunu ve AMD Instinct MI300X GPU’yu detaylı bir şekilde inceleyeceğiz.

gpt-oss 120B’yi Tanıyalım: Açık Kaynak Bir Dev mi?

gpt-oss 120B, açık kaynak topluluğu tarafından geliştirilen ve belirli bir dizi yeteneği hedefleyen büyük bir dil modelidir. “gpt-oss” (Generative Pre-trained Transformer – Open Source) kısaltmasıyla adlandırılan bu model, genellikle geniş bir veri kümesi üzerinde önceden eğitilmiş olup, çeşitli doğal dil işleme görevleri için ince ayar yapılabilir. 120 milyar parametresiyle, piyasadaki birçok ticari modele rakip olabilecek yeteneklere sahiptir. Bu kadar büyük bir model, karmaşık metinleri anlama, detaylı yanıtlar üretme, yaratıcı içerikler oluşturma ve hatta kod yazma gibi görevlerde üstün performans sergileyebilir. Açık kaynak olması, modelin şeffaflığını, topluluk desteğini ve geliştiricilerin kendi özel ihtiyaçlarına göre modeli özelleştirebilme esnekliğini artırır. Ancak, bu büyüklükteki bir modelin çıkarım aşamasında bile yüksek bellek ve hesaplama gücü gerektirmesi, onu verimli bir şekilde çalıştırmayı önemli bir mühendislik meydan okuması haline getirir.

vLLM Neden Önemli: Yüksek Performanslı BDM Çıkarım Çerçevesi

vLLM, Büyük Dil Modellerinin (BDM) çıkarım performansını önemli ölçüde artırmak için tasarlanmış açık kaynaklı bir kütüphanedir. Geleneksel çıkarım sistemlerinin karşılaştığı en büyük sorunlardan biri, Key-Value (KV) önbelleğinin verimsiz yönetimidir. Her bir token oluşturma adımında, modelin dikkat mekanizması önceki token’lara ait Key ve Value vektörlerini kullanır. Bu KV önbelleği, model boyutu ve bağlam penceresi arttıkça GPU belleğinde önemli bir yer kaplar. vLLM, “PageAttention” adı verilen yenilikçi bir algoritma kullanarak bu sorunu çözer. PageAttention, işletim sistemlerinin sanal bellek yönetiminden esinlenerek, KV önbelleğini sayfalara (pages) böler ve bu sayfaları dinamik olarak tahsis eder. Bu sayede, bellek parçalanması azalır, bellek kullanımı optimize edilir ve daha fazla eşzamanlı istek işlenebilir. Ayrıca, vLLM, dinamik batching (eşzamanlı istekleri tek bir batch’te işleme), karmaşık örnekleme algoritmaları ve çeşitli optimizasyon teknikleri sayesinde, geleneksel yöntemlere kıyasla belirgin ölçüde daha yüksek verim ve daha düşük gecikme süreleri sunar. Bu özellikler, özellikle gpt-oss 120B gibi büyük modelleri gerçek zamanlı uygulamalarda çalıştırmak için vLLM’i vazgeçilmez kılar.

AMD Instinct MI300X: Yapay Zeka İçin Yeni Nesil GPU

AMD Instinct MI300X, yapay zeka ve yüksek performanslı hesaplama (HPC) iş yükleri için tasarlanmış çığır açan bir hızlandırıcıdır. Bu GPU, AMD’nin CDNA 3 mimarisine dayanmaktadır ve entegre HBM3 bellek ile olağanüstü bellek bant genişliği sunar. Özellikle 192 GB’a kadar HBM3 bellek kapasitesi, gpt-oss 120B gibi devasa modellerin tamamını veya büyük bir kısmını tek bir GPU’ya sığdırma potansiyeli sunar. Yüksek bellek kapasitesinin yanı sıra, MI300X, önemli miktarda işlem gücü ve gelişmiş yapay zeka hızlandırma birimleri ile donatılmıştır. Bu, model çıkarımının gerektirdiği matris çarpımları ve tensör işlemleri için üstün performans anlamına gelir. AMD’nin ROCm (Radeon Open Compute) platformu, MI300X’in yazılım ekosistemini oluşturur. ROCm, PyTorch, TensorFlow gibi popüler makine öğrenimi çerçeveleriyle uyumluluk sağlayarak geliştiricilerin AMD donanımının tüm potansiyelini kullanmasına olanak tanır. MI300X, NVIDIA’nın pazar lideri GPU’larına güçlü bir alternatif olarak ortaya çıkmakta, özellikle maliyet etkinliği ve bellek kapasitesi açısından iddialı bir konumda bulunmaktadır. Bu GPU, büyük ölçekli yapay zeka dağıtımları için mükemmel bir seçimdir ve BDM’lerin verimli bir şekilde çalıştırılması için gerekli donanımsal altyapıyı sağlar.

AMD MI300X Droplet Ortamını Hazırlama: Adım Adım Kurulum Rehberi

AMD Instinct MI300X GPU üzerinde gpt-oss 120B ve vLLM’i çalıştırmak için öncelikle uygun bir sunucu ortamı hazırlamamız gerekiyor. Bu bölümde, bir bulut sağlayıcısından temin edeceğiniz MI300X tabanlı bir “droplet” üzerinde gerekli yazılımları ve sürücüleri nasıl kuracağınızı adım adım açıklayacağız.

Bir AMD MI300X Droplet Nasıl Seçilir ve Yapılandırılır?

Öncelikle, AMD Instinct MI300X GPU’ları sunan bir bulut sağlayıcısı seçmelisiniz. Bu sağlayıcılar genellikle “AI Droplet”, “GPU Instance” veya “HPC Compute” gibi isimler altında özel sanal makineler sunar. Droplet’inizi seçerken aşağıdaki özelliklere dikkat edin:

• GPU Tipi: Mutlaka AMD Instinct MI300X (veya MI300 serisi) olduğundan emin olun.
• İşletim Sistemi: Ubuntu 22.04 LTS veya CentOS gibi güncel bir Linux dağıtımı tercih edin. Bu dağıtımlar ROCm ile iyi uyumluluk sağlar.
• CPU ve RAM: BDM’ler sadece GPU belleği değil, aynı zamanda CPU ve sistem RAM’i de kullanabilir. En az 8 vCPU ve 64 GB RAM (tercihen 128 GB veya daha fazla) olan bir droplet seçmek faydalı olacaktır.
• Depolama: Model ağırlıkları büyük olacağından, yeterli NVMe SSD depolama alanı (en az 500 GB) sağlamak önemlidir.

Droplet’inizi oluşturduktan sonra, SSH ile sunucunuza bağlanın. İlk adım, sisteminizi güncellemek ve temel araçları kurmaktır:

sudo apt update && sudo apt upgrade -y
sudo apt install -y git wget curl

ROCm Sürücülerini Yükleme: AMD Donanımının Kalbi

AMD GPU’larını kullanmanın anahtarı, ROCm (Radeon Open Compute) platformudur. ROCm, AMD GPU’ları için açık kaynaklı bir yazılım yığınıdır ve makine öğrenimi çerçevelerinin GPU ile iletişim kurmasını sağlar. MI300X için en güncel ROCm sürümünü yüklemek önemlidir. Aşağıdaki adımlar Ubuntu 22.04 için geçerlidir:

1. ROCm GPG Anahtarını Ekleme:

   
   wget -q -O - https://repo.radeon.com/rocm/rocm.gpg.key | sudo apt-key add -
   

2. ROCm Depo Kaynağını Ekleme:

   Hangi ROCm sürümünü kullanacağınız, bulut sağlayıcınızın sağladığı çekirdek sürümüne ve tercihlerinize bağlıdır. Genellikle en güncel stabil sürüm tercih edilir. Örneğin, ROCm 6.0 için:

   
   echo 'deb [arch=amd64] https://repo.radeon.com/rocm/apt/6.0/ ubuntu main' | sudo tee /etc/apt/sources.list.d/rocm.list
   

3. Depoyu Güncelleme ve ROCm Kurulumu:

   
   sudo apt update
   sudo apt install -y rocm-libs rocm-dev rocm-smi
   

   Bu komutlar, temel ROCm kütüphanelerini, geliştirme araçlarını ve sistem izleme aracını (rocm-smi) kuracaktır. Kurulum tamamlandıktan sonra, sisteminizi yeniden başlatmanız gerekebilir.

   
   sudo reboot
   

4. Kullanıcıyı ‘render’ Grubuna Ekleme:

   GPU’ya erişim sağlamak için kullanıcı hesabınızı ‘render’ grubuna eklemelisiniz:

   
   sudo usermod -a -G render $USER
   

   Bu komutun etkili olması için oturumu kapatıp tekrar açmanız veya yeniden başlatmanız gerekebilir.

5. ROCm Kurulumunu Doğrulama:

   Kurulumun başarılı olup olmadığını kontrol etmek için rocm-smi komutunu kullanın:

   
   rocm-smi
   

   Bu komut, GPU’nuzun bilgilerini, bellek kullanımını ve sıcaklığını göstermelidir. Eğer çıktı görüyorsanız, ROCm başarıyla kurulmuş demektir.

Python Ortamını Hazırlama: Sanal Ortamlar ve Bağımlılıklar

Makine öğrenimi projeleri için Python sanal ortamları kullanmak iyi bir uygulamadır. Bu, bağımlılık çakışmalarını önler ve projenizin izole kalmasını sağlar. İlk olarak, Python 3 ve venv modülünü kurun:

sudo apt install -y python3 python3-pip python3-venv

Şimdi projeniz için bir sanal ortam oluşturalım ve etkinleştirelim:

mkdir gpt-oss-project
cd gpt-oss-project
python3 -m venv venv
source venv/bin/activate

Sanal ortam etkinleştirildiğinde, komut isteminizde (venv) ibaresini görmelisiniz. Artık tüm Python paketlerini bu ortama kurabilirsiniz. İlk olarak, pip’i güncelleyelim:

pip install --upgrade pip

Bu adımlarla, AMD Instinct MI300X droplet’iniz gpt-oss 120B ve vLLM’i çalıştırmak için temel olarak hazır hale gelmiş oldu. Bir sonraki adımda, vLLM’i kurup yapılandıracağız.

vLLM Kurulumu ve Yapılandırması: Performans İçin Temeller

Ortamımızı hazırladığımıza göre, şimdi sıra Büyük Dil Modeli çıkarımında devrim yaratan vLLM kütüphanesini kurmaya ve optimize etmeye geldi. vLLM, özellikle AMD GPU’lar üzerinde ROCm desteğiyle birlikte, gpt-oss 120B gibi modellerin performansını maksimize etmek için özel olarak tasarlanmıştır. Bu bölümde, vLLM’in kurulumunu, ROCm ile uyumluluğunu ve temel yapılandırma adımlarını ele alacağız.

vLLM’i Kurma: AMD Desteğiyle

Python sanal ortamınız etkin durumdayken (önceki bölümdeki source venv/bin/activate komutuyla), vLLM’i pip aracılığıyla kurabilirsiniz. vLLM, ROCm desteği için özel derlemeler sunar. Bu derlemeleri kullanmak, AMD GPU’nuzdan en iyi performansı almanızı sağlar.

# Sanal ortamınızın etkin olduğundan emin olun
# (venv) pip install vllm
# Eğer ROCm desteği için özel bir derleme gerekiyorsa, vLLM'in GitHub sayfasındaki talimatları takip edin.
# Genellikle, sadece 'pip install vllm' ROCm'i otomatik olarak algılayıp uygun derlemeyi yükleyebilir.
# Ancak, ROCm sürümünüzle ilgili uyumluluk sorunları yaşarsanız, GitHub deposundan manuel olarak derlemeniz gerekebilir.
# Bu durumda, aşağıdaki gibi bir yol izleyebilirsiniz (detaylar vLLM dokümantasyonunda bulunabilir):
# git clone https://github.com/vllm-project/vllm.git
# cd vllm
# pip install -e .

Kurulumun ardından, vLLM’in ROCm desteğini doğru bir şekilde algılayıp algılamadığını kontrol etmek için basit bir Python betiği çalıştırabilirsiniz. Bu, genellikle PyTorch’un ROCm’i görüp görmediğini kontrol etmekle eşdeğerdir, zira vLLM temelinde PyTorch kullanır.

import torch
print(f"PyTorch ROCm kullanılabilir mi: {torch.cuda.is_available()}")
print(f"PyTorch ROCm cihaz sayısı: {torch.cuda.device_count()}")
if torch.cuda.is_available():
    print(f"Aktif ROCm cihazı: {torch.cuda.get_device_name(0)}")

Bu kodu check_rocm.py olarak kaydedip çalıştırdığınızda (python check_rocm.py), çıktıda “PyTorch ROCm kullanılabilir mi: True” ve MI300X GPU’nuzun adını görmelisiniz. Eğer “False” görüyorsanız, ROCm kurulumunuzda veya vLLM’in derlemesinde bir sorun olabilir.

vLLM Temel Yapılandırma Parametreleri: Performans ve Bellek Dengesi

vLLM, modelinizi başlatırken çeşitli parametreler aracılığıyla performans ve bellek kullanımını optimize etmenize olanak tanır. gpt-oss 120B gibi büyük bir modelle çalışırken, bu parametreler hayati önem taşır.

• --model: Kullanılacak modelin Hugging Face kimliği veya yerel yolu.
• --tensor-parallel-size: Modelin birden fazla GPU’ya nasıl dağıtılacağını belirler. MI300X droplet’inizde birden fazla GPU varsa, bu parametreyi kullanarak modelinizi GPU’lar arasında bölebilirsiniz. gpt-oss 120B için tek bir MI300X’in 192GB belleği yeterli olacağından, başlangıçta bu parametreyi kullanmayabilir veya 1 olarak bırakabilirsiniz.
• --gpu-memory-utilization: GPU belleğinin ne kadarının KV önbelleği için ayrılacağını belirler (0 ile 1 arasında bir değer). Örneğin, 0.90 değeri, belleğin %90’ının KV önbelleği için ayrılacağı anlamına gelir. Bu, eşzamanlı istek sayısını doğrudan etkiler. Çok yüksek bir değer, model ağırlıkları için yeterli yer bırakmayabilirken, çok düşük bir değer verimi düşürebilir.
• --max-model-len: Modelin işleyebileceği maksimum bağlam uzunluğunu belirler. Bu, modelin desteklediği token sayısına ve uygulamanızın gereksinimlerine göre ayarlanmalıdır.
• --dtype: Model ağırlıklarının veri tipini belirler (örn. bfloat16, float16, float32). bfloat16 veya float16 kullanmak, bellek kullanımını azaltır ve genellikle performansı artırır, ancak bazı durumlarda hassasiyeti etkileyebilir. MI300X, bfloat16 işlemleri için optimize edilmiştir.

Bu parametreleri, MI300X’in 192 GB belleğini göz önünde bulundurarak dikkatlice ayarlamak gerekecektir. gpt-oss 120B için, --dtype bfloat16 kullanmak ve --gpu-memory-utilization değerini 0.85-0.95 arasında denemek iyi bir başlangıç noktası olabilir. Bu ayarlar, model ağırlıkları için yeterli yer bırakırken aynı zamanda KV önbelleği için de geniş bir alan sağlayacaktır.

gpt-oss 120B Modelini vLLM ile Çalıştırma: Gerçek Dünya Senaryoları

Şimdiye kadar AMD MI300X droplet’imizi hazırladık ve vLLM’i kurduk. Artık gpt-oss 120B modelini bu güçlü altyapı üzerinde çalıştırmaya ve gerçek dünya senaryolarında nasıl kullanabileceğimizi keşfetmeye hazırız. Bu bölüm, modelin yüklenmesi, vLLM ile başlatılması ve örnek çıkarım isteklerinin nasıl yapılacağını detaylandıracaktır.

gpt-oss 120B Modelini Yükleme

gpt-oss 120B gibi büyük bir modelin ağırlıkları, Hugging Face Transformers kütüphanesi aracılığıyla kolayca indirilebilir. Model genellikle Hugging Face Hub üzerinde bir depo olarak bulunur. İlk olarak, Hugging Face transformers kütüphanesini kurmanız gerekebilir:

(venv) pip install transformers accelerate

Model ağırlıklarını doğrudan vLLM kullanarak da indirebilirsiniz, ancak bazen önceden indirmek ve yerel bir yoldan yüklemek daha güvenilir olabilir. Modelin adını (örneğin, "org/gpt-oss-120b" gibi hipotetik bir isim) kullanarak:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_name = "org/gpt-oss-120b" # Bu bir örnek model adıdır, gerçek model adını kullanın.

# Tokenizer'ı indirme
tokenizer = AutoTokenizer.from_pretrained(model_name)
tokenizer.save_pretrained("./gpt-oss-120b-local")

# Model ağırlıklarını indirme (sadece CPU'ya indirme, GPU'ya vLLM yükleyecek)
# Bu adım çok fazla RAM gerektirebilir. Eğer RAM yetersizse, doğrudan vLLM ile yüklemeyi deneyin.
# model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)
# model.save_pretrained("./gpt-oss-120b-local")

print("Model ve tokenizer yerel olarak kaydedildi.")

Ancak, gpt-oss 120B gibi devasa bir modeli CPU RAM’ine indirmek ve kaydetmek, droplet’inizin RAM kapasitesini aşabilir. Bu durumda, vLLM’in Hugging Face Hub’dan doğrudan model yükleme yeteneğini kullanmak daha pratik olacaktır. vLLM, modeli GPU belleğine doğrudan yükleyerek bu sorunu aşar.

vLLM ile gpt-oss 120B’yi Başlatma

Modeli vLLM ile başlatmak için, vllm.LLM sınıfını kullanırız. Bu, modeli GPU belleğine yükler ve çıkarım için hazır hale getirir. Aşağıdaki örnekte, önceki bölümde bahsettiğimiz parametreleri uygulayarak modeli başlatıyoruz:

from vllm import LLM, SamplingParams

# Modelin Hugging Face adı veya yerel yolu
model_path = "org/gpt-oss-120b" # Gerçek model adını veya yerel yolu kullanın

# LLM modelini başlatma
# dtype: bfloat16, MI300X için önerilen veri tipidir
# gpu_memory_utilization: KV önbelleği için ayrılacak GPU belleği oranı
# max_model_len: Modelin işleyebileceği maksimum bağlam uzunluğu
llm = LLM(model=model_path, 
          dtype="bfloat16", 
          gpu_memory_utilization=0.90, 
          max_model_len=4096) # Örnek bir bağlam uzunluğu

print(f"gpt-oss 120B modeli vLLM ile başarıyla yüklendi: {model_path}")

Bu komut çalıştırıldığında, vLLM modeli Hugging Face Hub’dan indirip MI300X GPU belleğine yükleyecektir. Bu işlem, modelin boyutuna ve ağ hızınıza bağlı olarak biraz zaman alabilir.

Örnek Çıkarım İstekleri: Metin Tamamlama ve Soru-Cevap

Model yüklendikten sonra, metin tamamlama, soru-cevap veya diğer doğal dil işleme görevleri için çıkarım istekleri gönderebiliriz. SamplingParams sınıfı, çıkarım parametrelerini (sıcaklık, top_p, maksimum token sayısı vb.) kontrol etmenizi sağlar.

# Çıkarım parametrelerini tanımlama
sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=256)

# Örnek prompt'lar
prompts = [
    "Yapay zeka teknolojileri gelecekte hayatımızı nasıl değiştirecek?",
    "Bir e-ticaret sitesi için ilgi çekici bir ürün açıklaması yaz: 'Akıllı Ev Robot Süpürgesi'",
    "Türkiye'nin başkenti neresidir ve neden?",
]

# Çıkarım isteklerini gönderme
outputs = llm.generate(prompts, sampling_params)

# Sonuçları yazdırma
for prompt, output in zip(prompts, outputs):
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}\nGenerated text: {generated_text!r}\n")
    print("-" * 50)

Bu örnek, üç farklı prompt için modelden yanıtlar üretir. vLLM’in dinamik batching özelliği sayesinde, bu istekler eşzamanlı olarak işlenir ve MI300X’in gücü tam olarak kullanılır.

Vaka Analizi: Büyük Bir İşletmenin Müşteri Destek Asistanı

Bir e-ticaret devi olan “GlobalMarket”, müşteri destek ekibinin yükünü hafifletmek ve 7/24 anında yanıt verebilmek için yapay zeka destekli bir asistan geliştirmek istiyor. Mevcut chatbot’ları basit soruları yanıtlayabiliyor ancak karmaşık ürün bilgileri, iade süreçleri veya sipariş takibi gibi konularda yetersiz kalıyor. GlobalMarket, gpt-oss 120B’nin gelişmiş anlama ve üretme yeteneklerinden faydalanmaya karar veriyor.

Senaryo: Müşteriler, GlobalMarket’in web sitesi veya mobil uygulaması üzerinden sohbet arayüzüne sorularını yazıyor. gpt-oss 120B, bu soruları anında işleyerek kişiselleştirilmiş ve doğru yanıtlar üretiyor. Örneğin, bir müşteri “Son siparişimin durumu nedir?” diye sorduğunda, model arka uç sistemlerden sipariş bilgilerini çekerek “Siparişiniz #123456789 şu anda kargoda ve 2 gün içinde teslim edilmesi bekleniyor.” gibi bir yanıt verebiliyor. Ya da “Yeni çıkan akıllı televizyon modelleri hakkında bilgi verir misiniz?” gibi bir soruya, ürün özelliklerini ve karşılaştırmalarını içeren detaylı bir yanıt üretiyor.

MI300X ve vLLM’in Rolü: GlobalMarket için en büyük zorluk, binlerce eşzamanlı müşteri isteğini düşük gecikmeyle işleyebilmekti. Tek bir gpt-oss 120B modelinin her isteği ayrı ayrı işlemesi, hem gecikmeyi artıracak hem de maliyetleri katlayacaktı. İşte burada AMD Instinct MI300X ve vLLM kombinasyonu devreye giriyor:

• MI300X’in Yüksek Belleği: 192 GB HBM3 belleğe sahip MI300X, gpt-oss 120B modelinin tamamını veya büyük bir kısmını tek bir GPU’ya sığdırarak model yükleme sürelerini minimize ediyor ve bellek transfer darboğazlarını ortadan kaldırıyor.
• vLLM’in PageAttention ve Dinamik Batching’i: vLLM’in PageAttention algoritması, KV önbelleğini verimli bir şekilde yöneterek birden fazla eşzamanlı isteğin GPU belleğinde daha az yer kaplamasını sağlıyor. Dinamik batching özelliği ise, gelen istekleri anında gruplayarak tek bir GPU çekirdeği üzerinde paralel olarak işlenmelerine olanak tanıyor. Bu sayede, GlobalMarket, aynı anda yüzlerce müşteriye milisaniyeler içinde yanıt verebiliyor.
• Maliyet Etkinliği: MI300X’in rekabetçi fiyatlandırması ve vLLM’in sunduğu yüksek verim, GlobalMarket’in operasyonel maliyetlerini düşürerek daha fazla müşteriye daha uygun fiyata hizmet vermesine olanak tanıyor.

Bu senaryo, MI300X ve vLLM’in, büyük ölçekli ve performans kritik yapay zeka uygulamaları için nasıl güçlü ve maliyet etkin bir çözüm sunduğunu açıkça göstermektedir. gpt-oss 120B gibi modeller, bu tür bir altyapı üzerinde tam potansiyellerine ulaşabilirler.

Performans Optimizasyonu ve İleri Düzey İpuçları: MI300X’ten En İyi Verimi Almak

gpt-oss 120B’yi AMD Instinct MI300X üzerinde vLLM ile başarıyla çalıştırdık. Ancak, Büyük Dil Modelleri dünyasında her zaman daha iyi performans ve daha düşük maliyet için yer vardır. Bu bölümde, MI300X’in gücünü sonuna kadar kullanmak ve vLLM çıkarımını daha da optimize etmek için ileri düzey ipuçları ve teknikler sunacağız.

Batching Stratejileri ve Dinamik Batch Boyutları

vLLM’in en büyük avantajlarından biri, dinamik batching yeteneğidir. Geleneksel sistemlerde, sabit boyutlu batch’ler kullanılır, bu da genellikle GPU’nun tam kapasitesini kullanmaz veya kuyrukta bekleyen isteklerin gecikmesine neden olur. vLLM, istekleri anlık olarak gruplayarak GPU’ya gönderir ve böylece verimi artırır. Ancak, bu batch boyutunu optimize etmek hala mümkündür:

• --max-num-seqs: Bu parametre, bir batch’te işlenebilecek maksimum eşzamanlı dizilim (sequence) sayısını belirler. MI300X’in belleği ve işlem gücü göz önüne alındığında, bu değeri artırmak genellikle verimi artırır. Ancak çok yüksek bir değer, GPU belleğini aşırı doldurabilir. Deneme yanılma yoluyla optimum değeri bulmak önemlidir.
• --max-seq-len-to-batch: Bu, batch’teki en uzun dizilimin uzunluğuna göre batch boyutunu dinamik olarak ayarlamak için kullanılabilir.

Uygulamanızın trafik desenini anlamak, bu parametreleri en iyi şekilde ayarlamanıza yardımcı olacaktır. Örneğin, kısa ve hızlı yanıtlar beklenen bir senaryoda daha küçük batch’ler, uzun ve karmaşık metinler için daha büyük batch’ler tercih edilebilir.

Quantization (Nicemleme) Teknikleri: Bellek ve Hız Dengesi

Quantization, model ağırlıklarını ve aktivasyonlarını daha düşük hassasiyetli veri tiplerine dönüştürerek bellek kullanımını azaltma ve çıkarım hızını artırma tekniğidir. gpt-oss 120B gibi devasa modeller için bu, kritik bir optimizasyondur.

• bfloat16 (BF16): MI300X, BF16 işlemleri için donanımsal desteğe sahiptir ve bu, float32‘ye yakın bir hassasiyetle bellek kullanımını yarıya indirir. vLLM’de --dtype bfloat16 parametresini kullanarak bunu etkinleştirebilirsiniz.
• 8-bit (INT8) veya 4-bit (INT4) Quantization: Daha agresif nicemleme teknikleri, bellek kullanımını daha da azaltabilir ve performansı artırabilir, ancak modelin doğruluğunda hafif bir düşüşe neden olabilir. vLLM, bu tür nicemleme tekniklerini desteklemektedir (örn. --quantization int8). MI300X, bu düşük hassasiyetli formatlar için de optimize edilmiş çekirdeklere sahiptir. Modelinizin kabul edilebilir doğruluk kaybıyla bu formatlarda çalışıp çalışmadığını test etmelisiniz.

Nicemleme, özellikle bellek kısıtlı ortamlarda veya daha fazla modelin tek bir GPU’ya sığdırılması gerektiğinde çok faydalıdır.

Birden Fazla GPU Kullanımı ve Model Paralelliği

Eğer MI300X droplet’inizde birden fazla GPU varsa (örneğin, 2x MI300X), gpt-oss 120B gibi devasa bir modeli GPU’lar arasında dağıtarak performansı daha da artırabilirsiniz. vLLM, tensor paralelliğini (tensor parallelism) destekler.

# İki GPU üzerinde tensor paralelliği ile modeli başlatma
llm = LLM(model=model_path, 
          dtype="bfloat16", 
          gpu_memory_utilization=0.90, 
          max_model_len=4096,
          tensor_parallel_size=2) # İki GPU kullanılıyorsa

tensor_parallel_size parametresini, droplet’inizdeki GPU sayısına ayarlayarak modelin katmanlarını GPU’lar arasında dağıtabilirsiniz. Bu, tek bir modelin çıkarım süresini azaltırken, aynı zamanda daha büyük modellerin bile birden fazla GPU’ya sığdırılmasını sağlar.

ROCm Optimizasyonları ve Sistem İzleme

ROCm ekosistemi, performansı izlemek ve ayarlamak için çeşitli araçlar sunar:

• rocm-smi: GPU kullanımını, sıcaklığını, bellek kullanımını ve güç tüketimini gerçek zamanlı olarak izlemek için kullanışlıdır. Darboğazları tespit etmek için bu aracı düzenli olarak kontrol edin.
• ROCm Çekirdekleri: vLLM, ROCm’in optimize edilmiş çekirdeklerini otomatik olarak kullanmaya çalışır. Ancak, bazen özel ROCm ayarları veya ortam değişkenleri, belirli iş yükleri için performansı daha da artırabilir. AMD’nin ROCm dokümantasyonunu bu konuda incelemek faydalı olabilir.

Bellek Yönetimi İpuçları

• Sistem RAM’i: Model ağırlıkları GPU belleğine yüklense de, işletim sistemi ve diğer süreçler için yeterli sistem RAM’i olduğundan emin olun.
• KV Önbelleği: --gpu-memory-utilization parametresiyle KV önbelleği için ayrılan alanı dikkatlice ayarlayın. Çok az alan, verimi düşürürken, çok fazla alan model ağırlıkları için yeterli yer bırakmayabilir.
• Model Boyutu ve Hassasiyet: Modelin farklı boyutlardaki versiyonlarını (eğer varsa) veya farklı nicemleme seviyelerini deneyerek bellek ve performans arasında en iyi dengeyi bulun.

Mobil Uyumlu HTML İçin Media Query Örnekleri

Bu makale HTML formatında sunulduğu için, mobil uyumluluk da önemlidir. Yukarıdaki ipuçları doğrudan GPU performansıyla ilgili olsa da, içeriğin her cihazda okunabilir olmasını sağlamak da deneyimi iyileştirir. İşte basit bir CSS media query örneği:

/* Genel stil */
body {
    font-family: Arial, sans-serif;
    line-height: 1.6;
    margin: 0 auto;
    max-width: 900px;
    padding: 20px;
}

/* Küçük ekranlar için (mobil cihazlar) */
@media (max-width: 768px) {
    body {
        padding: 10px;
        font-size: 14px;
    }
    h2 {
        font-size: 20px;
    }
    h3 {
        font-size: 18px;
    }
    pre code {
        white-space: pre-wrap; /* Kod bloklarının küçük ekranlarda kaydırmasını sağlar */
        word-break: break-all; /* Uzun kelimeleri böler */
    }
    .expert-tip {
        padding: 10px;
        font-size: 13px;
    }
}

Bu CSS kodu, ekran genişliği 768 pikselin altına düştüğünde sayfa düzenini otomatik olarak ayarlayarak mobil cihazlarda daha iyi bir okuma deneyimi sunar. Kod bloklarının yatay kaydırma çubukları yerine metni sarmalaması, mobil uyumluluk için kritik bir detaydır.

Sonuç: Geleceğin Yapay Zeka Çıkarım Çözümleri

Bu makale boyunca, gpt-oss 120B gibi devasa bir Büyük Dil Modelini, AMD Instinct MI300X GPU’nun sağladığı üstün donanım gücüyle ve vLLM’in yenilikçi çıkarım optimizasyonlarıyla nasıl verimli bir şekilde çalıştırabileceğimizi detaylı bir şekilde inceledik. Gördüğümüz gibi, bu üçlü kombinasyon, yapay zeka çıkarım uygulamalarında karşılaşılan performans ve maliyet zorluklarına karşı güçlü bir çözüm sunmaktadır. AMD’nin MI300X gibi yeni nesil GPU’ları, özellikle yüksek bellek kapasiteleri ve optimize edilmiş AI çekirdekleriyle, NVIDIA’ya güçlü bir alternatif olarak ortaya çıkmaktadır. ROCm ekosistemi sayesinde, geliştiriciler PyTorch gibi popüler çerçevelerle sorunsuz bir şekilde çalışabilir ve AMD donanımının tüm potansiyelini kullanabilirler. Diğer yandan, vLLM, PageAttention ve dinamik batching gibi akıllı algoritmalarıyla, model çıkarımında verimi ve hızı önemli ölçüde artırarak, gpt-oss 120B gibi modellerin gerçek zamanlı uygulamalarda kullanılabilirliğini sağlamaktadır.

Kurulum adımlarından, model yüklemeye, örnek çıkarım isteklerinden, vaka analizlerine ve ileri düzey optimizasyon ipuçlarına kadar her aşamayı ele alarak, okuyucularımıza bu teknolojileri kendi projelerinde nasıl uygulayacaklarına dair kapsamlı bir rehber sunmayı amaçladık. Bir e-ticaret devinin müşteri destek asistanı senaryosu, MI300X ve vLLM’in pratik dünyadaki değerini somutlaştırmıştır. Yüksek eşzamanlı istekleri düşük gecikmeyle işleme yeteneği, işletmelerin müşteri deneyimini iyileştirmesine ve operasyonel verimliliği artırmasına olanak tanır.

Geleceğe baktığımızda, AMD’nin yapay zeka pazarındaki yükselişi ve vLLM gibi açık kaynaklı çıkarım motorlarının sürekli gelişimi, Büyük Dil Modellerini daha erişilebilir, daha performanslı ve daha maliyet etkin hale getirecektir. Bu teknolojilerin birleşimi, sadece büyük şirketler için değil, aynı zamanda küçük ve orta ölçekli işletmeler ile bireysel geliştiriciler için de yeni kapılar açmaktadır. Yapay zekanın gücünü demokratikleştirme yolunda atılan bu adımlar, geleceğin akıllı uygulamalarının temelini oluşturacaktır. Unutmayın ki, yapay zeka dünyası sürekli evrim geçirmekte, bu nedenle en güncel bilgiler ve en iyi uygulamalar için ilgili toplulukları ve dokümantasyonları takip etmek her zaman faydalıdır.

Sıkça Sorulan Sorular (SSS)

gpt-oss 120B nedir ve neden tercih edilir?

gpt-oss 120B, açık kaynak topluluğu tarafından geliştirilen 120 milyar parametreli bir Büyük Dil Modelidir. Gelişmiş dil anlama ve üretme yetenekleri sunar. Açık kaynak olması, şeffaflık, topluluk desteği ve özelleştirme esnekliği sağlaması nedeniyle tercih edilir. Birçok ticari modele rakip olabilecek yeteneklere sahiptir.

vLLM kullanmak neden önemlidir?

vLLM, Büyük Dil Modellerinin çıkarım performansını önemli ölçüde artıran bir kütüphanedir. Özellikle “PageAttention” algoritması sayesinde KV önbelleğini verimli yönetir, dinamik batching ile eşzamanlı istekleri optimize eder. Bu sayede, daha yüksek verim ve daha düşük gecikme süreleri sunarak BDM’lerin gerçek zamanlı uygulamalarda kullanılabilirliğini artırır.

AMD Instinct MI300X GPU’nun avantajları nelerdir?

AMD Instinct MI300X, yapay zeka ve HPC iş yükleri için tasarlanmış yeni nesil bir GPU’dur. En büyük avantajları arasında 192 GB’a kadar yüksek HBM3 bellek kapasitesi, yüksek bellek bant genişliği ve bfloat16 işlemleri için optimize edilmiş çekirdekler bulunur. Bu özellikler, gpt-oss 120B gibi büyük modellerin tek bir GPU’ya sığdırılmasını ve hızlı bir şekilde işlenmesini sağlar, ayrıca maliyet etkin bir alternatif sunar.

ROCm nedir ve neden gereklidir?

ROCm (Radeon Open Compute), AMD GPU’ları için açık kaynaklı bir yazılım yığınıdır. PyTorch gibi makine öğrenimi çerçevelerinin AMD GPU’larla iletişim kurmasını sağlar. MI300X gibi AMD donanımının tüm potansiyelini kullanmak, sürücüleri, kütüphaneleri ve geliştirme araçlarını içeren ROCm platformunun doğru şekilde kurulmasını gerektirir.

Nicemleme (Quantization) performansı nasıl etkiler?

Nicemleme, model ağırlıklarını ve aktivasyonlarını daha düşük hassasiyetli veri tiplerine (örn. bfloat16, INT8, INT4) dönüştürerek bellek kullanımını azaltır ve çıkarım hızını artırır. Bu, özellikle büyük modeller için GPU belleğinde daha fazla yer açar ve daha hızlı hesaplamalara olanak tanır. Genellikle modelin doğruluğunda minimal bir düşüşe neden olabilir, bu nedenle doğru dengeyi bulmak önemlidir.