Ollama ile LLM Üretim Ortamı Kurulumu: Adım Adım Rehber

Ollama ile LLM Üretim Ortamı Kurulumu: Adım Adım Rehber

Büyük Dil Modellerini (LLM) kendi altyapınızda çalıştırmak karmaşık görünebilir. Peki, Ollama ile bu süreci nasıl basitleştirebilirsiniz? Bu rehberde, LLM üretim ortamınızı Ollama kullanarak nasıl kuracağınızı, temel kavramları ve pratik uygulamaları öğreneceksiniz.

Ollama Nedir ve Neden Kullanmalıyız?

Günümüz teknolojisinde Büyük Dil Modelleri (LLM), metin üretimi, çeviri, kod yazma ve hatta yaratıcı içerik oluşturma gibi birçok alanda devrim yaratıyor. Ancak bu modelleri kendi sunucularımızda, yani üretim ortamımızda çalıştırmak, genellikle ciddi donanım gereksinimleri ve karmaşık kurulum süreçleri anlamına geliyor. İşte tam bu noktada Ollama devreye giriyor. Ollama, LLM’leri yerel makinenizde veya sunucularınızda kolayca indirip çalıştırmanızı sağlayan, kullanımı basit bir araçtır. Geliştiricilerin ve kurumların, LLM’lerin gücünü kendi verileriyle ve kendi altyapılarında deneyimlemeleri için tasarlanmıştır. Temel amacı, karmaşık kurulumları ve yapılandırmaları soyutlayarak, kullanıcıların doğrudan modellerle etkileşim kurmasına odaklanmasını sağlamaktır. Bu, özellikle LLM’leri prototipleme, test etme veya belirli iş akışlarına entegre etme aşamasında olanlar için büyük bir avantajdır. Ollama, popüler açık kaynaklı LLM’leri (örneğin Llama 2, Mistral, Gemma) tek bir komutla indirip çalıştırmanıza olanak tanır. Bu, her model için ayrı ayrı bağımlılıkları yönetme, model dosyalarını indirme ve yapılandırma zahmetini ortadan kaldırır. Ayrıca, Ollama’nın sunduğu API sayesinde, geliştirdiğiniz uygulamalar LLM’lerle kolayca entegre olabilir. Bu, LLM tabanlı özelliklerinizi hızlı bir şekilde oluşturmanızı ve test etmenizi sağlar. Üretim ortamı bağlamında Ollama kullanmanın en büyük faydalarından biri, veri gizliliği ve güvenliğidir. Hassas verileriniz, bulut tabanlı hizmetlere gönderilmek yerine kendi altyapınızda işlenebilir. Bu, özellikle finans, sağlık veya kamu sektörü gibi sıkı veri güvenliği düzenlemelerine tabi olan sektörler için kritik öneme sahiptir. Ollama’nın hafif yapısı ve optimize edilmiş performansı, orta düzey donanımlarda bile kabul edilebilir hızlarda LLM çalıştırmayı mümkün kılar. Bu, büyük ölçekli bulut altyapısı yatırımı yapmadan LLM’lerin potansiyelini keşfetmek isteyen küçük ve orta ölçekli işletmeler (KOBİ’ler) için de cazip bir seçenektir. Sonuç olarak, Ollama, LLM’lerin erişilebilirliğini artırarak, daha fazla geliştiricinin ve kurumun bu güçlü teknolojiyi benimsemesine ve yenilikçi çözümler üretmesine olanak tanır. Bu makalede, Ollama’yı kullanarak kendi LLM üretim ortamınızı nasıl kurabileceğinizi adım adım inceleyeceğiz.

Temel Kavramlar: LLM ve Üretim Ortamı

Bu yolculuğa çıkmadan önce, LLM’ler ve üretim ortamı gibi temel kavramları netleştirelim. Büyük Dil Modelleri (LLM), devasa metin veri kümeleri üzerinde eğitilmiş, insan dilini anlama ve üretme yeteneğine sahip yapay zeka modelleridir. Bu modeller, kelimeler arasındaki istatistiksel ilişkileri öğrenerek, verilen bir girdiye (prompt) dayanarak mantıksal ve bağlamsal olarak tutarlı çıktılar üretebilirler. Örneğin, bir LLM’ye “Gelecekteki ulaşım nasıl olacak?” diye sorduğunuzda, geçmiş verilerinden öğrendiği bilgilere dayanarak otonom araçlar, hiperloop sistemleri veya uzay yolculuğu gibi olası senaryolar hakkında bir metin üretebilir. LLM’lerin yetenekleri sadece metin üretmekle sınırlı değildir; aynı zamanda metin özetleme, dil çevirisi, soru yanıtlama, kod tamamlama ve hatta yaratıcı yazım gibi birçok karmaşık görevi yerine getirebilirler. Bu modellerin arkasındaki teknoloji genellikle derin öğrenme (deep learning) ve özellikle Transformer mimarisi üzerine kuruludur. Üretim ortamı (production environment) ise, bir yazılımın veya sistemin son kullanıcılar tarafından erişilebilir olduğu, canlı ve operasyonel halidir. Yani, bir web sitesinin canlıya alınması, bir mobil uygulamanın App Store’da yayınlanması veya bir yapay zeka modelinin gerçek dünya problemlerini çözmek için kullanılmaya başlanması, üretim ortamında gerçekleşir. LLM’ler için üretim ortamı kurmak, modelin sadece geliştirme aşamasında değil, aynı zamanda gerçek zamanlı olarak kullanıcı isteklerine yanıt verebileceği, güvenilir ve ölçeklenebilir bir altyapı oluşturmak anlamına gelir. Bu, modelin sürekli çalışır durumda olmasını, hızlı yanıt vermesini ve olası hatalara karşı dayanıklı olmasını gerektirir. Ayrıca, üretim ortamında modelin güvenliği, veri gizliliği ve performans optimizasyonu gibi konular da büyük önem taşır. Örneğin, bir müşteri hizmetleri chatbot’u olarak kullanılan bir LLM’nin, kullanıcıların gizli bilgilerini koruyarak hızlı ve doğru yanıtlar vermesi beklenir. Ollama’nın devreye girdiği yer tam olarak burasıdır. Geleneksel LLM dağıtım yöntemleri, karmaşık sunucu yapılandırmaları, özel kütüphane yönetimi ve donanım optimizasyonu gerektirebilir. Ollama ise bu süreci basitleştirerek, LLM’leri bir uygulama gibi kolayca indirip çalıştırmanıza olanak tanır. Bu sayede, geliştiriciler ve işletmeler, karmaşık altyapı yönetimiyle uğraşmak yerine, LLM’lerin sunduğu yeteneklere odaklanabilirler. Bu makalenin ilerleyen bölümlerinde, Ollama’yı kullanarak bu üretim ortamını nasıl kurabileceğinizi adım adım göreceğiz.

Ollama Kurulumu ve İlk Modelleri İndirme

Üretim ortamınıza Ollama’yı kurmak, düşündüğünüzden çok daha kolay. Öncelikle, Ollama’nın resmi web sitesine giderek işletim sisteminize uygun sürümü indirmeniz gerekiyor. Ollama, Windows, macOS ve Linux için kullanılabilir sürümlere sahiptir. Kurulum sihirbazını takip ederek birkaç adımda kurulumu tamamlayabilirsiniz. Kurulum tamamlandıktan sonra, komut satırını (Terminal, Command Prompt veya PowerShell) açarak Ollama ile etkileşime geçmeye hazır olacaksınız. İlk adım, çalıştırmak istediğiniz bir LLM’yi indirmektir. Ollama’nın desteklediği modellerin bir listesi mevcuttur ve bu listeye Ollama’nın web sitesinden veya komut satırından erişebilirsiniz. Popüler modellerden biri olan Llama 2’yi indirmek için şu komutu kullanabilirsiniz:

ollama pull llama2

Bu komut, Llama 2 modelini Ollama’nın sunucularından indirip yerel makinenize kuracaktır. Modelin boyutuna bağlı olarak bu işlem biraz zaman alabilir. İndirme tamamlandıktan sonra, aynı modelle sohbet etmeye başlayabilirsiniz. Bunun için aşağıdaki komutu kullanın:

ollama run llama2

Bu komut, Llama 2 modelini çalıştıracak ve size bir komut istemi (prompt) sunacaktır. Artık modelle doğal dilde sohbet edebilir, sorular sorabilir veya metin üretebilirsiniz. Örneğin, “Merhaba, bana kısa bir hikaye yazar mısın?” gibi bir istekte bulunabilirsiniz. Ollama, farklı modelleri aynı anda indirip yönetmenize olanak tanır. Örneğin, Mistral modelini indirmek isterseniz:

ollama pull mistral

Ve ardından Mistral ile sohbet etmek için:

ollama run mistral

Bu esneklik, farklı görevler için en uygun modeli seçmenize ve karşılaştırmanıza olanak tanır. Üretim ortamınızda hangi modelin en iyi performansı gösterdiğini test etmek için bu yöntem oldukça kullanışlıdır. Ollama’nın bir diğer önemli özelliği de modelleri listeleyebilmenizdir. Yerel olarak kurulu olan modelleri görmek için:

ollama list

komutunu kullanabilirsiniz. Bu, hangi modellerin mevcut olduğunu ve ne kadar yer kapladıklarını görmenizi sağlar. Ollama’nın temel kurulumu bu kadar basittir. Şimdi, bu modelleri nasıl daha gelişmiş senaryolarda kullanabileceğimize odaklanabiliriz.

Ollama API’si ile Uygulama Entegrasyonu

Ollama’yı sadece bir sohbet aracı olarak kullanmakla kalmayıp, kendi uygulamalarınızla entegre etmek de mümkündür. Ollama, yerel olarak çalışan bir API sunar. Bu API sayesinde, geliştirdiğiniz herhangi bir uygulama (web uygulaması, mobil uygulama, masaüstü yazılımı vb.) Ollama’nın sunduğu LLM’lerle iletişim kurabilir. Bu entegrasyon, LLM’lerin gücünü doğrudan kendi ürün ve hizmetlerinize dahil etmenizi sağlar. Örneğin, bir blog yazısı oluşturma aracınız varsa, bu aracı Ollama API’si aracılığıyla bir LLM’ye bağlayarak otomatik içerik üretimi yapabilirsiniz. API’ye erişmek için genellikle HTTP istekleri kullanılır. Ollama, varsayılan olarak http://localhost:11434 adresinde çalışır. Bir LLM ile etkileşim kurmak için v1/chat/completions endpoint’ini kullanabilirsiniz. İşte Python ile basit bir örnek:

import requests
import json

def generate_text_with_ollama(prompt, model="llama2"):
    url = "http://localhost:11434/v1/chat/completions"
    headers = {"Content-Type": "application/json"}
    data = {
        "model": model,
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": prompt}
        ],
        "stream": False
    }
    response = requests.post(url, headers=headers, data=json.dumps(data))
    if response.status_code == 200:
        return response.json()['choices'][0]['message']['content']
    else:
        return f"Error: {response.status_code} - {response.text}"

# Örnek kullanım
prompt = "Bana Türkiye'nin en güzel plajlarından bahseden kısa bir metin yaz."
generated_text = generate_text_with_ollama(prompt)
print(generated_text)

Bu kod parçacığı, Ollama API’sine bir POST isteği göndererek Llama 2 modelinden bir yanıt alır. prompt değişkenine yazdığınız metin, LLM’ye girdi olarak verilir ve modelin ürettiği metin generated_text değişkenine kaydedilir. Bu entegrasyon, LLM’leri sadece deneme yanılma yoluyla değil, aynı zamanda otomatikleştirilmiş iş akışlarının bir parçası olarak kullanmanızı sağlar. Örneğin, bir e-ticaret sitesinde ürün açıklamaları oluşturmak, bir e-posta pazarlama kampanyası için metinler hazırlamak veya bir geliştirme ortamında kod önerileri sunmak gibi birçok senaryoda bu API’yi kullanabilirsiniz. Ollama’nın API’si, basit ve anlaşılır bir yapıya sahiptir, bu da onu farklı programlama dilleriyle kolayca entegre edilebilir kılar. Node.js, Go, Java gibi dillerde de benzer istekleri göndererek LLM’lerle etkileşim kurabilirsiniz. Üretim ortamında, bu API çağrılarını bir web sunucusu veya arka uç hizmeti aracılığıyla yönetmek en yaygın yaklaşımdır. Bu sayede, uygulamanızın kullanıcı arayüzü LLM’nin karmaşıklığıyla doğrudan muhatap olmaz, sadece API aracılığıyla sonuçları alır.

Üretim Ortamı İçin Optimizasyon ve Ölçeklendirme

Ollama ile LLM’leri yerel olarak çalıştırmak harika bir başlangıç olsa da, üretim ortamında performans, güvenilirlik ve ölçeklenebilirlik kritik öneme sahiptir. Bu bölümde, Ollama tabanlı bir üretim ortamını nasıl optimize edebileceğinizi ve ölçeklendirebileceğinizi ele alacağız. İlk olarak, donanım seçimi önemlidir. LLM’ler, özellikle büyük modeller, önemli miktarda RAM ve işlem gücü gerektirir. Üretim ortamınız için yeterli bellek (RAM) ve güçlü bir CPU’ya sahip sunucular seçmek, modelin daha hızlı ve daha verimli çalışmasını sağlayacaktır. GPU kullanımı, LLM’lerin çıkarım (inference) hızını önemli ölçüde artırabilir. Eğer bütçeniz ve altyapınız elveriyorsa, GPU hızlandırmalı bir sunucu kurmak, yanıt sürelerini milisaniyelere indirebilir. Ollama, uyumlu GPU’larla otomatik olarak entegre olabilir. Modelleri optimize etmek de önemlidir. Ollama, farklı boyutlarda ve niceliklerde (quantization) modeller sunabilir. Niceliklendirme, modelin boyutunu küçülterek daha az bellek ve işlem gücüyle çalışmasını sağlar, ancak bazen doğruluktan küçük ödünler verebilir. Üretim ortamınız için en iyi dengeyi bulmak adına farklı niceliklendirme seviyelerindeki modelleri test edebilirsiniz. Örneğin, 4-bit niceliklendirilmiş bir model, 8-bit veya tam hassasiyetli bir modele göre daha hızlı çalışabilir. Ollama’nın model indirme komutunda belirli niceliklendirme seviyelerini belirtebilirsiniz. Ayrıca, birden fazla LLM örneğini aynı anda çalıştırmak için Ollama’yı bir servis olarak yapılandırabilirsiniz. Linux sistemlerinde, systemd gibi servis yöneticileri kullanarak Ollama’nın otomatik olarak başlamasını ve sürekli çalışır durumda kalmasını sağlayabilirsiniz. Bu, sunucu yeniden başlatıldığında veya Ollama çöktüğünde otomatik olarak yeniden başlatılmasını garanti eder. Ölçeklenebilirlik söz konusu olduğunda, birden fazla sunucu üzerinde Ollama örnekleri çalıştırmak ve bir yük dengeleyici (load balancer) kullanarak gelen istekleri bu örneklere dağıtmak yaygın bir stratejidir. Bu, artan trafik taleplerini karşılamanıza ve tek bir sunucunun aşırı yüklenmesini önlemenize yardımcı olur. Docker ve Kubernetes gibi konteynerleştirme ve orkestrasyon araçları, Ollama’yı ölçeklenebilir bir şekilde dağıtmak için güçlü çözümler sunar. Docker imajları oluşturarak Ollama’yı paketleyebilir ve Kubernetes ile bu konteynerleri yöneterek otomatik ölçeklendirme, hata toleransı ve kolay dağıtım sağlayabilirsiniz. Son olarak, izleme (monitoring) ve günlükleme (logging) sistemleri kurmak, üretim ortamınızın sağlığını ve performansını takip etmek için hayati önem taşır. Ollama’nın ürettiği günlükleri toplayarak olası hataları tespit edebilir, performans metriklerini izleyerek darboğazları belirleyebilir ve sistemin genel sağlığını sürekli olarak kontrol edebilirsiniz. Prometheus ve Grafana gibi araçlar, bu izleme ve görselleştirme ihtiyaçları için popüler seçeneklerdir.

Vaka Analizi: Yerel Bir E-Ticaret Platformunda LLM Entegrasyonu

Küçük ve orta ölçekli bir e-ticaret şirketi olan “Anadolu Hediyelikleri”, müşterilerine daha kişiselleştirilmiş bir alışveriş deneyimi sunmak istiyor. Mevcut sistemleri, ürün önerileri konusunda oldukça sınırlı. Şirket, LLM teknolojisini kullanarak bu sorunu çözmeye karar veriyor ancak bulut tabanlı LLM hizmetlerinin maliyetinin ve veri gizliliği endişelerinin farkında. Bu noktada Ollama devreye giriyor. Anadolu Hediyelikleri, kendi sunucularında Ollama’yı kurmaya karar veriyor. Öncelikle, yeterli RAM ve CPU’ya sahip bir sunucu temin ediyorlar. Ardından, Ollama’yı sunucuya kuruyorlar ve popüler modellerden Mistral ve Llama 2’yi indiriyorlar. Şirketin web sitesi, mevcut PHP tabanlı altyapıya sahip. Geliştirme ekibi, Ollama’nın API’sini kullanarak bir PHP istemcisi oluşturuyor. Bu istemci, kullanıcıların gezdikleri ürünlere, sepetlerine ve geçmiş siparişlerine dayanarak LLM’ye bir prompt gönderiyor. Örneğin, bir kullanıcı sık sık el yapımı seramik ürünlerine bakıyorsa, LLM’ye “Bu kullanıcıya benzer el yapımı seramik ürünleri öner.” gibi bir prompt gönderiliyor. LLM, bu prompt’a dayanarak daha alakalı ürün önerileri üretiyor. Bu öneriler daha sonra web sitesinde kullanıcılara gösteriliyor. Ayrıca, ürün açıklamalarını zenginleştirmek için de LLM kullanılıyor. Mevcut ürün açıklamaları kısa ve öz. LLM, ürünlerin özelliklerini ve hammaddelerini alarak daha çekici ve detaylı açıklamalar oluşturuyor. Bu sayede, ürünlerin satış potansiyeli artıyor. Vaka analizi sonuçları oldukça olumlu. Müşteri memnuniyeti artıyor çünkü kendilerine daha uygun ürünler öneriliyor. Ürün açıklamalarının kalitesinin artmasıyla satışlar da yükseliyor. En önemlisi, tüm bu işlemler şirketin kendi altyapısında gerçekleştiği için veri gizliliği endişeleri ortadan kalkıyor ve bulut tabanlı hizmetlere ödenen yüksek ücretlerden kaçınılmış oluyor. Ollama, Anadolu Hediyelikleri gibi küçük ve orta ölçekli işletmelerin bile LLM teknolojisinden faydalanmasını sağlayarak rekabet avantajı elde etmelerine yardımcı oluyor.

İleri Düzey Kullanım: Özel Modeller ve İnce Ayarlar

Ollama’nın sunduğu temel modeller harika olsa da, belirli görevler için daha da özelleştirilmiş LLM’lere ihtiyaç duyabilirsiniz. Bu noktada, kendi modellerinizi ince ayar (fine-tuning) yaparak veya mevcut modelleri özel veri kümelerinizle besleyerek Ollama üretim ortamınızı daha da güçlendirebilirsiniz. İnce ayar, önceden eğitilmiş bir LLM’yi alıp, belirli bir görev veya alan için daha küçük, özel bir veri kümesi üzerinde yeniden eğitme işlemidir. Örneğin, hukuki metinler konusunda uzmanlaşmış bir LLM’ye ihtiyacınız varsa, hukuk alanına ait metinlerden oluşan bir veri kümesi üzerinde mevcut bir modeli ince ayarlayabilirsiniz. Bu, modelin hukuki terminolojiyi, yasal belgelerin yapısını ve hukuki argümanları daha iyi anlamasını sağlar. Ollama, doğrudan ince ayar yapma yeteneği sunmasa da, ince ayarlanmış modelleri Docker imajları aracılığıyla Ollama’ya entegre etmenize olanak tanır. Bu, modelinizi başka bir platformda ince ayarlayıp, ardından Ollama’nın API’si aracılığıyla erişilebilir hale getirebileceğiniz anlamına gelir. Özel veri kümeleriyle ince ayar yapmanın yanı sıra, Ollama’nın Prompt Engineering (Prompt Mühendisliği) yeteneklerini de ileri düzeyde kullanabilirsiniz. Prompt mühendisliği, LLM’den istediğiniz çıktıyı almak için girdiyi (prompt) dikkatlice tasarlama sanatıdır. Karmaşık görevler için özel prompt şablonları oluşturmak, LLM’nin performansını önemli ölçüde artırabilir. Örneğin, bir kod üretme görevi için, istenen programlama dilini, fonksiyonun amacını, girdi ve çıktı parametrelerini açıkça belirten detaylı bir prompt hazırlayabilirsiniz. Ollama’nın modelfile özelliği, modelleri daha da özelleştirmenize olanak tanır. modelfile, bir modelin yapılandırmasını ve davranışını tanımlayan bir metin dosyasıdır. Bu dosyada, modelin sistem mesajlarını, parametrelerini (örneğin, sıcaklık, top-p örneklemesi) ve hatta özel görevler için ek talimatları belirtebilirsiniz. Bu, daha kontrollü ve öngörülebilir LLM çıktıları elde etmenizi sağlar. Örneğin, bir modelfile kullanarak, modelin her zaman belirli bir formatta yanıt vermesini veya belirli bir üslup kullanmasını sağlayabilirsiniz. Ayrıca, Ollama’nın vektör veritabanları ile entegrasyonu da ileri düzey kullanım senaryoları için kapı aralar. Vektör veritabanları, metinleri sayısal vektörlere dönüştürerek, anlamsal olarak benzer metinleri hızlı bir şekilde aramanıza olanak tanır. Bu, LLM’leri bilgi alma (retrieval-augmented generation – RAG) sistemlerinde kullanmak için idealdir. Kendi belgelerinizi veya veritabanlarınızı vektörlere dönüştürüp bir vektör veritabanına yükleyebilir ve ardından LLM’ye bir soru sorduğunuzda, LLM önce vektör veritabanından ilgili bilgileri alıp, bu bilgileri kullanarak daha doğru ve bağlamsal yanıtlar üretebilir. Bu, LLM’lerin güncel ve özel bilgilerle beslenmesini sağlayarak, onların genel bilgi setlerinin ötesine geçmesine olanak tanır.

Sıkça Sorulan Sorular (SSS)

• Ollama’yı kullanmak için güçlü bir bilgisayara mı ihtiyacım var?
  Ollama, LLM’leri yerel olarak çalıştırmanızı sağlar. Modelin boyutuna ve karmaşıklığına bağlı olarak orta düzey bir bilgisayar yeterli olabilir. Ancak, daha büyük ve karmaşık modeller için daha fazla RAM ve işlem gücü gereklidir. GPU kullanımı performansı önemli ölçüde artırır.
• Ollama ile hangi LLM modellerini kullanabilirim?
  Ollama, Llama 2, Mistral, Gemma, Code Llama gibi popüler açık kaynaklı LLM’leri destekler. Ollama’nın resmi web sitesinde güncel model listesini bulabilirsiniz.
• Ollama’yı üretim ortamında kullanmak güvenli midir?
  Evet, Ollama, LLM’leri kendi altyapınızda çalıştırmanıza olanak tanıdığı için veri gizliliği açısından güvenlidir. Hassas verileriniz bulut hizmetlerine gönderilmez. Ancak, sunucunuzun güvenliğini sağlamak sizin sorumluluğunuzdadır.
• Ollama’nın API’si hangi programlama dilleriyle uyumludur?
  Ollama’nın API’si standart HTTP istekleri kullandığı için Python, JavaScript (Node.js), Go, Java ve diğer birçok programlama diliyle uyumludur.
• Kendi ince ayarlanmış (fine-tuned) modellerimi Ollama ile kullanabilir miyim?
  Doğrudan Ollama içinde ince ayar yapamazsınız, ancak modellerinizi başka bir platformda ince ayarlayıp, ardından Docker imajları aracılığıyla Ollama’ya entegre edebilir ve API’si üzerinden erişebilirsiniz.

#Ollama #LLM #YapayZeka #MakineÖğrenmesi #ÜretimOrtamı #Teknoloji