PostgreSQL ve pgvector ile OpenAI Gömülü Verileri Depolama ve Sorgulama
OpenAI’nin sunduğu güçlü dil modelleri, metinleri anlamlı sayısal temsiller olan “gömülü vektörlere” dönüştürmemizi sağlar. Bu vektörler, metinlerin anlamını yakalayan çok boyutlu noktalar gibidir. Ancak, bu vektörleri etkili bir şekilde depolamak ve aralarındaki benzerlikleri bulmak için uygun bir veritabanı çözümüne ihtiyaç duyarız. İşte tam bu noktada PostgreSQL ve onun güçlü uzantısı pgvector devreye giriyor.
Bu makalede, OpenAI gömülü vektörlerini PostgreSQL’de pgvector kullanarak nasıl depolayacağınızı ve daha sonra bu verileri benzerlik arama işlemleriyle nasıl sorgulayacağınızı adım adım açıklayacağım. Öncelikle, pgvector’ı kurup yapılandırmakla başlayalım.
pgvector Kurulumu ve Yapılandırması
Öncelikle, PostgreSQL sunucunuza pgvector uzantısını kurmalısınız. Bunun için, PostgreSQL’in komut satırını kullanarak aşağıdaki komutu çalıştırın:
CREATE EXTENSION pgvector;
Uzantıyı kurduktan sonra, vektör verilerini depolayacak bir tablo oluşturabilirsiniz. Örneğin, metin ve ona karşılık gelen vektörü saklamak için aşağıdaki gibi bir tablo oluşturabiliriz:
CREATE TABLE documents (
id SERIAL PRIMARY KEY,
text TEXT,
embedding VECTOR(1536)
);
Bu örnekte, embedding sütunu 1536 boyutlu bir vektörü temsil eder. OpenAI’nin bazı modellerinden gelen gömülü vektörlerin boyutu 1536 olabilir. Modelinize göre bu sayıyı değiştirmeniz gerekebilir. Şimdi, OpenAI’den aldığınız gömülü vektörleri bu tabloya ekleyebilirsiniz.
OpenAI Gömülü Vektörlerinin Depolama ve Sorgulama İşlemleri
OpenAI API’sini kullanarak metinlerin gömülü vektörlerini oluşturduktan sonra, bu vektörleri PostgreSQL tablosuna ekleyebilirsiniz. Aşağıdaki örnekte, Python ve psycopg2 kütüphanesini kullanarak bu işlemi gösteriyorum:
import openai
import psycopg2
# OpenAI API anahtarınızı buraya ekleyin
openai.api_key = "YOUR_OPENAI_API_KEY"
# PostgreSQL bağlantı bilgilerinizi buraya ekleyin
conn = psycopg2.connect("dbname=your_dbname user=your_user password=your_password")
cur = conn.cursor()
def embed_text(text):
response = openai.Embedding.create(input=text, model="text-embedding-ada-002")
embedding = response['data'][0]['embedding']
return embedding
# Örnek metin
text = "Bu bir örnek metindir."
embedding = embed_text(text)
# Veriyi veritabanına ekleme
cur.execute("INSERT INTO documents (text, embedding) VALUES (%s, %s)", (text, embedding))
conn.commit()
cur.close()
conn.close()
Verileri ekledikten sonra, pgvector’ın sağladığı operatörü ile benzerlik araması yapabilirsiniz. Örneğin, veritabanında en benzer metni bulmak için aşağıdaki sorguyu kullanabilirsiniz:
SELECT text FROM documents ORDER BY embedding '[0.1, 0.2, ...]' LIMIT 1;
Burada, '[0.1, 0.2, ...]' yerine yeni bir gömülü vektör girmeniz gerekiyor. Bu sorgu, veritabanındaki diğer vektörlere göre en yakın olan vektörü bulur ve ona karşılık gelen metni döndürür.
Sonuç
PostgreSQL ve pgvector, OpenAI gömülü vektörlerini depolamak ve sorgulamak için güçlü ve ölçeklenebilir bir çözüm sunar. Bu makalede, temel kurulum adımlarından, veri ekleme ve benzerlik araması işlemlerine kadar tüm süreci ele aldık. Bu yöntem, büyük miktarda metin verisiyle çalışırken benzerlik arama işlemlerini optimize etmenize yardımcı olur ve yapay zeka uygulamalarınızın performansını artırır. Daha detaylı bilgi ve örnekler için fatihsoysal.com adresini ziyaret edebilirsiniz. Ayrıca, bu makaleye kaynak olan İngilizce makaleye de bakabilirsiniz.
#Etiketler: OpenAI, Gömülü Vektörler, Embeddings, PostgreSQL, pgvector, Vektör Veritabanı, Benzerlik Araması, Yapay Zeka, Makine Öğrenmesi
