Video Kayıtlarına Yapay Zeka Destekli Özetler ve Bölümler Nasıl Ekledik?

Video Kayıtlarına Yapay Zeka Destekli Özetler ve Bölümler Nasıl Ekledik?

Günümüz dijital dünyasında video içerik tüketimi hızla artarken, uzun süreli video kayıtlarının yönetimi ve içerisindeki kritik bilgilere erişim giderek zorlaşmaktadır. Bu makalede, bu zorluğun üstesinden gelmek için yapay zeka teknolojilerini kullanarak video kayıtlarına otomatik özetler ve bölümler ekleme sürecimizi detaylı bir şekilde anlatacağız. Amacımız, kullanıcıların uzun videoları izlemeden anahtar bilgilere hızla ulaşmasını sağlamak ve içerik keşfini kolaylaştırmaktır.

Projenin Temelleri ve Hedefleri
Herhangi bir teknik projenin başlangıcında, temel hedefleri ve karşılanması gereken ihtiyaçları net bir şekilde tanımlamak kritik öneme sahiptir. Bu projenin arkasındaki motivasyon, uzun video içeriklerinin (toplantılar, dersler, webinarlar vb.) verimliliğini artırmaktı.

Uzun Videoların Getirdiği Zorluklar
Ortalama bir kullanıcının dikkat süresi kısıtlıdır ve saatler süren bir videoyu baştan sona izlemek çoğu zaman mümkün veya verimli değildir. Kullanıcılar belirli bir konuyu ararken videoyu ileri sarmak zorunda kalır, bu da zaman kaybına ve önemli noktaların kaçırılmasına neden olabilir. Bu durum, eğitim, kurumsal iletişim ve içerik pazarlaması gibi alanlarda ciddi verimlilik sorunları yaratır.

Projenin Ana Hedefleri
Bu zorlukları aşmak için üç temel hedef belirledik:

    
Otomatik Özetleme: Videonun ana temasını ve kilit noktalarını yakalayan kısa, bilgilendirici metin özetleri oluşturmak.
    
Otomatik Bölümleme: Videoyu mantıksal bölümlere ayırmak ve her bölüm için açıklayıcı başlıklar ile zaman damgaları sağlamak.
    
Kullanıcı Deneyimini İyileştirme: Kullanıcıların aradıkları bilgiye daha hızlı ulaşmasını sağlayarak genel video tüketim deneyimini optimize etmek.


Video Kayıtlarının İşlenmesi ve Metne Dönüştürülmesi
Yapay zeka destekli özetleme ve bölümleme yapabilmek için öncelikle videonun içeriğini metin formatına dönüştürmemiz gerekmektedir. Bu aşama, tüm sürecin temelini oluşturur.

Ses Çıkarma ve Ön İşleme
Video dosyaları genellikle hem görsel hem de işitsel verileri içerir. Bizim için önemli olan, konuşmaları analiz etmek olduğundan, videodan sesi ayıklamak ilk adımdır. Bu işlem için FFmpeg gibi açık kaynaklı araçlar veya Python'daki moviepy kütüphanesi kullanılabilir. Çıkarılan ses dosyaları (genellikle MP3 veya WAV formatında) daha sonra konuşmadan metne dönüştürme (Speech-to-Text - STT) servislerine gönderilmek üzere hazırlanır.

from moviepy.editor import VideoFileClip

def extract_audio(video_path, audio_output_path):
    video = VideoFileClip(video_path)
    video.audio.write_audiofile(audio_output_path)
    video.close()
    print(f"Ses '{audio_output_path}' konumuna çıkarıldı.")

# Örnek kullanım:
# extract_audio("input_video.mp4", "output_audio.mp3")

Konuşmadan Metne (Speech-to-Text - STT) Teknolojileri
Ses dosyasını metne dönüştürmek için çeşitli STT servisleri mevcuttur. Bu servisler, derin öğrenme modelleri kullanarak insan konuşmasını yüksek doğrulukla yazılı metne çevirir. Seçim yaparken doğruluk oranı, desteklenen diller, maliyet ve ölçeklenebilirlik gibi faktörleri göz önünde bulundurduk. Başlıca seçenekler şunlardır:

Google Cloud Speech-to-Text: Yüksek doğruluk ve geniş dil desteği sunar.
AWS Transcribe: Ölçeklenebilirlik ve diğer AWS servisleriyle entegrasyon avantajı.
Azure Speech Service: Microsoft ekosistemiyle uyumlu, özelleştirme seçenekleri sunar.
OpenAI Whisper: Açık kaynaklı ve çoğu durumda oldukça yüksek doğruluk sunan güçlü bir model. Yerel olarak veya API üzerinden kullanılabilir.

Projemizde başlangıçta Google Cloud Speech-to-Text API'sini kullandık ve daha sonra OpenAI Whisper'ın API versiyonunu da test ettik. Whisper, özellikle farklı aksan ve ses kalitelerinde bile etkileyici sonuçlar verdi.

# Google Cloud Speech-to-Text örneği (basitleştirilmiş)
from google.cloud import speech

def transcribe_audio(audio_path, language_code="tr-TR"):
    client = speech.SpeechClient()
    with open(audio_path, "rb") as audio_file:
        content = audio_file.read()

    audio = speech.RecognitionAudio(content=content)
    config = speech.RecognitionConfig(
        encoding=speech.RecognitionConfig.AudioEncoding.MP3,
        sample_rate_hertz=44100, # Ses dosyasının örnekleme hızına göre ayarlanmalı
        language_code=language_code,
        enable_automatic_punctuation=True,
        enable_word_time_offsets=True # Kelime zaman damgaları için
    )

    response = client.recognize(config=config, audio=audio)
    full_transcript = ""
    word_timestamps = []
    for result in response.results:
        full_transcript += result.alternatives[0].transcript + " "
        for word_info in result.alternatives[0].words:
            word_timestamps.append({
                "word": word_info.word,
                "start_time": word_info.start_time.total_seconds(),
                "end_time": word_info.end_time.total_seconds()
            })
    return full_transcript, word_timestamps

# Örnek kullanım:
# transcript, timestamps = transcribe_audio("output_audio.mp3")
# print(transcript)

Yapay Zeka Destekli Özetleme Mekanizmaları
Metin transkripti elde edildikten sonra, bu uzun metni anlamlı ve kısa özetlere dönüştürme aşamasına geçebiliriz. Bu süreç, Doğal Dil İşleme (NLP) tekniklerini ve modellerini kullanmayı gerektirir.
Özetleme Türleri: Çıkarımsal ve Soyutlayıcı
Metin özetleme iki ana kategoriye ayrılır:

Çıkarımsal (Extractive) Özetleme: Orijinal metinden en önemli cümleleri veya cümle parçalarını seçerek bir özet oluşturur. Bu yöntem, genellikle daha az karmaşıktır ve orijinal metnin cümlelerini doğrudan kullandığı için gramer ve anlamsal tutarlılık açısından daha güvenlidir.
Soyutlayıcı (Abstractive) Özetleme: Orijinal metni anlar ve bu anlayışa dayanarak tamamen yeni cümleler oluşturur. İnsanların özetleme şekline daha yakındır ancak NLP modellerinin metni derinlemesine anlamasını ve yeni, bağlamlı cümleler üretmesini gerektirdiği için teknik olarak daha zordur. Genellikle daha akıcı ve özgün özetler üretir.

Projemizin ilk aşamalarında çıkarımsal özetleme yöntemlerini tercih ettik. Daha sonra, daha gelişmiş ve akıcı özetler elde etmek için soyutlayıcı yöntemlere geçiş yaptık.
NLP Modelleri ve Kütüphaneleri
Özetleme için Hugging Face Transformers kütüphanesi ve bu kütüphanede bulunan önceden eğitilmiş modeller (örneğin, BART, T5, Pegasus) oldukça faydalıdır. Özellikle Türkçe için özelleştirilmiş veya çok dilli modeller (mBART) tercih edilebilir. Bu modeller, genellikle "encoder-decoder" mimarisine sahip olup, metni anlama ve yeni metin üretme konusunda başarılıdır.

from transformers import pipeline

# Soyutlayıcı özetleme için bir model yükleme (Türkçe destekli)
# Türkçe için özelleştirilmiş bir model veya çok dilli bir model seçilebilir
# Örnek: 't5-base' veya 'google/mt5-small' gibi modeller Türkçe için fine-tuned edilebilir.
# Bu örnekte genel bir model kullanılmıştır. Gerçek uygulamada Türkçe için optimize edilmiş bir model tercih edilmelidir.
summarizer = pipeline("summarization", model="facebook/mbart-large-50-one-to-many-mmt")

def generate_summary(text, max_length=150, min_length=50):
    # Modelin beklediği input formatına göre ayar yapılmalı
    # mbart-large-50-one-to-many-mmt modeli için hedef dil belirtmek gerekebilir
    summary = summarizer(text, max_length=max_length, min_length=min_length, do_sample=False)[0]['summary_text']
    return summary

# Örnek kullanım:
# long_transcript = "..." # Uzun transkript metni
# video_summary = generate_summary(long_transcript)
# print(video_summary)

Anahtar Cümle/Kelime Çıkarımı ve Özetleme Algoritmaları
Çıkarımsal özetleme için TextRank veya Luhn algoritması gibi yöntemler kullanılabilir. Bu algoritmalar, metindeki cümlelerin önemini belirlemek için kelime sıklığı, cümle pozisyonu ve diğer dilbilimsel özelliklerden faydalanır. Soyutlayıcı özetleme ise genellikle daha karmaşık sinir ağı modelleri (Transformer tabanlı) tarafından gerçekleştirilir.
Özetleme sürecinde, transkriptin tamamını tek seferde özetlemek yerine, videoyu mantıksal parçalara ayırıp her parça için ayrı özetler oluşturmak, daha detaylı ve bağlam odaklı özetler elde etmemizi sağlar. Bu, aynı zamanda bölümleme sürecine de katkıda bulunur.
Otomatik Bölümleme ve Zaman Damgaları
Video özetlerinin yanı sıra, videoyu mantıksal bölümlere ayırmak ve bu bölümlere zaman damgaları eklemek, kullanıcıların belirli konulara doğrudan atlamasını sağlar. Bu, içerik keşfi ve navigasyon açısından büyük bir kolaylık sunar.
Konu Tespiti ve Segmentasyon
Bölümleme, transkript metni üzerinde konu değişikliği tespiti yaparak gerçekleştirilir. Bu, genellikle aşağıdaki yöntemlerle yapılır:

Metinsel Benzerlik Analizi: Metni küçük parçalara (örneğin, 30-60 saniyelik konuşma blokları) ayırıp, komşu bloklar arasındaki anlamsal benzerliği ölçmek. Benzerlikteki ani düşüşler, yeni bir konunun başladığına işaret edebilir.
Anahtar Kelime Yoğunluğu: Belirli anahtar kelimelerin veya terimlerin kullanım sıklığındaki değişiklikleri izlemek.
Konu Modelleme (Topic Modeling): LDA (Latent Dirichlet Allocation) veya NMF (Non-negative Matrix Factorization) gibi algoritmalarla metindeki ana konuları belirlemek ve bu konuların zaman içindeki değişimini izlemek.

Biz, metinsel benzerlik analizi ve anahtar kelime yoğunluğunu birleştirerek daha sağlam bir konu tespiti mekanizması geliştirdik. Her segment için bir özet ve potansiyel bir başlık oluşturulur.
Zaman Damgalarının Entegrasyonu
STT servislerinden aldığımız kelime bazlı zaman damgaları, bölümleme için kritik öneme sahiptir. Bir bölümün başlangıcı tespit edildiğinde, o bölümdeki ilk kelimenin zaman damgası, bölümün başlangıç zamanı olarak kaydedilir. Bu sayede, kullanıcılar bir bölüm başlığına tıkladığında videonun tam olarak ilgili kısmına yönlendirilebilir.
Her bölüm için bir başlangıç zamanı, bitiş zamanı (bir sonraki bölümün başlangıcı veya videonun sonu), bir başlık ve kısa bir özet oluşturulur. Bu bilgiler, videonun meta verisi olarak depolanır.

# Basit bir konu değişikliği tespiti (örnek amaçlı)
# Gerçek uygulamada daha sofistike NLP modelleri kullanılır
def detect_chapters(word_timestamps, transcript, segment_length_seconds=120):
    chapters = []
    current_chapter_start_time = 0.0
    current_chapter_text = ""
    chapter_count = 1

    for i, word_info in enumerate(word_timestamps):
        current_chapter_text += word_info["word"] + " "
        
        # Belirli bir segment uzunluğuna ulaşıldığında veya
        # metinsel benzerlik analizi ile konu değişikliği tespit edildiğinde
        if word_info["end_time"] - current_chapter_start_time >= segment_length_seconds or \
           (i > 0 and i % 500 == 0): # Basit bir metin uzunluğu kontrolü
            
            # Bu noktada current_chapter_text için özet ve başlık üretilir
            # Örnek olarak sadece başlık ve başlangıç zamanı ekliyoruz
            chapter_title = f"Bölüm {chapter_count}: Konu Analizi" # Gerçekte AI ile oluşturulur
            chapter_summary = generate_summary(current_chapter_text) # AI ile özetlenir

            chapters.append({
                "title": chapter_title,
                "summary": chapter_summary,
                "start_time": current_chapter_start_time,
                "end_time": word_info["end_time"]
            })
            current_chapter_start_time = word_info["end_time"]
            current_chapter_text = ""
            chapter_count += 1
    
    # Son bölümü ekle
    if current_chapter_text:
        chapter_title = f"Bölüm {chapter_count}: Sonuç"
        chapter_summary = generate_summary(current_chapter_text)
        chapters.append({
            "title": chapter_title,
            "summary": chapter_summary,
            "start_time": current_chapter_start_time,
            "end_time": word_timestamps[-1]["end_time"] if word_timestamps else current_chapter_start_time
        })
    return chapters

# Örnek kullanım:
# video_chapters = detect_chapters(timestamps, transcript)
# for chapter in video_chapters:
#     print(f"Başlık: {chapter['title']}, Başlangıç: {chapter['start_time']:.2f}s, Özet: {chapter['summary']}")

Sistem Mimarisi ve Entegrasyon
Tüm bu süreçleri sorunsuz bir şekilde bir araya getirmek için modüler ve ölçeklenebilir bir sistem mimarisi tasarladık.
Veri Akışı ve Mikroservis Yaklaşımı
Sistem, bir mikroservis mimarisiyle tasarlandı. Her bir ana işlev (video yükleme, ses çıkarma, STT, özetleme, bölümleme) ayrı bir servis olarak çalışır. Bu, her servisin bağımsız olarak ölçeklenmesine ve geliştirilmesine olanak tanır.

Video Yükleme: Kullanıcılar videoları web arayüzü üzerinden yükler. Videolar bir bulut depolama servisine (örn. AWS S3, Google Cloud Storage) kaydedilir.
Kuyruk Sistemi: Yüklenen videoların işlenmesi için bir mesaj kuyruğu (örn. RabbitMQ, AWS SQS) kullanılır. Bu, yoğunluk anlarında sistemin tıkanmasını önler.
Ses Çıkarma Servisi: Kuyruktan video bilgilerini alır, videodan sesi çıkarır ve ses dosyasını depolamaya kaydeder.
STT Servisi: Ses dosyasını alır, seçilen STT API'sine gönderir ve transkript ile kelime zaman damgalarını bir veritabanına kaydeder.
NLP İşleme Servisi: Transkripti veritabanından çeker, özetleme ve bölümleme algoritmalarını çalıştırır. Oluşturulan özetleri, bölüm başlıklarını ve zaman damgalarını veritabanına kaydeder.
API Gateway ve Kullanıcı Arayüzü: Kullanıcı arayüzü (React/Vue.js) bir API Gateway (örn. FastAPI, Flask) aracılığıyla arka uç servisleriyle iletişim kurar. Kullanıcılar özetleri ve bölümleri bu arayüz üzerinden görüntüler.

Kullanılan Teknolojiler

Programlama Dili: Python (veri işleme, NLP, API geliştirme için).
Web Çerçevesi: FastAPI (yüksek performanslı API'ler için) veya Flask (daha basit API'ler için).
Bulut Platformu: AWS (S3, SQS, EC2/Lambda) veya Google Cloud (Cloud Storage, Pub/Sub, Compute Engine/Cloud Functions).
Veritabanı: PostgreSQL (yapılandırılmış veriler için), MongoDB (esnek şema gerektiren durumlar için).
NLP Kütüphaneleri: Hugging Face Transformers, spaCy, NLTK.

Karşılaşılan Zorluklar ve Çözümler
Bu tür karmaşık bir yapay zeka projesinde birçok zorlukla karşılaştık. Her bir zorluğa yönelik geliştirdiğimiz çözümler, projenin başarısı için kritikti.
STT Doğruluğu ve Ses Kalitesi
Zorluk: Arka plan gürültüsü, farklı aksanlar, birden fazla konuşmacı ve düşük ses kalitesi, STT servislerinin doğruluğunu önemli ölçüde etkileyebilir.
Çözüm:

Birden fazla STT servisini test ettik ve projemiz için en uygun olanı (örn. OpenAI Whisper) seçtik.
Ses ön işleme adımları ekledik: gürültü azaltma, ses normalizasyonu.
Konuşmacı diarizasyonu (konuşmacı ayrımı) uygulayarak, her konuşmacının söylediği metni ayrı ayrı etiketledik, bu da özetleme ve bölümleme için bağlamı zenginleştirdi.

Özetleme Kalitesi ve Bağlam Tutarlılığı
Zorluk: Özellikle uzun transkriptlerde, özetlerin ana bağlamı kaybetmesi veya anlamsız cümleler içermesi riski vardı. Soyutlayıcı modeller bazen "halüsinasyon" (gerçekte olmayan bilgiyi üretme) eğilimi gösterebilir.
Çözüm:

Özetleme modellerini Türkçe veri setleri üzerinde fine-tuning (ince ayar) yaparak performanslarını artırdık.
Çıkarımsal ve soyutlayıcı yöntemleri birleştiren hibrit yaklaşımlar denedik.
Kullanıcı geri bildirimlerini toplayarak özetleme algoritmalarını sürekli iyileştirdik. Özetlerin uzunluğunu ve yoğunluğunu ayarlanabilir hale getirdik.

Performans ve Ölçeklenebilirlik
Zorluk: Uzun videoların işlenmesi zaman alıcı ve kaynak yoğun bir süreçtir. Artan kullanıcı talebiyle birlikte sistemin ölçeklenebilirliğini sağlamak önemliydi.
Çözüm:

Mikroservis mimarisi ve mesaj kuyrukları kullanarak iş yükünü dağıttık.
Bulut servislerinin otomatik ölçeklendirme özelliklerinden faydalandık (örn. AWS Auto Scaling Groups, Kubernetes).
GPU hızlandırmalı sanal makineler kullanarak NLP modellerinin çıkarım sürelerini optimize ettik.
Önbellekleme mekanizmaları uygulayarak sık erişilen özet ve bölüm verilerini daha hızlı sunduk.

Sonuç
Video kayıtlarına yapay zeka destekli özetler ve bölümler ekleme projesi, hem teknik olarak zorlayıcı hem de kullanıcılar için oldukça değerli bir çözüm sundu. Bu entegrasyon sayesinde, uzun video içeriklerinin tüketimi daha verimli, bilgilendirici ve keyifli hale geldi. Kullanıcılar artık saatler süren videoları izlemek yerine, birkaç dakika içinde anahtar bilgilere ulaşabiliyor veya ilgilendikleri bölüme doğrudan atlayabiliyorlar.
Gelecekte, duygusal analiz, konuşmacı tanıma ve çok dilli özetleme gibi daha gelişmiş özellikler ekleyerek sistemi daha da zenginleştirmeyi hedefliyoruz. Yapay zeka teknolojilerinin video içerik yönetimi alanındaki potansiyeli sınırsızdır ve bu proje, bu potansiyelin sadece küçük bir başlangıcıdır.
SSS (Sık Sorulan Sorular)
H3.1. Yapay zeka özetleri ne kadar doğru oluyor?
Özetlerin doğruluğu, kullanılan STT servisinin kalitesine, NLP modelinin karmaşıklığına ve videonun içeriğine bağlıdır. Gelişmiş modeller ve fine-tuning ile %85-95 arasında bir doğruluk oranına ulaşmak mümkündür. Ancak, özellikle çok teknik veya niş konularda her zaman %100 mükemmellik garanti edilemez.
H3.2. Bölümler otomatik olarak nasıl belirleniyor?
Bölümler, videonun transkript metni üzerinde yapılan anlamsal analizlerle belirlenir. Metindeki konu değişiklikleri, anahtar kelime yoğunlukları ve cümleler arası benzerlikler gibi faktörler değerlendirilerek mantıksal segmentler oluşturulur. Her segmentin başlangıcı, STT servisinden alınan kelime zaman damgaları ile eşleştirilir.
H3.3. Hangi dilleri destekliyorsunuz?
Kullandığımız STT ve NLP modelleri (özellikle OpenAI Whisper ve mBART gibi çok dilli modeller), Türkçe dahil olmak üzere birçok farklı dili desteklemektedir. Projemizin ana odağı Türkçe olsa da, kolayca farklı dillere uyarlanabilir bir yapıya sahibiz.
H3.4. Bu sistemin kurulum maliyeti yüksek mi?
Maliyet, kullanılan bulut servislerine (STT API ücretleri, işlem gücü, depolama), seçilen NLP modellerine ve işlenecek video hacmine göre değişir. Küçük ölçekli projeler için uygun maliyetli çözümler bulunurken, büyük ölçekli ve yüksek hacimli kullanımlar için maliyetler artabilir. Ancak, sağladığı verimlilik ve zaman tasarrufu göz önüne alındığında, yatırımın geri dönüşü genellikle oldukça yüksektir.
H3.5. Kullanıcılar özetleri veya bölümleri düzenleyebilir mi?
Evet, kullanıcı arayüzümüz üzerinden oluşturulan özet ve bölüm başlıklarını manuel olarak düzenleme veya yeni bölümler ekleme imkanı sunuyoruz. Yapay zeka tarafından üretilen içerikler bir başlangıç noktası olarak kabul edilir ve kullanıcıların son dokunuşlarını yapmalarına olanak tanır.