Node.js ile Yapay Zeka Görsel Aktarımı: Presigned Parçalar, Çoklu Durum ve İptal Yönetimi

Node.js ile Yapay Zeka Görsel Aktarımı: Presigned Parçalar, Çoklu Durum ve İptal Yönetimi

Günümüzün hızla gelişen yapay zeka (YZ) dünyasında, üretilen görsellerin boyutları ve karmaşıklığı sürekli artmaktadır. Özellikle yüksek çözünürlüklü veya animasyonlu YZ görselleri, geleneksel dosya aktarım yöntemleriyle yönetildiğinde ciddi performans ve güvenilirlik sorunlarına yol açabilir. Bu makalede, Node.js kullanarak bu büyük YZ görsellerini bulut depolama alanlarına (örneğin AWS S3) güvenli, verimli ve kesintisiz bir şekilde nasıl aktaracağımızı, “presigned parçalar” (presigned parts), “çoklu durum” (multipart state) ve “iptal yönetimi” (abort management) gibi kritik kavramlar üzerinden detaylı bir şekilde inceleyeceğiz. Bu yöntemler, hem sunucu yükünü azaltır hem de kullanıcı deneyimini önemli ölçüde iyileştirir.

Yüksek Çözünürlüklü YZ Görselleri: Sorun Nerede Başlıyor?

Yapay zeka modelleri (DALL-E, Midjourney, Stable Diffusion gibi) artık sadece sanatsal değil, aynı zamanda endüstriyel kalitede görseller üretebiliyor. Bu görsellerin çözünürlükleri 4K, 8K hatta daha yüksek seviyelere ulaşabiliyor, bu da dosya boyutlarının onlarca megabayt hatta gigabayt seviyelerine çıkmasına neden olabiliyor. Bu tür büyük dosyaların, bir Node.js sunucusu üzerinden doğrudan istemciye gönderilmesi veya bulut depolama alanına yüklenmesi, çeşitli zorlukları beraberinde getirir. Örneğin, sunucunun belleği aşırı yüklenebilir, ağ bağlantısı kesildiğinde tüm yüklemenin baştan başlaması gerekebilir veya yükleme süresi kullanıcı için kabul edilemez derecede uzun olabilir. Bu durumlar, özellikle web tabanlı uygulamalarda kullanıcı deneyimini olumsuz etkiler ve sunucu kaynaklarının verimsiz kullanılmasına yol açar. Geleneksel yaklaşımlar, genellikle dosyayı tek bir bütün olarak ele alır ve bu da büyük dosyalar için bir “tek hata, tüm sistem durur” senaryosu yaratır. Ayrıca, sunucu üzerinden geçen her veri parçası, sunucunun işlem gücünü ve bant genişliğini tüketir, bu da ölçeklenebilirlik sorunlarına neden olabilir. İşte tam da bu noktada, Node.js’in olay tabanlı, non-blocking (engellemeyen) yapısı ve bulut servislerinin sunduğu gelişmiş özellikler devreye girer. Bu makalede ele alacağımız yöntemler, bu zorlukların üstesinden gelmek için modern ve etkili bir çözüm sunmaktadır. Büyük dosyaların aktarımı sırasında ortaya çıkan bu sorunlar, sadece teknik bir engel olmaktan öte, aynı zamanda kullanıcı memnuniyetini, uygulamanın performansını ve işletme maliyetlerini doğrudan etkileyen faktörlerdir. Bu nedenle, bu tür senaryolar için sağlam ve optimize edilmiş bir dosya aktarım stratejisi geliştirmek hayati önem taşımaktadır. Bu, özellikle medya, tasarım, oyun geliştirme gibi yüksek çözünürlüklü içeriklerin yoğun olduğu sektörlerde kritik bir ihtiyaçtır. Bu bağlamda, sunucu tarafında Node.js’in esnekliği ve bulut depolama servislerinin gücü bir araya geldiğinde, ortaya çıkan sinerji, büyük dosya aktarımını hem daha hızlı hem de daha güvenilir hale getirir. Bu, aynı zamanda geliştiricilerin, dosya aktarımının karmaşıklığı yerine uygulamanın temel işlevselliğine odaklanmasına olanak tanır. Kısacası, YZ görsellerinin büyüyen boyutları, yeni nesil dosya aktarım çözümlerini kaçınılmaz kılmaktadır.

Neden Presigned URL’ler ve Multipart Yüklemeler Kullanmalıyız?

Büyük dosyaların aktarımında karşılaşılan sorunları aşmak için iki anahtar teknoloji bir araya gelir: Presigned URL’ler ve Multipart Yüklemeler. Bu iki konsept, özellikle bulut depolama servisleriyle (örneğin AWS S3) entegre edildiğinde, Node.js tabanlı uygulamalar için oldukça güçlü ve verimli bir çözüm sunar.

• Presigned URL’ler (Ön İmzalı URL’ler): Bu URL’ler, belirli bir bulut depolama nesnesine (dosyaya) sınırlı bir süre için ve belirli eylemlerle (okuma, yazma, silme) erişim sağlayan özel olarak oluşturulmuş bağlantılardır. Node.js sunucumuz, istemciye doğrudan bulut depolama hizmetiyle etkileşime girmesi için bu URL’leri üretir. Bu, sunucunun bir aracı olmaktan çıkarak, yükleme trafiğini doğrudan istemci ile bulut depolama arasına yönlendirmesini sağlar. Böylece, sunucunun bant genişliği ve işlemci kaynakları büyük ölçüde serbest kalır, bu da sunucunun diğer görevlere odaklanmasına olanak tanır. Güvenlik açısından da önemlidir, çünkü bu URL’ler belirli bir süre sonra geçerliliğini yitirir ve sadece yetkili kullanıcıların belirli dosyalara erişimini sağlar. Bu mekanizma, hassas verilerin güvenli bir şekilde aktarılmasını garantilerken, aynı zamanda sunucunun potansiyel güvenlik açıklarını azaltır. Presigned URL’ler, özellikle kullanıcıların kendi dosyalarını yüklemesi gereken sosyal medya platformları, dosya paylaşım servisleri veya YZ görsel üretim platformları gibi uygulamalar için idealdir.
• Multipart Yüklemeler (Çok Parçalı Yüklemeler): Bu yöntem, büyük bir dosyayı daha küçük, yönetilebilir parçalara bölerek yükleme işlemini gerçekleştirir. Her bir parça bağımsız olarak yüklenebilir ve bu parçalar sunucu tarafında paralel olarak işlenebilir. Bu yaklaşımın temel avantajları şunlardır:
  • Verimlilik: Parçalar eş zamanlı olarak yüklenebildiği için toplam yükleme süresi önemli ölçüde kısalır. Özellikle yüksek gecikmeli veya düşük bant genişliğine sahip ağlarda bu fark daha belirgin hale gelir.
  • Dayanıklılık: Yükleme sırasında bir ağ hatası veya kesinti yaşanırsa, sadece başarısız olan parçanın yeniden yüklenmesi yeterlidir, tüm dosyanın baştan yüklenmesine gerek kalmaz. Bu, kullanıcı deneyimini iyileştirir ve veri kaybı riskini azaltır.
  • Ölçeklenebilirlik: Sunucunun her bir parçayı ayrı ayrı ele alabilmesi, sistemin daha büyük dosya boyutlarına ve daha fazla eş zamanlı yüklemeye daha kolay adapte olmasını sağlar. Sunucu, tek bir büyük dosya akışını yönetmek yerine, daha küçük ve daha hızlı işlenebilen veri parçalarıyla ilgilenir.
  • Esneklik: Yükleme işlemi sırasında duraklatma ve devam ettirme (pause/resume) gibi özellikler kolayca uygulanabilir. Bu, özellikle mobil uygulamalar veya kullanıcıların internet bağlantısının kesintili olabileceği senaryolarda kritik bir avantajdır.

Bu iki teknolojinin birleşimi, Node.js sunucumuzun yalnızca gerekli koordinasyonu sağlamasını (presigned URL’leri oluşturma ve yükleme durumunu takip etme) ve asıl veri aktarım yükünü bulut depolama hizmetine devretmesini sağlar. Böylece, Node.js uygulamamız daha hafif, daha hızlı ve daha ölçeklenebilir hale gelir. Bu strateji, özellikle YZ tarafından üretilen ve boyutları sürekli artan görseller gibi büyük medya dosyalarının yönetimi için vazgeçilmezdir. Geliştiriciler, bu sayede hem sunucu maliyetlerini düşürebilir hem de kullanıcılarına kesintisiz bir deneyim sunabilirler. Bu yaklaşım, modern web uygulamalarının büyük veri yüklerini yönetme şeklini temelden değiştirmiştir.

Node.js ile Presigned URL Oluşturma Süreci Nasıl İşler?

Node.js sunucumuzun temel görevi, istemcinin büyük YZ görselini doğrudan bulut depolama hizmetine yüklemesi için gerekli olan ön imzalı URL’leri güvenli bir şekilde sağlamaktır. Bu süreç genellikle birkaç adımdan oluşur ve AWS S3 SDK (yazılım geliştirme kiti) kullanılarak kolayca gerçekleştirilebilir. Burada, istemcinin bir yükleme başlatma isteği gönderdiğini ve sunucunun buna karşılık olarak bir dizi presigned URL döndürdüğünü varsayıyoruz.

İlk olarak, Node.js uygulamanızda AWS SDK’yı kurmanız ve yapılandırmanız gerekir. Bu genellikle @aws-sdk/client-s3 paketini kullanarak yapılır:

// app.js
const { S3Client, CreateMultipartUploadCommand, UploadPartCommand, CompleteMultipartUploadCommand, AbortMultipartUploadCommand } = require("@aws-sdk/client-s3");
const { getSignedUrl } = require("@aws-sdk/s3-request-presigner");

// S3 istemcisini yapılandırın
const s3Client = new S3Client({
  region: process.env.AWS_REGION || "eu-central-1",
  credentials: {
    accessKeyId: process.env.AWS_ACCESS_KEY_ID,
    secretAccessKey: process.env.AWS_SECRET_ACCESS_KEY,
  },
});

const BUCKET_NAME = process.env.S3_BUCKET_NAME || "your-ai-images-bucket";
const PRESIGNED_URL_EXPIRATION_SECONDS = 3600; // 1 saat

// Yükleme başlatma endpoint'i
async function initiateMultipartUpload(fileName, fileType, numParts) {
  const Key = ai-images/${Date.now()}-${fileName}; // Benzersiz dosya adı oluşturma

  const createMultipartUploadParams = {
    Bucket: BUCKET_NAME,
    Key,
    ContentType: fileType,
  };

  try {
    const command = new CreateMultipartUploadCommand(createMultipartUploadParams);
    const { UploadId } = await s3Client.send(command);

    if (!UploadId) {
      throw new Error("Multipart Upload ID alınamadı.");
    }

    const presignedUrls = [];
    for (let i = 1; i <= numParts; i++) {
      const uploadPartParams = {
        Bucket: BUCKET_NAME,
        Key,
        UploadId,
        PartNumber: i,
      };
      const uploadPartCommand = new UploadPartCommand(uploadPartParams);
      const url = await getSignedUrl(s3Client, uploadPartCommand, { expiresIn: PRESIGNED_URL_EXPIRATION_SECONDS });
      presignedUrls.push({ partNumber: i, url });
    }

    return {
      uploadId: UploadId,
      key: Key,
      presignedUrls,
    };
  } catch (error) {
    console.error("Multipart yükleme başlatma hatası:", error);
    throw error;
  }
}

// Örnek bir Express.js endpoint'i
// app.post('/upload/initiate', async (req, res) => {
//   const { fileName, fileType, numParts } = req.body;
//   try {
//     const result = await initiateMultipartUpload(fileName, fileType, numParts);
//     // Bu bilgiyi veritabanına kaydedebiliriz (ileriki bölümlerde ele alınacak)
//     res.status(200).json(result);
//   } catch (error) {
//     res.status(500).json({ message: 'Yükleme başlatılamadı', error: error.message });
//   }
// });

Yukarıdaki kod bloğu, Node.js sunucusunda bir multipart yükleme sürecini nasıl başlatacağımızı ve her bir dosya parçası için nasıl presigned URL’ler oluşturacağımızı göstermektedir. İlk olarak, S3Client ile AWS S3 servisine bağlantı sağlıyoruz. Ardından, initiateMultipartUpload fonksiyonu, istemciden gelen dosya adı, dosya türü ve toplam parça sayısı bilgilerini alır. Bu bilgilerle, S3’e bir CreateMultipartUploadCommand göndererek yeni bir multipart yüklemesi başlatılır ve benzersiz bir UploadId alınır. Bu UploadId, tüm parçaların aynı yükleme işlemine ait olduğunu belirtmek için kullanılır. Sonrasında, döngü içinde her bir parça için (PartNumber 1’den başlayarak numParts‘a kadar), UploadPartCommand komutu oluşturulur ve getSignedUrl fonksiyonu ile bu komut için ön imzalı bir URL elde edilir. Bu URL’ler, belirli bir süre (örneğin 1 saat) geçerli olacak şekilde ayarlanır ve istemcinin bu süre zarfında ilgili parçayı doğrudan S3’e yüklemesini sağlar. Fonksiyon, istemciye UploadId, dosyanın S3 üzerindeki anahtarı (Key) ve tüm presigned URL’leri içeren bir nesne döndürür. Bu süreç, sunucunun sadece koordinasyon rolünü üstlenmesini ve büyük veri transferi yükünü S3’e devretmesini sağlar. Bu sayede, Node.js sunucusu, binlerce eş zamanlı yükleme isteğini bile kolayca yönetebilir, çünkü asıl veri transferi sunucunun üzerinden geçmez. Bu, uygulamanın genel performansını ve ölçeklenebilirliğini önemli ölçüde artırır. Ayrıca, presigned URL’lerin süreli olması, güvenlik risklerini de minimize eder. İstemci, bu URL’leri kullanarak doğrudan S3 ile iletişim kurar ve her parça başarıyla yüklendiğinde S3, istemciye bir ETag (varlık etiketi) döndürür. Bu ETag‘ler, yükleme tamamlandığında S3’e gönderilecek olan “tamamlama” (completion) isteği için kritik öneme sahiptir. Bu karmaşık süreç, geliştiricilerin büyük dosya yüklemelerini basit ve güvenli bir şekilde yönetmelerini sağlar.

İstemci Tarafında Multipart Yükleme Yönetimi Nasıl Gerçekleşir?

Node.js sunucumuzdan presigned URL’leri aldıktan sonra, asıl yükleme işi istemci tarafına geçer. Bu, genellikle bir web tarayıcısı (JavaScript kullanarak) veya bir mobil uygulama tarafından yapılır. İstemcinin görevi, büyük YZ görsel dosyasını küçük parçalara bölmek ve her bir parçayı ilgili presigned URL’ye HTTP PUT isteğiyle doğrudan AWS S3’e göndermektir. Bu süreç, yüklemenin dayanıklılığını ve hızını artıran kritik bir adımdır.

İstemci tarafındaki adımlar genellikle şunları içerir:

1. Dosyayı Parçalara Bölme: İstemci, yüklemek istediği dosyayı belirli bir boyutta (örneğin 5MB veya 10MB) parçalara ayırır. Her parça, bir Blob veya Buffer nesnesi olarak ele alınır. Bu bölme işlemi, tarayıcıda File.slice() metodu ile kolayca yapılabilir. Parça boyutunun seçimi önemlidir; çok küçük parçalar gereksiz yere fazla istek oluştururken, çok büyük parçalar hata durumunda daha fazla verinin yeniden yüklenmesini gerektirebilir.
2. Parçaları Yükleme: İstemci, Node.js sunucusundan aldığı her bir presigned URL’yi kullanarak ilgili dosya parçasını S3’e yükler. Bu, genellikle bir fetch API veya XMLHttpRequest ile yapılan bir HTTP PUT isteğidir. Her istek, ilgili parçayı ve gerekli başlıkları (örneğin Content-Type) içerir.

   
   // İstemci tarafı (örneğin React, Vue, Angular veya vanilla JS)
   async function uploadPart(partUrl, partData) {
     try {
       const response = await fetch(partUrl, {
         method: 'PUT',
         body: partData,
         headers: {
           'Content-Type': 'application/octet-stream', // veya dosyanın gerçek tipi
         },
       });
   
       if (!response.ok) {
         throw new Error(Parça yükleme hatası: ${response.statusText});
       }
   
       const etag = response.headers.get('ETag');
       return etag; // S3, başarıyla yüklenen her parça için bir ETag döndürür
     } catch (error) {
       console.error("Parça yüklenirken hata oluştu:", error);
       throw error;
     }
   }
   

3. ETag’leri Toplama: S3, her başarılı parça yüklemesi için bir ETag (Entity Tag) HTTP başlığı döndürür. İstemci, bu ETag‘leri ve ilgili parça numaralarını toplamalıdır. Bu ETag‘ler, tüm parçalar yüklendikten sonra S3’e gönderilecek olan “multipart yüklemeyi tamamlama” (Complete Multipart Upload) isteği için kritik öneme sahiptir.
4. Paralel Yükleme ve İlerleme Takibi: İstemci, birden fazla parçayı aynı anda yükleyerek süreci hızlandırabilir. Bu, genellikle Promise.all veya benzeri asenkron kontrol yapıları kullanılarak yapılır. Kullanıcılara yüklemenin ilerlemesini göstermek için bir ilerleme çubuğu (progress bar) veya yüzde göstergesi uygulanabilir. Bu, yükleme sırasında kullanıcının sabrını korumasına yardımcı olur.
5. Yüklemeyi Tamamlama: Tüm parçalar başarıyla yüklendikten ve tüm ETag‘ler toplandıktan sonra, istemci Node.js sunucusuna bir istek gönderir. Bu istek, UploadId, dosyanın S3 anahtarı (Key) ve toplanan tüm ETag‘leri (parça numaralarıyla birlikte) içerir. Node.js sunucusu, bu bilgileri kullanarak S3’e bir CompleteMultipartUploadCommand gönderir. Bu komut, S3’e tüm parçaların birleştirilmesini ve nihai dosyanın oluşturulmasını emreder.

Bu istemci tarafı yönetimi, kullanıcının doğrudan bulut depolama hizmetiyle etkileşime girmesini sağlayarak, Node.js sunucusunun veri aktarım yükünü hafifletir. Bu mimari, yüksek performanslı ve dayanıklı dosya yükleme sistemleri oluşturmak için modern web uygulamalarında yaygın olarak kullanılmaktadır. İstemci tarafında uygulanan bu zekice yönetim, kullanıcıların büyük dosyaları sorunsuz bir şekilde yükleyebilmesini sağlarken, aynı zamanda geliştiricilere daha esnek ve ölçeklenebilir bir altyapı sunar. Bu, özellikle AI tarafından üretilen görseller gibi büyük medya dosyalarının aktarımında, uygulamanın genel yanıt verme süresini ve güvenilirliğini artırır.

Multipart Yükleme Durumunun Sunucu Tarafında Takibi

Yükleme sürecinin dayanıklılığını ve yönetilebilirliğini artırmak için Node.js sunucumuzun, her bir multipart yüklemesinin durumunu takip etmesi kritik öneme sahiptir. Bu takip, özellikle yükleme iptal edildiğinde (abort) veya bir hata durumunda kurtarma (recovery) senaryolarında hayati rol oynar. Durum takibi için genellikle bir veritabanı (Redis, PostgreSQL, MongoDB vb.) kullanılır.

Sunucunun takip etmesi gereken temel bilgiler şunlardır:

• UploadId: S3 tarafından sağlanan benzersiz yükleme kimliği. Tüm parçalar bu kimliğe bağlıdır.
• Key: Dosyanın S3 üzerindeki nihai yolu ve adı.
• FileName ve FileType: Orijinal dosya adı ve türü.
• UserId: Yüklemeyi başlatan kullanıcının kimliği (güvenlik ve yetkilendirme için).
• PartDetails: Her bir parça için parça numarası ve S3’ten dönen ETag bilgisi. Bu bilgiler, yüklemeyi tamamlama aşamasında S3’e gönderilmelidir.
• Status: Yüklemenin mevcut durumu (örneğin, INITIATED – başlatıldı, IN_PROGRESS – devam ediyor, COMPLETED – tamamlandı, ABORTED – iptal edildi, FAILED – başarısız oldu).
• CreatedAt ve UpdatedAt: Yükleme kaydının oluşturulma ve son güncellenme zamanları.

Veritabanı Seçimi:

• Redis: Kısa ömürlü ve yüksek performanslı durum takibi için idealdir. Özellikle UploadId‘leri ve ilişkili parça bilgilerini geçici olarak saklamak için kullanılabilir. Redis’in hızından faydalanarak, anlık durum güncellemeleri hızlıca işlenebilir. Ancak, kalıcı depolama gerektiren durumlar için (örneğin, bir yüklemenin günlerce sürmesi veya uygulamanın yeniden başlatılması durumunda durumun korunması) tek başına yeterli olmayabilir.
• PostgreSQL/MongoDB: Daha kalıcı ve yapısal veriler için uygundur. Yükleme geçmişi, kullanıcıya özel yükleme listeleri ve detaylı hata kayıtları gibi bilgileri saklamak için tercih edilir. Bu veritabanları, yükleme durumunu güvenilir bir şekilde koruyarak, sunucu yeniden başlatılsa bile devam eden yüklemelerin takibini sağlar.

Durum Takibi Akışı:

1. Yükleme Başlatma: İstemci /upload/initiate endpoint’ine istek gönderdiğinde, Node.js sunucusu S3’ten UploadId‘yi alır ve bu bilgileri (UploadId, Key, UserId, Status: INITIATED vb.) veritabanına kaydeder.
2. Parça Yükleme (İstemci): İstemci her bir parçayı S3’e yükledikten sonra, dönen ETag bilgisini Node.js sunucusuna gönderebilir (isteğe bağlı, bazı durumlarda istemci tüm ETag’leri toplayıp tek bir istekte gönderebilir). Sunucu, bu ETag‘i veritabanındaki ilgili UploadId kaydına ekler. Bu adım, özellikle yüklemenin ilerlemesini detaylı takip etmek veya parça bazında kurtarma mekanizmaları uygulamak için faydalıdır.
3. Yüklemeyi Tamamlama: İstemci tüm parçaları yükleyip tüm ETag‘leri topladıktan sonra, /upload/complete endpoint’ine UploadId, Key ve toplanan PartDetails ile bir istek gönderir. Node.js sunucusu, bu bilgileri S3’e ileterek yüklemeyi tamamlar ve veritabanındaki kaydın durumunu COMPLETED olarak günceller.

   
   // Yüklemeyi tamamlama endpoint'i
   async function completeMultipartUpload(uploadId, key, parts) {
     const completeMultipartUploadParams = {
       Bucket: BUCKET_NAME,
       Key: key,
       UploadId: uploadId,
       MultipartUpload: {
         Parts: parts.map(p => ({ PartNumber: p.partNumber, ETag: p.etag })),
       },
     };
   
     try {
       const command = new CompleteMultipartUploadCommand(completeMultipartUploadParams);
       await s3Client.send(command);
   
       // Veritabanındaki durumu güncelle
       // Örneğin: await db.updateUploadStatus(uploadId, 'COMPLETED');
   
       return { success: true, message: "Dosya başarıyla yüklendi." };
     } catch (error) {
       console.error("Multipart yüklemeyi tamamlama hatası:", error);
       // Veritabanındaki durumu FAILED olarak güncelleyebiliriz
       // await db.updateUploadStatus(uploadId, 'FAILED');
       throw error;
     }
   }
   
   // Örnek bir Express.js endpoint'i
   // app.post('/upload/complete', async (req, res) => {
   //   const { uploadId, key, parts } = req.body; // parts: [{ partNumber: 1, etag: "..." }, ...]
   //   try {
   //     const result = await completeMultipartUpload(uploadId, key, parts);
   //     res.status(200).json(result);
   //   } catch (error) {
   //     res.status(500).json({ message: 'Yükleme tamamlanamadı', error: error.message });
   //   }
   // });
   

4. Hata Yönetimi ve Temizleme: Yükleme sırasında herhangi bir hata oluşursa (ağ kesintisi, S3 hatası vb.), sunucu bu durumu veritabanına FAILED olarak kaydedebilir. Ayrıca, belirli bir süre içinde tamamlanmayan veya iptal edilen yüklemeler için periyodik temizleme (garbage collection) işlemleri çalıştırılarak, S3’teki eksik parçalar veya veritabanındaki eski kayıtlar silinebilir. Bu, hem depolama maliyetlerini düşürür hem de sistemin düzenli kalmasını sağlar.

Bu detaylı durum takibi, Node.js uygulamasının sadece bir API sağlayıcısı olmaktan öte, tüm yükleme yaşam döngüsünü aktif olarak yöneten ve denetleyen bir kontrol mekanizması haline gelmesini sağlar. Bu sayede, büyük YZ görsellerinin aktarımı sırasında ortaya çıkabilecek herhangi bir soruna karşı daha dirençli ve kullanıcı dostu bir sistem inşa edilmiş olur. Veritabanı kullanımı, bu sürecin kalıcı ve güvenilir olmasını sağlar, böylece uygulamanın yeniden başlatılması veya beklenmedik bir hata durumunda bile yükleme durumları korunabilir.

Yükleme İptali (Abort) Nasıl Yönetilir?

Kullanıcılar bazen devam eden bir dosya yüklemesini iptal etmek isteyebilirler. Bu durum, yanlış bir dosya seçimi, internet bağlantısının kesilmesi veya sadece fikrin değişmesi gibi birçok nedenden kaynaklanabilir. Node.js sunucumuzun, bu iptal isteklerini doğru bir şekilde yönetmesi ve bulut depolama hizmetindeki (S3) gereksiz kaynakları temizlemesi önemlidir. Bu, hem maliyetleri düşürür hem de sistemin düzenli kalmasını sağlar.

Yükleme iptali süreci genellikle şu adımları içerir:

1. İstemciden İptal İsteği: Kullanıcı, web arayüzünde veya mobil uygulamada bir “İptal” düğmesine tıkladığında, istemci Node.js sunucusuna bir iptal isteği gönderir. Bu istek genellikle UploadId ve dosyanın S3 üzerindeki Key bilgisini içerir.
2. Node.js Sunucusunun İptal İsteğini İşlemesi: Node.js sunucusu, bu isteği aldığında, S3’e AbortMultipartUploadCommand komutunu gönderir. Bu komut, S3’e belirtilen UploadId‘ye sahip tüm yükleme parçalarını silmesini ve multipart yükleme oturumunu sonlandırmasını emreder.

   
   // Yükleme iptal etme endpoint'i
   async function abortMultipartUpload(uploadId, key) {
     const abortMultipartUploadParams = {
       Bucket: BUCKET_NAME,
       Key: key,
       UploadId: uploadId,
     };
   
     try {
       const command = new AbortMultipartUploadCommand(abortMultipartUploadParams);
       await s3Client.send(command);
   
       // Veritabanındaki durumu güncelle
       // Örneğin: await db.updateUploadStatus(uploadId, 'ABORTED');
   
       return { success: true, message: "Yükleme başarıyla iptal edildi." };
     } catch (error) {
       console.error("Multipart yüklemeyi iptal etme hatası:", error);
       // Veritabanındaki durumu FAILED olarak güncelleyebiliriz
       // await db.updateUploadStatus(uploadId, 'FAILED');
       throw error;
     }
   }
   
   // Örnek bir Express.js endpoint'i
   // app.post('/upload/abort', async (req, res) => {
   //   const { uploadId, key } = req.body;
   //   try {
   //     const result = await abortMultipartUpload(uploadId, key);
   //     res.status(200).json(result);
   //   } catch (error) {
   //     res.status(500).json({ message: 'Yükleme iptal edilemedi', error: error.message });
   //   }
   // });
   

3. Veritabanı Durumunu Güncelleme: S3’teki temizleme işlemi tamamlandıktan sonra, Node.js sunucusu veritabanındaki ilgili yükleme kaydının durumunu ABORTED olarak günceller. Bu, sistemin genel tutarlılığını sağlar ve gelecekteki sorgulamalar için doğru durumu yansıtır.
4. İstemciye Yanıt Verme: Sunucu, iptal işleminin başarıyla tamamlandığını belirten bir yanıtı istemciye geri gönderir. İstemci, bu yanıtı alarak kullanıcı arayüzünü güncelleyebilir (örneğin, ilerleme çubuğunu kaldırabilir veya bir iptal mesajı gösterebilir).

Otomatik Temizleme Mekanizmaları:

Bazen kullanıcılar bir yüklemeyi iptal etmeyi unutabilir veya ağ bağlantısı kesildiği için iptal isteği sunucuya ulaşamayabilir. Bu tür durumlarda, S3’te tamamlanmamış (incomplete) multipart yükleme oturumları kalabilir ve bu da depolama maliyetlerine neden olabilir. Bu nedenle, periyodik bir temizleme mekanizması (örneğin, bir cron işi veya AWS Lambda fonksiyonu) uygulamak önemlidir:

• Zamanlanmış Görev: Node.js sunucusunda veya ayrı bir hizmet olarak çalışan bir zamanlanmış görev, belirli aralıklarla (örneğin günde bir kez) veritabanındaki INITIATED veya IN_PROGRESS durumunda olan ancak belirli bir süredir (örneğin 24 saat) aktif olmayan yükleme kayıtlarını bulur.
• S3’teki Eksik Parçaları İptal Etme: Bu görev, bulunan yükleme kayıtları için S3’e AbortMultipartUploadCommand göndererek, tamamlanmamış multipart yükleme oturumlarını temizler.
• Veritabanı Kayıtlarını Güncelleme: Temizleme işlemi tamamlandıktan sonra, veritabanındaki ilgili kayıtların durumunu ABORTED veya EXPIRED olarak günceller.

Bu kapsamlı iptal yönetimi stratejisi, Node.js uygulamasının sadece verimli yükleme sağlamakla kalmayıp, aynı zamanda kaynakları akıllıca yönetmesini ve gereksiz maliyetlerin önüne geçmesini sağlar. Kullanıcı deneyimi açısından da önemlidir, çünkü kullanıcılar yüklemeleri üzerinde tam kontrol sahibi olduklarını hissederler. Özellikle AI görselleri gibi büyük dosyaların söz konusu olduğu durumlarda, bu tür bir yönetim, sistemin genel sağlığı ve sürdürülebilirliği için hayati önem taşır.

Gerçek Dünya Senaryoları ve Vaka Analizi: YZ Avatar Oluşturma Platformu

Şimdiye kadar ele aldığımız presigned parçalar, çoklu durum takibi ve iptal yönetimi gibi kavramları, gerçek dünyadan bir örnekle pekiştirelim: Yüksek çözünürlüklü yapay zeka (YZ) destekli bir avatar oluşturma platformu. Bu platform, kullanıcıların metin açıklamaları veya yükledikleri fotoğraflar aracılığıyla kendilerine özel, sanatsal veya fotogerçekçi avatarlar oluşturmasını sağlıyor. Bu avatarlar genellikle yüksek çözünürlüklü (örneğin 4K veya 8K) görseller olarak üretiliyor ve dosya boyutları kolayca onlarca megabayta ulaşabiliyor.

Senaryo: “Sanatsal Avatarım” Platformu

Kullanıcılar, “Sanatsal Avatarım” adlı bir web uygulamasına giriyor. Burada, kendilerini anlatan birkaç kelime yazıyorlar (örneğin, “uzayda sörf yapan bir kedi”) veya kendi fotoğraflarını yüklüyorlar. YZ modeli, bu girdilere dayanarak çeşitli avatar seçenekleri üretiyor. Kullanıcı bir avatardan memnun kaldığında, onu indirip veya profil fotoğrafı olarak kaydetmek istiyor. İşte bu noktada bizim Node.js tabanlı çözümümüz devreye giriyor.

Vaka Analizi Adımları:

1. YZ Görselinin Oluşturulması: Kullanıcı isteği üzerine, Node.js sunucusu bir YZ görsel oluşturma hizmetine (örneğin, bir Stable Diffusion API’si) istek gönderir. YZ hizmeti, yüksek çözünürlüklü görseli oluşturur ve genellikle onu geçici bir depolama alanına (örneğin, S3’teki özel bir geçici klasöre) kaydeder.
2. Yükleme Başlatma İsteği: Kullanıcı, web arayüzünde “Profilime Kaydet” düğmesine tıklar. İstemci (tarayıcı), Node.js sunucusuna bir POST /upload/initiate isteği gönderir. Bu istekte, kaydedilecek YZ görselinin adı (örneğin, uzayda-sorf-yapan-kedi.png), dosya türü (image/png) ve beklenen toplam parça sayısı (istemci dosya boyutunu önceden tahmin ederek bunu hesaplayabilir) bulunur.
3. Node.js Presigned URL’leri Oluşturur: Node.js sunucusu, initiateMultipartUpload fonksiyonunu kullanarak S3’te yeni bir multipart yükleme oturumu başlatır ve YZ görselinin her bir parçası için ayrı ayrı presigned PUT URL’leri oluşturur. Bu URL’ler, belirli bir süre (örneğin 30 dakika) geçerli olacak şekilde ayarlanır. Sunucu, ayrıca bu yükleme oturumuna ait uploadId ve S3’teki key bilgisini de veritabanına kaydeder (durum: INITIATED).
4. İstemci Görseli Parçalara Ayırır ve Yükler: İstemci, Node.js’ten aldığı presigned URL’leri ve uploadId ile key bilgilerini kullanır. YZ görselini (geçici olarak istemciye indirildiyse veya bir akış olarak işleniyorsa) küçük parçalara (örneğin 8MB’lık bloklar) ayırır. Her bir parçayı, kendisine verilen presigned URL’ye doğrudan S3’e PUT isteğiyle gönderir. Bu işlem sırasında, istemci her başarılı parça yüklemesi için S3’ten dönen ETag‘leri toplar. İstemci, kullanıcının görselin yüklenme ilerlemesini bir ilerleme çubuğu ile takip etmesini sağlar.
5. Yükleme İptali Senaryosu: Kullanıcı, yükleme %30’a ulaştığında, “Vazgeç” düğmesine tıklar. İstemci hemen Node.js sunucusuna bir POST /upload/abort isteği gönderir. Bu istek, uploadId ve key bilgilerini içerir. Node.js sunucusu, S3’e AbortMultipartUploadCommand göndererek bu multipart yükleme oturumunu ve ilgili tüm parçaları S3’ten siler. Veritabanındaki kaydın durumunu ABORTED olarak günceller. Kullanıcı, yüklemenin iptal edildiğine dair bir bildirim alır. Bu, gereksiz depolama maliyetlerinin önüne geçer ve S3’te çöp veri birikmesini engeller.
6. Yüklemeyi Tamamlama Senaryosu: Eğer kullanıcı yüklemeyi iptal etmezse ve tüm parçalar başarıyla S3’e yüklenirse, istemci topladığı tüm ETag‘leri ve parça numaralarını Node.js sunucusuna bir POST /upload/complete isteğiyle gönderir. Node.js sunucusu, bu bilgileri kullanarak S3’e CompleteMultipartUploadCommand gönderir. S3, tüm parçaları birleştirir ve nihai YZ görselini oluşturur. Sunucu, veritabanındaki kaydın durumunu COMPLETED olarak günceller ve görselin kalıcı S3 URL’sini istemciye döndürür. Bu URL, artık kullanıcının profilinde görüntülenebilir veya indirilebilir.

Bu vaka analizi, Node.js tabanlı presigned multipart yükleme sisteminin, yüksek çözünürlüklü YZ görselleri gibi büyük dosyaların aktarımında ne kadar etkili olduğunu göstermektedir. Sistem, hem sunucu yükünü minimumda tutar hem de kullanıcılara kesintisiz, hızlı ve kontrol edilebilir bir deneyim sunar. Ayrıca, iptal mekanizması sayesinde kaynakların verimli kullanılması sağlanır. Bu yaklaşım, medya yoğun uygulamalar, oyun platformları, CAD/CAM yazılımları ve diğer büyük veri aktarımı gerektiren her türlü platform için ölçeklenebilir ve güvenilir bir çözüm sunar.

İleri Düzey İpuçları ve Optimizasyonlar

Node.js ile presigned parçalar kullanarak büyük YZ görsellerini aktarmak, zaten verimli bir yöntemdir. Ancak, sisteminizi daha da sağlam, hızlı ve maliyet etkin hale getirmek için bazı ileri düzey ipuçları ve optimizasyonlar bulunmaktadır:

1. Hata Yönetimi ve Yeniden Deneme Mekanizmaları (Retry Mechanisms):
   • İstemci Tarafında: Ağ hataları veya S3’ten gelen geçici hatalar (örneğin 5xx durum kodları) durumunda, istemcinin başarısız olan parçaları belirli bir gecikmeyle (üstel geri çekilme – exponential backoff) yeniden denemesi önemlidir. Bu, kullanıcının tüm yüklemeyi baştan başlatmak zorunda kalmasını engeller. Her parça için belirli bir yeniden deneme limiti belirlenmelidir.
   • Sunucu Tarafında: Node.js sunucusu, S3 ile iletişim kurarken oluşabilecek hataları (örneğin CreateMultipartUploadCommand veya CompleteMultipartUploadCommand hataları) yakalamalı ve uygun şekilde loglamalıdır. Gerekirse, bu hataları istemciye anlaşılır bir formatta döndürmelidir.
2. Güvenlik İyileştirmeleri:
   • IAM Politikaları: AWS IAM (Identity and Access Management) politikalarını en az ayrıcalık (least privilege) prensibine göre yapılandırın. Node.js sunucunuzun S3’e sadece belirli eylemleri (s3:CreateMultipartUpload, s3:UploadPart, s3:CompleteMultipartUpload, s3:AbortMultipartUpload) ve belirli bir klasör veya önek altındaki nesneler üzerinde gerçekleştirmesine izin verin.
   • Presigned URL Süresi: Presigned URL’lerin geçerlilik süresini mümkün olduğunca kısa tutun (örneğin 15-30 dakika). Bu, URL’lerin kötüye kullanılma riskini azaltır.
   • İstemci Tarafı Doğrulama: Yüklenen dosyanın türü ve boyutu gibi bilgileri istemci tarafında da doğrulayın. Bu, gereksiz sunucu isteklerini ve potansiyel güvenlik açıklarını önler. Ancak, asla sadece istemci tarafı doğrulamaya güvenmeyin, sunucu tarafında da mutlaka tekrar doğrulama yapın.
   • Kullanıcı Yetkilendirmesi: Her yükleme isteği için kullanıcının kimliğini doğrulayın ve yetkili olduğundan emin olun. UploadId‘nin belirli bir kullanıcıya ait olduğunu kontrol edin.
3. Performans Optimizasyonları:
   • Parça Boyutu: Parça boyutunu dikkatlice seçin. AWS S3 için genellikle 5MB ile 100MB arası önerilir. Çok küçük parçalar, çok fazla HTTP isteği ve S3 API çağrısı anlamına gelirken, çok büyük parçalar, bir hata durumunda daha fazla verinin yeniden yüklenmesini gerektirebilir.
   • Eş Zamanlı Yükleme Limiti: İstemci tarafında aynı anda yüklenecek parça sayısını sınırlayın (örneğin 3-5 parça). Çok fazla eş zamanlı istek, ağ tıkanıklığına yol açabilir.
   • S3 Transfer Hızlandırma: Büyük coğrafi mesafelerde yüksek bant genişliğine sahip yüklemeler için AWS S3 Transfer Acceleration özelliğini kullanmayı düşünebilirsiniz. Bu, verileri S3’e daha hızlı aktarmak için CloudFront’un uç konumlarını kullanır.
4. Maliyet Optimizasyonu:
   • Yaşam Döngüsü Kuralları (Lifecycle Rules): S3 bucket’larınızda yaşam döngüsü kuralları tanımlayarak, belirli bir süre içinde tamamlanmayan (incomplete) multipart yüklemelerini otomatik olarak silebilirsiniz. Bu, manuel temizleme ihtiyacını azaltır ve gereksiz depolama maliyetlerini önler.
   • Depolama Sınıfları: YZ görsellerinin kullanım sıklığına göre farklı S3 depolama sınıflarını (Standard, Infrequent Access, Glacier) kullanmayı düşünün. Örneğin, sık erişilmeyen eski görselleri daha uygun maliyetli sınıflara taşıyabilirsiniz.
5. İlerleme Takibi ve Kullanıcı Deneyimi:
   • WebSockets: Yükleme ilerlemesini ve durum güncellemelerini gerçek zamanlı olarak istemciye iletmek için WebSockets kullanabilirsiniz. Bu, daha dinamik ve kullanıcı dostu bir arayüz sağlar.
   • Duraklatma/Devam Ettirme (Pause/Resume): Yükleme durumunu veritabanında detaylı takip ederek, istemcinin yüklemeyi duraklatıp daha sonra devam ettirmesine olanak tanıyabilirsiniz. Bu, özellikle çok büyük dosyalar ve kesintili internet bağlantıları için kullanıcı deneyimini önemli ölçüde iyileştirir.

Bu ileri düzey ipuçları ve optimizasyonlar, Node.js tabanlı AI görsel aktarım sisteminizi sadece işlevsel değil, aynı zamanda sağlam, güvenli, hızlı ve maliyet etkin hale getirecektir. Her projenin kendine özgü ihtiyaçları olduğundan, bu önerileri kendi senaryonuza göre uyarlamak önemlidir.

Sonuç

Yapay zeka teknolojilerinin hızla gelişmesiyle birlikte, yüksek çözünürlüklü görsellerin üretimi ve transferi, modern web uygulamaları için kritik bir zorluk haline gelmiştir. Geleneksel dosya aktarım yöntemleri, bu büyük dosyaların yönetimi sırasında performans, güvenilirlik ve ölçeklenebilirlik sorunlarına yol açabilir. Bu makalede ele aldığımız Node.js tabanlı presigned parçalar, çoklu durum takibi ve iptal yönetimi yaklaşımı, bu zorlukların üstesinden gelmek için güçlü ve verimli bir çözüm sunmaktadır.

Bu yöntem sayesinde, Node.js sunucumuz sadece bir koordinatör görevi üstlenir, asıl veri aktarım yükünü doğrudan istemci ile bulut depolama hizmeti (AWS S3 gibi) arasına devreder. Bu, sunucu kaynaklarının serbest kalmasını, maliyetlerin düşmesini ve uygulamanın binlerce eş zamanlı yüklemeyi sorunsuz bir şekilde yönetebilmesini sağlar. Multipart yüklemeler, dosya transferini daha küçük, yönetilebilir parçalara bölerek ağ kesintilerine karşı daha dayanıklı hale getirir ve paralel yükleme ile toplam süreyi kısaltır. Ayrıca, sunucu tarafında yükleme durumunun detaylı takibi, hem hata kurtarma senaryolarında hem de iptal işlemlerinde sistemin tutarlılığını garanti eder.

Özellikle AI görsel oluşturma platformları gibi medya yoğun uygulamalar için bu mimari, kullanıcı deneyimini önemli ölçüde iyileştirir. Kullanıcılar, büyük dosyaları hızlı ve güvenilir bir şekilde yükleyebilir, hatta gerektiğinde devam eden bir yüklemeyi iptal edebilirler. Bu kontrol ve şeffaflık, uygulamanın genel memnuniyetini artırır. Güvenlik, performans ve maliyet optimizasyonlarına yönelik ileri düzey ipuçları ise, bu sistemi daha da sağlam ve sürdürülebilir kılmak için yol gösterir.

Özetle, Node.js ve bulut depolama servislerinin entegrasyonuyla geliştirilen bu yaklaşım, büyük dosyaların aktarımını basitleştirirken, modern web uygulamalarının ölçeklenebilirlik ve güvenilirlik ihtiyaçlarını karşılamaktadır. Yapay zeka görsellerinin geleceği, bu tür akıllı ve verimli dosya yönetimi çözümleriyle şekillenecektir.

Sıkça Sorulan Sorular

1. Presigned URL’ler ne kadar güvenlidir?

   Presigned URL’ler, belirli bir süre için ve belirli eylemlerle (örneğin sadece yükleme) sınırlı erişim sağladığı için oldukça güvenlidir. Bu URL’ler, AWS IAM politikaları ile daha da kısıtlanabilir ve belirli bir kullanıcının belirli bir dosyaya erişimine izin verecek şekilde yapılandırılabilir. Süreleri kısa tutulduğunda, kötüye kullanılma riski minimize edilir.

2. Multipart yükleme neden tek parça yüklemeye tercih edilmeli?

   Multipart yükleme, özellikle büyük dosyalar için tek parça yüklemeye göre daha dayanıklı, daha hızlı ve daha esnektir. Ağ kesintilerinde sadece başarısız olan parçanın yeniden yüklenmesi yeterlidir, tüm dosyanın baştan yüklenmesi gerekmez. Ayrıca, parçaların paralel olarak yüklenebilmesi sayesinde toplam yükleme süresi kısalır ve sunucu yükü azalır. Duraklatma ve devam ettirme gibi özellikler de kolayca uygulanabilir.

3. Yükleme sırasında bağlantı kesilirse ne olur?

   Multipart yüklemede, bağlantı kesildiğinde sadece o anda yüklenmekte olan parça veya henüz yüklenmemiş parçalar etkilenir. Başarıyla yüklenmiş parçalar S3’te kalır. İstemci, bağlantı geri geldiğinde veya yeniden deneme mekanizması devreye girdiğinde, sadece başarısız olan parçaları yeniden yükleyerek süreci devam ettirebilir. Bu, kullanıcı deneyimi açısından büyük bir avantajdır.

4. Bu yaklaşım hangi tür projeler için uygundur?

   Bu yaklaşım, özellikle büyük dosyaların (örneğin yüksek çözünürlüklü görseller, videolar, CAD dosyaları, 3D modeller) sıkça yüklendiği veya indirildiği tüm projeler için uygundur. Yapay zeka görsel oluşturma platformları, medya paylaşım siteleri, bulut depolama hizmetleri, oyun geliştirme platformları ve büyük veri analizi uygulamaları gibi senaryolarda yaygın olarak kullanılır.

5. Farklı bulut sağlayıcıları için de geçerli mi?

   Evet, bu konsept sadece AWS S3’e özgü değildir. Google Cloud Storage ve Azure Blob Storage gibi diğer bulut depolama sağlayıcıları da benzer “presigned URL” ve “multipart upload” (veya eşdeğer) özellikler sunar. Uygulama mantığı benzer kalırken, kullanılan SDK’lar ve API çağrıları ilgili bulut sağlayıcısınınkine göre değişecektir.

#Teknoloji #WebGeliştirme #Nodejs #AWS #S3 #YapayZeka #DosyaYükleme