{"id":32850,"date":"2025-10-26T16:41:33","date_gmt":"2025-10-26T13:41:33","guid":{"rendered":"https:\/\/fatihsoysal.com\/blog\/?p=32850"},"modified":"2025-10-26T16:41:33","modified_gmt":"2025-10-26T13:41:33","slug":"puppeteer-node-js-docker-ve-kubernetes-ile-es-zamanli-bir-web-scraper-nasil-insa-edilir","status":"publish","type":"post","link":"https:\/\/fatihsoysal.com\/blog\/puppeteer-node-js-docker-ve-kubernetes-ile-es-zamanli-bir-web-scraper-nasil-insa-edilir\/","title":{"rendered":"Puppeteer, Node.js, Docker ve Kubernetes ile E\u015f Zamanl\u0131 Bir Web Scraper Nas\u0131l \u0130n\u015fa Edilir?"},"content":{"rendered":"

<\/p>\n

Puppeteer, Node.js, Docker ve Kubernetes ile E\u015f Zamanl\u0131 Bir Web Scraper Nas\u0131l \u0130n\u015fa Edilir?<\/h2>\n

G\u00fcn\u00fcm\u00fcz\u00fcn veri odakl\u0131 d\u00fcnyas\u0131nda, web sitelerinden bilgi toplamak i\u015f zekas\u0131, pazar ara\u015ft\u0131rmas\u0131 ve rekabet analizi gibi bir\u00e7ok alanda kritik bir rol oynamaktad\u0131r. Web scraping, bu veriye programatik olarak eri\u015fmenin temel y\u00f6ntemidir. Ancak, b\u00fcy\u00fck \u00f6l\u00e7ekli ve dinamik web sitelerinden veri \u00e7ekerken tekil bir scraper yetersiz kalabilir. \u0130\u015fte bu noktada e\u015f zamanl\u0131l\u0131k ve \u00f6l\u00e7eklenebilirlik devreye girer.<\/p>\n

Bu makalede, modern web scraping ihtiya\u00e7lar\u0131n\u0131 kar\u015f\u0131lamak \u00fczere tasarlanm\u0131\u015f, g\u00fc\u00e7l\u00fc ve \u00f6l\u00e7eklenebilir bir mimariyi ad\u0131m ad\u0131m inceleyece\u011fiz. Node.js’in asenkron yap\u0131s\u0131ndan yararlanarak Puppeteer ile taray\u0131c\u0131 otomasyonu ger\u00e7ekle\u015ftirecek, Docker ile uygulamam\u0131z\u0131 konteynerize edecek ve son olarak Kubernetes’in orkestrasyon yetenekleriyle scraper’\u0131m\u0131z\u0131 y\u00fcksek oranda e\u015f zamanl\u0131 ve hataya dayan\u0131kl\u0131 hale getirece\u011fiz. Bu teknoloji y\u0131\u011f\u0131n\u0131, sadece veri toplamakla kalmayacak, ayn\u0131 zamanda operasyonel verimlilik ve esneklik de sa\u011flayacakt\u0131r.<\/p>\n

Web Scraping ve E\u015f Zamanl\u0131l\u0131k Neden \u00d6nemli?<\/h3>\n

Web scraping, web sitelerindeki yap\u0131land\u0131r\u0131lmam\u0131\u015f veriyi yap\u0131land\u0131r\u0131lm\u0131\u015f formata d\u00f6n\u00fc\u015ft\u00fcrme s\u00fcrecidir. Bu s\u00fcre\u00e7, e-ticaret sitelerinden \u00fcr\u00fcn fiyatlar\u0131 \u00e7ekmekten, haber sitelerinden makale ba\u015fl\u0131klar\u0131 toplamaya kadar geni\u015f bir yelpazeyi kapsar. Ancak, modern web siteleri genellikle JavaScript ile dinamik olarak y\u00fcklenen i\u00e7eriklere sahiptir ve geleneksel HTTP istek tabanl\u0131 scraper’lar bu i\u00e7eri\u011fi g\u00f6remez. Puppeteer gibi taray\u0131c\u0131 otomasyon ara\u00e7lar\u0131 bu sorunu \u00e7\u00f6zerek ger\u00e7ek bir kullan\u0131c\u0131 deneyimini sim\u00fcle etmemizi sa\u011flar.<\/p>\n

E\u015f zamanl\u0131l\u0131k ise, birden fazla scraping g\u00f6revini ayn\u0131 anda veya paralel olarak y\u00fcr\u00fctme yetene\u011fidir. Tekil bir scraper, her seferinde bir URL’yi i\u015flerken, binlerce veya milyonlarca URL’yi taramak g\u00fcnler hatta haftalar s\u00fcrebilir. E\u015f zamanl\u0131 bir yakla\u015f\u0131m, bu s\u00fcreyi \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131salt\u0131r, kaynak kullan\u0131m\u0131n\u0131 optimize eder ve scraping s\u00fcrecinin genel verimlili\u011fini art\u0131r\u0131r. \u00d6zellikle hedef sitenin talepleri, a\u011f gecikmeleri ve i\u015flem s\u00fcreleri g\u00f6z \u00f6n\u00fcne al\u0131nd\u0131\u011f\u0131nda, e\u015f zamanl\u0131l\u0131k olmadan b\u00fcy\u00fck veri setlerini toplamak pratik de\u011fildir. Ayr\u0131ca, bir g\u00f6revin ba\u015far\u0131s\u0131z olmas\u0131 durumunda di\u011fer g\u00f6revlerin etkilenmemesi ve sistemin genel dayan\u0131kl\u0131l\u0131\u011f\u0131 a\u00e7\u0131s\u0131ndan da e\u015f zamanl\u0131l\u0131k kritik bir fakt\u00f6rd\u00fcr.<\/p>\n

Kullan\u0131lacak Teknolojilere Genel Bak\u0131\u015f<\/h3>\n

Bu projenin temelini olu\u015fturan d\u00f6rt ana teknoloji, her biri kendi alan\u0131nda g\u00fc\u00e7l\u00fc yetenekler sunar ve bir araya geldiklerinde sinerjik bir \u00e7\u00f6z\u00fcm olu\u015ftururlar.<\/p>\n

Node.js<\/h4>\n

Node.js, JavaScript’i taray\u0131c\u0131 d\u0131\u015f\u0131nda \u00e7al\u0131\u015ft\u0131rmam\u0131z\u0131 sa\u011flayan a\u00e7\u0131k kaynakl\u0131, sunucu taraf\u0131 bir \u00e7al\u0131\u015fma zaman\u0131 ortam\u0131d\u0131r. Olay d\u00f6ng\u00fcs\u00fc (event loop) tabanl\u0131, engellemeyen (non-blocking) G\/\u00c7 modeli sayesinde, e\u015f zamanl\u0131 i\u015flemler i\u00e7in m\u00fckemmel bir se\u00e7imdir. Web scraper’lar genellikle a\u011f istekleri ve dosya i\u015flemleri gibi G\/\u00c7 yo\u011fun g\u00f6revler i\u00e7erir. Node.js’in bu yap\u0131s\u0131, ayn\u0131 anda binlerce ba\u011flant\u0131y\u0131 y\u00f6netebilirken performans d\u00fc\u015f\u00fc\u015f\u00fc ya\u015famadan y\u00fcksek verimli bir scraping motoru olu\u015fturmam\u0131za olanak tan\u0131r. Geni\u015f npm ekosistemi de geli\u015ftirme s\u00fcrecini h\u0131zland\u0131r\u0131r ve bir\u00e7ok kullan\u0131\u015fl\u0131 k\u00fct\u00fcphaneye eri\u015fim sa\u011flar.<\/p>\n

Puppeteer<\/h4>\n

Puppeteer, Google taraf\u0131ndan geli\u015ftirilen bir Node.js k\u00fct\u00fcphanesidir ve Chrome veya Chromium gibi headless (ba\u015fs\u0131z) veya tam s\u00fcr\u00fcm taray\u0131c\u0131lar\u0131 bir API arac\u0131l\u0131\u011f\u0131yla kontrol etmemizi sa\u011flar. Bu, JavaScript ile olu\u015fturulan dinamik i\u00e7eri\u011fi i\u015fleyebilen, formlar\u0131 doldurabilen, d\u00fc\u011fmelere t\u0131klayabilen, ekran g\u00f6r\u00fcnt\u00fcleri alabilen ve hatta PDF’ler olu\u015fturabilen bir scraper in\u015fa edebilece\u011fimiz anlam\u0131na gelir. Geleneksel HTTP k\u00fct\u00fcphanelerinin aksine, Puppeteer ger\u00e7ek bir taray\u0131c\u0131 ortam\u0131n\u0131 taklit ederek, modern web sitelerinin karma\u015f\u0131k yap\u0131lar\u0131yla etkile\u015fime ge\u00e7me yetene\u011fi sunar. Bu, \u00f6zellikle AJAX \u00e7a\u011fr\u0131lar\u0131, tek sayfa uygulamalar\u0131 (SPA’lar) ve karma\u015f\u0131k DOM manip\u00fclasyonlar\u0131 i\u00e7eren siteler i\u00e7in vazge\u00e7ilmezdir.<\/p>\n

Docker<\/h4>\n

Docker, uygulamalar\u0131 ve ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 izole edilmi\u015f, ta\u015f\u0131nabilir birimler olan konteynerler i\u00e7inde paketlemeyi sa\u011flayan bir platformdur. Bir uygulaman\u0131n “benim makinemde \u00e7al\u0131\u015f\u0131yor” sorununu ortadan kald\u0131r\u0131r. Scraper’\u0131m\u0131z i\u00e7in Docker kullanmak, Node.js ve Puppeteer’\u0131n t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131n (\u00f6rne\u011fin, Chromium’un ihtiya\u00e7 duydu\u011fu sistem k\u00fct\u00fcphaneleri) tek bir imajda toplanmas\u0131n\u0131 sa\u011flar. Bu, geli\u015ftirme ortam\u0131ndan \u00fcretim ortam\u0131na kadar tutarl\u0131 bir \u00e7al\u0131\u015fma ortam\u0131 sunar, da\u011f\u0131t\u0131m\u0131 basitle\u015ftirir ve “ba\u011f\u0131ml\u0131l\u0131k cehennemi” sorunlar\u0131n\u0131 en aza indirir. Her bir scraper \u00f6rne\u011fi ayr\u0131 bir konteynerde \u00e7al\u0131\u015fabilir, bu da izolasyon ve kaynak y\u00f6netimi a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck avantajlar sunar.<\/p>\n

Kubernetes<\/h4>\n

Kubernetes (genellikle K8s olarak an\u0131l\u0131r), konteynerize edilmi\u015f i\u015f y\u00fcklerini ve servisleri otomatik olarak da\u011f\u0131tmak, \u00f6l\u00e7eklendirmek ve y\u00f6netmek i\u00e7in kullan\u0131lan a\u00e7\u0131k kaynakl\u0131 bir sistemdir. Docker konteynerlerini orkestra etmek i\u00e7in end\u00fcstri standard\u0131 haline gelmi\u015ftir. Web scraper’\u0131m\u0131z i\u00e7in Kubernetes kullanmak, binlerce scraping g\u00f6revini e\u015f zamanl\u0131 olarak y\u00fcr\u00fctmek i\u00e7in dinamik olarak Pod’lar olu\u015fturmam\u0131z\u0131, y\u00fck\u00fc dengelememizi, ba\u015far\u0131s\u0131z olan Pod’lar\u0131 otomatik olarak yeniden ba\u015flatmam\u0131z\u0131 ve genel sistemin hataya dayan\u0131kl\u0131 olmas\u0131n\u0131 sa\u011flamam\u0131z\u0131 m\u00fcmk\u00fcn k\u0131lar. Otomatik \u00f6l\u00e7eklendirme (Horizontal Pod Autoscaler – HPA) ile talebe g\u00f6re kaynaklar\u0131 dinamik olarak ayarlayabiliriz, b\u00f6ylece maliyetleri optimize ederken performans s\u00fcreklili\u011fini garanti ederiz.<\/p>\n

Temel Web Scraper Uygulamas\u0131<\/h3>\n

Bu b\u00f6l\u00fcmde, Puppeteer ve Node.js kullanarak basit bir web scraper’\u0131n nas\u0131l olu\u015fturulaca\u011f\u0131n\u0131 ad\u0131m ad\u0131m inceleyece\u011fiz. Amac\u0131m\u0131z, belirli bir web sayfas\u0131ndan veri \u00e7ekmek ve bu veriyi yap\u0131land\u0131r\u0131lm\u0131\u015f bir formatta kaydetmektir.<\/p>\n

Proje Yap\u0131s\u0131 ve Ba\u011f\u0131ml\u0131l\u0131klar<\/h4>\n

\u00d6ncelikle yeni bir Node.js projesi olu\u015ftural\u0131m ve gerekli ba\u011f\u0131ml\u0131l\u0131klar\u0131 kural\u0131m:<\/p>\n

mkdir concurrent-scraper\ncd concurrent-scraper\nnpm init -y\nnpm install puppeteer p-queue<\/code><\/pre>\n
p-queue<\/code> k\u00fct\u00fcphanesi, e\u015f zamanl\u0131 g\u00f6revlerin say\u0131s\u0131n\u0131 kontrol etmemize yard\u0131mc\u0131 olacak basit bir kuyruk y\u00f6netimi sa\u011flar. Proje yap\u0131m\u0131z ba\u015flang\u0131\u00e7ta \u015f\u00f6yle olabilir:<\/p>\n
concurrent-scraper\/\n\u251c\u2500\u2500 node_modules\/\n\u251c\u2500\u2500 package.json\n\u251c\u2500\u2500 package-lock.json\n\u2514\u2500\u2500 scraper.js<\/code><\/pre>\n
Puppeteer ile \u0130lk Ad\u0131mlar<\/h4>\n
\u015eimdi scraper.js<\/code> dosyam\u0131z\u0131 olu\u015ftural\u0131m ve Puppeteer ile basit bir sayfa ziyaretini ve veri \u00e7ekimini ger\u00e7ekle\u015ftirelim. \u00d6rnek olarak, bir blog sayfas\u0131ndaki ba\u015fl\u0131klar\u0131 \u00e7ekmeyi hedefleyebiliriz:<\/p>\n
const puppeteer = require('puppeteer');\n\nasync function scrapePage(url) {\n    let browser;\n    try {\n        browser = await puppeteer.launch({ headless: true }); \/\/ headless: true varsay\u0131lan olarak gelir\n        const page = await browser.newPage();\n        await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 60000 }); \/\/ Sayfan\u0131n y\u00fcklenmesini bekle\n\n        \/\/ Sayfadaki t\u00fcm ba\u015fl\u0131klar\u0131 \u00e7ek\n        const titles = await page.evaluate(() => {\n            const elements = Array.from(document.querySelectorAll('h1, h2, h3'));\n            return elements.map(el => el.innerText.trim());\n        });\n\n        console.log(URL: ${url}<\/code>);\n        console.log('Ba\u015fl\u0131klar:', titles);\n        return { url, titles };\n\n    } catch (error) {\n        console.error(URL ${url} i\u015flenirken hata olu\u015ftu:<\/code>, error);\n        return { url, error: error.message };\n    } finally {\n        if (browser) {\n            await browser.close();\n        }\n    }\n}\n\n\/\/ \u00d6rnek kullan\u0131m\n\/\/ scrapePage('https:\/\/example.com').then(data => console.log('\u00c7ekilen veri:', data));\n<\/code><\/pre>\n
Bu kod par\u00e7as\u0131, Puppeteer’\u0131 ba\u015flat\u0131r, belirtilen URL’ye gider, sayfadaki H1, H2, H3 etiketlerini bulur ve i\u00e7 metinlerini \u00e7eker. Son olarak, taray\u0131c\u0131y\u0131 kapat\u0131r. waitUntil<\/code> ve timeout<\/code> se\u00e7enekleri, sayfa y\u00fckleme davran\u0131\u015f\u0131n\u0131 kontrol etmek i\u00e7in \u00f6nemlidir.<\/p>\n
Veri \u00c7ekme ve Kaydetme<\/h4>\n
\u00d6nceki \u00f6rnekte sadece ba\u015fl\u0131klar\u0131 \u00e7ektik. Ger\u00e7ek bir senaryoda, daha fazla veri noktas\u0131 (fiyat, a\u00e7\u0131klama, resim URL’leri vb.) \u00e7ekmek isteyebiliriz. page.evaluate()<\/code> fonksiyonu i\u00e7inde, taray\u0131c\u0131 ba\u011flam\u0131nda \u00e7al\u0131\u015fan JavaScript kodunu yazarak DOM \u00fczerinde her t\u00fcrl\u00fc manip\u00fclasyonu yapabiliriz. \u00d6rne\u011fin, bir \u00fcr\u00fcn sayfas\u0131ndan fiyat ve a\u00e7\u0131klama \u00e7ekmek i\u00e7in:<\/p>\n
        const productData = await page.evaluate(() => {\n            const title = document.querySelector('h1.product-title')?.innerText.trim();\n            const price = document.querySelector('.product-price')?.innerText.trim();\n            const description = document.querySelector('.product-description')?.innerText.trim();\n            return { title, price, description };\n        });\n        console.log('\u00dcr\u00fcn Verileri:', productData);\n        return { url, productData };\n<\/code><\/pre>\n
\u00c7ekilen veriyi daha sonra bir dosyaya (JSON, CSV) veya bir veritaban\u0131na kaydedebiliriz. Basit bir JSON dosyas\u0131na kaydetme \u00f6rne\u011fi:<\/p>\n
const fs = require('fs').promises; \/\/ Node.js dosya sistemi mod\u00fcl\u00fc\n\n\/\/ ... (scrapePage fonksiyonu) ...\n\nasync function main() {\n    const urlsToScrape = [\n        'https:\/\/example.com\/product\/1',\n        'https:\/\/example.com\/product\/2',\n        \/\/ ...\n    ];\n    const allScrapedData = [];\n    for (const url of urlsToScrape) {\n        const data = await scrapePage(url);\n        allScrapedData.push(data);\n    }\n    await fs.writeFile('scraped_data.json', JSON.stringify(allScrapedData, null, 2));\n    console.log('T\u00fcm veriler scraped_data.json dosyas\u0131na kaydedildi.');\n}\n\n\/\/ main(); \/\/ E\u015f zamanl\u0131l\u0131k ekledikten sonra \u00e7a\u011f\u0131raca\u011f\u0131z.\n<\/code><\/pre>\n
Hata Y\u00f6netimi ve Robustluk<\/h4>\n
Web scraping, a\u011f sorunlar\u0131, sayfa yap\u0131s\u0131 de\u011fi\u015fiklikleri, anti-bot mekanizmalar\u0131 ve sunucu hatalar\u0131 gibi bir\u00e7ok sorunla kar\u015f\u0131la\u015fabilir. Scraper’\u0131m\u0131z\u0131n robust olmas\u0131 i\u00e7in hata y\u00f6netimi kritik \u00f6neme sahiptir:<\/p>\n