Google Haberlerini Node.js ile Nasıl Çıkarılır?

Google Haberlerini Node.js ile Nasıl Çıkarılır?

Merhaba! Bugün, Google Haberlerini Node.js kullanarak nasıl çıkaracağınızı adım adım açıklayacağım. Bu rehber, hem yeni başlayanlar hem de deneyimli geliştiriciler için faydalı bilgiler sunacaktır. Öncelikle şunu belirtmeliyim ki, Google’ın resmi bir API’sı bulunmuyor. Bu nedenle, web scraping tekniklerini kullanacağız. Ancak, Google’ın robot.txt kurallarına uymak son derece önemlidir. Aşırı istek göndermek, IP adresinizin engellenmesine neden olabilir. Bu yüzden, isteklerinizi düzenli aralıklarla gönderin.

Gerekli Kütüphaneler

Projemize başlamadan önce, bazı Node.js kütüphanelerini kurmamız gerekiyor. Bunun için npm (Node Package Manager) kullanacağız. İhtiyacımız olan en önemli kütüphane axios‘tur. axios, HTTP istekleri göndermemizi kolaylaştıran güçlü bir araçtır. Ayrıca, HTML’i ayrıştırmak için cheerio kütüphanesini kullanacağız. Kurulumu şu şekilde yapabilirsiniz:

npm install axios cheerio

Kod Örneği

Şimdi, Google Haberlerini kazımak için basit bir Node.js kodu yazalım. Bu kod, belirli bir arama terimi için Google Haberlerinin ilk sayfasındaki haber başlıklarını ve bağlantıları çıkaracaktır. Elbette daha gelişmiş özellikler ekleyebilirsiniz. Örneğin, birden fazla sayfayı tarayabilir, haber içeriğini de alabilirsiniz. Ancak, bu örnekte temel prensipleri öğreneceğiz.

const axios = require('axios');
const cheerio = require('cheerio');

async function getGoogleNews(keyword) {
  try {
    const response = await axios.get(https://www.google.com/search?q=${keyword}&tbm=nws);
    const html = response.data;
    const $ = cheerio.load(html);
    const newsItems = [];

    $('.g').each((i, el) => {
      const title = $(el).find('h3').text();
      const link = $(el).find('a').attr('href');
      if (title && link) {
        newsItems.push({ title, link });
      }
    });

    return newsItems;
  } catch (error) {
    console.error('Hata oluştu:', error);
    return [];
  }
}


getGoogleNews('yazılım geliştirme').then(news => console.log(news));

Bu kodda, öncelikle axios ile Google Haberler sayfasına istek gönderiyoruz. Daha sonra, cheerio ile HTML’i ayrıştırıp, haber başlıklarını ve bağlantıları alıyoruz. Son olarak, bu bilgileri bir dizi halinde döndürüyoruz.

Önemli Notlar

Google Haberlerinin yapısı zaman zaman değişebilir. Bu nedenle, kodunuzun her zaman doğru çalıştığından emin olmak için düzenli olarak kontrol etmeniz gerekebilir. Ayrıca, Google’ın kullanım şartlarına ve robot.txt dosyasına dikkat etmeniz çok önemlidir. Aşırı isteklerden kaçınarak, IP adresinizin engellenmesini önleyebilirsiniz. Daha gelişmiş web scraping projelerinde proxy server kullanmanız da faydalı olabilir.

Umarım bu makale, Google Haberlerini Node.js ile nasıl çıkaracağınızı anlamanıza yardımcı olmuştur. Daha fazla bilgi ve örnek için fatihsoysal.com sitesini ziyaret edebilirsiniz. Ayrıca, bu İngilizce makale de size yardımcı olabilir.

#Etiketler: Google Haberleri, Node.js, Web Scraping, API, Veri Çıkarımı, Programlama, JavaScript, Axios, Cheerio, Fatih Soysal