25 Günlük Kamu Verisi Sitesi İçin Kayıtsız REST API Oluşturma Rehberi

25 Günlük Kamu Verisi Sitesi İçin Kayıtsız REST API Oluşturma Rehberi

Günümüzde açık veriye erişim, birçok geliştirici ve araştırmacı için hayati önem taşımaktadır. Ancak kamu kurumlarının sağladığı veriler genellikle dağınık, farklı formatlarda ve çoğu zaman bir API (Uygulama Programlama Arayüzü) aracılığıyla erişim için karmaşık kayıt süreçleri gerektirebilir. Bu durum, veri entegrasyonunu yavaşlatır ve inovasyonun önünde bir engel teşkil eder. Peki, 25 farklı, günlük olarak güncellenen kamu verisi sitesinden gelen verileri tek bir noktada toplayan, tamamen kayıtsız ve kolayca erişilebilir bir REST API oluşturmak mümkün müdür? Bu rehber, bu sorunun cevabını adım adım vererek, veri erişimini demokratikleştiren ve geliştiricilerin işini kolaylaştıran bir çözüm sunmayı hedefliyor.

Neden Kayıtsız Bir REST API’ye İhtiyaç Duyarız?

Veriye erişimin önündeki en büyük engellerden biri genellikle kimlik doğrulama (authentication) ve yetkilendirme (authorization) süreçleridir. Birçok API, kullanıcılardan kayıt olmalarını, API anahtarı (API key) almalarını veya OAuth gibi karmaşık protokoller üzerinden yetkilendirme yapmalarını ister. Bu adımlar, özellikle kamusal ve zaten herkese açık olması gereken veriler söz konusu olduğunda, gereksiz bir yük oluşturabilir. Bir geliştiricinin hava durumu, döviz kurları, toplu taşıma saatleri veya şehir etkinlikleri gibi verilere hızlıca erişmesi gerektiğinde, her veri kaynağı için ayrı ayrı kayıt süreçlerinden geçmek zaman kaybına yol açar ve projenin başlangıç maliyetini artırır.

Kayıtsız bir REST API, bu sorunları ortadan kaldırarak veri erişimini radikal bir şekilde basitleştirir. Geliştiriciler, herhangi bir ön kayıt veya kimlik bilgisi sağlamadan doğrudan API uç noktalarına (endpoints) istek gönderebilirler. Bu yaklaşım, özellikle hızlı prototipleme, eğitim amaçlı projeler veya geniş kitlelere ulaşması hedeflenen kamu hizmetleri için idealdir. Örneğin, bir belediye, şehrin parklarındaki doluluk oranlarını, anlık trafik yoğunluğunu veya kültürel etkinlik takvimini bir API üzerinden sunmak istediğinde, vatandaşların veya üçüncü taraf geliştiricilerin bu verilere zahmetsizce ulaşabilmesi büyük bir avantaj sağlar. Kayıtsız bir API, veri kullanımını teşvik eder, yeni uygulamaların ve hizmetlerin ortaya çıkmasına zemin hazırlar ve en önemlisi, açık veri felsefesinin temel prensiplerinden biri olan “erişilebilirliği” en üst düzeye çıkarır.

Ayrıca, bu tür bir API, veri silosunu (data silo) kırarak farklı kamu kurumlarından gelen dağınık verileri tek bir merkezi noktada birleştirme potansiyeli sunar. Bu, veri analistleri, araştırmacılar ve gazeteciler için paha biçilmez bir kaynak olabilir. Örneğin, 25 farklı kaynaktan gelen veriler arasında korelasyonlar bulmak veya genel eğilimleri izlemek, tek tek her siteyi ziyaret etmekten çok daha verimli hale gelir. Kayıtsızlık, bu tür bir çapraz veri analizini ve entegrasyonunu hızlandırır, böylece verinin gerçek değerinin ortaya çıkmasına yardımcı olur. Sonuç olarak, kayıtsız bir REST API, hem geliştiriciler hem de veri tüketicileri için veri erişimini kolaylaştıran, hızlandıran ve demokratikleştiren güçlü bir araçtır.

Temel Kavramlar: API, REST ve Web Kazıma (Scraping) Nedir?

Bu projenin temelini oluşturan üç ana kavramı anlamak, başarılı bir uygulama geliştirmek için kritik öneme sahiptir. Bunlar: API (Uygulama Programlama Arayüzü), REST (Representational State Transfer) ve Web Kazıma (Web Scraping).

API (Uygulama Programlama Arayüzü)

API, en basit tanımıyla, iki yazılım bileşeninin birbiriyle iletişim kurmasını sağlayan bir dizi kural ve mekanizmadır. Bir restoran menüsü gibi düşünebilirsiniz; menü, mutfaktan (veri kaynağı) ne tür yemekler (veri) isteyebileceğinizi ve bu yemeklerin nasıl hazırlanacağını (veri formatı) size söyler. Siz sipariş verdiğinizde, mutfak isteğinizi işler ve yemeği size sunar. Bir API de benzer şekilde, bir uygulamanın başka bir uygulamadan belirli bir hizmet veya veri istemesine olanak tanır. Örneğin, bir hava durumu uygulaması, bir hava durumu servisinin API’sini kullanarak anlık sıcaklık verilerini çekebilir.

REST (Representational State Transfer)

REST, web servisleri geliştirmek için kullanılan bir mimari stildir. Bir web servisinin RESTful olabilmesi için belirli prensiplere uyması gerekir. Bu prensipler şunları içerir:

• Durumsuzluk (Statelessness): Her istek, sunucunun isteği anlamak için ihtiyaç duyduğu tüm bilgiyi içermelidir. Sunucu, önceki isteklerden herhangi bir istemci durumunu saklamaz. Bu, API’nin daha ölçeklenebilir olmasını sağlar.
• İstemci-Sunucu Ayrımı (Client-Server Separation): İstemci ve sunucu birbirinden bağımsızdır. İstemci kullanıcı arayüzü ve kullanıcı deneyiminden, sunucu ise veri depolama ve iş mantığından sorumludur.
• Önbelleklenebilirlik (Cacheability): Yanıtlar, önbelleğe alınabilir olarak işaretlenebilir. Bu, performansı artırır ve sunucu yükünü azaltır.
• Katmanlı Sistem (Layered System): Bir istemci, doğrudan bir sunucuya bağlı olup olmadığını veya bir ara katman (örneğin, proxy, yük dengeleyici) üzerinden iletişim kurup kurmadığını bilmez.
• Tekdüze Arayüz (Uniform Interface): Bu, REST’in en önemli kısımlarından biridir ve dört temel prensibi içerir:
  • Kaynakların Tanımlanması (Identification of Resources): Her kaynağın (örneğin, bir hava durumu tahmini, bir döviz kuru) benzersiz bir URL (Uniform Resource Locator) ile tanımlanması.
  • Kaynakların Temsilleri Aracılığıyla İşlenmesi (Manipulation of Resources Through Representations): İstemci, bir kaynağın temsilini (örneğin, JSON veya XML formatında) alarak veya göndererek kaynağı değiştirebilir.
  • Kendi Kendini Açıklayan Mesajlar (Self-Descriptive Messages): Her mesaj, isteği nasıl işleyeceğini anlamak için yeterli bilgiye sahip olmalıdır.
  • Uygulama Durumunun Motoru Olarak Hipermedya (Hypermedia as the Engine of Application State – HATEOAS): Bir kaynak temsilinde, ilgili diğer kaynaklara bağlantılar (linkler) bulunmalıdır. Bu, istemcinin API’yi keşfetmesini sağlar.

Bizim durumumuzda, API’miz genellikle sadece GET isteklerini kullanarak veri sağlayacak ve JSON formatında yanıtlar dönecektir.

Web Kazıma (Web Scraping)

Web kazıma, web sitelerinden otomatik olarak veri toplama işlemidir. Genellikle, bir web sitesinin HTML içeriği indirilir, ardından belirli desenler veya etiketler kullanılarak istenen veriler ayıklanır. Bu süreç, manuel olarak veri kopyalayıp yapıştırmaktan çok daha hızlı ve verimlidir. Ancak web kazıma yaparken dikkat edilmesi gereken önemli noktalar vardır:

• Yasal ve Etik Boyutlar: Kazımak istediğiniz sitenin robots.txt dosyasını kontrol etmek ve kullanım koşullarını okumak önemlidir. Bazı siteler kazımayı açıkça yasaklar. Kamu verileri genellikle daha serbesttir ancak yine de dikkatli olmak gerekir.
• Site Yükü: Sitelere aşırı istek göndererek sunucularına yük bindirmemek önemlidir. İstekler arasında gecikmeler (delays) eklemek ve makul bir hızda çalışmak etik bir yaklaşımdır.
• Site Yapısı Değişiklikleri: Web sitelerinin HTML yapısı zamanla değişebilir. Bu, kazıma kodunuzun bozulmasına ve güncelleme gerektirmesine neden olabilir.

Popüler web kazıma araçları arasında Python için BeautifulSoup ve Scrapy kütüphaneleri bulunmaktadır. Bizim projemizde, bu araçları kullanarak 25 farklı kamu veri sitesinden güncel verileri toplayacak ve API’miz üzerinden sunacağız.

Bu üç temel kavramı bir araya getirdiğimizde, hedefimiz netleşiyor: Web kazıma teknikleriyle 25 kamu veri sitesinden verileri toplamak, bu verileri JSON gibi standart bir formatta düzenlemek ve ardından bu verilere RESTful prensiplerine uygun, kayıtsız bir API aracılığıyla erişim sağlamak. Bu, veri erişimini kolaylaştıracak ve geliştiriciler için güçlü bir kaynak yaratacaktır.

Veri Kaynaklarını Belirleme ve Toplama Stratejileri

25 günlük güncellenen kamu veri sitesinden veri toplamak, projenin en temel ve sürekli dikkat gerektiren adımlarından biridir. Doğru veri kaynaklarını seçmek, toplama yöntemlerini belirlemek ve verileri düzenlemek, API’mizin kalitesini doğrudan etkileyecektir.

Veri Kaynaklarını Seçerken Kriterler

25 siteyi belirlerken aşağıdaki kriterleri göz önünde bulundurmak faydalı olacaktır:

• Güncellik: Verilerin gerçekten günlük olarak güncellendiğinden emin olun. Bu, API’mizin temel vaatlerinden biridir.
• Erişilebilirlik: Sitelerin robots.txt dosyalarını kontrol edin ve kazıma yapmaya izin verip vermediklerini teyit edin. Çoğu kamu sitesi açık veri prensipleri gereği kazımaya izin verir ancak yine de kontrol önemlidir.
• Veri Yapısı: Verilerin HTML içinde ne kadar düzenli olduğu, kazıma işlemini kolaylaştırır veya zorlaştırır. Tablolar, belirli id veya class etiketleri ile işaretlenmiş alanlar kazıma için idealdir.
• Veri Çeşitliliği: Farklı türde veriler (ekonomik, meteorolojik, kültürel, ulaşım vb.) sunan siteler seçmek, API’mizi daha zengin hale getirecektir. Örneğin, Türkiye İstatistik Kurumu (TÜİK) gibi kurumlar, birçok farklı kategoride veri sunar. Belediyelerin açık veri portalları da yerel bazda zengin veri kaynaklarıdır.
• Güvenilirlik: Veri kaynağının resmi ve güvenilir bir kurum tarafından sağlandığından emin olun.

Örnek veri kaynakları şunlar olabilir:

• Meteoroloji Genel Müdürlüğü (hava durumu)
• Merkez Bankası (döviz kurları, faiz oranları)
• T.C. Ulaştırma ve Altyapı Bakanlığı (trafik yoğunluğu, yol durumu)
• Büyükşehir Belediyeleri (toplu taşıma saatleri, şehir etkinlikleri, park dolulukları)
• Sağlık Bakanlığı (belirli sağlık istatistikleri, aşı verileri)
• Kültür ve Turizm Bakanlığı (müze ziyaretçi sayıları, etkinlik takvimleri)
• Enerji Piyasası Düzenleme Kurumu (EPDK) (akaryakıt fiyatları)

Otomatik Veri Toplama Yöntemleri ve Zamanlama

Verilerin günlük olarak güncellenmesi gerektiği için, veri toplama sürecini otomatikleştirmek zorunludur. Bu genellikle zamanlanmış görevler (scheduled tasks) veya cron işleri aracılığıyla yapılır.

Her bir veri kaynağı için ayrı bir kazıma betiği (script) yazmak ve bu betikleri belirli aralıklarla çalıştırmak en yaygın yöntemdir. Örneğin, Python’da requests kütüphanesi ile web sayfasının içeriğini çekip, BeautifulSoup ile istediğimiz verileri ayıklayabiliriz. Bu betikler, verileri işledikten sonra bir veritabanına (örneğin, PostgreSQL, MongoDB) veya basit bir JSON dosyasına kaydedebilir.

import requests
from bs4 import BeautifulSoup
import json
from datetime import datetime

def kazima_ornegi_hava_durumu(url):
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status() # HTTP hataları için
        soup = BeautifulSoup(response.text, 'html.parser')

        # Örnek: Hava durumu verilerini belirli bir HTML yapısından çekme
        # Bu kısım her siteye göre özelleştirilmelidir.
        # Örneğin, bir div içindeki sıcaklık değeri:
        sicaklik_elementi = soup.find('span', class_='current-temp')
        sicaklik = sicaklik_elementi.text.strip() if sicaklik_elementi else 'N/A'

        sehir_elementi = soup.find('h1', class_='city-name')
        sehir = sehir_elementi.text.strip() if sehir_elementi else 'N/A'

        veri = {
            "kaynak": url,
            "sehir": sehir,
            "sicaklik": sicaklik,
            "guncelleme_tarihi": datetime.now().isoformat()
        }
        return veri
    except requests.exceptions.RequestException as e:
        print(f"Hava durumu kazıma hatası: {e}")
        return None

# Örnek kullanım
# hava_durumu_url = "https://www.mgm.gov.tr/..." # Gerçek bir URL ile değiştirin
# hava_durumu_verisi = kazima_ornegi_hava_durumu(hava_durumu_url)
# if hava_durumu_verisi:
#    print(json.dumps(hava_durumu_verisi, indent=2, ensure_ascii=False))

# Veritabanına kaydetme veya JSON dosyasına yazma mantığı buraya eklenebilir.
  

Bu betikler, günlük olarak belirli bir saatte (örneğin, gece yarısından sonra) çalıştırılacak şekilde ayarlanmalıdır. Linux sistemlerinde cron, Windows’ta Görev Zamanlayıcı (Task Scheduler) veya bulut platformlarında (AWS Lambda, Google Cloud Functions) sunucusuz (serverless) fonksiyonlar bu otomasyonu sağlayabilir. Her betiğin kendi hata yönetimi ve günlük kaydı (logging) mekanizmasına sahip olması, sorunları tespit etmede kritik öneme sahiptir.

Veri Temizleme ve Standardizasyon

Farklı kaynaklardan gelen veriler genellikle farklı formatlarda, birimlerde veya adlandırmalarda olabilir. API’mizin tutarlı ve kullanışlı olması için bu verilerin temizlenmesi ve standartlaştırılması şarttır. Örneğin:

• Sayısal değerlerdeki virgül/nokta farklılıkları.
• Tarih ve saat formatlarının tek tipleştirilmesi (örneğin, ISO 8601 formatı).
• Metin alanlarındaki gereksiz boşlukların veya özel karakterlerin temizlenmesi.
• Farklı kaynaklarda aynı anlama gelen terimlerin tek bir terimle ifade edilmesi (örneğin, “İstanbul Hava Durumu” ve “İst. H.D.” yerine “İstanbul”).
• Eksik verilerin (missing data) nasıl ele alınacağı (boş bırakmak, varsayılan bir değer atamak veya dışlamak).

Bu adımlar, API kullanıcılarının veriyi daha kolay anlamasını ve kendi uygulamalarına entegre etmesini sağlar. Veri temizleme ve standardizasyon aşamaları, kazıma betiklerinin bir parçası olarak veya veriler veritabanına kaydedilmeden hemen önce gerçekleştirilmelidir.

Bu stratejilerle, API’miz için sağlam, güncel ve tutarlı bir veri tabanı oluşturabiliriz. Bu, projemizin başarısı için hayati bir temeldir.

REST API Tasarımı ve Geliştirme Adımları

Veri toplama stratejilerimizi belirledikten sonra, sıra bu verilere kolayca erişim sağlayacak REST API’mizi tasarlamaya ve geliştirmeye geliyor. Kayıtsız (no-signup) bir API oluşturmanın anahtarı, basitlik ve tutarlılık üzerine odaklanmaktır.

Endpoint (Uç Nokta) Yapıları

API’mizin temelini, kaynaklara erişim sağlayan uç noktalar oluşturur. Her bir veri türü veya kaynağı için anlamlı ve tahmin edilebilir URL yapıları tasarlamak önemlidir. Versiyonlama (versioning) da gelecekteki değişiklikler için iyi bir uygulamadır.

• /api/v1/hava_durumu/{sehir}: Belirli bir şehir için hava durumu verileri.
• /api/v1/doviz_kurlari: Güncel döviz kurları.
• /api/v1/ulasim/otobus/{hat_no}: Belirli bir otobüs hattının güncel bilgileri.
• /api/v1/etkinlikler: Şehirdeki güncel etkinlikler.
• /api/v1/tum_veriler: Tüm kaynaklardan toplanan özet veriler (büyük bir yanıt olabileceği için dikkatli kullanılmalı).

Uç noktaların anlaşılır ve hiyerarşik olması, API’nin keşfedilebilirliğini artırır. Örneğin, bir şehirdeki tüm etkinlikleri listelemek için /api/v1/sehirler/{sehir}/etkinlikler gibi bir yapı da düşünülebilir.

HTTP Metotları: Sadece GET (Okuma)

Kayıtsız ve sadece kamu verilerini sunan bir API olduğu için, genellikle sadece GET (okuma) metodu yeterli olacaktır. Bu, API’nin karmaşıklığını azaltır ve güvenlik risklerini minimize eder. Kullanıcıların veri oluşturmasına (POST), güncellemesine (PUT/PATCH) veya silmesine (DELETE) gerek yoktur, çünkü veriler bizim kazıma betiklerimiz tarafından güncellenmektedir.

Kimlik Doğrulamasız (No-signup) Yaklaşım

Bu, projemizin en kritik özelliğidir. Herhangi bir API anahtarı, token veya kullanıcı adı/şifre gerektirmeyen bir erişim modeli benimsiyoruz. Bununla birlikte, kötüye kullanımı önlemek ve sunucuyu aşırı yüklenmeden korumak için bazı önlemler almak gerekebilir:

• İstek Sınırlama (Rate Limiting): Bir IP adresinden belirli bir zaman diliminde yapılabilecek istek sayısını sınırlamak. Bu, sunucunun DDoS (Distributed Denial of Service) saldırılarına karşı korunmasına yardımcı olur.
• Önbellekleme (Caching): Sıkça istenen verileri önbellekte tutarak sunucuya olan yükü azaltmak ve yanıt sürelerini hızlandırmak.

Teknoloji Seçimi

API geliştirmek için birçok seçenek mevcuttur. Python ekosistemi, web kazıma ve API geliştirme için oldukça popüler ve güçlü araçlar sunar:

• Flask: Mikro bir web framework (yazılım çerçevesi) olup, hızlıca API oluşturmak için idealdir. Hafif yapısı sayesinde performansı yüksektir.
• FastAPI: Modern, hızlı (Starlette ve Pydantic üzerine kurulu) ve asenkron (async/await) desteği olan bir framework. Otomatik API dokümantasyonu (Swagger UI) ile birlikte gelir.
• Django REST Framework: Daha büyük ve karmaşık projeler için Django’nun üzerine inşa edilmiş güçlü bir REST framework’üdür.

Bu rehberde, basitliği ve hızlı geliştirme imkanları nedeniyle Flask veya FastAPI’yi tercih edebiliriz. Verileri depolamak için ise basit JSON dosyaları veya hafif bir veritabanı (SQLite, MongoDB) kullanılabilir. Günlük güncellenen 25 site için, verileri JSON formatında diskte tutmak veya bir NoSQL veritabanında (örneğin MongoDB) saklamak pratik olabilir.

Kod Örneği: Basit Bir Flask API’si ve Veri Kazıma Entegrasyonu

Aşağıdaki örnek, Flask kullanarak nasıl basit bir API oluşturulacağını ve kazınan verileri nasıl sunacağını gösterir. Gerçek uygulamada, get_hava_durumu_data() fonksiyonu, kazıma betiklerimizden gelen güncel verileri bir veritabanından veya JSON dosyasından okuyacaktır.

from flask import Flask, jsonify
import json
from datetime import datetime

app = Flask(__name__)

# Örnek veri depolaması (Gerçekte veritabanı veya daha gelişmiş bir yapı kullanılmalı)
# Bu, kazıma betikleriniz tarafından güncellenecek olan veridir.
data_store = {
    "hava_durumu": [
        {"sehir": "Ankara", "sicaklik": "15°C", "durum": "Parçalı Bulutlu", "guncelleme": "2023-10-27T10:00:00"},
        {"sehir": "İstanbul", "sicaklik": "18°C", "durum": "Güneşli", "guncelleme": "2023-10-27T10:00:00"}
    ],
    "doviz_kurlari": {
        "USD": {"alis": "28.00", "satis": "28.10", "guncelleme": "2023-10-27T10:05:00"},
        "EUR": {"alis": "29.50", "satis": "29.65", "guncelleme": "2023-10-27T10:05:00"}
    }
}

# Kazıma betiklerinin güncel veriyi buraya kaydettiğini varsayalım
def load_data_from_disk():
    global data_store
    try:
        with open('data.json', 'r', encoding='utf-8') as f:
            data_store = json.load(f)
    except FileNotFoundError:
        print("data.json bulunamadı, başlangıç verileri kullanılıyor.")
    except json.JSONDecodeError:
        print("data.json bozuk, başlangıç verileri kullanılıyor.")

# API uç noktaları
@app.route('/api/v1/hava_durumu', methods=['GET'])
def get_hava_durumu():
    load_data_from_disk() # Her istekte güncel veriyi yükle (performans için önbellekleme önerilir)
    return jsonify(data_store.get("hava_durumu", []))

@app.route('/api/v1/hava_durumu/', methods=['GET'])
def get_hava_durumu_by_sehir(sehir):
    load_data_from_disk()
    for item in data_store.get("hava_durumu", []):
        if item["sehir"].lower() == sehir.lower():
            return jsonify(item)
    return jsonify({"hata": "Şehir bulunamadı"}), 404

@app.route('/api/v1/doviz_kurlari', methods=['GET'])
def get_doviz_kurlari():
    load_data_from_disk()
    return jsonify(data_store.get("doviz_kurlari", {}))

@app.route('/')
def index():
    return "Hoş Geldiniz! API dökümantasyonu için /docs adresini ziyaret edebilirsiniz (eğer FastAPI kullanılsaydı)."

if __name__ == '__main__':
    # Bu kısmı sadece geliştirme ortamında kullanın.
    # Üretim için Gunicorn veya uWSGI gibi bir WSGI sunucusu kullanın.
    app.run(debug=True, port=5000)
  

Bu kod bloğu, Flask ile nasıl temel bir API oluşturulacağını gösteriyor. load_data_from_disk() fonksiyonu, kazıma betikleriniz tarafından oluşturulan data.json dosyasını okuyarak verileri API’ye sunar. Gerçek bir senaryoda, bu veriler bir veritabanından çekilmeli ve performans için önbelleğe alınmalıdır. Bu basit yapı, 25 farklı veri kaynağının verilerini tek bir API üzerinden sunmak için genişletilebilir.

API Dağıtımı (Deployment), Ölçeklenebilirlik ve Bakım

API’mizi geliştirdikten sonra, onu dünya ile paylaşmak için dağıtmak (deploy etmek) ve sürekli olarak güncel, erişilebilir ve performanslı kalmasını sağlamak kritik öneme sahiptir. Bu, sunucu seçimi, kapsayıcılaştırma (containerization), ölçeklenebilirlik ve sürekli bakım süreçlerini içerir.

Sunucu Seçimi ve Dağıtım Ortamları

API’mizi çalıştırmak için birkaç farklı sunucu ve dağıtım ortamı seçeneği mevcuttur:

• Bulut Platformları (Cloud Platforms): AWS (Amazon Web Services), Google Cloud Platform (GCP) veya Microsoft Azure gibi platformlar, esneklik, ölçeklenebilirlik ve geniş hizmet yelpazesi sunar.
  • Sanal Sunucular (Virtual Machines – EC2, Compute Engine): Kendi sunucunuzu tamamen kontrol edebilir ve API’nizi geleneksel yöntemlerle dağıtabilirsiniz.
  • Sunucusuz (Serverless) Fonksiyonlar (AWS Lambda, Google Cloud Functions): API’nizi olay tabanlı fonksiyonlar olarak dağıtabilirsiniz. Bu, sadece istek geldiğinde kodunuzun çalışmasını sağlar ve maliyetleri optimize eder. Özellikle kazıma betikleri için de idealdir.
  • Kapsayıcı Hizmetleri (Container Services – ECS, GKE, EKS): Docker konteynerlerinizi yönetmek için kullanılır, daha karmaşık ve ölçeklenebilir uygulamalar için uygundur.
• VPS (Virtual Private Server): DigitalOcean, Linode gibi sağlayıcılardan uygun fiyatlı VPS’ler kiralayarak kendi sunucu ortamınızı kurabilirsiniz. Daha fazla kontrol sunar ancak yönetim yükü de artar.

Basit bir Flask veya FastAPI uygulaması için bir VPS veya bulut platformundaki küçük bir sanal sunucu başlangıç için yeterli olacaktır. Üretim ortamında, Gunicorn veya uWSGI gibi bir WSGI (Web Server Gateway Interface) sunucusu ile API’nizi çalıştırmak ve Nginx veya Apache gibi bir web sunucusu ile ters proxy (reverse proxy) olarak yapılandırmak standart bir yaklaşımdır. Bu, statik dosyaların sunulması, SSL sonlandırma ve yük dengeleme gibi görevleri üstlenir.

Kapsayıcılaştırma (Containerization) ile Docker

Docker, uygulamalarımızı ve tüm bağımlılıklarını tek bir taşınabilir “kapsayıcı” (container) içinde paketlememizi sağlar. Bu, uygulamanın farklı ortamlarda (geliştirme, test, üretim) tutarlı bir şekilde çalışmasını garanti eder.

# Dockerfile örneği
# Python 3.9 tabanlı bir imaj kullan
FROM python:3.9-slim-buster

# Çalışma dizinini ayarla
WORKDIR /app

# Bağımlılıkları kopyala ve yükle
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# Uygulama kodunu kopyala
COPY . .

# Uygulamanın çalışacağı portu belirt
EXPOSE 5000

# Gunicorn ile Flask uygulamasını başlat (veya uWSGI, FastAPI için Uvicorn)
CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:5000", "app:app"]
  

Bu Dockerfile, uygulamanızın bir Docker imajına nasıl dönüştürüleceğini gösterir. gunicorn, üretim ortamında Flask uygulamasını çalıştırmak için kullanılan popüler bir WSGI sunucusudur. Docker kullanmak, dağıtım sürecini basitleştirir ve ölçeklenebilirliği artırır.

Ölçeklenebilirlik ve Önbellekleme (Caching)

API’miz kayıtsız olduğu için, beklenenden daha fazla trafik alabilir. Bu nedenle ölçeklenebilirlik önemlidir:

• Yatay Ölçekleme (Horizontal Scaling): API’nin birden fazla kopyasını (instance) çalıştırarak gelen istekleri bu kopyalar arasında dağıtmak. Yük dengeleyici (load balancer) bu işlemi yönetir.
• Önbellekleme (Caching): En sık erişilen verileri veya API yanıtlarını hızlı erişimli bir depoda (örneğin, Redis veya Memcached) tutmak. Bu, veritabanına veya diskteki JSON dosyalarına yapılan tekrar eden istekleri azaltır ve yanıt sürelerini önemli ölçüde hızlandırır.

  
  # Flask ile basit bir önbellekleme örneği (Flask-Caching kütüphanesi ile)
  from flask import Flask, jsonify
  from flask_caching import Cache
  import json
  from datetime import datetime
  
  app = Flask(__name__)
  cache = Cache(app, config={'CACHE_TYPE': 'simple'}) # Basit bellek içi önbellek
  
  # ... (data_store ve load_data_from_disk fonksiyonları önceki gibi) ...
  
  @app.route('/api/v1/hava_durumu', methods=['GET'])
  @cache.cached(timeout=300) # Yanıtı 300 saniye (5 dakika) önbelleğe al
  def get_hava_durumu():
      load_data_from_disk()
      return jsonify(data_store.get("hava_durumu", []))
            

Kazıma betiklerinin de bağımsız olarak ölçeklenmesi ve API sunucusundan ayrı çalışması önemlidir. Bu, bir kazıma hatasının API’yi etkilememesini sağlar.

Günlük İzleme (Logging) ve Hata Yönetimi

API’mizin ve kazıma betiklerimizin sürekli olarak izlenmesi, sorunları hızlıca tespit etmek için elzemdir. Tüm hatalar, uyarılar ve önemli olaylar günlüklenmelidir. Logları merkezi bir yerde (örneğin, ELK Stack, Grafana Loki) toplamak ve analiz etmek, sistemin sağlığı hakkında değerli bilgiler sağlar. Ayrıca, kazıma betiklerinin başarısız olması durumunda otomatik bildirimler (e-posta, Slack) göndermek, veri güncelliğini korumak için kritik bir adımdır.

Veri Kaynaklarındaki Değişikliklere Uyum

Web sitelerinin yapısı zamanla değişebilir. Bu, kazıma betiklerimizin bozulmasına neden olabilir. Bu duruma karşı hazırlıklı olmak için:

• Kazıma betiklerini düzenli olarak test edin.
• Kazıma hatalarını izleyin ve bildirim alın.
• Betikleri kolayca güncelleyebilecek bir yapı kurun.
• Mümkünse, sitelerdeki belirli HTML elemanlarına bağımlı olmak yerine, daha genel desenleri veya API’leri (eğer varsa) kullanmaya çalışın.

API’mizin dağıtımı ve bakımı, projenin sadece teknik bir parçası değil, aynı zamanda sürekli bir operasyonel sorumluluktur. Bu adımları doğru bir şekilde uygulamak, API’mizin uzun ömürlü ve güvenilir olmasını sağlayacaktır.

Güvenlik, Performans ve Gelişmiş Optimizasyon Teknikleri

Bir API’yi kayıtsız olarak sunmak, erişilebilirliği artırırken, aynı zamanda bazı güvenlik ve performans zorluklarını da beraberinde getirir. Bu bölümde, bu zorlukların üstesinden gelmek ve API’mizi daha sağlam, hızlı ve verimli hale getirmek için ileri düzey tekniklere odaklanacağız.

Güvenlik Önlemleri

Kayıtsız bir API, kötü niyetli kullanıcıların veya botların aşırı isteklerle sistemi kilitleme (DDoS saldırıları) veya kaynakları sömürme potansiyeli taşır. Bu riskleri azaltmak için aşağıdaki önlemler alınmalıdır:

• İstek Sınırlama (Rate Limiting): Bu, belirli bir IP adresinden veya belirli bir zaman diliminde yapılabilecek istek sayısını kısıtlar. Örneğin, bir kullanıcının dakikada en fazla 100 istek yapmasına izin verilebilir. Flask için Flask-Limiter, FastAPI için ise kendi isteğe bağlı middleware (ara katman yazılımı) çözümleri mevcuttur. Bu, sunucunuzun aşırı yüklenmesini önler ve hizmetin sürekliliğini sağlar.
• Web Uygulama Güvenlik Duvarı (WAF – Web Application Firewall): Cloudflare, AWS WAF gibi hizmetler, API’nizi kötü niyetli trafikten, SQL enjeksiyonu (SQL injection) veya çapraz site betik çalıştırma (cross-site scripting – XSS) gibi yaygın web saldırılarından korur. Bu hizmetler, API’nizin önünde bir kalkan görevi görür.
• HTTPS Kullanımı: Tüm API iletişiminin HTTPS (Hypertext Transfer Protocol Secure) üzerinden yapılması zorunludur. Bu, verilerin şifrelenmesini ve iletim sırasında gizliliğinin korunmasını sağlar. Let’s Encrypt gibi ücretsiz sertifika sağlayıcıları ile kolayca HTTPS etkinleştirilebilir.
• Veri Doğrulama ve Temizleme: API’nizden dönen verilerin temiz ve güvenli olduğundan emin olun. Kazıma sırasında elde edilen verilerde kötü amaçlı betikler veya istenmeyen karakterler bulunabilir. Bu verileri API yanıtına dahil etmeden önce kapsamlı bir şekilde temizlemek (sanitization) önemlidir.

Performans Optimizasyonu

API’nin hızlı ve duyarlı olması, kullanıcı deneyimi için kritik öneme sahiptir. Aşağıdaki teknikler performansı artırmaya yardımcı olacaktır:

• Gelişmiş Önbellekleme Stratejileri:
  • Veri Katmanı Önbellekleme: Kazınan verileri veritabanına kaydetmeden önce veya kaydettikten sonra Redis veya Memcached gibi hızlı bellek içi depolarda tutmak. API isteği geldiğinde, veritabanına gitmek yerine önbellekten çekilir.
  • API Yanıtı Önbellekleme: Belirli uç noktaların yanıtlarını belirli bir süre boyunca önbellekte tutmak. Bu, aynı isteğin tekrar gelmesi durumunda hızlıca yanıt verilmesini sağlar.
• Asenkron İşlemler (Async/Await): Python’da asyncio ve FastAPI gibi framework’ler, eş zamanlı (concurrent) işlemleri yönetmek için asenkron programlama modelini destekler. Bu, API’nizin aynı anda birden fazla isteği daha verimli bir şekilde işlemesini sağlar, özellikle I/O yoğun (veri tabanı erişimi, harici API çağrıları) işlemler için performansı artırır.

  
  # FastAPI ile asenkron bir uç nokta örneği
  from fastapi import FastAPI
  import asyncio
  import httpx # Asenkron HTTP istemcisi
  
  app = FastAPI()
  
  # Asenkron veri çekme fonksiyonu (örneğin, bir veritabanından veya diskten)
  async def get_async_data():
      await asyncio.sleep(0.05) # Veri çekme simülasyonu
      return {"mesaj": "Asenkron veri çekildi!"}
  
  @app.get("/api/v1/async_veri")
  async def read_async_veri():
      data = await get_async_data()
      return data
            

• Veritabanı Optimizasyonu: Eğer bir veritabanı kullanılıyorsa, sorguların optimize edilmesi, doğru indekslerin (index) kullanılması ve bağlantı havuzlama (connection pooling) gibi teknikler performansı artırabilir.
• CDN (Content Delivery Network) Kullanımı: Özellikle statik varlıklar veya çok sık değişmeyen veriler için CDN kullanmak, yanıt sürelerini azaltır ve coğrafi olarak dağıtılmış kullanıcılara daha hızlı hizmet sunar.

Gelişmiş Optimizasyon Teknikleri

• Veri Sıkıştırma (Data Compression): API yanıtlarını gzip gibi yöntemlerle sıkıştırmak, ağ bant genişliği kullanımını azaltır ve yanıt sürelerini hızlandırır. Çoğu web sunucusu (Nginx) veya framework (Flask-Compress) bu özelliği destekler.
• HTTP/2 Kullanımı: HTTP/2, aynı TCP bağlantısı üzerinden birden fazla isteği paralel olarak göndermeye olanak tanıyarak performansı artırır.
• Monitoring ve Profiling: API’nizin performansını sürekli olarak izlemek (CPU, bellek kullanımı, yanıt süreleri) ve darboğazları tespit etmek için profil oluşturma (profiling) araçları kullanmak, sürekli optimizasyon için önemlidir. Prometheus, Grafana, New Relic gibi araçlar bu konuda yardımcı olabilir.
• Akıllı Hata Yönetimi: API’nin hata durumlarında anlaşılır ve bilgilendirici hata mesajları dönmesi, geliştiricilerin sorunları daha hızlı çözmesine yardımcı olur. Hata kodları (HTTP status codes) ve mesajları tutarlı olmalıdır.

Bu güvenlik ve performans optimizasyonları, kayıtsız API’mizin sadece erişilebilir olmakla kalmayıp, aynı zamanda güvenilir, hızlı ve sürdürülebilir olmasını sağlayacaktır. Verilerin sürekli güncellenmesi ve API’nin kesintisiz çalışması için bu adımların titizlikle uygulanması gerekmektedir.

Sonuç: Açık Veriye Erişimde Yeni Bir Dönem

25 günlük güncellenen kamu veri sitesinden veri toplayıp, kayıtsız bir REST API aracılığıyla sunmak, açık veri hareketine önemli bir katkı sağlamaktadır. Bu rehber boyunca ele aldığımız adımlar, veri toplama stratejilerinden API tasarımına, dağıtımdan güvenlik ve performansa kadar projenin tüm yaşam döngüsünü kapsamaktadır. Bu tür bir API, veriye erişimdeki bürokratik engelleri ortadan kaldırarak, geliştiricilerin, araştırmacıların ve hatta sıradan vatandaşların kamu verilerinden daha kolay faydalanmasını mümkün kılar. Böylece, yeni uygulamaların, analizlerin ve hizmetlerin geliştirilmesine zemin hazırlar, inovasyonu teşvik eder ve şeffaflığı artırır.

Kayıtsız bir API, veri entegrasyon süreçlerini basitleştirir, geliştirme maliyetlerini düşürür ve projelerin daha hızlı hayata geçmesine olanak tanır. Ancak, bu kolaylığın getirdiği sorumluluklar da vardır: veri güncelliğini korumak, API’nin performansını ve güvenliğini sağlamak, veri kaynaklarındaki değişikliklere uyum sağlamak sürekli bir çaba gerektirir. Doğru araçlar, stratejiler ve sürekli bakım ile bu zorlukların üstesinden gelinebilir ve açık veriye erişimde gerçekten yeni bir dönem başlatılabilir.

Sıkça Sorulan Sorular (SSS)

• Bu API’yi kullanmak yasal mı?

  Çoğu kamu verisi, açık veri prensipleri kapsamında kamuya açıktır ve kullanımı serbesttir. Ancak, her veri kaynağının kendi kullanım koşulları ve robots.txt dosyasını kontrol etmek önemlidir. Ticari kullanım veya yeniden dağıtım için özel izinler gerekebilir. Genel olarak, kişisel olmayan kamu verilerini kazımak ve sunmak genellikle yasaldır, ancak her zaman kaynağın politikalarını incelemeniz önerilir.

• Veriler ne sıklıkla güncellenir?

  API’mizdeki veriler, kazıma betiklerimizin çalışma sıklığına bağlı olarak güncellenir. Bu rehberdeki senaryoda, verilerin günlük olarak güncellendiği varsayılmıştır. Her bir veri kaynağı için ayrı bir kazıma betiği, genellikle günde bir kez (örneğin, gece yarısı) çalıştırılarak verilerin güncel kalması sağlanır. API yanıtlarında genellikle verinin en son ne zaman güncellendiğine dair bir zaman damgası bulunur.

• API’ye kaç istek yapabilirim?

  API kayıtsız olsa da, sunucu kaynaklarını korumak ve hizmetin sürekliliğini sağlamak için istek sınırlamaları (rate limiting) uygulanabilir. Bu sınırlamalar genellikle bir IP adresinden belirli bir zaman diliminde yapılabilecek maksimum istek sayısını belirler (örneğin, dakikada 100 istek). Aşırı kullanım tespit edildiğinde, geçici olarak erişiminiz engellenebilir. API dokümantasyonunda bu sınırlamalar belirtilmelidir.

• Hangi veri formatlarını destekler?

  Bu API, yaygın olarak kullanılan ve web tabanlı uygulamalar için ideal olan JSON (JavaScript Object Notation) formatında veri sunar. JSON, insan tarafından okunabilir ve birçok programlama dili tarafından kolayca ayrıştırılabilir bir formattır. Gelecekte XML veya CSV gibi başka formatlar da eklenebilir, ancak başlangıçta JSON ana odak noktasıdır.

• Kendi verilerimi ekleyebilir miyim veya API’yi özelleştirebilir miyim?

  Bu API, sadece bizim tarafımızdan toplanan kamu verilerini sunmak üzere tasarlanmıştır ve kullanıcıların doğrudan veri eklemesine veya mevcut verileri değiştirmesine izin vermez. Ancak, API’nin açık kaynaklı olması durumunda, kendi sunucunuzda API’nin bir kopyasını dağıtabilir, kendi veri kaynaklarınızı ekleyebilir veya mevcut uç noktaları (endpoints) kendi ihtiyaçlarınıza göre özelleştirebilirsiniz. Bu, projenin esnekliğini ve adaptasyon yeteneğini artırır.

#Teknoloji #WebGeliştirme #API #VeriToplama #RESTAPI