G\u00fcn\u00fcm\u00fczde a\u00e7\u0131k veriye eri\u015fim, bir\u00e7ok geli\u015ftirici ve ara\u015ft\u0131rmac\u0131 i\u00e7in hayati \u00f6nem ta\u015f\u0131maktad\u0131r. Ancak kamu kurumlar\u0131n\u0131n sa\u011flad\u0131\u011f\u0131 veriler genellikle da\u011f\u0131n\u0131k, farkl\u0131 formatlarda ve \u00e7o\u011fu zaman bir API (Uygulama Programlama Aray\u00fcz\u00fc) arac\u0131l\u0131\u011f\u0131yla eri\u015fim i\u00e7in karma\u015f\u0131k kay\u0131t s\u00fcre\u00e7leri gerektirebilir. Bu durum, veri entegrasyonunu yava\u015flat\u0131r ve inovasyonun \u00f6n\u00fcnde bir engel te\u015fkil eder. Peki, 25 farkl\u0131, g\u00fcnl\u00fck olarak g\u00fcncellenen kamu verisi sitesinden gelen verileri tek bir noktada toplayan, tamamen kay\u0131ts\u0131z ve kolayca eri\u015filebilir bir REST API olu\u015fturmak m\u00fcmk\u00fcn m\u00fcd\u00fcr? Bu rehber, bu sorunun cevab\u0131n\u0131 ad\u0131m ad\u0131m vererek, veri eri\u015fimini demokratikle\u015ftiren ve geli\u015ftiricilerin i\u015fini kolayla\u015ft\u0131ran bir \u00e7\u00f6z\u00fcm sunmay\u0131 hedefliyor.<\/p>\n
Veriye eri\u015fimin \u00f6n\u00fcndeki en b\u00fcy\u00fck engellerden biri genellikle kimlik do\u011frulama (authentication) ve yetkilendirme (authorization) s\u00fcre\u00e7leridir. Bir\u00e7ok API, kullan\u0131c\u0131lardan kay\u0131t olmalar\u0131n\u0131, API anahtar\u0131 (API key) almalar\u0131n\u0131 veya OAuth gibi karma\u015f\u0131k protokoller \u00fczerinden yetkilendirme yapmalar\u0131n\u0131 ister. Bu ad\u0131mlar, \u00f6zellikle kamusal ve zaten herkese a\u00e7\u0131k olmas\u0131 gereken veriler s\u00f6z konusu oldu\u011funda, gereksiz bir y\u00fck olu\u015fturabilir. Bir geli\u015ftiricinin hava durumu, d\u00f6viz kurlar\u0131, toplu ta\u015f\u0131ma saatleri veya \u015fehir etkinlikleri gibi verilere h\u0131zl\u0131ca eri\u015fmesi gerekti\u011finde, her veri kayna\u011f\u0131 i\u00e7in ayr\u0131 ayr\u0131 kay\u0131t s\u00fcre\u00e7lerinden ge\u00e7mek zaman kayb\u0131na yol a\u00e7ar ve projenin ba\u015flang\u0131\u00e7 maliyetini art\u0131r\u0131r.<\/p>\n
Kay\u0131ts\u0131z bir REST API, bu sorunlar\u0131 ortadan kald\u0131rarak veri eri\u015fimini radikal bir \u015fekilde basitle\u015ftirir. Geli\u015ftiriciler, herhangi bir \u00f6n kay\u0131t veya kimlik bilgisi sa\u011flamadan do\u011frudan API u\u00e7 noktalar\u0131na (endpoints) istek g\u00f6nderebilirler. Bu yakla\u015f\u0131m, \u00f6zellikle h\u0131zl\u0131 prototipleme, e\u011fitim ama\u00e7l\u0131 projeler veya geni\u015f kitlelere ula\u015fmas\u0131 hedeflenen kamu hizmetleri i\u00e7in idealdir. \u00d6rne\u011fin, bir belediye, \u015fehrin parklar\u0131ndaki doluluk oranlar\u0131n\u0131, anl\u0131k trafik yo\u011funlu\u011funu veya k\u00fclt\u00fcrel etkinlik takvimini bir API \u00fczerinden sunmak istedi\u011finde, vatanda\u015flar\u0131n veya \u00fc\u00e7\u00fcnc\u00fc taraf geli\u015ftiricilerin bu verilere zahmetsizce ula\u015fabilmesi b\u00fcy\u00fck bir avantaj sa\u011flar. Kay\u0131ts\u0131z bir API, veri kullan\u0131m\u0131n\u0131 te\u015fvik eder, yeni uygulamalar\u0131n ve hizmetlerin ortaya \u00e7\u0131kmas\u0131na zemin haz\u0131rlar ve en \u00f6nemlisi, a\u00e7\u0131k veri felsefesinin temel prensiplerinden biri olan “eri\u015filebilirli\u011fi” en \u00fcst d\u00fczeye \u00e7\u0131kar\u0131r.<\/p>\n
Ayr\u0131ca, bu t\u00fcr bir API, veri silosunu (data silo) k\u0131rarak farkl\u0131 kamu kurumlar\u0131ndan gelen da\u011f\u0131n\u0131k verileri tek bir merkezi noktada birle\u015ftirme potansiyeli sunar. Bu, veri analistleri, ara\u015ft\u0131rmac\u0131lar ve gazeteciler i\u00e7in paha bi\u00e7ilmez bir kaynak olabilir. \u00d6rne\u011fin, 25 farkl\u0131 kaynaktan gelen veriler aras\u0131nda korelasyonlar bulmak veya genel e\u011filimleri izlemek, tek tek her siteyi ziyaret etmekten \u00e7ok daha verimli hale gelir. Kay\u0131ts\u0131zl\u0131k, bu t\u00fcr bir \u00e7apraz veri analizini ve entegrasyonunu h\u0131zland\u0131r\u0131r, b\u00f6ylece verinin ger\u00e7ek de\u011ferinin ortaya \u00e7\u0131kmas\u0131na yard\u0131mc\u0131 olur. Sonu\u00e7 olarak, kay\u0131ts\u0131z bir REST API, hem geli\u015ftiriciler hem de veri t\u00fcketicileri i\u00e7in veri eri\u015fimini kolayla\u015ft\u0131ran, h\u0131zland\u0131ran ve demokratikle\u015ftiren g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r.<\/p>\n
Bu projenin temelini olu\u015fturan \u00fc\u00e7 ana kavram\u0131 anlamak, ba\u015far\u0131l\u0131 bir uygulama geli\u015ftirmek i\u00e7in kritik \u00f6neme sahiptir. Bunlar: API (Uygulama Programlama Aray\u00fcz\u00fc), REST (Representational State Transfer) ve Web Kaz\u0131ma (Web Scraping).<\/p>\n
API, en basit tan\u0131m\u0131yla, iki yaz\u0131l\u0131m bile\u015feninin birbiriyle ileti\u015fim kurmas\u0131n\u0131 sa\u011flayan bir dizi kural ve mekanizmad\u0131r. Bir restoran men\u00fcs\u00fc gibi d\u00fc\u015f\u00fcnebilirsiniz; men\u00fc, mutfaktan (veri kayna\u011f\u0131) ne t\u00fcr yemekler (veri) isteyebilece\u011finizi ve bu yemeklerin nas\u0131l haz\u0131rlanaca\u011f\u0131n\u0131 (veri format\u0131) size s\u00f6yler. Siz sipari\u015f verdi\u011finizde, mutfak iste\u011finizi i\u015fler ve yeme\u011fi size sunar. Bir API de benzer \u015fekilde, bir uygulaman\u0131n ba\u015fka bir uygulamadan belirli bir hizmet veya veri istemesine olanak tan\u0131r. \u00d6rne\u011fin, bir hava durumu uygulamas\u0131, bir hava durumu servisinin API’sini kullanarak anl\u0131k s\u0131cakl\u0131k verilerini \u00e7ekebilir.<\/p>\n
REST, web servisleri geli\u015ftirmek i\u00e7in kullan\u0131lan bir mimari stildir. Bir web servisinin RESTful olabilmesi i\u00e7in belirli prensiplere uymas\u0131 gerekir. Bu prensipler \u015funlar\u0131 i\u00e7erir:<\/p>\n
Bizim durumumuzda, API’miz genellikle sadece Web kaz\u0131ma, web sitelerinden otomatik olarak veri toplama i\u015flemidir. Genellikle, bir web sitesinin HTML i\u00e7eri\u011fi indirilir, ard\u0131ndan belirli desenler veya etiketler kullan\u0131larak istenen veriler ay\u0131klan\u0131r. Bu s\u00fcre\u00e7, manuel olarak veri kopyalay\u0131p yap\u0131\u015ft\u0131rmaktan \u00e7ok daha h\u0131zl\u0131 ve verimlidir. Ancak web kaz\u0131ma yaparken dikkat edilmesi gereken \u00f6nemli noktalar vard\u0131r:<\/p>\n Pop\u00fcler web kaz\u0131ma ara\u00e7lar\u0131 aras\u0131nda Python i\u00e7in Bu \u00fc\u00e7 temel kavram\u0131 bir araya getirdi\u011fimizde, hedefimiz netle\u015fiyor: Web kaz\u0131ma teknikleriyle 25 kamu veri sitesinden verileri toplamak, bu verileri 25 g\u00fcnl\u00fck g\u00fcncellenen kamu veri sitesinden veri toplamak, projenin en temel ve s\u00fcrekli dikkat gerektiren ad\u0131mlar\u0131ndan biridir. Do\u011fru veri kaynaklar\u0131n\u0131 se\u00e7mek, toplama y\u00f6ntemlerini belirlemek ve verileri d\u00fczenlemek, API’mizin kalitesini do\u011frudan etkileyecektir.<\/p>\n 25 siteyi belirlerken a\u015fa\u011f\u0131daki kriterleri g\u00f6z \u00f6n\u00fcnde bulundurmak faydal\u0131 olacakt\u0131r:<\/p>\n \u00d6rnek veri kaynaklar\u0131 \u015funlar olabilir:<\/p>\n Verilerin g\u00fcnl\u00fck olarak g\u00fcncellenmesi gerekti\u011fi i\u00e7in, veri toplama s\u00fcrecini otomatikle\u015ftirmek zorunludur. Bu genellikle zamanlanm\u0131\u015f g\u00f6revler (scheduled tasks) veya Her bir veri kayna\u011f\u0131 i\u00e7in ayr\u0131 bir kaz\u0131ma beti\u011fi (script) yazmak ve bu betikleri belirli aral\u0131klarla \u00e7al\u0131\u015ft\u0131rmak en yayg\u0131n y\u00f6ntemdir. \u00d6rne\u011fin, Python’da Bu betikler, g\u00fcnl\u00fck olarak belirli bir saatte (\u00f6rne\u011fin, gece yar\u0131s\u0131ndan sonra) \u00e7al\u0131\u015ft\u0131r\u0131lacak \u015fekilde ayarlanmal\u0131d\u0131r. Linux sistemlerinde Farkl\u0131 kaynaklardan gelen veriler genellikle farkl\u0131 formatlarda, birimlerde veya adland\u0131rmalarda olabilir. API’mizin tutarl\u0131 ve kullan\u0131\u015fl\u0131 olmas\u0131 i\u00e7in bu verilerin temizlenmesi ve standartla\u015ft\u0131r\u0131lmas\u0131 \u015fartt\u0131r. \u00d6rne\u011fin:<\/p>\n Bu ad\u0131mlar, API kullan\u0131c\u0131lar\u0131n\u0131n veriyi daha kolay anlamas\u0131n\u0131 ve kendi uygulamalar\u0131na entegre etmesini sa\u011flar. Veri temizleme ve standardizasyon a\u015famalar\u0131, kaz\u0131ma betiklerinin bir par\u00e7as\u0131 olarak veya veriler veritaban\u0131na kaydedilmeden hemen \u00f6nce ger\u00e7ekle\u015ftirilmelidir.<\/p>\n Bu stratejilerle, API’miz i\u00e7in sa\u011flam, g\u00fcncel ve tutarl\u0131 bir veri taban\u0131 olu\u015fturabiliriz. Bu, projemizin ba\u015far\u0131s\u0131 i\u00e7in hayati bir temeldir.<\/p>\n Veri toplama stratejilerimizi belirledikten sonra, s\u0131ra bu verilere kolayca eri\u015fim sa\u011flayacak REST API’mizi tasarlamaya ve geli\u015ftirmeye geliyor. Kay\u0131ts\u0131z (no-signup) bir API olu\u015fturman\u0131n anahtar\u0131, basitlik ve tutarl\u0131l\u0131k \u00fczerine odaklanmakt\u0131r.<\/p>\n API’mizin temelini, kaynaklara eri\u015fim sa\u011flayan u\u00e7 noktalar olu\u015fturur. Her bir veri t\u00fcr\u00fc veya kayna\u011f\u0131 i\u00e7in anlaml\u0131 ve tahmin edilebilir URL yap\u0131lar\u0131 tasarlamak \u00f6nemlidir. Versiyonlama (versioning) da gelecekteki de\u011fi\u015fiklikler i\u00e7in iyi bir uygulamad\u0131r.<\/p>\n U\u00e7 noktalar\u0131n anla\u015f\u0131l\u0131r ve hiyerar\u015fik olmas\u0131, API’nin ke\u015ffedilebilirli\u011fini art\u0131r\u0131r. \u00d6rne\u011fin, bir \u015fehirdeki t\u00fcm etkinlikleri listelemek i\u00e7in Kay\u0131ts\u0131z ve sadece kamu verilerini sunan bir API oldu\u011fu i\u00e7in, genellikle sadece Bu, projemizin en kritik \u00f6zelli\u011fidir. Herhangi bir API anahtar\u0131, token veya kullan\u0131c\u0131 ad\u0131\/\u015fifre gerektirmeyen bir eri\u015fim modeli benimsiyoruz. Bununla birlikte, k\u00f6t\u00fcye kullan\u0131m\u0131 \u00f6nlemek ve sunucuyu a\u015f\u0131r\u0131 y\u00fcklenmeden korumak i\u00e7in baz\u0131 \u00f6nlemler almak gerekebilir:<\/p>\n API geli\u015ftirmek i\u00e7in bir\u00e7ok se\u00e7enek mevcuttur. Python ekosistemi, web kaz\u0131ma ve API geli\u015ftirme i\u00e7in olduk\u00e7a pop\u00fcler ve g\u00fc\u00e7l\u00fc ara\u00e7lar sunar:<\/p>\n Bu rehberde, basitli\u011fi ve h\u0131zl\u0131 geli\u015ftirme imkanlar\u0131 nedeniyle Flask veya FastAPI’yi tercih edebiliriz. Verileri depolamak i\u00e7in ise basit A\u015fa\u011f\u0131daki \u00f6rnek, Flask kullanarak nas\u0131l basit bir API olu\u015fturulaca\u011f\u0131n\u0131 ve kaz\u0131nan verileri nas\u0131l sunaca\u011f\u0131n\u0131 g\u00f6sterir. Ger\u00e7ek uygulamada, Bu kod blo\u011fu, Flask ile nas\u0131l temel bir API olu\u015fturulaca\u011f\u0131n\u0131 g\u00f6steriyor. API’mizi geli\u015ftirdikten sonra, onu d\u00fcnya ile payla\u015fmak i\u00e7in da\u011f\u0131tmak (deploy etmek) ve s\u00fcrekli olarak g\u00fcncel, eri\u015filebilir ve performansl\u0131 kalmas\u0131n\u0131 sa\u011flamak kritik \u00f6neme sahiptir. Bu, sunucu se\u00e7imi, kapsay\u0131c\u0131la\u015ft\u0131rma (containerization), \u00f6l\u00e7eklenebilirlik ve s\u00fcrekli bak\u0131m s\u00fcre\u00e7lerini i\u00e7erir.<\/p>\n API’mizi \u00e7al\u0131\u015ft\u0131rmak i\u00e7in birka\u00e7 farkl\u0131 sunucu ve da\u011f\u0131t\u0131m ortam\u0131 se\u00e7ene\u011fi mevcuttur:<\/p>\n Basit bir Flask veya FastAPI uygulamas\u0131 i\u00e7in bir VPS veya bulut platformundaki k\u00fc\u00e7\u00fck bir sanal sunucu ba\u015flang\u0131\u00e7 i\u00e7in yeterli olacakt\u0131r. \u00dcretim ortam\u0131nda, Gunicorn veya uWSGI gibi bir WSGI (Web Server Gateway Interface) sunucusu ile API’nizi \u00e7al\u0131\u015ft\u0131rmak ve Nginx veya Apache gibi bir web sunucusu ile ters proxy (reverse proxy) olarak yap\u0131land\u0131rmak standart bir yakla\u015f\u0131md\u0131r. Bu, statik dosyalar\u0131n sunulmas\u0131, SSL sonland\u0131rma ve y\u00fck dengeleme gibi g\u00f6revleri \u00fcstlenir.<\/p>\n Docker, uygulamalar\u0131m\u0131z\u0131 ve t\u00fcm ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 tek bir ta\u015f\u0131nabilir “kapsay\u0131c\u0131” (container) i\u00e7inde paketlememizi sa\u011flar. Bu, uygulaman\u0131n farkl\u0131 ortamlarda (geli\u015ftirme, test, \u00fcretim) tutarl\u0131 bir \u015fekilde \u00e7al\u0131\u015fmas\u0131n\u0131 garanti eder.<\/p>\n Bu API’miz kay\u0131ts\u0131z oldu\u011fu i\u00e7in, beklenenden daha fazla trafik alabilir. Bu nedenle \u00f6l\u00e7eklenebilirlik \u00f6nemlidir:<\/p>\n Kaz\u0131ma betiklerinin de ba\u011f\u0131ms\u0131z olarak \u00f6l\u00e7eklenmesi ve API sunucusundan ayr\u0131 \u00e7al\u0131\u015fmas\u0131 \u00f6nemlidir. Bu, bir kaz\u0131ma hatas\u0131n\u0131n API’yi etkilememesini sa\u011flar.<\/p>\n API’mizin ve kaz\u0131ma betiklerimizin s\u00fcrekli olarak izlenmesi, sorunlar\u0131 h\u0131zl\u0131ca tespit etmek i\u00e7in elzemdir. T\u00fcm hatalar, uyar\u0131lar ve \u00f6nemli olaylar g\u00fcnl\u00fcklenmelidir. Loglar\u0131 merkezi bir yerde (\u00f6rne\u011fin, ELK Stack, Grafana Loki) toplamak ve analiz etmek, sistemin sa\u011fl\u0131\u011f\u0131 hakk\u0131nda de\u011ferli bilgiler sa\u011flar. Ayr\u0131ca, kaz\u0131ma betiklerinin ba\u015far\u0131s\u0131z olmas\u0131 durumunda otomatik bildirimler (e-posta, Slack) g\u00f6ndermek, veri g\u00fcncelli\u011fini korumak i\u00e7in kritik bir ad\u0131md\u0131r.<\/p>\n Web sitelerinin yap\u0131s\u0131 zamanla de\u011fi\u015febilir. Bu, kaz\u0131ma betiklerimizin bozulmas\u0131na neden olabilir. Bu duruma kar\u015f\u0131 haz\u0131rl\u0131kl\u0131 olmak i\u00e7in:<\/p>\n API’mizin da\u011f\u0131t\u0131m\u0131 ve bak\u0131m\u0131, projenin sadece teknik bir par\u00e7as\u0131 de\u011fil, ayn\u0131 zamanda s\u00fcrekli bir operasyonel sorumluluktur. Bu ad\u0131mlar\u0131 do\u011fru bir \u015fekilde uygulamak, API’mizin uzun \u00f6m\u00fcrl\u00fc ve g\u00fcvenilir olmas\u0131n\u0131 sa\u011flayacakt\u0131r.<\/p>\n Bir API’yi kay\u0131ts\u0131z olarak sunmak, eri\u015filebilirli\u011fi art\u0131r\u0131rken, ayn\u0131 zamanda baz\u0131 g\u00fcvenlik ve performans zorluklar\u0131n\u0131 da beraberinde getirir. Bu b\u00f6l\u00fcmde, bu zorluklar\u0131n \u00fcstesinden gelmek ve API’mizi daha sa\u011flam, h\u0131zl\u0131 ve verimli hale getirmek i\u00e7in ileri d\u00fczey tekniklere odaklanaca\u011f\u0131z.<\/p>\n Kay\u0131ts\u0131z bir API, k\u00f6t\u00fc niyetli kullan\u0131c\u0131lar\u0131n veya botlar\u0131n a\u015f\u0131r\u0131 isteklerle sistemi kilitleme (DDoS sald\u0131r\u0131lar\u0131) veya kaynaklar\u0131 s\u00f6m\u00fcrme potansiyeli ta\u015f\u0131r. Bu riskleri azaltmak i\u00e7in a\u015fa\u011f\u0131daki \u00f6nlemler al\u0131nmal\u0131d\u0131r:<\/p>\n API’nin h\u0131zl\u0131 ve duyarl\u0131 olmas\u0131, kullan\u0131c\u0131 deneyimi i\u00e7in kritik \u00f6neme sahiptir. A\u015fa\u011f\u0131daki teknikler performans\u0131 art\u0131rmaya yard\u0131mc\u0131 olacakt\u0131r:<\/p>\n Bu g\u00fcvenlik ve performans optimizasyonlar\u0131, kay\u0131ts\u0131z API’mizin sadece eri\u015filebilir olmakla kalmay\u0131p, ayn\u0131 zamanda g\u00fcvenilir, h\u0131zl\u0131 ve s\u00fcrd\u00fcr\u00fclebilir olmas\u0131n\u0131 sa\u011flayacakt\u0131r. Verilerin s\u00fcrekli g\u00fcncellenmesi ve API’nin kesintisiz \u00e7al\u0131\u015fmas\u0131 i\u00e7in bu ad\u0131mlar\u0131n titizlikle uygulanmas\u0131 gerekmektedir.<\/p>\n 25 g\u00fcnl\u00fck g\u00fcncellenen kamu veri sitesinden veri toplay\u0131p, kay\u0131ts\u0131z bir REST API arac\u0131l\u0131\u011f\u0131yla sunmak, a\u00e7\u0131k veri hareketine \u00f6nemli bir katk\u0131 sa\u011flamaktad\u0131r. Bu rehber boyunca ele ald\u0131\u011f\u0131m\u0131z ad\u0131mlar, veri toplama stratejilerinden API tasar\u0131m\u0131na, da\u011f\u0131t\u0131mdan g\u00fcvenlik ve performansa kadar projenin t\u00fcm ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fc kapsamaktad\u0131r. Bu t\u00fcr bir API, veriye eri\u015fimdeki b\u00fcrokratik engelleri ortadan kald\u0131rarak, geli\u015ftiricilerin, ara\u015ft\u0131rmac\u0131lar\u0131n ve hatta s\u0131radan vatanda\u015flar\u0131n kamu verilerinden daha kolay faydalanmas\u0131n\u0131 m\u00fcmk\u00fcn k\u0131lar. B\u00f6ylece, yeni uygulamalar\u0131n, analizlerin ve hizmetlerin geli\u015ftirilmesine zemin haz\u0131rlar, inovasyonu te\u015fvik eder ve \u015feffafl\u0131\u011f\u0131 art\u0131r\u0131r.<\/p>\n Kay\u0131ts\u0131z bir API, veri entegrasyon s\u00fcre\u00e7lerini basitle\u015ftirir, geli\u015ftirme maliyetlerini d\u00fc\u015f\u00fcr\u00fcr ve projelerin daha h\u0131zl\u0131 hayata ge\u00e7mesine olanak tan\u0131r. Ancak, bu kolayl\u0131\u011f\u0131n getirdi\u011fi sorumluluklar da vard\u0131r: veri g\u00fcncelli\u011fini korumak, API’nin performans\u0131n\u0131 ve g\u00fcvenli\u011fini sa\u011flamak, veri kaynaklar\u0131ndaki de\u011fi\u015fikliklere uyum sa\u011flamak s\u00fcrekli bir \u00e7aba gerektirir. Do\u011fru ara\u00e7lar, stratejiler ve s\u00fcrekli bak\u0131m ile bu zorluklar\u0131n \u00fcstesinden gelinebilir ve a\u00e7\u0131k veriye eri\u015fimde ger\u00e7ekten yeni bir d\u00f6nem ba\u015flat\u0131labilir.<\/p>\n \u00c7o\u011fu kamu verisi, a\u00e7\u0131k veri prensipleri kapsam\u0131nda kamuya a\u00e7\u0131kt\u0131r ve kullan\u0131m\u0131 serbesttir. Ancak, her veri kayna\u011f\u0131n\u0131n kendi kullan\u0131m ko\u015fullar\u0131 ve API’mizdeki veriler, kaz\u0131ma betiklerimizin \u00e7al\u0131\u015fma s\u0131kl\u0131\u011f\u0131na ba\u011fl\u0131 olarak g\u00fcncellenir. Bu rehberdeki senaryoda, verilerin g\u00fcnl\u00fck olarak g\u00fcncellendi\u011fi varsay\u0131lm\u0131\u015ft\u0131r. Her bir veri kayna\u011f\u0131 i\u00e7in ayr\u0131 bir kaz\u0131ma beti\u011fi, genellikle g\u00fcnde bir kez (\u00f6rne\u011fin, gece yar\u0131s\u0131) \u00e7al\u0131\u015ft\u0131r\u0131larak verilerin g\u00fcncel kalmas\u0131 sa\u011flan\u0131r. API yan\u0131tlar\u0131nda genellikle verinin en son ne zaman g\u00fcncellendi\u011fine dair bir zaman damgas\u0131 bulunur.<\/p>\n<\/li>\n API kay\u0131ts\u0131z olsa da, sunucu kaynaklar\u0131n\u0131 korumak ve hizmetin s\u00fcreklili\u011fini sa\u011flamak i\u00e7in istek s\u0131n\u0131rlamalar\u0131 (rate limiting) uygulanabilir. Bu s\u0131n\u0131rlamalar genellikle bir IP adresinden belirli bir zaman diliminde yap\u0131labilecek maksimum istek say\u0131s\u0131n\u0131 belirler (\u00f6rne\u011fin, dakikada 100 istek). A\u015f\u0131r\u0131 kullan\u0131m tespit edildi\u011finde, ge\u00e7ici olarak eri\u015fiminiz engellenebilir. API dok\u00fcmantasyonunda bu s\u0131n\u0131rlamalar belirtilmelidir.<\/p>\n<\/li>\n Bu API, yayg\u0131n olarak kullan\u0131lan ve web tabanl\u0131 uygulamalar i\u00e7in ideal olan JSON (JavaScript Object Notation) format\u0131nda veri sunar. JSON, insan taraf\u0131ndan okunabilir ve bir\u00e7ok programlama dili taraf\u0131ndan kolayca ayr\u0131\u015ft\u0131r\u0131labilir bir formatt\u0131r. Gelecekte XML veya CSV gibi ba\u015fka formatlar da eklenebilir, ancak ba\u015flang\u0131\u00e7ta JSON ana odak noktas\u0131d\u0131r.<\/p>\n<\/li>\n Bu API, sadece bizim taraf\u0131m\u0131zdan toplanan kamu verilerini sunmak \u00fczere tasarlanm\u0131\u015ft\u0131r ve kullan\u0131c\u0131lar\u0131n do\u011frudan veri eklemesine veya mevcut verileri de\u011fi\u015ftirmesine izin vermez. Ancak, API’nin a\u00e7\u0131k kaynakl\u0131 olmas\u0131 durumunda, kendi sunucunuzda API’nin bir kopyas\u0131n\u0131 da\u011f\u0131tabilir, kendi veri kaynaklar\u0131n\u0131z\u0131 ekleyebilir veya mevcut u\u00e7 noktalar\u0131 (endpoints) kendi ihtiya\u00e7lar\u0131n\u0131za g\u00f6re \u00f6zelle\u015ftirebilirsiniz. Bu, projenin esnekli\u011fini ve adaptasyon yetene\u011fini art\u0131r\u0131r.<\/p>\n<\/li>\n<\/ul>\n #Teknoloji #WebGeli\u015ftirme #API #VeriToplama #RESTAPI<\/p>\nGET<\/code> isteklerini kullanarak veri sa\u011flayacak ve JSON<\/code> format\u0131nda yan\u0131tlar d\u00f6necektir.<\/p>\nWeb Kaz\u0131ma (Web Scraping)<\/h3>\n
\n
robots.txt<\/code> dosyas\u0131n\u0131 kontrol etmek ve kullan\u0131m ko\u015fullar\u0131n\u0131 okumak \u00f6nemlidir. Baz\u0131 siteler kaz\u0131may\u0131 a\u00e7\u0131k\u00e7a yasaklar. Kamu verileri genellikle daha serbesttir ancak yine de dikkatli olmak gerekir.<\/li>\nBeautifulSoup<\/code> ve Scrapy<\/code> k\u00fct\u00fcphaneleri bulunmaktad\u0131r. Bizim projemizde, bu ara\u00e7lar\u0131 kullanarak 25 farkl\u0131 kamu veri sitesinden g\u00fcncel verileri toplayacak ve API’miz \u00fczerinden sunaca\u011f\u0131z.<\/p>\nJSON<\/code> gibi standart bir formatta d\u00fczenlemek ve ard\u0131ndan bu verilere RESTful<\/code> prensiplerine uygun, kay\u0131ts\u0131z bir API arac\u0131l\u0131\u011f\u0131yla eri\u015fim sa\u011flamak. Bu, veri eri\u015fimini kolayla\u015ft\u0131racak ve geli\u015ftiriciler i\u00e7in g\u00fc\u00e7l\u00fc bir kaynak yaratacakt\u0131r.<\/p>\nVeri Kaynaklar\u0131n\u0131 Belirleme ve Toplama Stratejileri<\/h2>\n
Veri Kaynaklar\u0131n\u0131 Se\u00e7erken Kriterler<\/h3>\n
\n
robots.txt<\/code> dosyalar\u0131n\u0131 kontrol edin ve kaz\u0131ma yapmaya izin verip vermediklerini teyit edin. \u00c7o\u011fu kamu sitesi a\u00e7\u0131k veri prensipleri gere\u011fi kaz\u0131maya izin verir ancak yine de kontrol \u00f6nemlidir.<\/li>\nid<\/code> veya class<\/code> etiketleri ile i\u015faretlenmi\u015f alanlar kaz\u0131ma i\u00e7in idealdir.<\/li>\n\n
Otomatik Veri Toplama Y\u00f6ntemleri ve Zamanlama<\/h3>\n
cron<\/code> i\u015fleri arac\u0131l\u0131\u011f\u0131yla yap\u0131l\u0131r.<\/p>\nrequests<\/code> k\u00fct\u00fcphanesi ile web sayfas\u0131n\u0131n i\u00e7eri\u011fini \u00e7ekip, BeautifulSoup<\/code> ile istedi\u011fimiz verileri ay\u0131klayabiliriz. Bu betikler, verileri i\u015fledikten sonra bir veritaban\u0131na (\u00f6rne\u011fin, PostgreSQL, MongoDB) veya basit bir JSON<\/code> dosyas\u0131na kaydedebilir.<\/p>\n\nimport requests\nfrom bs4 import BeautifulSoup\nimport json\nfrom datetime import datetime\n\ndef kazima_ornegi_hava_durumu(url):\n try:\n response = requests.get(url, timeout=10)\n response.raise_for_status() # HTTP hatalar\u0131 i\u00e7in\n soup = BeautifulSoup(response.text, 'html.parser')\n\n # \u00d6rnek: Hava durumu verilerini belirli bir HTML yap\u0131s\u0131ndan \u00e7ekme\n # Bu k\u0131s\u0131m her siteye g\u00f6re \u00f6zelle\u015ftirilmelidir.\n # \u00d6rne\u011fin, bir div i\u00e7indeki s\u0131cakl\u0131k de\u011feri:\n sicaklik_elementi = soup.find('span', class_='current-temp')\n sicaklik = sicaklik_elementi.text.strip() if sicaklik_elementi else 'N\/A'\n\n sehir_elementi = soup.find('h1', class_='city-name')\n sehir = sehir_elementi.text.strip() if sehir_elementi else 'N\/A'\n\n veri = {\n \"kaynak\": url,\n \"sehir\": sehir,\n \"sicaklik\": sicaklik,\n \"guncelleme_tarihi\": datetime.now().isoformat()\n }\n return veri\n except requests.exceptions.RequestException as e:\n print(f\"Hava durumu kaz\u0131ma hatas\u0131: {e}\")\n return None\n\n# \u00d6rnek kullan\u0131m\n# hava_durumu_url = \"https:\/\/www.mgm.gov.tr\/...\" # Ger\u00e7ek bir URL ile de\u011fi\u015ftirin\n# hava_durumu_verisi = kazima_ornegi_hava_durumu(hava_durumu_url)\n# if hava_durumu_verisi:\n# print(json.dumps(hava_durumu_verisi, indent=2, ensure_ascii=False))\n\n# Veritaban\u0131na kaydetme veya JSON dosyas\u0131na yazma mant\u0131\u011f\u0131 buraya eklenebilir.\n <\/code><\/pre>\n<\/div>\ncron<\/code>, Windows’ta G\u00f6rev Zamanlay\u0131c\u0131 (Task Scheduler) veya bulut platformlar\u0131nda (AWS Lambda, Google Cloud Functions) sunucusuz (serverless) fonksiyonlar bu otomasyonu sa\u011flayabilir. Her beti\u011fin kendi hata y\u00f6netimi ve g\u00fcnl\u00fck kayd\u0131 (logging) mekanizmas\u0131na sahip olmas\u0131, sorunlar\u0131 tespit etmede kritik \u00f6neme sahiptir.<\/p>\nVeri Temizleme ve Standardizasyon<\/h3>\n
\n
REST API Tasar\u0131m\u0131 ve Geli\u015ftirme Ad\u0131mlar\u0131<\/h2>\n
Endpoint (U\u00e7 Nokta) Yap\u0131lar\u0131<\/h3>\n
\n
\/api\/v1\/hava_durumu\/{sehir}<\/code>: Belirli bir \u015fehir i\u00e7in hava durumu verileri.<\/li>\n\/api\/v1\/doviz_kurlari<\/code>: G\u00fcncel d\u00f6viz kurlar\u0131.<\/li>\n\/api\/v1\/ulasim\/otobus\/{hat_no}<\/code>: Belirli bir otob\u00fcs hatt\u0131n\u0131n g\u00fcncel bilgileri.<\/li>\n\/api\/v1\/etkinlikler<\/code>: \u015eehirdeki g\u00fcncel etkinlikler.<\/li>\n\/api\/v1\/tum_veriler<\/code>: T\u00fcm kaynaklardan toplanan \u00f6zet veriler (b\u00fcy\u00fck bir yan\u0131t olabilece\u011fi i\u00e7in dikkatli kullan\u0131lmal\u0131).<\/li>\n<\/ul>\n\/api\/v1\/sehirler\/{sehir}\/etkinlikler<\/code> gibi bir yap\u0131 da d\u00fc\u015f\u00fcn\u00fclebilir.<\/p>\nHTTP Metotlar\u0131: Sadece GET (Okuma)<\/h3>\n
GET<\/code> (okuma) metodu yeterli olacakt\u0131r. Bu, API’nin karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 azalt\u0131r ve g\u00fcvenlik risklerini minimize eder. Kullan\u0131c\u0131lar\u0131n veri olu\u015fturmas\u0131na (POST<\/code>), g\u00fcncellemesine (PUT<\/code>\/PATCH<\/code>) veya silmesine (DELETE<\/code>) gerek yoktur, \u00e7\u00fcnk\u00fc veriler bizim kaz\u0131ma betiklerimiz taraf\u0131ndan g\u00fcncellenmektedir.<\/p>\nKimlik Do\u011frulamas\u0131z (No-signup) Yakla\u015f\u0131m<\/h3>\n
\n
Teknoloji Se\u00e7imi<\/h3>\n
\n
JSON<\/code> dosyalar\u0131 veya hafif bir veritaban\u0131 (SQLite, MongoDB) kullan\u0131labilir. G\u00fcnl\u00fck g\u00fcncellenen 25 site i\u00e7in, verileri JSON<\/code> format\u0131nda diskte tutmak veya bir NoSQL veritaban\u0131nda (\u00f6rne\u011fin MongoDB) saklamak pratik olabilir.<\/p>\nKod \u00d6rne\u011fi: Basit Bir Flask API’si ve Veri Kaz\u0131ma Entegrasyonu<\/h3>\n
get_hava_durumu_data()<\/code> fonksiyonu, kaz\u0131ma betiklerimizden gelen g\u00fcncel verileri bir veritaban\u0131ndan veya JSON<\/code> dosyas\u0131ndan okuyacakt\u0131r.<\/p>\n\nfrom flask import Flask, jsonify\nimport json\nfrom datetime import datetime\n\napp = Flask(__name__)\n\n# \u00d6rnek veri depolamas\u0131 (Ger\u00e7ekte veritaban\u0131 veya daha geli\u015fmi\u015f bir yap\u0131 kullan\u0131lmal\u0131)\n# Bu, kaz\u0131ma betikleriniz taraf\u0131ndan g\u00fcncellenecek olan veridir.\ndata_store = {\n \"hava_durumu\": [\n {\"sehir\": \"Ankara\", \"sicaklik\": \"15\u00b0C\", \"durum\": \"Par\u00e7al\u0131 Bulutlu\", \"guncelleme\": \"2023-10-27T10:00:00\"},\n {\"sehir\": \"\u0130stanbul\", \"sicaklik\": \"18\u00b0C\", \"durum\": \"G\u00fcne\u015fli\", \"guncelleme\": \"2023-10-27T10:00:00\"}\n ],\n \"doviz_kurlari\": {\n \"USD\": {\"alis\": \"28.00\", \"satis\": \"28.10\", \"guncelleme\": \"2023-10-27T10:05:00\"},\n \"EUR\": {\"alis\": \"29.50\", \"satis\": \"29.65\", \"guncelleme\": \"2023-10-27T10:05:00\"}\n }\n}\n\n# Kaz\u0131ma betiklerinin g\u00fcncel veriyi buraya kaydetti\u011fini varsayal\u0131m\ndef load_data_from_disk():\n global data_store\n try:\n with open('data.json', 'r', encoding='utf-8') as f:\n data_store = json.load(f)\n except FileNotFoundError:\n print(\"data.json bulunamad\u0131, ba\u015flang\u0131\u00e7 verileri kullan\u0131l\u0131yor.\")\n except json.JSONDecodeError:\n print(\"data.json bozuk, ba\u015flang\u0131\u00e7 verileri kullan\u0131l\u0131yor.\")\n\n# API u\u00e7 noktalar\u0131\n@app.route('\/api\/v1\/hava_durumu', methods=['GET'])\ndef get_hava_durumu():\n load_data_from_disk() # Her istekte g\u00fcncel veriyi y\u00fckle (performans i\u00e7in \u00f6nbellekleme \u00f6nerilir)\n return jsonify(data_store.get(\"hava_durumu\", []))\n\n@app.route('\/api\/v1\/hava_durumu\/load_data_from_disk()<\/code> fonksiyonu, kaz\u0131ma betikleriniz taraf\u0131ndan olu\u015fturulan data.json<\/code> dosyas\u0131n\u0131 okuyarak verileri API’ye sunar. Ger\u00e7ek bir senaryoda, bu veriler bir veritaban\u0131ndan \u00e7ekilmeli ve performans i\u00e7in \u00f6nbelle\u011fe al\u0131nmal\u0131d\u0131r. Bu basit yap\u0131, 25 farkl\u0131 veri kayna\u011f\u0131n\u0131n verilerini tek bir API \u00fczerinden sunmak i\u00e7in geni\u015fletilebilir.<\/p>\nAPI Da\u011f\u0131t\u0131m\u0131 (Deployment), \u00d6l\u00e7eklenebilirlik ve Bak\u0131m<\/h2>\n
Sunucu Se\u00e7imi ve Da\u011f\u0131t\u0131m Ortamlar\u0131<\/h3>\n
\n
\n
Kapsay\u0131c\u0131la\u015ft\u0131rma (Containerization) ile Docker<\/h3>\n
\n# Dockerfile \u00f6rne\u011fi\n# Python 3.9 tabanl\u0131 bir imaj kullan\nFROM python:3.9-slim-buster\n\n# \u00c7al\u0131\u015fma dizinini ayarla\nWORKDIR \/app\n\n# Ba\u011f\u0131ml\u0131l\u0131klar\u0131 kopyala ve y\u00fckle\nCOPY requirements.txt .\nRUN pip install --no-cache-dir -r requirements.txt\n\n# Uygulama kodunu kopyala\nCOPY . .\n\n# Uygulaman\u0131n \u00e7al\u0131\u015faca\u011f\u0131 portu belirt\nEXPOSE 5000\n\n# Gunicorn ile Flask uygulamas\u0131n\u0131 ba\u015flat (veya uWSGI, FastAPI i\u00e7in Uvicorn)\nCMD [\"gunicorn\", \"-w\", \"4\", \"-b\", \"0.0.0.0:5000\", \"app:app\"]\n <\/code><\/pre>\n<\/div>\nDockerfile<\/code>, uygulaman\u0131z\u0131n bir Docker imaj\u0131na nas\u0131l d\u00f6n\u00fc\u015ft\u00fcr\u00fclece\u011fini g\u00f6sterir. gunicorn<\/code>, \u00fcretim ortam\u0131nda Flask uygulamas\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rmak i\u00e7in kullan\u0131lan pop\u00fcler bir WSGI sunucusudur. Docker kullanmak, da\u011f\u0131t\u0131m s\u00fcrecini basitle\u015ftirir ve \u00f6l\u00e7eklenebilirli\u011fi art\u0131r\u0131r.<\/p>\n\u00d6l\u00e7eklenebilirlik ve \u00d6nbellekleme (Caching)<\/h3>\n
\n
JSON<\/code> dosyalar\u0131na yap\u0131lan tekrar eden istekleri azalt\u0131r ve yan\u0131t s\u00fcrelerini \u00f6nemli \u00f6l\u00e7\u00fcde h\u0131zland\u0131r\u0131r.\n\n# Flask ile basit bir \u00f6nbellekleme \u00f6rne\u011fi (Flask-Caching k\u00fct\u00fcphanesi ile)\nfrom flask import Flask, jsonify\nfrom flask_caching import Cache\nimport json\nfrom datetime import datetime\n\napp = Flask(__name__)\ncache = Cache(app, config={'CACHE_TYPE': 'simple'}) # Basit bellek i\u00e7i \u00f6nbellek\n\n# ... (data_store ve load_data_from_disk fonksiyonlar\u0131 \u00f6nceki gibi) ...\n\n@app.route('\/api\/v1\/hava_durumu', methods=['GET'])\n@cache.cached(timeout=300) # Yan\u0131t\u0131 300 saniye (5 dakika) \u00f6nbelle\u011fe al\ndef get_hava_durumu():\n load_data_from_disk()\n return jsonify(data_store.get(\"hava_durumu\", []))\n <\/code><\/pre>\n<\/p><\/div>\n<\/li>\n<\/ul>\nG\u00fcnl\u00fck \u0130zleme (Logging) ve Hata Y\u00f6netimi<\/h3>\n
Veri Kaynaklar\u0131ndaki De\u011fi\u015fikliklere Uyum<\/h3>\n
\n
G\u00fcvenlik, Performans ve Geli\u015fmi\u015f Optimizasyon Teknikleri<\/h2>\n
G\u00fcvenlik \u00d6nlemleri<\/h3>\n
\n
Flask-Limiter<\/code>, FastAPI i\u00e7in ise kendi iste\u011fe ba\u011fl\u0131 middleware (ara katman yaz\u0131l\u0131m\u0131) \u00e7\u00f6z\u00fcmleri mevcuttur. Bu, sunucunuzun a\u015f\u0131r\u0131 y\u00fcklenmesini \u00f6nler ve hizmetin s\u00fcreklili\u011fini sa\u011flar.<\/li>\nPerformans Optimizasyonu<\/h3>\n
\n
\n
asyncio<\/code> ve FastAPI gibi framework’ler, e\u015f zamanl\u0131 (concurrent) i\u015flemleri y\u00f6netmek i\u00e7in asenkron programlama modelini destekler. Bu, API’nizin ayn\u0131 anda birden fazla iste\u011fi daha verimli bir \u015fekilde i\u015flemesini sa\u011flar, \u00f6zellikle I\/O yo\u011fun (veri taban\u0131 eri\u015fimi, harici API \u00e7a\u011fr\u0131lar\u0131) i\u015flemler i\u00e7in performans\u0131 art\u0131r\u0131r.\n\n# FastAPI ile asenkron bir u\u00e7 nokta \u00f6rne\u011fi\nfrom fastapi import FastAPI\nimport asyncio\nimport httpx # Asenkron HTTP istemcisi\n\napp = FastAPI()\n\n# Asenkron veri \u00e7ekme fonksiyonu (\u00f6rne\u011fin, bir veritaban\u0131ndan veya diskten)\nasync def get_async_data():\n await asyncio.sleep(0.05) # Veri \u00e7ekme sim\u00fclasyonu\n return {\"mesaj\": \"Asenkron veri \u00e7ekildi!\"}\n\n@app.get(\"\/api\/v1\/async_veri\")\nasync def read_async_veri():\n data = await get_async_data()\n return data\n <\/code><\/pre>\n<\/p><\/div>\n<\/li>\nGeli\u015fmi\u015f Optimizasyon Teknikleri<\/h3>\n
\n
Sonu\u00e7: A\u00e7\u0131k Veriye Eri\u015fimde Yeni Bir D\u00f6nem<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular (SSS)<\/h3>\n
\n
robots.txt<\/code> dosyas\u0131n\u0131 kontrol etmek \u00f6nemlidir. Ticari kullan\u0131m veya yeniden da\u011f\u0131t\u0131m i\u00e7in \u00f6zel izinler gerekebilir. Genel olarak, ki\u015fisel olmayan kamu verilerini kaz\u0131mak ve sunmak genellikle yasald\u0131r, ancak her zaman kayna\u011f\u0131n politikalar\u0131n\u0131 incelemeniz \u00f6nerilir.<\/p>\n<\/li>\n