Apache Kafka: Derinlemesine \u0130nceleme<\/p>\n
G\u00fcn\u00fcm\u00fcz\u00fcn veri odakl\u0131 d\u00fcnyas\u0131nda, ger\u00e7ek zamanl\u0131 veri i\u015fleme ve y\u00fcksek hacimli veri ak\u0131\u015flar\u0131n\u0131 y\u00f6netme ihtiyac\u0131 giderek art\u0131yor. Bu ihtiya\u00e7, Apache Kafka gibi da\u011f\u0131t\u0131k, y\u00fcksek performansl\u0131 bir mesaj kuyru\u011fu sisteminin \u00f6nemini vurguluyor. Bu makale, Apache Kafka’n\u0131n temel kavramlar\u0131n\u0131, veri m\u00fchendisli\u011fi uygulamalar\u0131n\u0131 ve ger\u00e7ek d\u00fcnya \u00fcretim uygulamalar\u0131n\u0131 derinlemesine inceleyecek, sizi Kafka d\u00fcnyas\u0131na ad\u0131m ad\u0131m g\u00f6t\u00fcrecektir. Daha fazla bilgi i\u00e7in Fatih Soysal’\u0131n di\u011fer yaz\u0131lar\u0131n\u0131 (https:\/\/fatihsoysal.com) inceleyebilirsiniz.<\/p>\n
Apache Kafka, da\u011f\u0131t\u0131lm\u0131\u015f, y\u00fcksek performansl\u0131, dayan\u0131kl\u0131 ve \u00f6l\u00e7eklenebilir bir mesaj kuyru\u011fu (message queue) sistemidir. Veri yay\u0131n\u0131 (data streaming) i\u00e7in tasarlanm\u0131\u015f olup, farkl\u0131 uygulamalar ve sistemler aras\u0131nda ger\u00e7ek zamanl\u0131 veya neredeyse ger\u00e7ek zamanl\u0131 veri ileti\u015fimini sa\u011flar. Di\u011fer mesaj kuyruk sistemlerinden farkl\u0131 olarak, Kafka verileri kal\u0131c\u0131 olarak depolar ve bu verileri tekrar tekrar okuman\u0131za olanak tan\u0131r. Bu \u00f6zellik, veri i\u015fleme s\u00fcre\u00e7lerinde esneklik ve dayan\u0131kl\u0131l\u0131k sa\u011flar. \u00d6rne\u011fin, bir e-ticaret platformunda sipari\u015f bilgileri, \u00f6deme i\u015flemleri ve stok g\u00fcncellemeleri gibi \u00e7e\u015fitli veriler Kafka \u00fczerinden yay\u0131nlanabilir ve farkl\u0131 uygulamalar bu verileri ger\u00e7ek zamanl\u0131 olarak i\u015fleyebilir. Bunun sonucunda, ki\u015fiselle\u015ftirilmi\u015f \u00f6neriler, otomatik stok y\u00f6netimi ve doland\u0131r\u0131c\u0131l\u0131k tespiti gibi geli\u015fmi\u015f \u00f6zellikler sunulabilir.<\/p>\n
Kafka’n\u0131n sundu\u011fu temel avantajlar aras\u0131nda y\u00fcksek performans, \u00f6l\u00e7eklenebilirlik, dayan\u0131kl\u0131l\u0131k ve da\u011f\u0131t\u0131k mimarisi say\u0131labilir. Y\u00fcksek performans, saniyede milyonlarca mesaj\u0131 i\u015fleyebilme yetene\u011fi sayesinde elde edilir. \u00d6l\u00e7eklenebilirlik, gereksinimlere g\u00f6re kolayca geni\u015fletilebilir bir mimari sa\u011flar. Dayan\u0131kl\u0131l\u0131k, verilerin kaybolmas\u0131n\u0131 \u00f6nlemek i\u00e7in replikasyon ve log kayd\u0131 mekanizmalar\u0131 sunar. Son olarak, da\u011f\u0131t\u0131k mimarisi, y\u00fcksek g\u00fcvenilirlik ve hata tolerans\u0131 sa\u011flar.<\/p>\n
Kafka’n\u0131n temel yap\u0131 ta\u015flar\u0131, konular (topics), \u00fcreticiler (producers) ve t\u00fcketiciler (consumers)’d\u0131r. Bir konu, veri ak\u0131\u015f\u0131n\u0131n (data stream) d\u00fczenlendi\u011fi bir kategoridir. \u00d6rne\u011fin, “sipari\u015fler,” “\u00f6demeler” veya “kullan\u0131c\u0131 aktiviteleri” gibi konular tan\u0131mlanabilir. \u00dcreticiler, verileri belirli konulara g\u00f6nderen uygulamalard\u0131r. T\u00fcketiciler ise bu verileri konulardan okuyan ve i\u015fleyen uygulamalard\u0131r. Basit bir \u00f6rnek olarak, bir e-ticaret sitesinin sipari\u015f olu\u015fturma i\u015flemi bir \u00fcretici taraf\u0131ndan “sipari\u015fler” konusuna g\u00f6nderilebilir ve ard\u0131ndan farkl\u0131 t\u00fcketiciler (\u00f6rne\u011fin, \u00f6deme i\u015fleme sistemi, stok y\u00f6netim sistemi, teslimat sistemi) bu veriyi i\u015fleyebilir.<\/p>\n
Bir di\u011fer \u00f6nemli kavram da parti\u015fionlard\u0131r (partitions). Konular, performans\u0131 art\u0131rmak ve \u00f6l\u00e7eklenebilirli\u011fi sa\u011flamak i\u00e7in par\u00e7alara b\u00f6l\u00fcnebilir. Her partition, fiziksel olarak farkl\u0131 bir makinede bulunabilir ve paralel i\u015flemeyi m\u00fcmk\u00fcn k\u0131lar. Ayr\u0131ca, t\u00fcketiciler, bir konunun belirli bir b\u00f6l\u00fcm\u00fcn\u00fc t\u00fcketmek \u00fczere atanabilir. Bu, \u00f6l\u00e7eklenebilirlik ve performans a\u00e7\u0131s\u0131ndan b\u00fcy\u00fck bir avantaj sa\u011flar. Son olarak, Kafka’n\u0131n replikasyon \u00f6zelli\u011fi, verilerin dayan\u0131kl\u0131l\u0131\u011f\u0131n\u0131 ve y\u00fcksek kullan\u0131labilirli\u011fini garanti eder. Her partition birden \u00e7ok sunucuda \u00e7o\u011falt\u0131labilir, b\u00f6ylece bir sunucunun ar\u0131zalanmas\u0131 durumunda veriler hala eri\u015filebilir kal\u0131r.<\/p>\n
Apache Kafka, \u00e7e\u015fitli veri m\u00fchendisli\u011fi uygulamalar\u0131nda g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r. Ger\u00e7ek zamanl\u0131 veri i\u015fleme, veri entegrasyonu ve olay odakl\u0131 mimariler (event-driven architectures) bu uygulamalar\u0131n ba\u015f\u0131nda gelir. \u00d6rne\u011fin, bir ger\u00e7ek zamanl\u0131 analitik platformunda, Kafka \u00fczerinden gelen veri ak\u0131\u015flar\u0131, ger\u00e7ek zamanl\u0131 g\u00f6sterge panolar\u0131 olu\u015fturmak veya anl\u0131k \u00f6ng\u00f6r\u00fcler \u00fcretmek i\u00e7in kullan\u0131labilir. Benzer \u015fekilde, farkl\u0131 sistemlerden gelen verileri entegre etmek i\u00e7in Kafka bir ara katman olarak kullan\u0131labilir. Bu, veri g\u00f6l\u00fc (data lake) veya veri ambar\u0131na (data warehouse) veri besleme s\u00fcre\u00e7lerini basitle\u015ftirir.<\/p>\n
\u00d6te yandan, olay odakl\u0131 mimarilerde, Kafka olaylar\u0131n yay\u0131n\u0131 ve i\u015flenmesi i\u00e7in merkez bir nokta olur. Uygulamalar, olaylar\u0131 Kafka’ya yay\u0131nlar ve di\u011fer uygulamalar bu olaylara abone olarak tepki verebilir. Bu, uygulamalar aras\u0131ndaki gev\u015fek bir ba\u011flant\u0131 ve \u00f6l\u00e7eklenebilirlik sa\u011flar. \u00d6rne\u011fin, bir sosyal medya platformunda, yeni bir g\u00f6nderi olay\u0131 Kafka’ya yay\u0131nlanabilir ve ard\u0131ndan bu olay, farkl\u0131 uygulamalar taraf\u0131ndan i\u015flenebilir (\u00f6rne\u011fin, bildirim g\u00f6nderme, aktivite takibi, \u00f6nerilen g\u00f6nderiler).<\/p>\n
Bir e-ticaret platformunu ele alal\u0131m. Bu platformda, kullan\u0131c\u0131 aktiviteleri, sipari\u015fler, \u00f6demeler, stok bilgileri gibi \u00e7e\u015fitli veriler \u00fcretiliyor. Kafka, bu verilerin merkezi bir \u015fekilde toplanmas\u0131, depolanmas\u0131 ve farkl\u0131 uygulamalar taraf\u0131ndan i\u015flenmesi i\u00e7in ideal bir \u00e7\u00f6z\u00fcm sunar. \u00dcreticiler, farkl\u0131 sistemlerden (\u00f6rne\u011fin, web sitesi, mobil uygulama, \u00f6deme ge\u00e7idi) verileri Kafka konular\u0131na yay\u0131nlar. T\u00fcketiciler ise bu verileri i\u015fleyerek \u00e7e\u015fitli g\u00f6revleri yerine getirirler.<\/p>\n
\u00d6rne\u011fin, bir t\u00fcketici, ger\u00e7ek zamanl\u0131 stok seviyelerini izlemek ve stokta kalmayan \u00fcr\u00fcnleri tespit etmek i\u00e7in kullan\u0131labilir. Bir ba\u015fka t\u00fcketici ise, ger\u00e7ek zamanl\u0131 sipari\u015f takibi ve m\u00fc\u015fteriye g\u00fcncellemeler g\u00f6ndermek i\u00e7in kullan\u0131labilir. Bir di\u011feri ise, m\u00fc\u015fteri davran\u0131\u015flar\u0131n\u0131 analiz ederek ki\u015fiselle\u015ftirilmi\u015f \u00f6neriler olu\u015fturmak i\u00e7in kullan\u0131labilir. Bu senaryoda, Kafka’n\u0131n \u00f6l\u00e7eklenebilirli\u011fi ve dayan\u0131kl\u0131l\u0131\u011f\u0131, e-ticaret platformunun artan talepleri ile ba\u015fa \u00e7\u0131kmas\u0131n\u0131 sa\u011flar. Veriler g\u00fcvenli bir \u015fekilde saklan\u0131r ve s\u00fcrekli eri\u015filebilir kal\u0131r.<\/p>\n
Kafka’n\u0131n kurulumu ve yap\u0131land\u0131rmas\u0131, i\u015fletim sisteminize ve ihtiya\u00e7lar\u0131n\u0131za ba\u011fl\u0131 olarak de\u011fi\u015febilir. Genellikle, ZooKeeper ad\u0131 verilen bir koordinasyon hizmetiyle birlikte \u00e7al\u0131\u015f\u0131r. ZooKeeper, Kafka k\u00fcmesindeki d\u00fc\u011f\u00fcmlerin koordinasyonunu ve durum y\u00f6netimini sa\u011flar. Kurulum genellikle paket y\u00f6neticileri (\u00f6rne\u011fin, apt, yum, brew) kullan\u0131larak yap\u0131l\u0131r veya \u00f6nceden derlenmi\u015f paketler indirilerek ger\u00e7ekle\u015ftirilebilir. Yap\u0131land\u0131rma dosyas\u0131 ( <\/code><\/p>\n Kurulum sonras\u0131, Kafka'n\u0131n durumunu kontrol etmek ve y\u00f6netmek i\u00e7in komut sat\u0131r\u0131 ara\u00e7lar\u0131 kullan\u0131l\u0131r. \u00d6rne\u011fin, Kafka Streams, Kafka verileri \u00fczerinde ger\u00e7ek zamanl\u0131 i\u015fleme yapman\u0131z\u0131 sa\u011flayan bir i\u015flem API'sidir. Bu API, verileri filtrelemek, d\u00f6n\u00fc\u015ft\u00fcrmek ve birle\u015ftirmek gibi i\u015flemler i\u00e7in kullan\u0131l\u0131r. Kafka Connect ise, Kafka ile di\u011fer veri sistemleri (\u00f6rne\u011fin, veritabanlar\u0131, veri g\u00f6l\u00fc platformlar\u0131) aras\u0131nda veri entegrasyonunu sa\u011flayan bir ara\u00e7t\u0131r. Connect, veriyi Kafka'ya aktarmak veya Kafka'dan veri almak i\u00e7in ba\u011flay\u0131c\u0131lar (connectors) kullan\u0131r.<\/p>\n Kafka Streams, d\u00fc\u015f\u00fck gecikmeli uygulamalar olu\u015fturmak i\u00e7in idealdir. \u00d6rne\u011fin, bir finansal i\u015flem platformunda, Kafka Streams, ger\u00e7ek zamanl\u0131 olarak i\u015flem verilerini analiz etmek ve doland\u0131r\u0131c\u0131l\u0131k tespiti yapmak i\u00e7in kullan\u0131labilir. Kafka Connect ise, \u00e7e\u015fitli veri kaynaklar\u0131ndan gelen verileri merkezi bir \u015fekilde toplamak ve Kafka'da birle\u015ftirmek i\u00e7in kullan\u0131l\u0131r. Bu, veri m\u00fchendisli\u011fi s\u00fcre\u00e7lerini basitle\u015ftirir ve farkl\u0131 sistemler aras\u0131nda veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc sa\u011flar.<\/p>\n * Yeni Ba\u015flayan:<\/strong> Kafka'n\u0131n temel kavramlar\u0131n\u0131 (konu, \u00fcretici, t\u00fcketici) \u00f6\u011frenin. Basit bir \u00fcretici ve t\u00fcketici uygulamas\u0131 olu\u015fturun. Kafka'n\u0131n temel mimarisini anlay\u0131n. Apache Kafka, y\u00fcksek performansl\u0131 ve \u00f6l\u00e7eklenebilir veri i\u015fleme i\u00e7in g\u00fc\u00e7l\u00fc bir \u00e7\u00f6z\u00fcmd\u00fcr. Ger\u00e7ek zamanl\u0131 veri i\u015fleme, veri entegrasyonu ve olay odakl\u0131 mimariler i\u00e7in ideal bir platformdur. Bu makalede, Kafka'n\u0131n temel kavramlar\u0131n\u0131, uygulamalar\u0131n\u0131 ve ger\u00e7ek d\u00fcnya senaryolar\u0131n\u0131 inceledik. Kafka'y\u0131 \u00f6\u011frenmek ve kullanmak, veri m\u00fchendisli\u011fi alan\u0131nda b\u00fcy\u00fck bir avantaj sa\u011flayacakt\u0131r. Daha fazla bilgi ve uygulama \u00f6rne\u011fi i\u00e7in (https:\/\/fatihsoysal.com) sitesini ziyaret edebilirsiniz.<\/p>\n * Kafka ile di\u011fer mesaj kuyruk sistemleri aras\u0131ndaki fark nedir?<\/strong> Kafka, y\u00fcksek hacimli verileri i\u015fleyebilmesi, dayan\u0131kl\u0131l\u0131\u011f\u0131 ve \u00f6l\u00e7eklenebilirli\u011fi ile di\u011fer mesaj kuyruk sistemlerinden ayr\u0131\u015f\u0131r. Yazar: Fatih Soysal<\/p>\n","protected":false},"excerpt":{"rendered":"Apache Kafka: Derinlemesine \u0130nceleme G\u00fcn\u00fcm\u00fcz\u00fcn veri odakl\u0131 d\u00fcnyas\u0131nda, ger\u00e7ek zamanl\u0131 veri i\u015fleme ve y\u00fcksek hacimli veri ak\u0131\u015flar\u0131n\u0131 y\u00f6netme…","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[874],"tags":[],"class_list":{"0":"post-30259","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-server","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\nserver.properties<\/code> gibi), broker say\u0131s\u0131, dinleme portlar\u0131, log dosyas\u0131 konumlar\u0131 ve replikasyon fakt\u00f6r\u00fc gibi \u00f6nemli parametreleri belirlemenizi sa\u011flar.<\/p>\n# ZooKeeper'\u0131 ba\u015flat\nzookeeper-server-start.sh config\/zookeeper.properties\n\n# Kafka broker'lar\u0131n\u0131 ba\u015flat\nkafka-server-start.sh config\/server.properties<\/pre>\nkafka-topics.sh<\/code> komutu konular\u0131 olu\u015fturmak, listelemek ve silmek i\u00e7in kullan\u0131l\u0131r. kafka-console-producer.sh<\/code> ve kafka-console-consumer.sh<\/code> komutlar\u0131 ise s\u0131ras\u0131yla verileri \u00fcretmek ve t\u00fcketmek i\u00e7in kullan\u0131l\u0131r. Bunlar\u0131n yan\u0131 s\u0131ra, Kafka y\u00f6neticisi (Kafka Manager, Burrow gibi) ara\u00e7lar\u0131 kullan\u0131larak Kafka k\u00fcmesi daha verimli bir \u015fekilde y\u00f6netilebilir.<\/p>\n\u0130leri D\u00fczey Konular: Kafka Streams ve Kafka Connect<\/h2>\n
\u00d6\u011frenme Yol Haritas\u0131<\/h2>\n
\n* Orta Seviye:<\/strong> Partitionlar, replikasyon ve ZooKeeper'\u0131 \u00f6\u011frenin. Daha karma\u015f\u0131k \u00fcretici ve t\u00fcketici uygulamalar\u0131 olu\u015fturun. Kafka'n\u0131n performans\u0131n\u0131 ve \u00f6l\u00e7eklenebilirli\u011fini inceleyin. Kafka Streams ve Kafka Connect ile basit uygulamalar geli\u015ftirin.
\n* \u0130leri Seviye:<\/strong> Kafka'n\u0131n g\u00fcvenlik \u00f6zelliklerini (SSL, SASL) \u00f6\u011frenin. Kafka'n\u0131n izleme ve y\u00f6netimi konusunda uzmanla\u015f\u0131n. Karma\u015f\u0131k veri i\u015fleme uygulamalar\u0131 geli\u015ftirin. Kafka'n\u0131n farkl\u0131 depolama s\u00fcr\u00fcmlerini ve optimizasyon tekniklerini \u00f6\u011frenin.<\/p>\nSonu\u00e7<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\n* Kafka'n\u0131n performans\u0131n\u0131 nas\u0131l art\u0131rabilirim?<\/strong> Partition say\u0131s\u0131n\u0131 optimize etmek, replikasyon fakt\u00f6r\u00fcn\u00fc do\u011fru ayarlama ve uygun donan\u0131m kullanmak performans\u0131 art\u0131rabilir.
\n* Kafka g\u00fcvenli\u011fini nas\u0131l sa\u011flayabilirim?<\/strong> SSL ve SASL gibi g\u00fcvenlik protokollerini kullanarak Kafka'n\u0131n g\u00fcvenli\u011fini sa\u011flayabilirsiniz.
\n* Kafka'n\u0131n izleme ve y\u00f6netimi nas\u0131l yap\u0131l\u0131r?<\/strong> Kafka Manager, Burrow gibi ara\u00e7lar\u0131 kullanarak Kafka k\u00fcmesini izleyebilir ve y\u00f6netebilirsiniz.
\n* Kafka'da veri kayb\u0131n\u0131 nas\u0131l \u00f6nleyebilirim?<\/strong> Uygun replikasyon fakt\u00f6r\u00fcn\u00fc se\u00e7mek ve do\u011fru yap\u0131land\u0131rma parametrelerini ayarlamak veri kayb\u0131n\u0131 \u00f6nlemeye yard\u0131mc\u0131 olur.<\/p>\n