G\u00fcn\u00fcm\u00fcz\u00fcn dijital d\u00fcnyas\u0131nda, veri her zamankinden daha h\u0131zl\u0131 \u00fcretiliyor ve t\u00fcketiliyor. Uygulamalar, hizmetler ve cihazlar s\u00fcrekli olarak olaylar (events) \u00fcreterek, i\u015fletmelerin ger\u00e7ek zamanl\u0131 kararlar almas\u0131n\u0131 ve dinamik olarak de\u011fi\u015fen pazar ko\u015fullar\u0131na uyum sa\u011flamas\u0131n\u0131 gerektiren devasa veri ak\u0131\u015flar\u0131 olu\u015fturuyor. Bu s\u00fcrekli ve bitmek bilmeyen veri ak\u0131\u015f\u0131n\u0131 y\u00f6netmek, i\u015flemek ve analiz etmek, geleneksel veri i\u015fleme y\u00f6ntemleriyle giderek zorla\u015fmaktad\u0131r. \u0130\u015fte tam da bu noktada, “event streaming” kavram\u0131 ve onun en pop\u00fcler uygulay\u0131c\u0131lar\u0131ndan biri olan Apache Kafka devreye girer.<\/p>\n
Bu makalede, event streaming’in temel prensiplerini, Apache Kafka’n\u0131n mimarisini, temel bile\u015fenlerini ve \u00e7al\u0131\u015fma mekanizmalar\u0131n\u0131 derinlemesine inceleyece\u011fiz. Ayr\u0131ca, Kafka’n\u0131n sundu\u011fu avantajlar\u0131, yayg\u0131n kullan\u0131m alanlar\u0131n\u0131 ve zengin ekosistemini (Kafka Connect, Kafka Streams) detayland\u0131rarak, bu g\u00fc\u00e7l\u00fc platformun modern veri mimarilerindeki vazge\u00e7ilmez rol\u00fcn\u00fc kapsaml\u0131 bir \u015fekilde a\u00e7\u0131klayaca\u011f\u0131z.<\/p>\n
Event streaming, bir sistemde ger\u00e7ekle\u015fen olaylar\u0131n s\u00fcrekli, ger\u00e7ek zamanl\u0131 ve s\u0131ral\u0131 bir ak\u0131\u015f\u0131n\u0131 yakalama, depolama ve i\u015fleme yetene\u011fidir. Geleneksel veri i\u015fleme yakla\u015f\u0131mlar\u0131 genellikle veriyi belirli aral\u0131klarla (\u00f6rne\u011fin, g\u00fcnde bir kez) toplu (batch) olarak i\u015flerken, event streaming, veriyi olu\u015ftu\u011fu anda, yani “ger\u00e7ek zamanl\u0131” olarak ele al\u0131r.<\/p>\n
Geleneksel batch i\u015fleme, b\u00fcy\u00fck veri k\u00fcmelerini belirli zaman aral\u0131klar\u0131nda (gece, hafta sonu vb.) bir araya getirip toplu olarak i\u015fler. Bu yakla\u015f\u0131m, ge\u00e7mi\u015fe d\u00f6n\u00fck analizler ve raporlamalar i\u00e7in uygun olsa da, anl\u0131k kararlar veya ger\u00e7ek zamanl\u0131 tepkiler gerektiren durumlar i\u00e7in yetersiz kal\u0131r. \u00d6rne\u011fin, bir bankan\u0131n doland\u0131r\u0131c\u0131l\u0131k tespiti sistemi, i\u015flemleri toplu olarak i\u015flerse, doland\u0131r\u0131c\u0131l\u0131k fark edildi\u011finde \u00e7ok ge\u00e7 olabilir.<\/p>\n
Event streaming ise, her bir olay\u0131 tek tek ve olu\u015ftu\u011fu s\u0131rada ele al\u0131r. Bu, bir kullan\u0131c\u0131n\u0131n web sitesindeki t\u0131klamas\u0131, bir sens\u00f6rden gelen s\u0131cakl\u0131k okumas\u0131, bir mikro hizmetten gelen durum g\u00fcncellemesi veya bir finansal i\u015flem gibi her t\u00fcrl\u00fc olay\u0131n an\u0131nda i\u015flenebilece\u011fi anlam\u0131na gelir.<\/p>\n
Bir “event” (olay), bir sistemde ger\u00e7ekle\u015fen ve anlam ta\u015f\u0131yan bir durum de\u011fi\u015fikli\u011fidir. \u00d6rne\u011fin:
\n* Bir kullan\u0131c\u0131n\u0131n bir \u00fcr\u00fcn\u00fc sepete eklemesi.
\n* Bir sipari\u015fin durumunun “beklemede”den “g\u00f6nderildi”ye de\u011fi\u015fmesi.
\n* Bir sens\u00f6r\u00fcn belirli bir e\u015fi\u011fin \u00fczerine \u00e7\u0131kmas\u0131.
\n* Bir sunucunun hata mesaj\u0131 kaydetmesi.<\/p>\n
Olaylar genellikle \u015fu \u00f6zelliklere sahiptir: * Ger\u00e7ek Zamanl\u0131 Analiz ve Karar Verme:<\/strong> \u0130\u015fletmelerin anl\u0131k veriler \u00fczerinden i\u00e7g\u00f6r\u00fcler elde etmesini ve h\u0131zl\u0131 kararlar almas\u0131n\u0131 sa\u011flar. Apache Kafka, event streaming d\u00fcnyas\u0131n\u0131n tart\u0131\u015fmas\u0131z lideridir. LinkedIn taraf\u0131ndan geli\u015ftirilen ve daha sonra Apache Yaz\u0131l\u0131m Vakf\u0131’na ba\u011f\u0131\u015flanan Kafka, y\u00fcksek verimli, da\u011f\u0131t\u0131k bir event streaming platformudur. Temel amac\u0131, b\u00fcy\u00fck hacimli olay ak\u0131\u015flar\u0131n\u0131 g\u00fcvenilir bir \u015fekilde yay\u0131nlamak, abone olmak, depolamak ve i\u015flemek i\u00e7in bir omurga sa\u011flamakt\u0131r.<\/p>\n Kafka, sadece bir mesaj kuyru\u011fu olman\u0131n \u00f6tesinde, \u00fc\u00e7 temel yetene\u011fi bir araya getirir: Bu yetenekler sayesinde Kafka, veri entegrasyonundan ger\u00e7ek zamanl\u0131 analiti\u011fe, mikro hizmet ileti\u015fiminden log toplamaya kadar geni\u015f bir kullan\u0131m yelpazesine hitap eder.<\/p>\n Kafka’n\u0131n g\u00fcc\u00fc, iyi tasarlanm\u0131\u015f da\u011f\u0131t\u0131k mimarisinden gelir. \u0130\u015fte Kafka’n\u0131n temel bile\u015fenleri:<\/p>\n Kafka k\u00fcmesi, bir veya daha fazla sunucudan olu\u015fur ve bu sunuculara “broker” denir. Her broker, Kafka’n\u0131n ana i\u015flevlerini yerine getirir: Brokerlar, yatay olarak \u00f6l\u00e7eklenebilir bir yap\u0131ya sahiptir. K\u00fcmenize daha fazla broker ekleyerek, Kafka’n\u0131n depolama kapasitesini ve i\u015fleme g\u00fcc\u00fcn\u00fc art\u0131rabilirsiniz.<\/p>\n Topicler, Kafka’da olay kay\u0131tlar\u0131n\u0131n mant\u0131ksal kategorilerini temsil eder. Bir producer, belirli bir topic’e olay g\u00f6nderirken, bir consumer da belirli bir topic’ten olaylar\u0131 okur. \u00d6rne\u011fin, bir e-ticaret uygulamas\u0131nda Topicler, Kafka’daki ana veri d\u00fczenleme birimidir. Her topic’in benzersiz bir ad\u0131 vard\u0131r ve bir topic’e g\u00f6nderilen t\u00fcm olaylar ayn\u0131 kategoriye aittir.<\/p>\n Her topic, bir veya daha fazla “partisyona” ayr\u0131lm\u0131\u015ft\u0131r. Partisyonlar, topic’in fiziksel olarak depoland\u0131\u011f\u0131 ve i\u015flendi\u011fi birimlerdir. Bir topic’in partisyonlara b\u00f6l\u00fcnmesi, Kafka’n\u0131n temel \u00f6l\u00e7eklenebilirlik ve paralel i\u015fleme mekanizmas\u0131d\u0131r.<\/p>\n * Paralellik:<\/strong> Her partisyon, bir broker \u00fczerinde ba\u011f\u0131ms\u0131z olarak \u00e7al\u0131\u015fabilir. Bu, birden fazla producer’\u0131n ayn\u0131 anda farkl\u0131 partisyonlara olay g\u00f6ndermesine ve birden fazla consumer’\u0131n ayn\u0131 anda farkl\u0131 partisyonlardan olay okumas\u0131na olanak tan\u0131r. Producer’lar, olay kay\u0131tlar\u0131n\u0131 Kafka topic’lerine g\u00f6nderen istemci uygulamalar\u0131d\u0131r. Bir producer, bir olay\u0131 belirli bir topic’e g\u00f6nderdi\u011finde, Kafka bu olay\u0131 o topic’in uygun bir partisyonuna yazar. Producer’lar, olaylar\u0131 anahtarl\u0131 (keyed) veya anahtars\u0131z (unkeyed) olarak g\u00f6nderebilirler. E\u011fer olay anahtarl\u0131 ise, Kafka ayn\u0131 anahtara sahip t\u00fcm olaylar\u0131 ayn\u0131 partisyona y\u00f6nlendirir. Bu, belirli bir anahtara ait olaylar\u0131n s\u0131ral\u0131 i\u015flenmesini sa\u011flar.<\/p>\n Producer’lar, y\u00fcksek verimli veri g\u00f6nderimi i\u00e7in olaylar\u0131 toplu halde (batching) g\u00f6nderebilir ve veri s\u0131k\u0131\u015ft\u0131rma algoritmalar\u0131n\u0131 (gzip, snappy, lz4, zstd) kullanarak a\u011f bant geni\u015fli\u011fini optimize edebilirler.<\/p>\n Consumer’lar, Kafka topic’lerinden olay kay\u0131tlar\u0131n\u0131 okuyan istemci uygulamalar\u0131d\u0131r. Bir consumer, bir topic’e abone olur ve o topic’teki partisyonlardan olaylar\u0131 okur.<\/p>\n * Consumer Group’lar:<\/strong> Kafka’n\u0131n \u00f6nemli bir \u00f6zelli\u011fi “consumer group”lard\u0131r. Bir consumer group, ayn\u0131 uygulamaya ait bir veya daha fazla consumer instance’\u0131ndan olu\u015fur. Ayn\u0131 consumer group’taki consumer’lar, bir topic’in partisyonlar\u0131n\u0131 payla\u015farak paralel ve hataya dayan\u0131kl\u0131 bir \u015fekilde olaylar\u0131 t\u00fcketirler. \u00d6rne\u011fin, bir topic’in 3 partisyonu varsa ve bir consumer group’ta 3 consumer varsa, her consumer bir partisyondan sorumlu olur. E\u011fer bir consumer kapan\u0131rsa, di\u011fer consumer’lar otomatik olarak onun partisyonlar\u0131n\u0131 devral\u0131r (rebalancing). Geleneksel olarak, Kafka k\u00fcmeleri ZooKeeper’\u0131, k\u00fcme koordinasyonu ve meta veri y\u00f6netimi i\u00e7in kullanm\u0131\u015ft\u0131r. ZooKeeper’\u0131n g\u00f6revleri \u015funlard\u0131r: Ancak, Kafka’n\u0131n daha yeni s\u00fcr\u00fcmleri (2.8 ve sonras\u0131), ZooKeeper ba\u011f\u0131ml\u0131l\u0131\u011f\u0131n\u0131 ortadan kald\u0131ran ve Kafka’y\u0131 kendi i\u00e7inde meta veri y\u00f6netimi yapabilen “KRaft” (Kafka Raft) modunu sunmu\u015ftur. KRaft, Kafka’y\u0131 daha basit, daha \u00f6l\u00e7eklenebilir ve daha az ba\u011f\u0131ml\u0131l\u0131\u011fa sahip hale getirir. Yeni kurulumlarda KRaft tercih edilmektedir.<\/p>\n Kafka’n\u0131n temel \u00e7al\u0131\u015fma prensibini ad\u0131m ad\u0131m inceleyelim:<\/p>\n 1. Producer Olay\u0131 G\u00f6nderir:<\/strong> Bir producer uygulamas\u0131, bir olay\u0131 (\u00f6rne\u011fin, bir JSON mesaj\u0131) belirli bir Kafka topic’ine g\u00f6nderir. Olay, iste\u011fe ba\u011fl\u0131 olarak bir anahtar (key) i\u00e7erebilir. Bu d\u00f6ng\u00fc, milyarlarca olay i\u00e7in saniyede y\u00fcz binlerce kez tekrarlanabilir, bu da Kafka’n\u0131n neden bu kadar g\u00fc\u00e7l\u00fc ve \u00f6l\u00e7eklenebilir oldu\u011funu g\u00f6sterir.<\/p>\n Kafka’n\u0131n pop\u00fclaritesi, sundu\u011fu bir dizi \u00f6nemli avantajdan kaynaklanmaktad\u0131r:<\/p>\n * Y\u00fcksek \u00d6l\u00e7eklenebilirlik:<\/strong> Kafka, yatay olarak \u00f6l\u00e7eklenebilir bir mimariye sahiptir. \u0130htiya\u00e7 duyuldu\u011funda k\u00fcmenize daha fazla broker ekleyerek, hem depolama kapasitesini hem de i\u015fleme g\u00fcc\u00fcn\u00fc art\u0131rabilirsiniz. Bu, saniyede milyonlarca olay\u0131 i\u015fleyebilme yetene\u011fi sa\u011flar. Kafka, \u00e7ok \u00e7e\u015fitli end\u00fcstrilerde ve uygulama senaryolar\u0131nda yayg\u0131n olarak kullan\u0131lmaktad\u0131r:<\/p>\n * Ger\u00e7ek Zamanl\u0131 Analitik ve \u0130zleme (Monitoring):<\/strong> Sunucu metrikleri, uygulama loglar\u0131, a\u011f olaylar\u0131 gibi verilerin ger\u00e7ek zamanl\u0131 olarak toplanmas\u0131 ve analiz edilmesi. Bu, sistem performans\u0131n\u0131 izlemek, anormallikleri tespit etmek ve uyar\u0131lar olu\u015fturmak i\u00e7in kullan\u0131l\u0131r. Kafka’n\u0131n g\u00fcc\u00fc, sadece \u00e7ekirdek platformundan de\u011fil, ayn\u0131 zamanda etraf\u0131nda olu\u015fan zengin ekosistemden de gelir. Bu ekosistemin en \u00f6nemli iki bile\u015feni Kafka Connect ve Kafka Streams’tir.<\/p>\n Kafka Connect, Kafka ile di\u011fer veri sistemleri aras\u0131nda \u00f6l\u00e7eklenebilir ve g\u00fcvenilir bir \u015fekilde veri ak\u0131\u015f\u0131 sa\u011flamak i\u00e7in kullan\u0131lan bir ara\u00e7t\u0131r. Kod yazmaya gerek kalmadan veya \u00e7ok az kod yazarak, \u00e7e\u015fitli sistemlerden (veritabanlar\u0131, dosya sistemleri, mesaj kuyruklar\u0131, API’ler vb.) Kafka’ya veri almay\u0131 (source connectors) ve Kafka’dan di\u011fer sistemlere veri g\u00f6ndermeyi (sink connectors) kolayla\u015ft\u0131r\u0131r.<\/p>\n * Source Connectors:<\/strong> Harici bir veri kayna\u011f\u0131ndan (\u00f6rne\u011fin, bir PostgreSQL veritaban\u0131, bir S3 kovas\u0131 veya bir REST API) veri okur ve bu veriyi Kafka topic’lerine yazar. \u00d6rne\u011fin, Debezium gibi bir CDC connector, bir veritaban\u0131ndaki t\u00fcm de\u011fi\u015fiklikleri ger\u00e7ek zamanl\u0131 olarak Kafka’ya aktarabilir. Kafka Connect, da\u011f\u0131t\u0131k ve hataya dayan\u0131kl\u0131 bir \u015fekilde \u00e7al\u0131\u015f\u0131r. Connector’lar, worker process’ler \u00fczerinde \u00e7al\u0131\u015f\u0131r ve \u00f6l\u00e7eklenebilirlik i\u00e7in birden fazla worker aras\u0131nda da\u011f\u0131t\u0131labilir. Bu, veri entegrasyonu g\u00f6revlerini basitle\u015ftirir ve geli\u015ftiricilerin bu karma\u015f\u0131k entegrasyon mant\u0131\u011f\u0131n\u0131 s\u0131f\u0131rdan yazmaktan kurtar\u0131r.<\/p>\n Kafka Streams, Java ve Scala dillerinde yaz\u0131lm\u0131\u015f, hafif ve kullan\u0131m\u0131 kolay bir k\u00fct\u00fcphanedir. Geli\u015ftiricilerin, do\u011frudan kendi uygulamalar\u0131nda ger\u00e7ek zamanl\u0131 ak\u0131\u015f i\u015fleme uygulamalar\u0131 olu\u015fturmas\u0131na olanak tan\u0131r. Kafka Streams, Kafka’y\u0131 hem giri\u015f hem de \u00e7\u0131k\u0131\u015f olarak kullanarak, olay ak\u0131\u015flar\u0131n\u0131 filtreleme, d\u00f6n\u00fc\u015ft\u00fcrme, birle\u015ftirme, gruplama ve durum bilgili (stateful) i\u015flemler yapma yetene\u011fi sunar.<\/p>\n * KStream ve KTable:<\/strong> Kafka Streams API’s\u0131n\u0131n temel soyutlamalar\u0131 Kafka Streams, karma\u015f\u0131k ak\u0131\u015f i\u015fleme senaryolar\u0131n\u0131, ayr\u0131 bir ak\u0131\u015f i\u015fleme k\u00fcmesi kurmaya gerek kalmadan, do\u011frudan Kafka’n\u0131n kendisiyle entegre bir \u015fekilde \u00e7\u00f6zmek i\u00e7in g\u00fc\u00e7l\u00fc bir ara\u00e7t\u0131r.<\/p>\n Apache Kafka, modern veri mimarilerinin temel ta\u015f\u0131 haline gelmi\u015f, g\u00fc\u00e7l\u00fc ve esnek bir event streaming platformudur. Y\u00fcksek \u00f6l\u00e7eklenebilirlik, performans, hata tolerans\u0131 ve ger\u00e7ek zamanl\u0131 i\u015fleme yetenekleriyle, i\u015fletmelerin s\u00fcrekli artan veri ak\u0131\u015flar\u0131n\u0131 y\u00f6netme ve bu verilerden de\u011ferli i\u00e7g\u00f6r\u00fcler elde etme zorluklar\u0131n\u0131 a\u015fmalar\u0131na yard\u0131mc\u0131 olur.<\/p>\n Event streaming’in g\u00fcc\u00fc, sadece veriyi h\u0131zl\u0131 bir \u015fekilde ta\u015f\u0131makla kalmaz, ayn\u0131 zamanda olaylar\u0131 sistemlerin “haf\u0131zas\u0131” olarak kullanarak, uygulamalar\u0131n daha reaktif, esnek ve dayan\u0131kl\u0131 olmas\u0131n\u0131 sa\u011flar. Kafka’n\u0131n temel bile\u015fenleri (broker’lar, topic’ler, partisyonlar, producer’lar, consumer’lar) ve zengin ekosistemi (Kafka Connect, Kafka Streams), geli\u015ftiricilere ve mimarlara, veri entegrasyonundan ger\u00e7ek zamanl\u0131 analiti\u011fe kadar \u00e7ok \u00e7e\u015fitli zorluklar\u0131 \u00e7\u00f6zmek i\u00e7in kapsaml\u0131 bir ara\u00e7 seti sunar.<\/p>\n Gelecekte de veri ak\u0131\u015f\u0131n\u0131n \u00f6nemi artmaya devam edecek ve Kafka, bu dinamik veri ortam\u0131nda merkezi bir rol oynamaya devam edecektir. Veri odakl\u0131 her i\u015fletme i\u00e7in, Kafka’y\u0131 anlamak ve etkin bir \u015fekilde kullanmak, rekabet avantaj\u0131 sa\u011flaman\u0131n ve yenilik\u00e7i \u00e7\u00f6z\u00fcmler geli\u015ftirmenin anahtarlar\u0131ndan biri olacakt\u0131r.<\/body><\/p>\n","protected":false},"excerpt":{"rendered":"Kafka Event Streaming Nedir ve Nas\u0131l \u00c7al\u0131\u015f\u0131r? Kapsaml\u0131 Bir Rehber\nG\u00fcn\u00fcm\u00fcz\u00fcn dijital d\u00fcnyas\u0131nda, veri her zamankinden daha h\u0131zl\u0131 \u00fcretil","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"csco_page_header_type":"","csco_page_load_nextpost":"","csco_page_subscribe_form":"","csco_page_contact_form":"","footnotes":""},"categories":[1],"tags":[],"class_list":{"0":"post-33449","1":"post","2":"type-post","3":"status-publish","4":"format-standard","6":"category-genel","7":"cs-entry","8":"cs-video-wrap"},"yoast_head":"\n
\n* De\u011fi\u015fmez (Immutable):<\/strong> Bir olay olu\u015ftuktan sonra de\u011fi\u015ftirilemez. Olaylar, ger\u00e7ekle\u015fen bir ger\u00e7e\u011fin kayd\u0131d\u0131r.
\n* Zaman Damgal\u0131 (Timestamped):<\/strong> Her olay\u0131n ne zaman ger\u00e7ekle\u015fti\u011fini g\u00f6steren bir zaman damgas\u0131 bulunur. Bu, olaylar\u0131n kronolojik s\u0131ras\u0131n\u0131 takip etmek i\u00e7in kritik \u00f6neme sahiptir.
\n* S\u0131ral\u0131 (Ordered):<\/strong> Olaylar genellikle belirli bir ba\u011flam veya anahtar i\u00e7inde s\u0131ral\u0131 bir \u015fekilde i\u015flenir. Bu, olaylar\u0131n neden-sonu\u00e7 ili\u015fkilerini do\u011fru bir \u015fekilde anlamak i\u00e7in \u00f6nemlidir.<\/p>\nEvent Streaming’in Faydalar\u0131<\/h4>\n
\n* An\u0131nda Tepki:<\/strong> Sistemlerin ve uygulamalar\u0131n olaylara an\u0131nda tepki vermesine olanak tan\u0131r (\u00f6rne\u011fin, doland\u0131r\u0131c\u0131l\u0131k tespiti, ki\u015fiselle\u015ftirilmi\u015f \u00f6neriler).
\n* Esneklik ve \u00d6l\u00e7eklenebilirlik:<\/strong> Da\u011f\u0131t\u0131k mimarilerde, farkl\u0131 sistemlerin olay ak\u0131\u015flar\u0131na abone olmas\u0131na ve kendi h\u0131zlar\u0131nda i\u015flemesine olanak tan\u0131r.
\n* Veri Entegrasyonu:<\/strong> Farkl\u0131 sistemler aras\u0131ndaki veri ak\u0131\u015f\u0131n\u0131 standartla\u015ft\u0131r\u0131r ve basitle\u015ftirir.
\n* Olay Kaynakl\u0131 Mimari (Event-Driven Architecture – EDA) Deste\u011fi:<\/strong> Uygulamalar\u0131n olaylar \u00fczerinden ileti\u015fim kurdu\u011fu, daha gev\u015fek ba\u011fl\u0131 ve dayan\u0131kl\u0131 sistemler olu\u015fturmay\u0131 te\u015fvik eder.<\/p>\nApache Kafka’ya Derin Bir Bak\u0131\u015f<\/h3>\n
\n1. Event Yay\u0131nlama ve Abone Olma:<\/strong> Binlerce sistemin veya uygulaman\u0131n olaylar\u0131 yay\u0131nlamas\u0131na (producer) ve abone olmas\u0131na (consumer) olanak tan\u0131yan, y\u00fcksek verimli bir publish\/subscribe (yay\u0131nla\/abone ol) mesajla\u015fma sistemi.
\n2. Hata Toleransl\u0131 Depolama:<\/strong> Olay kay\u0131tlar\u0131n\u0131, da\u011f\u0131t\u0131k ve hataya dayan\u0131kl\u0131 bir \u015fekilde uzun s\u00fcreler boyunca depolayabilen bir “distributed commit log” (da\u011f\u0131t\u0131k i\u015flem g\u00fcnl\u00fc\u011f\u00fc).
\n3. Ger\u00e7ek Zamanl\u0131 \u0130\u015fleme:<\/strong> Olay ak\u0131\u015flar\u0131n\u0131 ger\u00e7ek zamanl\u0131 olarak i\u015flemek i\u00e7in bir platform (Kafka Streams API ve ksqlDB).<\/p>\nKafka’n\u0131n Temel Bile\u015fenleri ve Mimarisi<\/h3>\n
Brokerlar (Sunucular)<\/h4>\n
\n* Gelen olay kay\u0131tlar\u0131n\u0131 al\u0131r ve diske depolar.
\n* T\u00fcketicilerden gelen isteklere yan\u0131t vererek olay kay\u0131tlar\u0131n\u0131 onlara sunar.
\n* Olay kay\u0131tlar\u0131n\u0131n replikasyonunu y\u00f6netir.
\n* Her broker, k\u00fcmedeki di\u011fer broker’lar hakk\u0131nda meta veri bilgisine sahiptir.<\/p>\nTopicler (Konular)<\/h4>\n
siparisler<\/code>, urun_goruntulemeleri<\/code> veya kullanici_hareketleri<\/code> gibi topic’ler olabilir.<\/p>\nPartisyonlar (B\u00f6l\u00fcmler)<\/h4>\n
\n* S\u0131ralama Garantisi:<\/strong> Kafka, bir partisyon i\u00e7indeki olaylar\u0131n eklenme s\u0131ras\u0131n\u0131 (append-only log) ve t\u00fcketim s\u0131ras\u0131n\u0131 garanti eder. Ancak, farkl\u0131 partisyonlar aras\u0131ndaki olaylar\u0131n global bir s\u0131ralamas\u0131 garanti edilmez. E\u011fer global s\u0131ralama kritikse, t\u00fcm ilgili olaylar tek bir partisyonda i\u015flenmelidir.
\n* Offset:<\/strong> Her partisyondaki olaylar, 0’dan ba\u015flayarak artan bir “offset” (konum) ile benzersiz bir \u015fekilde tan\u0131mlan\u0131r. Consumer’lar, bir partisyonda en son hangi offset’i okuduklar\u0131n\u0131 takip ederler. Bu, kald\u0131klar\u0131 yerden okumaya devam etmelerini sa\u011flar.<\/p>\nProducerlar (\u00dcreticiler)<\/h4>\n
Consumerlar (T\u00fcketiciler)<\/h4>\n
\n* Offset Y\u00f6netimi:<\/strong> Her consumer group, her partisyon i\u00e7in en son okudu\u011fu offset’i Kafka’da \u00f6zel bir topic olan __consumer_offsets<\/code> i\u00e7inde saklar. Bu sayede, consumer’lar yeniden ba\u015flat\u0131ld\u0131\u011f\u0131nda veya yeni consumer’lar gruba kat\u0131ld\u0131\u011f\u0131nda, kald\u0131klar\u0131 yerden okumaya devam edebilirler.<\/p>\nZooKeeper (veya KRaft)<\/h4>\n
\n* Broker’lar\u0131n durumunu takip etmek (hangi broker’lar aktif, hangi broker’lar kapal\u0131).
\n* Topic ve partisyon meta verilerini depolamak.
\n* Controller broker’\u0131 se\u00e7mek (k\u00fcmenin ana y\u00f6neticisi).
\n* Consumer group’lar\u0131n ve offset’lerin y\u00f6netiminde yard\u0131mc\u0131 olmak.<\/p>\nKafka Nas\u0131l \u00c7al\u0131\u015f\u0131r? Ad\u0131m Ad\u0131m Ak\u0131\u015f<\/h3>\n
\n2. Partisyon Se\u00e7imi:<\/strong> Kafka, olay\u0131n g\u00f6nderilece\u011fi partisyonu belirler.
\n * E\u011fer olay anahtarl\u0131 ise, Kafka anahtar\u0131n hash de\u011ferini kullanarak belirli bir partisyonu se\u00e7er. Bu, ayn\u0131 anahtara sahip t\u00fcm olaylar\u0131n ayn\u0131 partisyona gitmesini sa\u011flar.
\n * E\u011fer olay anahtars\u0131z ise, Kafka olaylar\u0131 partisyonlar aras\u0131nda round-robin (d\u00f6n\u00fc\u015f\u00fcml\u00fc) olarak da\u011f\u0131t\u0131r.
\n3. Broker’a Yazma:<\/strong> Se\u00e7ilen partisyonun lider (leader) replikas\u0131na sahip broker, olay\u0131 al\u0131r ve diske yazar. Bu i\u015flem, diske art arda ekleme (append-only) \u015feklinde ger\u00e7ekle\u015fir, bu da \u00e7ok y\u00fcksek yazma performans\u0131 sa\u011flar.
\n4. Replikasyon:<\/strong> Veri dayan\u0131kl\u0131l\u0131\u011f\u0131 i\u00e7in, her partisyonun birden fazla replikas\u0131 bulunur (genellikle 3). Lider replika olay\u0131 yazd\u0131ktan sonra, takip\u00e7i (follower) replikalar da olay\u0131 kendi disklerine kopyalar. Producer, olay\u0131n ka\u00e7 replikaya yaz\u0131ld\u0131\u011f\u0131n\u0131 onaylayana kadar bekleyebilir (\u00f6rne\u011fin, t\u00fcm replikalar onaylayana kadar acks=all<\/code>).
\n5. Olay Offset Al\u0131r:<\/strong> Olay, partisyona yaz\u0131ld\u0131\u011f\u0131nda, o partisyon i\u00e7inde benzersiz bir offset numaras\u0131 al\u0131r. Bu offset, olay\u0131n partisyon i\u00e7indeki konumunu belirtir.
\n6. Consumer Olay\u0131 Okur:<\/strong> Bir consumer uygulamas\u0131, belirli bir topic’e abone olur ve o topic’in atanm\u0131\u015f partisyonlar\u0131ndan olaylar\u0131 okumaya ba\u015flar. Consumer, belirli bir offset’ten ba\u015flayarak veya en son eklenen olaylardan ba\u015flayarak okuyabilir.
\n7. Offset G\u00fcncellemesi:<\/strong> Consumer, olaylar\u0131 ba\u015far\u0131yla i\u015fledikten sonra, en son okudu\u011fu offset’i Kafka’ya (genellikle __consumer_offsets<\/code> topic’ine) kaydeder. Bu, consumer’\u0131n kald\u0131\u011f\u0131 yerden devam etmesini sa\u011flar ve hata tolerans\u0131n\u0131 art\u0131r\u0131r.
\n8. Paralel \u0130\u015fleme:<\/strong> Birden fazla consumer, ayn\u0131 consumer group i\u00e7inde ayn\u0131 topic’in farkl\u0131 partisyonlar\u0131ndan paralel olarak olaylar\u0131 i\u015fleyebilir. Bu, t\u00fcketim h\u0131z\u0131n\u0131 ve sistemin genel verimini art\u0131r\u0131r.<\/p>\nKafka Event Streaming’in Avantajlar\u0131<\/h3>\n
\n* Y\u00fcksek Performans:<\/strong> D\u00fc\u015f\u00fck gecikme (latency) ve y\u00fcksek verim (throughput) ile bilinir. Olaylar\u0131 diske s\u0131ral\u0131 bir \u015fekilde yazma (append-only log), i\u015fletim sistemi sayfa \u00f6nbelleklerini etkin bir \u015fekilde kullanma ve verimli a\u011f protokolleri sayesinde bu performans\u0131 sa\u011flar.
\n* Hata Tolerans\u0131 ve Dayan\u0131kl\u0131l\u0131k:<\/strong> Olay kay\u0131tlar\u0131, birden fazla broker \u00fczerinde replike edilir. Bir broker ar\u0131zaland\u0131\u011f\u0131nda, di\u011fer replikalar otomatik olarak devreye girer ve veri kayb\u0131 olmadan hizmet kesintisiz devam eder. Bu, y\u00fcksek eri\u015filebilirlik (high availability) sa\u011flar.
\n* Ger\u00e7ek Zamanl\u0131 \u0130\u015fleme:<\/strong> Olaylar olu\u015ftuklar\u0131 anda i\u015flenebildi\u011fi i\u00e7in, sistemler an\u0131nda tepki verebilir ve ger\u00e7ek zamanl\u0131 i\u00e7g\u00f6r\u00fcler elde edilebilir.
\n* Esneklik ve Ayr\u0131\u015fma:<\/strong> Producer’lar ve consumer’lar birbirlerinden ba\u011f\u0131ms\u0131zd\u0131r. Bir producer’\u0131n bir olay\u0131 g\u00f6ndermesi i\u00e7in bir consumer’\u0131n aktif olmas\u0131 gerekmez ve bir consumer, producer’dan ba\u011f\u0131ms\u0131z olarak olaylar\u0131 kendi h\u0131z\u0131nda t\u00fcketebilir. Bu, sistemler aras\u0131nda gev\u015fek ba\u011fl\u0131l\u0131k (loose coupling) sa\u011flar.
\n* Veri B\u00fct\u00fcnl\u00fc\u011f\u00fc ve S\u0131ralama:<\/strong> Her partisyon i\u00e7inde olaylar\u0131n eklenme s\u0131ras\u0131 korunur. Bu, olaylar\u0131n kronolojik s\u0131ras\u0131n\u0131n kritik oldu\u011fu senaryolarda (\u00f6rne\u011fin, finansal i\u015flemler) veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc garanti eder.
\n* Geriye D\u00f6n\u00fck Uyumluluk ve Tekrar Oynatma:<\/strong> Kafka, olaylar\u0131 belirli bir s\u00fcre (\u00f6rne\u011fin, 7 g\u00fcn) boyunca diske saklar. Bu, consumer’lar\u0131n ge\u00e7mi\u015f olaylar\u0131 tekrar okuyabilmesini veya yeni bir uygulaman\u0131n mevcut olay ak\u0131\u015f\u0131n\u0131 ba\u015ftan i\u015fleyebilmesini sa\u011flar.
\n* Zengin Ekosistem:<\/strong> Kafka, Kafka Connect, Kafka Streams, ksqlDB gibi g\u00fc\u00e7l\u00fc ara\u00e7larla zengin bir ekosisteme sahiptir. Bu ara\u00e7lar, veri entegrasyonu ve ak\u0131\u015f i\u015fleme yeteneklerini \u00f6nemli \u00f6l\u00e7\u00fcde geni\u015fletir.<\/p>\nKafka Kullan\u0131m Alanlar\u0131<\/h3>\n
\n* Log Toplama ve Y\u00f6netimi:<\/strong> Farkl\u0131 sunuculardan ve uygulamalardan gelen loglar\u0131n merkezi bir noktada toplanmas\u0131, depolanmas\u0131 ve i\u015flenmesi. Kafka, Elasticsearch, Splunk gibi log analiz ara\u00e7lar\u0131na veri ak\u0131\u015f\u0131 sa\u011flamak i\u00e7in ideal bir k\u00f6pr\u00fc g\u00f6revi g\u00f6r\u00fcr.
\n* Microservices Mimarileri i\u00e7in Mesaj Kuyru\u011fu:<\/strong> Mikro hizmetler aras\u0131nda asenkron ve g\u00fcvenilir ileti\u015fim sa\u011flamak. Hizmetler, olaylar\u0131 Kafka topic’lerine yay\u0131nlayarak birbirleriyle gev\u015fek ba\u011fl\u0131 bir \u015fekilde etkile\u015fim kurabilirler.
\n* De\u011fi\u015fiklik Veri Yakalama (Change Data Capture – CDC):<\/strong> Veritabanlar\u0131ndaki de\u011fi\u015fikliklerin (ekleme, g\u00fcncelleme, silme) ger\u00e7ek zamanl\u0131 olarak yakalanmas\u0131 ve Kafka’ya ak\u0131t\u0131lmas\u0131. Bu, veri ambarlar\u0131n\u0131 g\u00fcncel tutmak, \u00f6nbellekleri senkronize etmek veya di\u011fer sistemleri ger\u00e7ek zamanl\u0131 olarak g\u00fcncellemek i\u00e7in kullan\u0131l\u0131r.
\n* Olay Kaynakl\u0131 Mimari (Event-Driven Architecture – EDA):<\/strong> Uygulama bile\u015fenlerinin olaylar arac\u0131l\u0131\u011f\u0131yla ileti\u015fim kurdu\u011fu mimarilerin temelini olu\u015fturur. Bu, daha esnek, \u00f6l\u00e7eklenebilir ve dayan\u0131kl\u0131 sistemler olu\u015fturmay\u0131 sa\u011flar.
\n* Ak\u0131\u015f \u0130\u015fleme (Stream Processing):<\/strong> Ger\u00e7ek zamanl\u0131 olay ak\u0131\u015flar\u0131n\u0131 d\u00f6n\u00fc\u015ft\u00fcrme, filtreleme, birle\u015ftirme ve zenginle\u015ftirme. Kafka Streams API ve ksqlDB gibi ara\u00e7lar, bu t\u00fcr i\u015flemleri kolayla\u015ft\u0131r\u0131r.
\n* IoT (Nesnelerin \u0130nterneti) Veri Al\u0131m\u0131:<\/strong> Binlerce IoT cihaz\u0131ndan gelen sens\u00f6r verilerini toplamak ve i\u015flemek i\u00e7in y\u00fcksek verimli bir altyap\u0131 sa\u011flar.
\n* M\u00fc\u015fteri Deneyimi Ki\u015fiselle\u015ftirme:<\/strong> M\u00fc\u015fteri davran\u0131\u015flar\u0131n\u0131 (t\u0131klamalar, sat\u0131n almalar, g\u00f6r\u00fcnt\u00fclemeler) ger\u00e7ek zamanl\u0131 olarak analiz ederek ki\u015fiselle\u015ftirilmi\u015f \u00f6neriler sunmak.<\/p>\nKafka Ekosistemi: Kafka Connect ve Kafka Streams<\/h3>\n
Kafka Connect<\/h4>\n
\n* Sink Connectors:<\/strong> Kafka topic’lerinden veri okur ve bu veriyi harici bir veri hedefine (\u00f6rne\u011fin, bir Elasticsearch k\u00fcmesi, bir veri ambar\u0131, bir ba\u015fka veritaban\u0131 veya bir HDFS) yazar. \u00d6rne\u011fin, bir S3 Sink Connector, Kafka’daki verileri belirli aral\u0131klarla S3’e yedekleyebilir.<\/p>\nKafka Streams<\/h4>\n
KStream<\/code> ve KTable<\/code>‘d\u0131r.
\n * KStream:<\/strong> De\u011fi\u015fmez bir olay kay\u0131tlar\u0131 ak\u0131\u015f\u0131n\u0131 temsil eder. Her kay\u0131t, bir olay\u0131n ger\u00e7ekle\u015fti\u011fini g\u00f6sterir. Bir KStream<\/code> \u00fczerindeki i\u015flemler, her bir olay i\u00e7in tek tek uygulan\u0131r.
\n * KTable:<\/strong> Bir anahtar-de\u011fer \u00e7iftinin en son durumunu temsil eder. Bir veritaban\u0131 tablosu veya anahtar-de\u011fer deposu gibi d\u00fc\u015f\u00fcn\u00fclebilir. KTable<\/code>‘daki her g\u00fcncelleme, o anahtar\u0131n yeni durumunu yans\u0131t\u0131r.
\n* Durum Bilgili \u0130\u015flemler:<\/strong> Kafka Streams, dahili olarak RocksDB gibi g\u00f6m\u00fcl\u00fc bir anahtar-de\u011fer deposu kullanarak durum bilgili i\u015flemleri (\u00f6rne\u011fin, pencereleme, birle\u015ftirme, toplama) destekler. Bu, uygulamalar\u0131n ge\u00e7mi\u015f olaylar hakk\u0131nda bilgi tutmas\u0131n\u0131 ve bu bilgilere dayanarak kararlar almas\u0131n\u0131 sa\u011flar.
\n* Yerel \u0130\u015fleme:<\/strong> Kafka Streams uygulamalar\u0131, Kafka broker’lar\u0131 \u00fczerinde de\u011fil, kendi JVM’lerinde \u00e7al\u0131\u015f\u0131r. Bu, d\u00fc\u015f\u00fck gecikme ve y\u00fcksek performans sa\u011flar. Ayr\u0131ca, Kafka Streams uygulamalar\u0131 da \u00f6l\u00e7eklenebilir ve hataya dayan\u0131kl\u0131d\u0131r; bir uygulama instance’\u0131 kapan\u0131rsa, di\u011ferleri onun partisyonlar\u0131n\u0131 devral\u0131r.<\/p>\nSonu\u00e7<\/h3>\n