Modern veri d\u00fcnyas\u0131nda i\u015fletmeler, b\u00fcy\u00fcyen veri hacmi ve karma\u015f\u0131kl\u0131\u011f\u0131 kar\u015f\u0131s\u0131nda y\u00fcksek performansl\u0131 analitik \u00e7\u00f6z\u00fcmler aray\u0131\u015f\u0131nda. Bu makale, Rust programlama dilinin g\u00fcc\u00fcn\u00fc Apache Iceberg’in esnekli\u011fi ve Apache Doris’in y\u00fcksek h\u0131zl\u0131 sorgulama yetenekleriyle birle\u015ftirerek nas\u0131l \u00e7\u0131\u011f\u0131r a\u00e7\u0131c\u0131 bir veri y\u0131\u011f\u0131n\u0131 olu\u015fturulabilece\u011fini detayland\u0131r\u0131yor.<\/p>\n
G\u00fcn\u00fcm\u00fcz\u00fcn rekabet\u00e7i i\u015f ortam\u0131nda, veriden elde edilen i\u00e7g\u00f6r\u00fcler kritik \u00f6neme sahiptir. Ancak geleneksel veri mimarileri, artan veri hacmi ve \u00e7e\u015fitlili\u011fi kar\u015f\u0131s\u0131nda \u00e7o\u011fu zaman yetersiz kalmaktad\u0131r. Veri g\u00f6lleri ve veri ambarlar\u0131 aras\u0131ndaki duvarlar, schema evrimi sorunlar\u0131, performans darbo\u011fazlar\u0131 ve y\u00fcksek maliyetler, analitik s\u00fcre\u00e7leri yava\u015flatan ba\u015fl\u0131ca engellerdendir. \u00d6zellikle ger\u00e7ek zamanl\u0131 karar alma ihtiyac\u0131 do\u011fdu\u011funda, mevcut sistemlerin \u00f6l\u00e7eklenebilirlik ve h\u0131z konusundaki eksiklikleri daha da belirginle\u015fir. \u00d6rne\u011fin, bir e-ticaret sitesinin anl\u0131k olarak m\u00fc\u015fteri davran\u0131\u015flar\u0131n\u0131 analiz edip ki\u015fiselle\u015ftirilmi\u015f \u00f6neriler sunmas\u0131 veya bir finans kurulu\u015funun doland\u0131r\u0131c\u0131l\u0131k tespiti i\u00e7in saniyeler i\u00e7inde binlerce i\u015flemi incelemesi gerekti\u011finde, gecikmeler ciddi sonu\u00e7lar do\u011furabilir. Bu durum, yaln\u0131zca teknik bir problem olman\u0131n \u00f6tesinde, do\u011frudan i\u015f sonu\u00e7lar\u0131n\u0131 ve rekabet avantaj\u0131n\u0131 etkiler. Bu nedenle, daha esnek, daha performansl\u0131 ve daha uygun maliyetli yeni bir veri analitik yakla\u015f\u0131m\u0131na \u015fiddetle ihtiya\u00e7 duyulmaktad\u0131r. \u0130\u015fte tam da bu noktada, Rust, Apache Iceberg ve Apache Doris \u00fc\u00e7l\u00fcs\u00fc sahneye \u00e7\u0131karak, veri analiti\u011fi alan\u0131nda devrim niteli\u011finde bir \u00e7\u00f6z\u00fcm sunma potansiyeli ta\u015f\u0131r. Geleneksel yakla\u015f\u0131mlar\u0131n aksine, bu modern veri y\u0131\u011f\u0131n\u0131, hem veri m\u00fchendisli\u011fi s\u00fcre\u00e7lerini optimize eder hem de analistlerin \u00e7ok daha h\u0131zl\u0131 ve g\u00fcvenilir i\u00e7g\u00f6r\u00fcler elde etmelerini sa\u011flar. Bu yenilik\u00e7i mimari, veri al\u0131m\u0131ndan sorgulamaya kadar her a\u015famada performans\u0131 art\u0131r\u0131rken, ayn\u0131 zamanda veri y\u00f6netimi karma\u015f\u0131kl\u0131\u011f\u0131n\u0131 da \u00f6nemli \u00f6l\u00e7\u00fcde azaltmay\u0131 hedefler. Dolay\u0131s\u0131yla, veri odakl\u0131 stratejiler geli\u015ftiren her kurulu\u015f i\u00e7in bu yeni nesil teknolojileri anlamak ve uygulamak, gelecekteki ba\u015far\u0131lar\u0131 i\u00e7in vazge\u00e7ilmez bir ad\u0131m olacakt\u0131r.<\/p>\n
Rust, bellek g\u00fcvenli\u011fini ve y\u00fcksek performans\u0131 ayn\u0131 anda sunan modern bir sistem programlama dilidir. Bu \u00f6zellikler, onu \u00f6zellikle b\u00fcy\u00fck veri i\u015fleme ve analitik boru hatlar\u0131 i\u00e7in cazip bir se\u00e7enek haline getirir. Geleneksel dillerde kar\u015f\u0131la\u015f\u0131lan bellek s\u0131z\u0131nt\u0131lar\u0131 veya yar\u0131\u015f ko\u015fullar\u0131 gibi hatalar\u0131 derleme zaman\u0131nda tespit etme yetene\u011fi sayesinde, Rust, daha g\u00fcvenilir ve kararl\u0131 uygulamalar geli\u015ftirilmesini sa\u011flar. Bu, \u00f6zellikle veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fcn kritik oldu\u011fu analitik sistemlerde b\u00fcy\u00fck bir avantajd\u0131r. Ayr\u0131ca, Rust’\u0131n “s\u0131f\u0131r maliyetli soyutlamalar” prensibi, geli\u015ftiricilere \u00fcst d\u00fczey programlama kolayl\u0131\u011f\u0131 sunarken, altta yatan donan\u0131m kaynaklar\u0131n\u0131 da en verimli \u015fekilde kullanma imkan\u0131 tan\u0131r. Bu sayede, Python gibi yorumlanm\u0131\u015f dillere k\u0131yasla \u00e7ok daha y\u00fcksek i\u015flem h\u0131zlar\u0131na ula\u015fmak m\u00fcmk\u00fcn olurken, C++ gibi dillerin karma\u015f\u0131kl\u0131\u011f\u0131ndan da ka\u00e7\u0131n\u0131lm\u0131\u015f olur. Veri al\u0131m\u0131, d\u00f6n\u00fc\u015f\u00fcm\u00fc ve zenginle\u015ftirilmesi gibi yo\u011fun hesaplama gerektiren g\u00f6revlerde, Rust’\u0131n sa\u011flad\u0131\u011f\u0131 h\u0131z, operasyonel maliyetleri d\u00fc\u015f\u00fcrmenin yan\u0131 s\u0131ra, analitik s\u00fcre\u00e7lerin gecikmesini de minimize eder. \u00d6rne\u011fin, saniyede terabaytlarca veri i\u015fleyen bir ak\u0131\u015f analizi sisteminde, Rust ile yaz\u0131lm\u0131\u015f bir uygulaman\u0131n performans\u0131, ayn\u0131 i\u015fi yapan ba\u015fka bir dilde yaz\u0131lm\u0131\u015f uygulamaya g\u00f6re kat kat \u00fcst\u00fcn olabilir. Ek olarak, Rust’\u0131n modern e\u015fzamanl\u0131l\u0131k (concurrency) mekanizmalar\u0131, \u00e7ok \u00e7ekirdekli i\u015flemcilerin g\u00fcc\u00fcn\u00fc tam anlam\u0131yla kullanarak paralel veri i\u015fleme yeteneklerini optimize eder. Bu, \u00f6zellikle veri k\u00fcmesinin b\u00fcy\u00fckl\u00fc\u011f\u00fc artt\u0131k\u00e7a ve analiz gereksinimleri karma\u015f\u0131kla\u015ft\u0131k\u00e7a hayati bir rol oynar. Rust ekosistemi de h\u0131zla b\u00fcy\u00fcmekte olup, veri bilimcileri ve m\u00fchendisler i\u00e7in giderek daha fazla k\u00fct\u00fcphane ve ara\u00e7 sunmaktad\u0131r. Dolay\u0131s\u0131yla, performans\u0131n ve g\u00fcvenilirli\u011fin kritik oldu\u011fu her t\u00fcrl\u00fc veri analitik projesinde Rust’\u0131 tercih etmek, uzun vadede \u00f6nemli faydalar sa\u011flayacakt\u0131r. Bellek y\u00f6netimi konusunda sundu\u011fu benzersiz garantilerle, Rust, veri i\u015fleme boru hatlar\u0131n\u0131n omurgas\u0131n\u0131 olu\u015fturmak i\u00e7in m\u00fckemmel bir se\u00e7imdir, zira hem \u00f6l\u00e7eklenebilirlik hem de dayan\u0131kl\u0131l\u0131k a\u00e7\u0131s\u0131ndan beklentileri fazlas\u0131yla kar\u015f\u0131lar.<\/p>\n
Apache Iceberg, b\u00fcy\u00fck \u00f6l\u00e7ekli veri g\u00f6llerinde tablolar\u0131 y\u00f6netmek i\u00e7in tasarlanm\u0131\u015f a\u00e7\u0131k kaynakl\u0131 bir tablo format\u0131d\u0131r. Geleneksel dosya formatlar\u0131 (Parquet, ORC) ve Hive Metastore kombinasyonunun s\u0131n\u0131rlamalar\u0131n\u0131 a\u015farak, b\u00fcy\u00fck veri ortamlar\u0131nda kar\u015f\u0131la\u015f\u0131lan zorluklara \u00e7\u00f6z\u00fcm sunar. Iceberg’in en dikkat \u00e7ekici \u00f6zelliklerinden biri, \u015fema evrimini (schema evolution) sorunsuz bir \u015fekilde desteklemesidir. Bu sayede, tablolar\u0131n\u0131za yeni s\u00fctunlar ekleyebilir, mevcutlar\u0131 silebilir veya yeniden adland\u0131rabilir ve hatta s\u00fctun t\u00fcrlerini de\u011fi\u015ftirebilirsiniz; \u00fcstelik bu de\u011fi\u015fiklikler mevcut verileri etkilemeden ve performans\u0131 d\u00fc\u015f\u00fcrmeden ger\u00e7ekle\u015fir. Bu esneklik, veri gereksinimlerinin s\u00fcrekli de\u011fi\u015fti\u011fi modern analitik ortamlar i\u00e7in paha bi\u00e7ilmezdir. Ayr\u0131ca, Iceberg “gizli b\u00f6l\u00fcmleme” (hidden partitioning) \u00f6zelli\u011fine sahiptir. Bu, kullan\u0131c\u0131lar\u0131n sorgu s\u0131ras\u0131nda b\u00f6l\u00fcmleme s\u00fctunlar\u0131n\u0131 manuel olarak belirtme zorunlulu\u011funu ortadan kald\u0131r\u0131r. Iceberg, sorgu motorunun verilen filtreye g\u00f6re ilgili b\u00f6l\u00fcmleri otomatik olarak bulmas\u0131n\u0131 ve sadece o b\u00f6l\u00fcmlerdeki veriyi okumas\u0131n\u0131 sa\u011flar, bu da sorgu performans\u0131n\u0131 \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r. Zaman yolculu\u011fu (time travel) yetene\u011fi sayesinde ise, tablolar\u0131n\u0131z\u0131n belirli bir anl\u0131k g\u00f6r\u00fcnt\u00fcs\u00fcne veya ge\u00e7mi\u015f bir s\u00fcr\u00fcm\u00fcne eri\u015febilir, b\u00f6ylece veri ge\u00e7mi\u015fini analiz edebilir veya yanl\u0131\u015fl\u0131kla yap\u0131lan de\u011fi\u015fiklikleri geri alabilirsiniz. Bu \u00f6zellik, denetlenebilirlik ve veri kurtarma senaryolar\u0131nda b\u00fcy\u00fck kolayl\u0131k sa\u011flar. Iceberg, ACID (Atomicity, Consistency, Isolation, Durability) garantileri sunarak, veri g\u00f6l\u00fc \u00fczerindeki i\u015flemlerin g\u00fcvenilirli\u011fini art\u0131r\u0131r. Bu, \u00f6zellikle ayn\u0131 tabloya birden fazla i\u015flemin e\u015fzamanl\u0131 olarak yaz\u0131ld\u0131\u011f\u0131 durumlarda veri bozulmas\u0131n\u0131 \u00f6nler. T\u00fcm bu yetenekleri, Iceberg’i yaln\u0131zca bir dosya format\u0131 olmaktan \u00e7\u0131kar\u0131p, b\u00fcy\u00fck veri g\u00f6l\u00fc tablolar\u0131 i\u00e7in tam te\u015fekk\u00fcll\u00fc bir y\u00f6netim sistemi haline getirir. Spark, Flink, Trino (PrestoSQL) ve art\u0131k Apache Doris gibi bir\u00e7ok pop\u00fcler veri i\u015fleme motoru taraf\u0131ndan desteklenmesi, Iceberg’in adaptasyonunu ve de\u011ferini daha da art\u0131rmaktad\u0131r. Bu sayede, veri m\u00fchendisleri ve analistler, karma\u015f\u0131k veri y\u00f6netimi sorunlar\u0131na odaklanmak yerine, veriden de\u011fer yaratmaya daha fazla zaman ay\u0131rabilirler. K\u0131sacas\u0131, Iceberg, veri g\u00f6l\u00fcn\u00fcz\u00fc daha y\u00f6netilebilir, daha performansl\u0131 ve gelece\u011fe daha haz\u0131r hale getiren temel bir yap\u0131 ta\u015f\u0131d\u0131r.<\/p>\n
Apache Doris, y\u00fcksek performansl\u0131 ve ger\u00e7ek zamanl\u0131 analitik i\u015f y\u00fckleri i\u00e7in tasarlanm\u0131\u015f a\u00e7\u0131k kaynakl\u0131, da\u011f\u0131t\u0131lm\u0131\u015f bir OLAP (Online Analytical Processing) veritaban\u0131d\u0131r. MPP (Massively Parallel Processing) mimarisi sayesinde, sorgular\u0131 bir\u00e7ok d\u00fc\u011f\u00fcm aras\u0131nda paralel olarak i\u015fleyerek b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde saniyeler i\u00e7inde sonu\u00e7lar elde etme yetene\u011fine sahiptir. Doris’in kalbinde, verileri disk \u00fczerinde s\u0131k\u0131\u015ft\u0131rarak depolayan ve sadece sorgu i\u00e7in gerekli s\u00fctunlar\u0131 okuyarak I\/O y\u00fck\u00fcn\u00fc azaltan s\u00fctunsal depolama format\u0131 yatar. Bu sayede, geni\u015f tablolarda bile analitik sorgular inan\u0131lmaz h\u0131zlara ula\u015f\u0131r. Ayr\u0131ca, Doris, indeksleme stratejileriyle de \u00f6ne \u00e7\u0131kar. Geleneksel indekslerin yan\u0131 s\u0131ra, bloom filter, bitmap indeksleri ve \u00f6nceden birle\u015ftirilmi\u015f (pre-aggregated) materialized view’lar gibi geli\u015fmi\u015f indeksleme mekanizmalar\u0131 sunarak sorgu h\u0131z\u0131n\u0131 daha da art\u0131r\u0131r. \u00d6rne\u011fin, belirli bir zaman aral\u0131\u011f\u0131ndaki toplam sat\u0131\u015flar\u0131 sorgulad\u0131\u011f\u0131n\u0131zda, Doris ilgili materialized view’dan sonu\u00e7lar\u0131 an\u0131nda d\u00f6nd\u00fcrebilir, bu da milyarlarca sat\u0131rl\u0131k veride bile milisaniyelik yan\u0131t s\u00fcreleri anlam\u0131na gelir. Apache Doris, ger\u00e7ek zamanl\u0131 veri al\u0131m\u0131n\u0131 destekler, bu da ak\u0131\u015f halindeki verilerin an\u0131nda analiz edilmesini sa\u011flar. Bu \u00f6zellik, IoT verileri, log analizi veya finansal i\u015flemler gibi s\u00fcrekli akan veri kaynaklar\u0131 i\u00e7in kritik \u00f6neme sahiptir. Veriler Doris’e ula\u015ft\u0131\u011f\u0131 anda sorgulanabilir hale gelir. Ayr\u0131ca, Doris’in federasyon sorgu yetenekleri (external table \u00f6zelli\u011fi), Apache Iceberg veya Hive gibi harici veri kaynaklar\u0131ndaki verileri do\u011frudan sorgulamas\u0131na olanak tan\u0131r. Bu sayede, veriyi Doris’e kopyalamaya gerek kalmadan, mevcut veri g\u00f6l\u00fcn\u00fczdeki Iceberg tablolar\u0131n\u0131 kullanarak karma\u015f\u0131k analitikler yapabilirsiniz. Bu entegrasyon, veri mimarisini basitle\u015ftirir ve veri hareketlili\u011fini azaltarak operasyonel maliyetleri d\u00fc\u015f\u00fcr\u00fcr. Doris’in mimarisi, sorgu optimizasyonu i\u00e7in ak\u0131ll\u0131 algoritmalar kullan\u0131r; bu da kullan\u0131c\u0131lar\u0131n yazd\u0131\u011f\u0131 SQL sorgular\u0131n\u0131 otomatik olarak daha verimli y\u00fcr\u00fctme planlar\u0131na d\u00f6n\u00fc\u015ft\u00fcr\u00fcr. Basit SQL s\u00f6zdizimi ve MySQL protokol\u00fc uyumlulu\u011fu sayesinde, mevcut SQL ara\u00e7lar\u0131 ve istemcileriyle kolayca entegre olabilir. Bu \u00f6zelliklerin t\u00fcm\u00fc, Apache Doris’i, y\u00fcksek performansl\u0131, ger\u00e7ek zamanl\u0131 ve \u00f6l\u00e7eklenebilir analitik uygulamalar i\u00e7in ideal bir se\u00e7im haline getirir, i\u015fletmelere veriden daha h\u0131zl\u0131 ve daha etkili bir \u015fekilde de\u011fer \u00e7\u0131karma g\u00fcc\u00fc verir.<\/p>\n
Modern bir veri analitik platformu olu\u015fturmak, do\u011fru ara\u00e7lar\u0131 bir araya getirmek ve bunlar\u0131 verimli bir \u015fekilde entegre etmekle ba\u015flar. Rust, Apache Iceberg ve Apache Doris \u00fc\u00e7l\u00fcs\u00fc, bu vizyonu ger\u00e7e\u011fe d\u00f6n\u00fc\u015ft\u00fcrmek i\u00e7in g\u00fc\u00e7l\u00fc bir temel sunar. Bu b\u00f6l\u00fcmde, bu \u00fc\u00e7 teknolojiyi ad\u0131m ad\u0131m nas\u0131l entegre edebilece\u011finizi ve y\u00fcksek performansl\u0131 analitik yeteneklerini nas\u0131l devreye alabilece\u011finizi inceleyece\u011fiz. Hedefimiz, veri al\u0131m\u0131ndan sorgulamaya kadar u\u00e7tan uca, tutarl\u0131 ve \u00f6l\u00e7eklenebilir bir mimari kurmakt\u0131r. \u0130lk olarak, Rust ile veri al\u0131m\u0131 ve i\u015fleme s\u00fcre\u00e7lerini nas\u0131l y\u00f6netece\u011fimizi, ard\u0131ndan bu i\u015flenmi\u015f verileri Apache Iceberg format\u0131nda nas\u0131l depolayaca\u011f\u0131m\u0131z\u0131 ele alaca\u011f\u0131z. Iceberg’in \u015fema evrimi ve zaman yolculu\u011fu gibi geli\u015fmi\u015f \u00f6zelliklerinden faydalanarak veri g\u00f6l\u00fcm\u00fcz\u00fc daha esnek ve y\u00f6netilebilir hale getirece\u011fiz. Son olarak, Apache Doris’in Iceberg tablolar\u0131na do\u011frudan eri\u015fim yetene\u011fini kullanarak, depolanan veriler \u00fczerinde y\u00fcksek h\u0131zl\u0131 ve ger\u00e7ek zamanl\u0131 analitik sorgular ger\u00e7ekle\u015ftirmeyi g\u00f6sterece\u011fiz. Bu entegrasyon rehberi, her bir bile\u015fenin kendi \u00f6zel avantajlar\u0131n\u0131 nas\u0131l birle\u015ftirdi\u011fini a\u00e7\u0131klarken, ayn\u0131 zamanda ger\u00e7ek d\u00fcnya senaryolar\u0131nda kar\u015f\u0131la\u015f\u0131labilecek potansiyel zorluklara ve \u00e7\u00f6z\u00fcm yollar\u0131na da de\u011finecektir. Amac\u0131m\u0131z, okuyucunun bu modern veri y\u0131\u011f\u0131n\u0131n\u0131 kendi projelerinde uygulayabilmesi i\u00e7in pratik bilgiler ve kod \u00f6rnekleri sunmakt\u0131r. Bu rehber sayesinde, i\u015fletmelerin veri analitik yeteneklerini bir sonraki seviyeye ta\u015f\u0131yarak rekabet avantaj\u0131 elde etmeleri hedeflenmektedir.<\/p>\n
Rust’\u0131n performans ve bellek g\u00fcvenli\u011fi \u00f6zellikleri, onu veri al\u0131m\u0131 ve \u00f6n i\u015fleme i\u00e7in m\u00fckemmel bir se\u00e7im haline getirir. \u00d6zellikle y\u00fcksek hacimli ak\u0131\u015f verilerini (IoT sens\u00f6r verileri, loglar, telemetri) i\u015flerken, Rust’\u0131n sa\u011flad\u0131\u011f\u0131 h\u0131z ve g\u00fcvenilirlik kritik \u00f6neme sahiptir. Rust ile verileri alabilir, temizleyebilir, d\u00f6n\u00fc\u015ft\u00fcrebilir ve ard\u0131ndan Apache Iceberg format\u0131nda veri g\u00f6l\u00fcn\u00fcze yazabilirsiniz. Iceberg i\u00e7in resmi bir Rust istemcisi hen\u00fcz olmasa da, Parquet veya Avro gibi temel dosya formatlar\u0131na yazabilen k\u00fct\u00fcphaneler mevcuttur ve Iceberg’in metadata API’lerini kullanarak kendi Rust istemcinizi geli\u015ftirebilir veya mevcut bir Apache Arrow\/DataFusion entegrasyonu \u00fczerinden \u00e7al\u0131\u015fabilirsiniz. A\u015fa\u011f\u0131daki \u00f6rnek, basit bir Rust uygulamas\u0131yla veri olu\u015fturma ve bunu Iceberg uyumlu bir Parquet dosyas\u0131na yazma konseptini g\u00f6steriyor. Ger\u00e7ek bir senaryoda, bu veriler bir Kafka kuyru\u011fundan okunabilir, Rust’ta i\u015flenebilir ve Iceberg’in transaction katman\u0131yla entegre edilerek atomik olarak tablolar\u0131n\u0131za eklenebilir. Bu s\u00fcre\u00e7, verinin ham halden analize haz\u0131r hale gelene kadar ge\u00e7en s\u00fcreyi optimize eder. \u00d6rne\u011fin, bir telekom\u00fcnikasyon \u015firketi, milyonlarca \u00e7a\u011fr\u0131 detay kayd\u0131n\u0131 (CDR) saniyeler i\u00e7inde i\u015flemek i\u00e7in Rust’\u0131 kullanabilir. Rust uygulamas\u0131, CDR’leri al\u0131p, eksik verileri doldurabilir, format d\u00f6n\u00fc\u015f\u00fcmleri yapabilir ve ard\u0131ndan her g\u00fcn i\u00e7in yeni bir Iceberg partisyonuna yazabilir. Bu yakla\u015f\u0131m, hem veri kalitesini garanti alt\u0131na al\u0131r hem de sonraki analitik a\u015famalar i\u00e7in verimli bir depolama format\u0131 sa\u011flar. Iceberg’in \u015fema evrimi deste\u011fi sayesinde, CDR format\u0131nda bir de\u011fi\u015fiklik oldu\u011funda Rust uygulamas\u0131n\u0131 ve Iceberg tablosunu kolayca g\u00fcncelleyebilir, geriye d\u00f6n\u00fck uyumlulu\u011fu koruyabilirsiniz. Rust’\u0131n <\/code><\/p>\n Apache Doris'in en g\u00fc\u00e7l\u00fc yanlar\u0131ndan biri, harici veri kaynaklar\u0131yla sorunsuz entegrasyon yetene\u011fidir. Iceberg tablolar\u0131n\u0131 Doris i\u00e7inde d\u0131\u015f tablolar olarak tan\u0131mlayarak, veriyi Doris'e kopyalamaya veya ta\u015f\u0131ma zahmetine girmeden do\u011frudan Iceberg'deki verileri sorgulayabilirsiniz. Bu, veri hareketlili\u011fini azalt\u0131r, depolama maliyetlerini optimize eder ve veri tutarl\u0131l\u0131\u011f\u0131n\u0131 sa\u011flar. Bu entegrasyon, Doris'in y\u00fcksek performansl\u0131 analitik sorgu motorunu, Iceberg'in esnek ve y\u00f6netilebilir veri g\u00f6l\u00fc format\u0131yla birle\u015ftirir. \u0130lk ad\u0131m, Doris'in Iceberg meta verilerine (katalog) eri\u015febilmesi i\u00e7in uygun ba\u011flant\u0131 yap\u0131land\u0131rmas\u0131n\u0131 yapmakt\u0131r. Bu genellikle Doris'in katalog tan\u0131m\u0131 arac\u0131l\u0131\u011f\u0131yla ger\u00e7ekle\u015fir. Iceberg'i bir Hive Metastore, Nessie veya AWS Glue Catalog gibi bir katalog hizmetiyle birlikte kullan\u0131yorsan\u0131z, Doris bu katalo\u011fa ba\u011flanarak Iceberg tablolar\u0131n\u0131n \u015femas\u0131n\u0131 ve konumunu otomatik olarak alg\u0131layabilir. Bir d\u0131\u015f tablo tan\u0131mland\u0131ktan sonra, Doris \u00fczerinde sanki yerel bir tabloymu\u015f gibi standart SQL sorgular\u0131 \u00e7al\u0131\u015ft\u0131rabilirsiniz. Doris, sorguyu Iceberg tablosuna iletir, gerekli veriyi okur (genellikle Parquet veya ORC format\u0131nda) ve kendi MPP mimarisi i\u00e7inde y\u00fcksek h\u0131zda i\u015fler. Bu i\u015flem s\u0131ras\u0131nda, Doris'in sorgu optimizasyon yetenekleri (\u00f6rne\u011fin, partisyon budama - partition pruning), yaln\u0131zca ilgili Iceberg veri dosyalar\u0131n\u0131 okuyarak performans\u0131 daha da art\u0131r\u0131r. B\u00f6ylece, veri m\u00fchendisleri ve analistler, ayn\u0131 SQL aray\u00fcz\u00fcn\u00fc kullanarak hem Doris'in kendi i\u00e7indeki hem de Iceberg'deki verilere eri\u015febilirler. Bu, veri mimarisini basitle\u015ftirir ve veri eri\u015fimini demokratikle\u015ftirir. \u00d6rne\u011fin, a\u015fa\u011f\u0131daki SQL kodu, Iceberg'de depolanan \"sensor_data\" tablosunu Apache Doris'e d\u0131\u015f tablo olarak nas\u0131l ba\u011flayaca\u011f\u0131n\u0131z\u0131 g\u00f6sterir. Bu sayede, \u00f6nceki ad\u0131mda Rust ile Iceberg'e yaz\u0131lan sens\u00f6r verileri, Doris \u00fczerinden an\u0131nda sorgulanabilir hale gelir.<\/p>\n <\/code><\/p>\n Iceberg tablolar\u0131n\u0131z\u0131 Apache Doris ile entegre ettikten sonra, Doris'in g\u00fc\u00e7l\u00fc MPP motorunu kullanarak bu veriler \u00fczerinde y\u00fcksek performansl\u0131 analitik sorgular \u00e7al\u0131\u015ft\u0131rabilirsiniz. Doris, karma\u015f\u0131k JOIN i\u015flemleri, grup bazl\u0131 agregasyonlar, filtrelemeler ve s\u0131ralamalar gibi analitik sorgular\u0131, b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde bile milisaniyeler i\u00e7inde yan\u0131tlayabilir. Bu, i\u015f zekas\u0131 panolar\u0131, ad hoc analizler ve raporlama i\u00e7in vazge\u00e7ilmez bir yetenektir. Doris'in sorgu optimizasyonu, Iceberg'in gizli b\u00f6l\u00fcmleme ve dosya budama \u00f6zellikleriyle birle\u015fti\u011finde, yaln\u0131zca sorgu i\u00e7in gerekli olan en az miktarda verinin diskten okunmas\u0131n\u0131 sa\u011flar. \u00d6rne\u011fin, bir zaman serisi verisi \u00fczerinde ayl\u0131k ortalamalar\u0131 hesaplarken, Doris sadece ilgili aylara ait partisyonlar\u0131 tarayacak ve b\u00f6ylece i\u015flem y\u00fck\u00fcn\u00fc \u00f6nemli \u00f6l\u00e7\u00fcde azaltacakt\u0131r. Bu b\u00f6l\u00fcmde, Doris \u00fczerinde s\u0131k\u00e7a kar\u015f\u0131la\u015f\u0131lan baz\u0131 analitik sorgu \u00f6rneklerini ve bunlar\u0131n nas\u0131l optimize edildi\u011fini inceleyece\u011fiz. Ayr\u0131ca, Doris'in indeksleme ve materialized view gibi geli\u015fmi\u015f \u00f6zelliklerini kullanarak sorgu performans\u0131n\u0131 daha da nas\u0131l art\u0131rabilece\u011finize dair ipu\u00e7lar\u0131 sunaca\u011f\u0131z. Bir e-ticaret senaryosunda, m\u00fc\u015fteri sipari\u015f verilerini Iceberg'de depolad\u0131\u011f\u0131n\u0131z\u0131 ve Doris \u00fczerinden sorgulad\u0131\u011f\u0131n\u0131z\u0131 varsayal\u0131m. En \u00e7ok satan \u00fcr\u00fcnleri, belirli bir b\u00f6lgedeki ortalama sepet de\u011ferini veya son 30 g\u00fcn i\u00e7inde en \u00e7ok harcama yapan m\u00fc\u015fterileri bulmak gibi karma\u015f\u0131k analizler, Doris sayesinde h\u0131zla ger\u00e7ekle\u015ftirilebilir. Doris, sorguyu paralel olarak birden fazla d\u00fc\u011f\u00fcmde y\u00fcr\u00fcterek, her bir d\u00fc\u011f\u00fcm\u00fcn kendi veri par\u00e7ac\u0131\u011f\u0131n\u0131 i\u015flemesini ve sonu\u00e7lar\u0131 birle\u015ftirerek nihai yan\u0131t\u0131 sunmas\u0131n\u0131 sa\u011flar. Bu da\u011f\u0131t\u0131k mimari, terabaytlarca veri \u00fczerinde bile tutarl\u0131 ve h\u0131zl\u0131 yan\u0131t s\u00fcreleri garanti eder. Doris'in geli\u015fmi\u015f SQL yetenekleri sayesinde, kullan\u0131c\u0131 tan\u0131ml\u0131 fonksiyonlar (UDF'ler) ve toplama fonksiyonlar\u0131 (UDAF'ler) ile \u00f6zel analitik ihtiya\u00e7lar\u0131n\u0131z\u0131 da kar\u015f\u0131layabilirsiniz, bu da analitik esnekli\u011fi daha da art\u0131r\u0131r. A\u015fa\u011f\u0131daki \u00f6rnekler, Doris \u00fczerinde \u00e7al\u0131\u015ft\u0131rabilece\u011finiz tipik analitik sorgular\u0131 g\u00f6stermektedir.<\/p>\n <\/code><\/p>\n Bir telekom\u00fcnikasyon \u015firketi, milyonlarca abonesinin g\u00fcnl\u00fck olarak \u00fcretti\u011fi devasa veri hacmiyle (\u00e7a\u011fr\u0131 detay kay\u0131tlar\u0131, internet kullan\u0131m loglar\u0131, SMS trafikleri) kar\u015f\u0131 kar\u015f\u0131ya kal\u0131r. Bu veriler, m\u00fc\u015fteri churn (kay\u0131p) tahmini, ki\u015fiselle\u015ftirilmi\u015f teklifler, a\u011f performans\u0131 izleme ve doland\u0131r\u0131c\u0131l\u0131k tespiti gibi kritik i\u015f kararlar\u0131 i\u00e7in analiz edilmelidir. \u015eirketin mevcut veri ambar\u0131 altyap\u0131s\u0131, bu kadar b\u00fcy\u00fck ve karma\u015f\u0131k veriyi ger\u00e7ek zamanl\u0131ya yak\u0131n bir h\u0131zda i\u015fleyememektedir. Sorgular saatler s\u00fcrmekte, yeni veri t\u00fcrleri eklendi\u011finde \u015fema de\u011fi\u015fiklikleri operasyonel y\u00fck olu\u015fturmakta ve altyap\u0131 maliyetleri giderek artmaktad\u0131r. \u0130\u015fte bu noktada, Rust, Apache Iceberg ve Apache Doris \u00fc\u00e7l\u00fcs\u00fc devreye girerek bu zorluklara modern bir \u00e7\u00f6z\u00fcm sunar. \u00d6ncelikle, Rust tabanl\u0131 y\u00fcksek performansl\u0131 bir veri al\u0131m ve i\u015fleme motoru geli\u015ftirilir. Bu motor, Kafka veya di\u011fer mesaj kuyruklar\u0131ndan gelen \u00e7a\u011fr\u0131 detay kay\u0131tlar\u0131n\u0131 (CDR), internet kullan\u0131m loglar\u0131n\u0131 ve di\u011fer m\u00fc\u015fteri etkile\u015fim verilerini saniyeler i\u00e7inde t\u00fcketir. Rust, bu ham verileri temizler, zenginle\u015ftirir (\u00f6rne\u011fin co\u011frafi konum bilgileriyle birle\u015ftirir) ve yap\u0131sal olarak d\u00fczenler. Elde edilen i\u015flenmi\u015f veri, Apache Iceberg format\u0131nda \u015firketin veri g\u00f6l\u00fcne yaz\u0131l\u0131r. Iceberg, farkl\u0131 veri t\u00fcrleri i\u00e7in esnek \u015fema evrimi sa\u011flar, b\u00f6ylece yeni log formatlar\u0131 veya servisler eklendi\u011finde mevcut analitik s\u00fcre\u00e7ler kesintiye u\u011framaz. Ayr\u0131ca, Iceberg'in zaman yolculu\u011fu yetene\u011fi, m\u00fc\u015fteri davran\u0131\u015flar\u0131n\u0131n ge\u00e7mi\u015f d\u00f6nemlerde nas\u0131l de\u011fi\u015fti\u011fini analiz etme veya belirli bir g\u00fcnde hangi m\u00fc\u015fterilerin belirli bir kampanyaya yan\u0131t verdi\u011fini takip etme olana\u011f\u0131 tan\u0131r. Son olarak, Apache Doris, veri g\u00f6l\u00fcndeki Iceberg tablolar\u0131n\u0131 d\u0131\u015f tablolar olarak ba\u011flar. Bu sayede, analistler ve i\u015f birimleri, Doris'in h\u0131zl\u0131 MPP sorgu motorunu kullanarak Iceberg'deki t\u00fcm verilere eri\u015febilir. \u00d6rne\u011fin, Doris \u00fczerinde \u00e7al\u0131\u015fan bir sorgu, son 24 saat i\u00e7inde belirli bir b\u00f6lgedeki a\u011f kalitesindeki d\u00fc\u015f\u00fc\u015f\u00fcn hangi m\u00fc\u015fteri gruplar\u0131n\u0131 etkiledi\u011fini 5 saniye i\u00e7inde g\u00f6sterebilir. Ya da, belirli bir segmentteki m\u00fc\u015fterilerin ortalama ayl\u0131k veri t\u00fcketimindeki ani art\u0131\u015f\u0131 saniyeler i\u00e7inde tespit ederek ki\u015fiselle\u015ftirilmi\u015f tekliflerin tetiklenmesini sa\u011flayabilir.<\/p>\n Bu modern y\u0131\u011f\u0131n, telekom\u00fcnikasyon \u015firketine \u015funlar\u0131 sa\u011flar: birincisi, analitik sorgu s\u00fcrelerini saatlerden saniyelere d\u00fc\u015f\u00fcrerek i\u015f birimlerinin anl\u0131k kararlar almas\u0131na olanak tan\u0131r. \u0130kincisi, Iceberg'in esnekli\u011fi sayesinde yeni veri kaynaklar\u0131n\u0131n ve \u015fema de\u011fi\u015fikliklerinin y\u00f6netimi kolayla\u015f\u0131r, bu da yeni \u00fcr\u00fcn ve hizmetlerin daha h\u0131zl\u0131 piyasaya s\u00fcr\u00fclmesine yard\u0131mc\u0131 olur. \u00dc\u00e7\u00fcnc\u00fcs\u00fc, a\u00e7\u0131k kaynak bile\u015fenlerin kullan\u0131m\u0131 ve optimize edilmi\u015f performans sayesinde altyap\u0131 maliyetleri \u00f6nemli \u00f6l\u00e7\u00fcde azal\u0131r. Bu vaka analizi, Rust, Iceberg ve Doris'in bir araya geldi\u011finde nas\u0131l sadece teknik bir \u00e7\u00f6z\u00fcm olman\u0131n \u00f6tesine ge\u00e7erek, i\u015fletmelere somut rekabet avantajlar\u0131 sundu\u011funu a\u00e7\u0131k\u00e7a g\u00f6stermektedir. Veriden ger\u00e7ek zamanl\u0131 i\u00e7g\u00f6r\u00fcler elde etme yetene\u011fi, telekom\u00fcnikasyon gibi dinamik sekt\u00f6rlerde ba\u015far\u0131n\u0131n anahtar\u0131d\u0131r.<\/p>\n Rust, Apache Iceberg ve Apache Doris ile kurdu\u011funuz modern veri y\u0131\u011f\u0131n\u0131ndan maksimum performans elde etmek i\u00e7in baz\u0131 optimizasyon ve \u00f6l\u00e7eklendirme stratejilerini uygulaman\u0131z kritik \u00f6neme sahiptir. Her bile\u015fenin kendine \u00f6zg\u00fc ince ayar mekanizmalar\u0131 bulunur ve bunlar\u0131n do\u011fru kullan\u0131m\u0131, sisteminizin genel verimlili\u011fini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131rabilir.<\/p>\n Bu ipu\u00e7lar\u0131n\u0131 uygulayarak ve sisteminizi s\u00fcrekli izleyerek, Rust, Apache Iceberg ve Apache Doris y\u0131\u011f\u0131n\u0131n\u0131zdan en iyi performans\u0131 ve \u00f6l\u00e7eklenebilirli\u011fi elde edebilirsiniz. Her bir bile\u015fenin do\u011fru yap\u0131land\u0131r\u0131lmas\u0131 ve entegrasyonu, veri analitik altyap\u0131n\u0131z\u0131n gelece\u011fe haz\u0131r olmas\u0131n\u0131 sa\u011flayacakt\u0131r.<\/p>\n Bu makale boyunca, Rust, Apache Iceberg ve Apache Doris \u00fc\u00e7l\u00fcs\u00fcn\u00fcn, modern veri analiti\u011fi d\u00fcnyas\u0131n\u0131n kar\u015f\u0131la\u015ft\u0131\u011f\u0131 zorluklara nas\u0131l yenilik\u00e7i ve y\u00fcksek performansl\u0131 \u00e7\u00f6z\u00fcmler sundu\u011funu detayl\u0131 bir \u015fekilde inceledik. Geleneksel yakla\u015f\u0131mlar\u0131n s\u0131n\u0131rlamalar\u0131 kar\u015f\u0131s\u0131nda, bu teknolojilerin birle\u015fimi, veri m\u00fchendisli\u011fi s\u00fcre\u00e7lerini basitle\u015ftiren, analitik sorgu h\u0131zlar\u0131n\u0131 dramatik bir \u015fekilde art\u0131ran ve toplam sahip olma maliyetini d\u00fc\u015f\u00fcren g\u00fc\u00e7l\u00fc bir sinerji yarat\u0131r. Rust'\u0131n bellek g\u00fcvenli\u011fi ve performans\u0131, veri al\u0131m ve \u00f6n i\u015fleme katman\u0131nda \u00fcst d\u00fczey verimlilik sa\u011flarken, Apache Iceberg'in esnek \u015fema evrimi, zaman yolculu\u011fu ve atomik i\u015flemler gibi yetenekleri, veri g\u00f6l\u00fcn\u00fcz\u00fc daha y\u00f6netilebilir, g\u00fcvenilir ve gelece\u011fe haz\u0131r hale getirir. Son olarak, Apache Doris'in MPP mimarisi, s\u00fctunsal depolama ve geli\u015fmi\u015f indeksleme stratejileri, Iceberg \u00fczerindeki b\u00fcy\u00fck veri k\u00fcmeleri \u00fczerinde bile milisaniyeler i\u00e7inde analitik sorgu yan\u0131tlar\u0131 sunar. Bu modern veri y\u0131\u011f\u0131n\u0131, sadece mevcut analitik ihtiya\u00e7lar\u0131 kar\u015f\u0131lamakla kalmaz, ayn\u0131 zamanda i\u015fletmelere h\u0131zla de\u011fi\u015fen veri gereksinimlerine uyum sa\u011flama ve yeni i\u015f f\u0131rsatlar\u0131n\u0131 ke\u015ffetme esnekli\u011fi de sunar. Ger\u00e7ek zamanl\u0131 m\u00fc\u015fteri davran\u0131\u015f\u0131 analizi gibi vaka senaryolar\u0131nda g\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi, bu entegrasyon, i\u015fletmelerin veriden elde etti\u011fi de\u011feri maksimize ederek rekabet avantaj\u0131 elde etmelerine olanak tan\u0131r. Performans\u0131 zirveye ta\u015f\u0131yan optimizasyon ipu\u00e7lar\u0131 ve \u00f6l\u00e7eklendirme stratejileriyle, bu mimariyi kendi \u00f6zel ihtiya\u00e7lar\u0131n\u0131za g\u00f6re uyarlayabilir ve veri odakl\u0131 stratejilerinizin omurgas\u0131n\u0131 olu\u015fturabilirsiniz. K\u0131sacas\u0131, Rust, Apache Iceberg ve Apache Doris'in birle\u015fimi, veri analiti\u011finde yeni bir \u00e7a\u011f\u0131 m\u00fcjdeleyen, \u00e7evik, g\u00fc\u00e7l\u00fc ve uygun maliyetli bir \u00e7\u00f6z\u00fcm sunmaktad\u0131r. Bu teknolojileri benimsemek, \u015firketinizin veriden maksimum fayday\u0131 sa\u011flamas\u0131 i\u00e7in ataca\u011f\u0131 en stratejik ad\u0131mlardan biri olacakt\u0131r.<\/p>\n Rust \u00f6\u011frenmek zor mu?<\/strong><\/p>\n Rust, bellek g\u00fcvenli\u011fi ve performans odakl\u0131 tasar\u0131m\u0131 nedeniyle ba\u015flang\u0131\u00e7ta di\u011fer dillere g\u00f6re daha dik bir \u00f6\u011frenme e\u011frisine sahip olabilir. Ancak, derleyicisinin sundu\u011fu detayl\u0131 hata mesajlar\u0131 ve zengin dok\u00fcmantasyonu sayesinde, pratik yaparak ve topluluktan destek alarak k\u0131sa s\u00fcrede uzmanla\u015fmak m\u00fcmk\u00fcnd\u00fcr. Sundu\u011fu g\u00fcvenlik ve performans avantajlar\u0131, bu \u00f6\u011frenme s\u00fcrecinin harcad\u0131\u011f\u0131n\u0131z \u00e7abaya de\u011fdi\u011fini g\u00f6sterir.<\/p>\n<\/li>\n Iceberg'i kullanmak mevcut Hadoop ortam\u0131m\u0131 nas\u0131l etkiler?<\/strong><\/p>\n Apache Iceberg, mevcut Hadoop ekosistemiyle son derece uyumludur ve genellikle onu zenginle\u015ftirir. Iceberg, HDFS (Hadoop Distributed File System) \u00fczerinde Parquet veya ORC gibi dosyalar\u0131 depolayabilir ve Hive Metastore'u katalog olarak kullanabilir. Spark, Flink gibi ara\u00e7lar\u0131n\u0131z Iceberg tablolar\u0131n\u0131 do\u011frudan okuyup yazabilir. Bu, mevcut altyap\u0131n\u0131z\u0131 atmadan daha geli\u015fmi\u015f tablo y\u00f6netimi \u00f6zelliklerinden faydalanabilece\u011finiz anlam\u0131na gelir.<\/p>\n<\/li>\n Apache Doris'in maliyet avantajlar\u0131 nelerdir?<\/strong><\/p>\n Apache Doris, a\u00e7\u0131k kaynakl\u0131 olmas\u0131 nedeniyle lisans maliyetlerini ortadan kald\u0131r\u0131r. Ayr\u0131ca, MPP mimarisi ve s\u00fctunsal depolama sayesinde sorgular\u0131 son derece verimli bir \u015fekilde i\u015fler, bu da daha az donan\u0131m kayna\u011f\u0131yla y\u00fcksek performans elde etmenizi sa\u011flar. Optimize edilmi\u015f veri depolama ve h\u0131zl\u0131 sorgu yan\u0131tlar\u0131, bulut ortamlar\u0131nda \u00e7al\u0131\u015fanlar i\u00e7in daha d\u00fc\u015f\u00fck i\u015flemci ve depolama kullan\u0131m\u0131ndan dolay\u0131 \u00f6nemli maliyet tasarrufu demektir.<\/p>\n<\/li>\n Bu y\u0131\u011f\u0131n ger\u00e7ek zamanl\u0131 analitik i\u00e7in uygun mu?<\/strong><\/p>\n Kesinlikle evet. Rust, y\u00fcksek performansl\u0131 ve d\u00fc\u015f\u00fck gecikmeli veri al\u0131m\u0131 ve i\u015fleme i\u00e7in m\u00fckemmel bir dil olarak ak\u0131\u015f verilerini an\u0131nda Iceberg'e yazabilir. Apache Iceberg, veri tutarl\u0131l\u0131\u011f\u0131n\u0131 ve snapshot izolasyonunu garanti ederek ger\u00e7ek zamanl\u0131 g\u00fcncellemeler i\u00e7in temel olu\u015fturur. Apache Doris ise, Iceberg \u00fczerindeki verileri milisaniyeler i\u00e7inde sorgulayabilen ger\u00e7ek zamanl\u0131 bir OLAP veritaban\u0131d\u0131r. Bu \u00fc\u00e7 bile\u015fenin birle\u015fimi, u\u00e7tan uca ger\u00e7ek zamanl\u0131 analitik yetenekleri sunar.<\/p>\n<\/li>\n<\/ul>\ntokio<\/code> gibi asenkron \u00e7al\u0131\u015fma zamanlar\u0131, e\u015fzamanl\u0131 veri al\u0131m\u0131n\u0131 ve i\u015flenmesini kolayla\u015ft\u0131rarak, y\u00fcksek throughput gereksinimlerini kar\u015f\u0131lamaya yard\u0131mc\u0131 olur.<\/p>\n\nuse serde::{Serialize, Deserialize};\nuse std::fs::File;\nuse std::path::Path;\nuse arrow_array::{RecordBatch, UInt32Array, Float64Array, StringArray};\nuse arrow_schema::{Schema, Field, DataType};\nuse parquet::arrow::ArrowWriter;\nuse std::sync::Arc;\n\n#[derive(Debug, Serialize, Deserialize)]\nstruct SensorData {\n id: u32,\n temperature: f64,\n location: String,\n timestamp: String, \/\/ ISO 8601 string for simplicity\n}\n\nfn main() -> Result<(), BoxApache Iceberg'i Apache Doris ile Entegre Etmek: D\u0131\u015f Tablo Olu\u015fturma<\/h3>\n
\n-- Apache Doris'te bir katalog tan\u0131mlay\u0131n (\u00f6rne\u011fin Hive Metastore kullanan bir Iceberg katalo\u011fu)\n-- Bu ad\u0131m genellikle bir kerelik bir kurulumdur\nCREATE CATALOG iceberg_catalog PROPERTIES (\n 'type'='iceberg',\n 'iceberg.catalog.type'='hive',\n 'iceberg.catalog.hive.uris'='thrift:\/\/your_hive_metastore_host:9083'\n);\n\n-- Katalog kullan\u0131larak Iceberg veritaban\u0131na ve tablosuna eri\u015fim\n-- \u00d6nceki Rust \u00f6rne\u011finde yaz\u0131lan 'sensor_data.parquet' dosyas\u0131n\u0131\n-- i\u00e7eren Iceberg tablosunu temsil eder. Ger\u00e7ekte Iceberg tablolar\u0131\n-- katalog taraf\u0131ndan y\u00f6netilir, do\u011frudan Parquet dosyalar\u0131n\u0131 i\u015faret etmez.\n-- Bu \u00f6rnek, Iceberg tablosunun \"mydatabase\" veritaban\u0131nda \"sensor_data\" ad\u0131nda oldu\u011funu varsayar.\nUSE CATALOG iceberg_catalog;\n\n-- Iceberg tablosunu sorgulama (Art\u0131k bir d\u0131\u015f tablo olu\u015fturmaya gerek yok, do\u011frudan katalogdan sorgulan\u0131r)\n-- \"sensor_data\" Iceberg tablosunun yap\u0131s\u0131, Iceberg katalo\u011fu \u00fczerinden Doris taraf\u0131ndan otomatik olarak ke\u015ffedilir.\nSELECT id, temperature, location, timestamp\nFROM mydatabase.sensor_data\nWHERE location = 'RoomA' AND temperature > 25.0;\n\n-- E\u011fer daha spesifik bir d\u0131\u015f tablo tan\u0131m\u0131 istenirse (Doris'in eski versiyonlar\u0131 veya farkl\u0131 senaryolar i\u00e7in):\n-- Ancak Iceberg katalo\u011fu ile bu ad\u0131ma genellikle gerek kalmaz.\n\/*\nCREATE EXTERNAL TABLE IF NOT EXISTS sensor_data_external (\n id INT,\n temperature DOUBLE,\n location STRING,\n timestamp STRING\n)\nENGINE=ICEBERG\nPROPERTIES (\n 'iceberg.catalog.type'='hive',\n 'iceberg.catalog.hive.uris'='thrift:\/\/your_hive_metastore_host:9083',\n 'database'='mydatabase',\n 'table'='sensor_data'\n);\n\nSELECT id, temperature, location\nFROM sensor_data_external\nWHERE location = 'RoomA';\n*\/\n <\/pre>\nApache Doris \u00dczerinde Y\u00fcksek Performansl\u0131 Analitik Sorgular Nas\u0131l \u00c7al\u0131\u015ft\u0131r\u0131l\u0131r?<\/h3>\n
\n-- G\u00fcnl\u00fck ortalama s\u0131cakl\u0131\u011f\u0131 hesaplama\nSELECT\n DATE_TRUNC('day', timestamp) AS event_day,\n AVG(temperature) AS average_daily_temperature\nFROM iceberg_catalog.mydatabase.sensor_data\nGROUP BY 1\nORDER BY 1;\n\n-- Oda baz\u0131nda en y\u00fcksek s\u0131cakl\u0131\u011f\u0131 bulma\nSELECT\n location,\n MAX(temperature) AS max_temperature_per_room\nFROM iceberg_catalog.mydatabase.sensor_data\nGROUP BY location\nORDER BY max_temperature_per_room DESC;\n\n-- Belirli bir lokasyondaki s\u0131cakl\u0131k de\u011fi\u015fimini inceleme\nSELECT\n timestamp,\n temperature\nFROM iceberg_catalog.mydatabase.sensor_data\nWHERE location = 'RoomA'\nORDER BY timestamp;\n\n-- E\u011fer Doris'te materialized view kullanabiliyorsan\u0131z, performans\u0131 daha da art\u0131rabilirsiniz:\n\/*\nCREATE MATERIALIZED VIEW mv_daily_avg_temp AS\nSELECT\n DATE_TRUNC('day', timestamp) AS event_day,\n AVG(temperature) AS average_daily_temperature\nFROM iceberg_catalog.mydatabase.sensor_data\nGROUP BY 1;\n\n-- Ard\u0131ndan sorgu otomatik olarak materialized view'dan faydalan\u0131r:\nSELECT event_day, average_daily_temperature\nFROM mv_daily_avg_temp\nWHERE event_day >= '2023-10-01'\nORDER BY event_day;\n*\/\n <\/pre>\nGer\u00e7ek D\u00fcnya Senaryosu: Telekom\u00fcnikasyon \u015eirketinde M\u00fc\u015fteri Davran\u0131\u015f Analizi<\/h2>\n
async<\/code> yap\u0131s\u0131ndan faydalanarak e\u015fzamanl\u0131 veri i\u015fleme kapasitesini maksimize edebilirsiniz. Ayr\u0131ca, Iceberg tablolar\u0131n\u0131z\u0131 sorgu paternlerine g\u00f6re dikkatlice b\u00f6l\u00fcmlendirmek (partitioning) ve Apache Doris'te uygun materialized view'lar olu\u015fturmak, analitik performans\u0131 %40'tan fazla art\u0131rabilir.\n <\/div>\nPerformans\u0131 Zirveye Ta\u015f\u0131yan \u0130pu\u00e7lar\u0131: Optimizasyon ve \u00d6l\u00e7eklendirme<\/h2>\n
Rust i\u00e7in Optimizasyon \u0130pu\u00e7lar\u0131:<\/h3>\n
\n
tokio<\/code> veya async-std<\/code> gibi asenkron \u00e7al\u0131\u015fma zamanlar\u0131n\u0131 kullanarak e\u015fzamanl\u0131 i\u015flemleri optimize edin. Bu, ayn\u0131 anda birden fazla veri ak\u0131\u015f\u0131n\u0131 veya kayna\u011f\u0131n\u0131 i\u015fleyebilmenizi sa\u011flar.<\/li>\nBytes<\/code> veya Arc<[u8]><\/code> gibi yap\u0131larla referans tabanl\u0131 i\u015flemleri tercih ederek bellek t\u00fcketimini ve CPU y\u00fck\u00fcn\u00fc azalt\u0131n.<\/li>\nrayon<\/code> gibi k\u00fct\u00fcphanelerle paralel iterat\u00f6rler kullanarak veya packed_simd<\/code> gibi crate'lerle Single Instruction Multiple Data (SIMD) komut setlerini kullanarak i\u015flem h\u0131z\u0131n\u0131 art\u0131r\u0131n.<\/li>\n<\/ul>\nApache Iceberg i\u00e7in Optimizasyon \u0130pu\u00e7lar\u0131:<\/h3>\n
\n
Parquet<\/code> veya ORC<\/code>) birle\u015ftirerek daha b\u00fcy\u00fck dosyalara d\u00f6n\u00fc\u015ft\u00fcr\u00fcn. Bu, sorgu motorunun dosya a\u00e7ma\/kapatma y\u00fck\u00fcn\u00fc azalt\u0131r ve meta veri y\u00f6netimini basitle\u015ftirir.<\/li>\nNessie<\/code>, Hive Metastore<\/code> veya AWS Glue Catalog<\/code> gibi kataloglar\u0131n performans karakteristiklerini de\u011ferlendirerek projenize en uygun olan\u0131 se\u00e7in.<\/li>\n<\/ul>\nApache Doris i\u00e7in Optimizasyon \u0130pu\u00e7lar\u0131:<\/h3>\n
\n
Bitmap<\/code>, Bloom Filter<\/code> veya inverted index<\/code> gibi Doris'in sundu\u011fu indeks t\u00fcrlerini ak\u0131ll\u0131ca kullan\u0131n.<\/li>\nmaterialized view<\/code>'lar olu\u015fturun. Doris, sorgular\u0131n\u0131z\u0131 otomatik olarak bu view'lara y\u00f6nlendirerek performans\u0131 katlayabilir.<\/li>\nModern Veri Mimarisi ile Gelece\u011fe Y\u00f6nelik Analitik Yetenekleri<\/h2>\n
S\u0131k\u00e7a Sorulan Sorular<\/h3>\n
\n