Modern veri analiti\u011fi projelerinde karma\u015f\u0131k veri i\u015f ak\u0131\u015flar\u0131n\u0131 y\u00f6netmek, b\u00fcy\u00fck veri setlerini i\u015flemek ve g\u00fcvenilir i\u00e7g\u00f6r\u00fcler elde etmek giderek daha kritik hale geliyor. Bu makale, Kestra, Amazon Redshift ve dbt’nin g\u00fc\u00e7l\u00fc entegrasyonuyla u\u00e7tan uca, otomatik ve sa\u011flam bir veri boru hatt\u0131 olu\u015fturman\u0131n yol haritas\u0131n\u0131 sunuyor. Veri ak\u0131\u015f\u0131n\u0131z\u0131 optimize ederek i\u015f zekas\u0131 s\u00fcre\u00e7lerinizi nas\u0131l d\u00f6n\u00fc\u015ft\u00fcrebilece\u011finizi ad\u0131m ad\u0131m ke\u015ffedin.<\/p>\n
G\u00fcn\u00fcm\u00fcz i\u015f d\u00fcnyas\u0131nda, \u015firketler her ge\u00e7en g\u00fcn daha fazla veri \u00fcretmekte ve bu veriyi anlamland\u0131rma ihtiyac\u0131 duymaktad\u0131r. Pazarlama kampanyalar\u0131ndan m\u00fc\u015fteri davran\u0131\u015flar\u0131na, operasyonel s\u00fcre\u00e7lerden finansal hareketlere kadar her alanda olu\u015fan bu devasa veri y\u0131\u011f\u0131n\u0131, geleneksel y\u00f6ntemlerle y\u00f6netilemeyecek kadar b\u00fcy\u00fck ve \u00e7e\u015fitlidir. Veri kaynaklar\u0131 da\u011f\u0131t\u0131k, formatlar de\u011fi\u015fken ve i\u015fleme gereksinimleri dinamiktir. Bu durum, veri m\u00fchendislerini ve analistleri, veriyi toplamak, temizlemek, d\u00f6n\u00fc\u015ft\u00fcrmek ve analiz i\u00e7in haz\u0131r hale getirmek gibi zorlu g\u00f6revlerle kar\u015f\u0131 kar\u015f\u0131ya b\u0131rak\u0131r. \u00d6rne\u011fin, farkl\u0131 departmanlardan gelen CSV dosyalar\u0131n\u0131, API’lerden \u00e7ekilen JSON verilerini ve veritaban\u0131 loglar\u0131n\u0131 tek bir analitik platformda birle\u015ftirmek ba\u015fl\u0131 ba\u015f\u0131na bir m\u00fccadeledir. \u00dcstelik bu s\u00fcre\u00e7lerin manuel olarak yap\u0131lmas\u0131, hem zaman al\u0131c\u0131 hem de hata yapma potansiyeli y\u00fcksek bir yakla\u015f\u0131md\u0131r.<\/p>\n
Bu karma\u015f\u0131kl\u0131k, “veri orkestrasyonu” kavram\u0131n\u0131n \u00f6nemini art\u0131rm\u0131\u015ft\u0131r. Veri orkestrasyonu, t\u00fcm bu da\u011f\u0131n\u0131k ve ba\u011f\u0131ml\u0131 g\u00f6revleri tutarl\u0131, otomatik ve izlenebilir bir \u015fekilde y\u00f6netme sanat\u0131d\u0131r. Bir veri i\u015f ak\u0131\u015f\u0131nda, verinin kaynaktan al\u0131nmas\u0131ndan (extraction), bir veri ambar\u0131na y\u00fcklenmesine (load), ard\u0131ndan i\u015f ihtiya\u00e7lar\u0131na g\u00f6re d\u00f6n\u00fc\u015ft\u00fcr\u00fclerek (transform) analize haz\u0131r hale getirilmesine kadar bir\u00e7ok ad\u0131m bulunur. Bu ad\u0131mlar aras\u0131nda ba\u011f\u0131ml\u0131l\u0131klar vard\u0131r: \u00d6rne\u011fin, veriler y\u00fcklenmeden d\u00f6n\u00fc\u015f\u00fcm yap\u0131lamaz veya d\u00f6n\u00fc\u015f\u00fcmler tamamlanmadan analiz raporlar\u0131 \u00fcretilemez. Bu t\u00fcr ba\u011f\u0131ml\u0131l\u0131klar\u0131 do\u011fru bir \u015fekilde y\u00f6netmek, hatalar\u0131 en aza indirmek ve t\u00fcm s\u00fcrecin belirli bir zaman \u00e7izelgesine g\u00f6re \u00e7al\u0131\u015fmas\u0131n\u0131 sa\u011flamak kritik \u00f6neme sahiptir.<\/p>\n
\u0130\u015fletmeler, veri odakl\u0131 kararlar alabilmek i\u00e7in g\u00fcvenilir, g\u00fcncel ve tutarl\u0131 verilere ihtiya\u00e7 duyarlar. E\u011fer veri boru hatlar\u0131 manuel m\u00fcdahale gerektiriyorsa, s\u0131k s\u0131k kesintiye u\u011fruyorsa veya d\u00f6n\u00fc\u015f\u00fcmler tutars\u0131z yap\u0131l\u0131yorsa, elde edilen analizler de yan\u0131lt\u0131c\u0131 olabilir. Bu durum, yanl\u0131\u015f stratejik kararlar al\u0131nmas\u0131na ve rekabet avantaj\u0131n\u0131n kaybedilmesine yol a\u00e7abilir. Dolay\u0131s\u0131yla, modern veri mimarileri, bu karma\u015f\u0131kl\u0131\u011f\u0131 y\u00f6netebilecek, \u00f6l\u00e7eklenebilir ve g\u00fcvenilir ara\u00e7lara ihtiya\u00e7 duyar. \u0130\u015fte tam da bu noktada, Kestra gibi orkestrasyon ara\u00e7lar\u0131, Amazon Redshift gibi y\u00fcksek performansl\u0131 veri ambarlar\u0131 ve dbt gibi veri d\u00f6n\u00fc\u015f\u00fcm ara\u00e7lar\u0131 devreye girerek bu sorunlara entegre ve g\u00fc\u00e7l\u00fc \u00e7\u00f6z\u00fcmler sunar. Bu ara\u00e7lar\u0131n bir araya gelmesiyle, \u015firketler verinin t\u00fcm ya\u015fam d\u00f6ng\u00fcs\u00fcn\u00fc ba\u015ftan sona otomatize edebilir, veri kalitesini art\u0131rabilir ve analitik s\u00fcre\u00e7lerini h\u0131zland\u0131rabilirler.<\/p>\n
U\u00e7tan uca bir veri ak\u0131\u015f\u0131 olu\u015fturmadan \u00f6nce, bu mimarinin temel yap\u0131 ta\u015flar\u0131n\u0131 olu\u015fturan her bir bile\u015fenin ne i\u015fe yarad\u0131\u011f\u0131n\u0131 ve neden \u00f6nemli oldu\u011funu anlamak kritik \u00f6neme sahiptir. Bu b\u00f6l\u00fcmde, Kestra, Amazon Redshift ve dbt’nin temel \u00f6zelliklerini ve veri m\u00fchendisli\u011fi ekosistemindeki rollerini detayl\u0131ca inceleyece\u011fiz. B\u00f6ylece, her bir arac\u0131n g\u00fcc\u00fcn\u00fc ve bunlar\u0131n bir araya geldi\u011finde nas\u0131l bir sinerji yaratt\u0131\u011f\u0131n\u0131 daha net kavrayabileceksiniz.<\/p>\n
Kestra, a\u00e7\u0131k kaynakl\u0131, modern ve \u00f6l\u00e7eklenebilir bir veri orkestrasyon platformudur. Geleneksel orkestrasyon ara\u00e7lar\u0131n\u0131n aksine, Kestra deklaratif (bildirimsel) bir yakla\u015f\u0131mla, olay tabanl\u0131 (event-driven) ve zamanlanm\u0131\u015f (scheduled) i\u015f ak\u0131\u015flar\u0131 olu\u015fturman\u0131za olanak tan\u0131r. \u0130\u015f ak\u0131\u015flar\u0131n\u0131z\u0131 YAML dosyalar\u0131nda tan\u0131mlars\u0131n\u0131z, bu da onlar\u0131 okunabilir, s\u00fcrd\u00fcr\u00fclebilir ve versiyon kontrol\u00fcne uygun hale getirir. Kestra’n\u0131n temel amac\u0131, bir veri boru hatt\u0131ndaki t\u00fcm ad\u0131mlar\u0131, yani “g\u00f6revleri” (tasks) tutarl\u0131 bir \u015fekilde koordine etmektir. Bir g\u00f6revin tamamlanmas\u0131n\u0131 beklemek, bir sonraki g\u00f6revi tetiklemek veya ba\u015far\u0131s\u0131z olan g\u00f6revleri otomatik olarak yeniden denemek gibi karma\u015f\u0131k senaryolar\u0131 Kestra ile kolayca y\u00f6netebilirsiniz. \u00d6rne\u011fin, veritaban\u0131ndan veri \u00e7ekme, bir veri ambar\u0131na y\u00fckleme, d\u00f6n\u00fc\u015f\u00fcm komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rma, makine \u00f6\u011frenimi modellerini e\u011fitme veya e-posta bildirimleri g\u00f6nderme gibi her t\u00fcrl\u00fc g\u00f6revi Kestra’n\u0131n ak\u0131\u015flar\u0131na entegre edebilirsiniz.<\/p>\n
Kestra’n\u0131n en \u00f6nemli \u00f6zelliklerinden biri, kullan\u0131c\u0131 dostu web aray\u00fcz\u00fcd\u00fcr. Bu aray\u00fcz sayesinde, i\u015f ak\u0131\u015flar\u0131n\u0131z\u0131 g\u00f6rsel olarak tasarlayabilir, ge\u00e7mi\u015f \u00e7al\u0131\u015ft\u0131rmalar\u0131 izleyebilir, loglara eri\u015febilir ve performans metriklerini g\u00f6r\u00fcnt\u00fcleyebilirsiniz. Ayr\u0131ca, Kestra’n\u0131n esnek plugin mimarisi, farkl\u0131 sistemlerle (AWS, Azure, Google Cloud, Kafka, Slack vb.) kolayca entegre olabilmesini sa\u011flar. Kestra, “tek bir ger\u00e7e\u011fin kayna\u011f\u0131” prensibiyle \u00e7al\u0131\u015f\u0131r; yani t\u00fcm i\u015f ak\u0131\u015f\u0131 tan\u0131mlar\u0131 merkezi bir yerde bulunur ve bu sayede s\u00fcre\u00e7lerinizin nas\u0131l i\u015fledi\u011fini kolayca anlayabilirsiniz. \u00d6l\u00e7eklenebilirlik a\u00e7\u0131s\u0131ndan, Kubernetes \u00fczerinde veya da\u011f\u0131t\u0131k ortamlarda sorunsuz bir \u015fekilde \u00e7al\u0131\u015fabilen Kestra, k\u00fc\u00e7\u00fck projelerden b\u00fcy\u00fck kurumsal veri platformlar\u0131na kadar geni\u015f bir kullan\u0131m alan\u0131na sahiptir. Event-driven yap\u0131s\u0131 sayesinde, bir dosyan\u0131n S3’e y\u00fcklenmesi veya bir mesaj\u0131n Kafka’ya d\u00fc\u015fmesi gibi olaylar tetiklendi\u011finde otomatik olarak i\u015f ak\u0131\u015flar\u0131n\u0131 ba\u015flatabilir, bu da ger\u00e7ek zamanl\u0131ya yak\u0131n veri i\u015fleme senaryolar\u0131 i\u00e7in b\u00fcy\u00fck avantaj sa\u011flar.<\/p>\n
Amazon Redshift, Amazon Web Services (AWS) taraf\u0131ndan sunulan, petabayt \u00f6l\u00e7e\u011finde veri analizi i\u00e7in optimize edilmi\u015f, tamamen y\u00f6netilen bir bulut veri ambar\u0131 hizmetidir. Geleneksel ili\u015fkisel veritabanlar\u0131n\u0131n aksine, Redshift \u00f6zellikle b\u00fcy\u00fck veri setleri \u00fczerinde analitik sorgular\u0131 h\u0131zland\u0131rmak i\u00e7in tasarlanm\u0131\u015ft\u0131r. Bunu, s\u00fctunsal depolama (columnar storage) ve massively parallel processing (MPP – \u00e7oklu paralel i\u015fleme) mimarisi kullanarak ba\u015far\u0131r. S\u00fctunsal depolama, yaln\u0131zca sorgulanan s\u00fctunlar\u0131 okuyarak I\/O (giri\u015f\/\u00e7\u0131k\u0131\u015f) maliyetlerini d\u00fc\u015f\u00fcr\u00fcrken, MPP mimarisi veriyi birden \u00e7ok d\u00fc\u011f\u00fcm aras\u0131nda da\u011f\u0131tarak sorgular\u0131 paralel olarak \u00e7al\u0131\u015ft\u0131rmas\u0131na olanak tan\u0131r. Bu sayede, karma\u015f\u0131k analitik sorgular saniyeler i\u00e7inde tamamlanabilir.<\/p>\n
Redshift’in bulut tabanl\u0131 olmas\u0131, esneklik ve \u00f6l\u00e7eklenebilirlik a\u00e7\u0131s\u0131ndan \u00f6nemli avantajlar sunar. \u0130htiya\u00e7lar\u0131n\u0131za g\u00f6re veri ambar\u0131n\u0131z\u0131n kapasitesini kolayca art\u0131rabilir veya azaltabilirsiniz, bu da donan\u0131m tedariki ve y\u00f6netimi gibi operasyonel y\u00fckleri ortadan kald\u0131r\u0131r. Ayr\u0131ca, y\u00fcksek eri\u015filebilirlik, yedekleme ve g\u00fcvenlik gibi \u00f6zellikler AWS taraf\u0131ndan y\u00f6netilir, bu da veri g\u00fcvenli\u011fi ve s\u00fcreklili\u011fi konusunda i\u00e7 rahatl\u0131\u011f\u0131 sa\u011flar. SQL standard\u0131n\u0131 desteklemesi sayesinde, veri analistleri ve m\u00fchendisleri mevcut SQL becerilerini kullanarak Redshift ile kolayca etkile\u015fime ge\u00e7ebilirler. Redshift, di\u011fer AWS hizmetleriyle (S3, Kinesis, Glue vb.) s\u0131k\u0131 entegrasyonu sayesinde u\u00e7tan uca veri boru hatlar\u0131n\u0131n in\u015fas\u0131n\u0131 kolayla\u015ft\u0131r\u0131r. \u00d6rne\u011fin, S3’teki dosyalar\u0131 do\u011frudan Redshift’e kopyalamak veya Kinesis’ten ger\u00e7ek zamanl\u0131 veri ak\u0131\u015flar\u0131n\u0131 i\u015flemek olduk\u00e7a basittir. Maliyet etkinli\u011fi, performans\u0131 ve y\u00f6netilebilirlik kolayl\u0131\u011f\u0131, Redshift’i modern veri analiti\u011fi \u00e7\u00f6z\u00fcmleri i\u00e7in pop\u00fcler bir tercih haline getirir.<\/p>\n
dbt (data build tool), veri m\u00fchendislerinin ve analistlerinin SQL kullanarak veri ambar\u0131 i\u00e7inde veri d\u00f6n\u00fc\u015f\u00fcmlerini daha etkili bir \u015fekilde y\u00f6netmelerini sa\u011flayan bir komut sat\u0131r\u0131 arac\u0131d\u0131r. dbt’nin temel felsefesi, “veritaban\u0131 i\u00e7indeki t\u00fcm d\u00f6n\u00fc\u015f\u00fcmleri kod olarak ele almak”t\u0131r. Bu yakla\u015f\u0131m, yaz\u0131l\u0131m geli\u015ftirme prensiplerini (versiyon kontrol\u00fc, test etme, dok\u00fcmantasyon, mod\u00fclerlik) veri d\u00f6n\u00fc\u015f\u00fcm s\u00fcre\u00e7lerine uygulayarak, veri modellerinin geli\u015ftirilmesini ve bak\u0131m\u0131n\u0131 radikal bir \u015fekilde iyile\u015ftirir. Geleneksel ETL (Extract, Transform, Load) yakla\u015f\u0131m\u0131n\u0131n aksine, dbt daha \u00e7ok ELT (Extract, Load, Transform) modelini benimser; yani veriyi ham haliyle veri ambar\u0131na y\u00fckledikten sonra d\u00f6n\u00fc\u015f\u00fcmleri veri ambar\u0131 i\u00e7inde yapar.<\/p>\n
dbt’nin en g\u00fc\u00e7l\u00fc y\u00f6nlerinden biri, SQL’i Jinja \u015fablonlama motoruyla birle\u015ftirmesidir. Bu sayede, SQL sorgular\u0131 daha dinamik, mod\u00fcler ve yeniden kullan\u0131labilir hale gelir. \u00d6rne\u011fin, s\u0131k\u00e7a kullan\u0131lan kod par\u00e7ac\u0131klar\u0131n\u0131 makrolar olarak tan\u0131mlayabilir veya farkl\u0131 ortamlara (geli\u015ftirme, \u00fcretim) g\u00f6re sorgular\u0131 ko\u015fullu olarak de\u011fi\u015ftirebilirsiniz. dbt’deki “modeller” (models), veri ambar\u0131n\u0131zdaki tablolar\u0131 veya g\u00f6r\u00fcn\u00fcmleri (views) temsil eden SQL dosyalar\u0131d\u0131r. Bu modeller, birbirlerine ba\u011f\u0131ml\u0131 olabilir ve dbt, bu ba\u011f\u0131ml\u0131l\u0131klar\u0131 otomatik olarak \u00e7\u00f6zerek do\u011fru s\u0131rayla \u00e7al\u0131\u015ft\u0131r\u0131r. Ayr\u0131ca dbt, veri kalitesi g\u00fcvencesi i\u00e7in yerle\u015fik test yetenekleri sunar; benzersiz anahtar, bo\u015f de\u011fer olmamas\u0131 gibi temel testleri tan\u0131mlayabilir veya karma\u015f\u0131k i\u015f kurallar\u0131na g\u00f6re \u00f6zel testler yazabilirsiniz. Veri modellerinizi ve tablolar\u0131n\u0131z\u0131 otomatik olarak dok\u00fcmante etme yetene\u011fi, veri setlerinizin anla\u015f\u0131l\u0131rl\u0131\u011f\u0131n\u0131 art\u0131r\u0131r ve yeni ekip \u00fcyelerinin s\u00fcrece adaptasyonunu kolayla\u015ft\u0131r\u0131r. Sonu\u00e7 olarak, dbt, veri d\u00f6n\u00fc\u015f\u00fcm s\u00fcre\u00e7lerini daha \u015feffaf, g\u00fcvenilir ve i\u015fbirli\u011fine a\u00e7\u0131k hale getirerek analitik ekiplerin verimlili\u011fini \u00f6nemli \u00f6l\u00e7\u00fcde art\u0131r\u0131r.<\/p>\n
Art\u0131k her bir bile\u015fenin ne i\u015fe yarad\u0131\u011f\u0131n\u0131 bildi\u011fimize g\u00f6re, bu \u00fc\u00e7 g\u00fc\u00e7l\u00fc arac\u0131 bir araya getirerek u\u00e7tan uca bir veri ak\u0131\u015f\u0131 nas\u0131l olu\u015fturulaca\u011f\u0131n\u0131 detayl\u0131ca inceleyebiliriz. Bu b\u00f6l\u00fcmde, verinin Amazon S3’ten Redshift’e y\u00fcklenmesinden, dbt ile Redshift i\u00e7inde d\u00f6n\u00fc\u015f\u00fcmlerin yap\u0131lmas\u0131na ve t\u00fcm bu s\u00fcrecin Kestra taraf\u0131ndan orkestre edilmesine kadar her ad\u0131m\u0131 pratik \u00f6rneklerle g\u00f6sterece\u011fiz. Amac\u0131m\u0131z, sadece teknik entegrasyonu anlatmak de\u011fil, ayn\u0131 zamanda bu bile\u015fenlerin i\u015f birli\u011fiyle nas\u0131l bir de\u011fer yaratt\u0131\u011f\u0131n\u0131 somut bir vaka \u00fczerinden g\u00f6stermektir.<\/p>\n
Veri ak\u0131\u015f\u0131m\u0131z\u0131n ilk ad\u0131m\u0131, ham veriyi Redshift veri ambar\u0131na y\u00fcklemektir. Genellikle ham veriler, Amazon S3 gibi bulut depolama hizmetlerinde bulunur. Kestra, S3’ten Redshift’e veri y\u00fcklemek i\u00e7in do\u011frudan entegrasyonlar sunar. Bu \u00f6rnekte, S3’teki bir CSV dosyas\u0131n\u0131 al\u0131p Redshift’teki bir tabloya nas\u0131l kopyalayaca\u011f\u0131m\u0131z\u0131 g\u00f6sterece\u011fiz.<\/p>\n
s3:\/\/my-bucket\/raw-data\/customers\/<\/code>) ve Redshift’e kopyalama i\u015flemi i\u00e7in gerekli yetkilerin bulundu\u011fu bir IAM rol\u00fc (ARN) olmal\u0131d\u0131r.<\/li>\n- Kestra Flow\u2019unun Olu\u015fturulmas\u0131:<\/strong> A\u015fa\u011f\u0131daki Kestra Flow \u00f6rne\u011fi, S3’teki bir dosyay\u0131 Redshift’e kopyalamak i\u00e7in
io.kestra.plugin.aws.s3.Copy<\/code> ve io.kestra.plugin.jdbc.redshift.Query<\/code> g\u00f6revlerini nas\u0131l kullanaca\u011f\u0131n\u0131z\u0131 g\u00f6sterir.<\/li>\n<\/ol>\n\n\nid: s3_to_redshift_load\nnamespace: dev.data_pipeline\n\ntasks:\n - id: create_redshift_table\n type: io.kestra.plugin.jdbc.redshift.Query\n url: \"jdbc:redshift:\/\/{{ secret('REDSHIFT_HOST') }}:5439\/{{ secret('REDSHIFT_DB') }}\"\n username: \"{{ secret('REDSHIFT_USER') }}\"\n password: \"{{ secret('REDSHIFT_PASS') }}\"\n sql: |\n CREATE TABLE IF NOT EXISTS public.raw_customers (\n customer_id VARCHAR(50),\n first_name VARCHAR(100),\n last_name VARCHAR(100),\n email VARCHAR(150),\n registration_date DATE\n );\n beforeExecution:\n - type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - echo \"Redshift tablosu olu\u015fturuluyor veya mevcutsa kontrol ediliyor...\"\n\n - id: copy_data_from_s3_to_redshift\n type: io.kestra.plugin.jdbc.redshift.Query\n url: \"jdbc:redshift:\/\/{{ secret('REDSHIFT_HOST') }}:5439\/{{ secret('REDSHIFT_DB') }}\"\n username: \"{{ secret('REDSHIFT_USER') }}\"\n password: \"{{ secret('REDSHIFT_PASS') }}\"\n sql: |\n COPY public.raw_customers\n FROM 's3:\/\/my-bucket\/raw-data\/customers\/customers_{{ now() | date('yyyyMMdd') }}.csv'\n IAM_ROLE '{{ secret('REDSHIFT_IAM_ROLE_ARN') }}'\n CSV\n IGNOREHEADER 1;\n beforeExecution:\n - type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - echo \"S3'ten Redshift'e veri kopyalan\u0131yor...\"\n<\/pre>\n<\/code>\n<\/div>\n
Yukar\u0131daki ak\u0131\u015fta:<\/p>\n
\ncreate_redshift_table<\/code> g\u00f6revi, verilerin y\u00fcklenece\u011fi raw_customers<\/code> tablosunu olu\u015fturur (e\u011fer yoksa). Bu, idempotent bir i\u015flemdir.<\/li>\ncopy_data_from_s3_to_redshift<\/code> g\u00f6revi, Amazon S3'teki belirli bir yoldan (g\u00fcnl\u00fck bazda farkl\u0131 bir dosya ad\u0131 kullanabiliriz: customers_20231027.csv<\/code> gibi) verileri raw_customers<\/code> tablosuna kopyalar. IAM_ROLE<\/code> kullanarak Redshift'in S3'e eri\u015fimini sa\u011fl\u0131yoruz. IGNOREHEADER 1<\/code>, CSV dosyas\u0131n\u0131n ilk sat\u0131r\u0131n\u0131 (ba\u015fl\u0131k) atlamas\u0131n\u0131 sa\u011flar.<\/li>\n{{ secret(...) }}<\/code> yap\u0131s\u0131, hassas bilgilerin Kestra'n\u0131n g\u00fcvenli s\u0131r y\u00f6netiminden al\u0131nd\u0131\u011f\u0131n\u0131 g\u00f6sterir.<\/li>\n<\/ul>\nBu ad\u0131mlar sayesinde, ham verilerimiz g\u00fcvenli ve otomatik bir \u015fekilde Redshift'e y\u00fcklenmi\u015f olur, bir sonraki d\u00f6n\u00fc\u015f\u00fcm a\u015famas\u0131na haz\u0131r hale gelir.<\/p>\n
dbt Projesi Kestra \u00dczerinde Nas\u0131l \u00c7al\u0131\u015ft\u0131r\u0131l\u0131r ve Veri D\u00f6n\u00fc\u015f\u00fcmleri Nas\u0131l Y\u00f6netilir?<\/h3>\n
Ham verilerimiz Redshift'e y\u00fcklendikten sonra, s\u0131ra bu verileri i\u015f ihtiya\u00e7lar\u0131m\u0131za g\u00f6re d\u00f6n\u00fc\u015ft\u00fcrmeye gelir. dbt, bu d\u00f6n\u00fc\u015f\u00fcm s\u00fcrecini organize etmek ve s\u00fcrd\u00fcr\u00fclebilir k\u0131lmak i\u00e7in ideal bir ara\u00e7t\u0131r. Kestra, dbt komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rmak i\u00e7in esnek bir ortam sa\u011flar.<\/p>\n
\n- dbt Projesinin Haz\u0131rlanmas\u0131:<\/strong> Bir dbt projesi, genellikle veri ambar\u0131 modellerini (SQL dosyalar\u0131), testleri, dok\u00fcmantasyonu ve dbt_project.yml yap\u0131land\u0131rma dosyas\u0131n\u0131 i\u00e7erir. \u00d6rne\u011fin,
models\/<\/code> klas\u00f6r\u00fcnde transformed_customers.sql<\/code> ad\u0131nda bir dosya olu\u015fturabiliriz.<\/li>\n<\/ol>\n\n\n-- models\/transformed_customers.sql\n{{ config(materialized='table') }}\n\nSELECT\n customer_id,\n first_name || ' ' || last_name AS full_name,\n email,\n registration_date,\n CURRENT_DATE - registration_date AS days_since_registration\nFROM\n {{ source('public', 'raw_customers') }}\nWHERE\n email IS NOT NULL;\n<\/pre>\n<\/code>\n<\/div>\n
Bu dbt modeli, raw_customers<\/code> tablosundan verileri al\u0131r, first_name<\/code> ve last_name<\/code>'i birle\u015ftirerek full_name<\/code> olu\u015fturur ve kay\u0131t tarihinden bu yana ge\u00e7en g\u00fcn say\u0131s\u0131n\u0131 hesaplar. {{ source('public', 'raw_customers') }}<\/code> ifadesi, dbt'nin veri ambar\u0131m\u0131zdaki ham tabloya referans vermesini sa\u011flar.<\/p>\n\n- Kestra ile dbt Komutlar\u0131n\u0131 \u00c7al\u0131\u015ft\u0131rma:<\/strong> Kestra'n\u0131n
io.kestra.plugin.scripts.shell.Commands<\/code> g\u00f6revi veya \u00f6zel dbt eklentileri (varsa) arac\u0131l\u0131\u011f\u0131yla dbt komutlar\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rabiliriz. Kestra, dbt projesinin bulundu\u011fu bir dizini (\u00f6rne\u011fin bir Git deposundan \u00e7ekilen) veya do\u011frudan Kestra'n\u0131n dahili depolama alan\u0131na y\u00fcklenen bir dbt projesini kullanabilir.<\/li>\n<\/ol>\n\n\nid: run_dbt_transformations\nnamespace: dev.data_pipeline\n\ntasks:\n - id: git_clone_dbt_project\n type: io.kestra.plugin.git.Clone\n url: \"https:\/\/github.com\/your-org\/your-dbt-project.git\" # dbt projenizin Git deposu\n branch: main\n outputDirectory: dbt-project-folder\n\n - id: dbt_deps_install\n type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - pip install dbt-redshift # dbt ve Redshift adapt\u00f6r\u00fcn\u00fc y\u00fckle\n - cd dbt-project-folder\n - dbt deps\n runner:\n type: io.kestra.plugin.scripts.runner.docker.Docker\n image: ghcr.io\/dbt-labs\/dbt-redshift:1.5.0 # dbt Redshift imaj\u0131\n \n - id: dbt_run_models\n type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - cd dbt-project-folder\n - dbt run --profiles-dir . # Redshift ba\u011flant\u0131 profilini kullan\n env: # Redshift ba\u011flant\u0131 bilgilerini ortam de\u011fi\u015fkenleri olarak dbt'ye aktar\n DBT_USER: \"{{ secret('REDSHIFT_USER') }}\"\n DBT_PASSWORD: \"{{ secret('REDSHIFT_PASS') }}\"\n DBT_HOST: \"{{ secret('REDSHIFT_HOST') }}\"\n DBT_DATABASE: \"{{ secret('REDSHIFT_DB') }}\"\n DBT_SCHEMA: \"public\"\n runner:\n type: io.kestra.plugin.scripts.runner.docker.Docker\n image: ghcr.io\/dbt-labs\/dbt-redshift:1.5.0\n\n - id: dbt_test_models\n type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - cd dbt-project-folder\n - dbt test --profiles-dir .\n runner:\n type: io.kestra.plugin.scripts.runner.docker.Docker\n image: ghcr.io\/dbt-labs\/dbt-redshift:1.5.0\n<\/pre>\n<\/code>\n<\/div>\n
Bu Kestra ak\u0131\u015f\u0131nda:<\/p>\n
\ngit_clone_dbt_project<\/code>: dbt projenizi Git deposundan Kestra ortam\u0131na klonlar.<\/li>\ndbt_deps_install<\/code>: dbt ba\u011f\u0131ml\u0131l\u0131klar\u0131n\u0131 (\u00f6zellikle dbt-redshift<\/code> adapt\u00f6r\u00fcn\u00fc) y\u00fckler ve dbt projesi i\u00e7indeki paketleri kurar.<\/li>\ndbt_run_models<\/code>: dbt projesindeki t\u00fcm modelleri (SQL dosyalar\u0131n\u0131) \u00e7al\u0131\u015ft\u0131r\u0131r ve Redshift'te yeni tablolar\/g\u00f6r\u00fcn\u00fcmler olu\u015fturur veya g\u00fcnceller. Kestra'n\u0131n ortam de\u011fi\u015fkenleri \u00f6zelli\u011fi sayesinde Redshift ba\u011flant\u0131 bilgilerini g\u00fcvenli bir \u015fekilde dbt'ye aktar\u0131yoruz.<\/li>\ndbt_test_models<\/code>: dbt projesinde tan\u0131mlanan t\u00fcm veri kalitesi testlerini \u00e7al\u0131\u015ft\u0131r\u0131r. E\u011fer testlerden herhangi biri ba\u015far\u0131s\u0131z olursa, Kestra ak\u0131\u015f\u0131 durur ve hata verir, b\u00f6ylece veri kalitesi sorunlar\u0131 erkenden tespit edilir.<\/li>\n<\/ul>\nBu yap\u0131land\u0131rma, dbt'nin g\u00fc\u00e7l\u00fc d\u00f6n\u00fc\u015f\u00fcm yeteneklerini Kestra'n\u0131n orkestrasyon g\u00fcc\u00fcyle birle\u015ftirerek sa\u011flam ve otomatik bir veri d\u00f6n\u00fc\u015f\u00fcm s\u00fcreci sunar.<\/p>\n
U\u00e7tan Uca Bir Ak\u0131\u015f Tasar\u0131m\u0131: ETL\/ELT S\u00fcre\u00e7lerinde Entegrasyonun G\u00fcc\u00fc<\/h3>\n
\u015eimdiye kadar veri y\u00fckleme ve d\u00f6n\u00fc\u015f\u00fcm ad\u0131mlar\u0131n\u0131 ayr\u0131 ayr\u0131 g\u00f6rd\u00fck. Ger\u00e7ek d\u00fcnya senaryolar\u0131nda, bu ad\u0131mlar genellikle birbirini takip eden ve ba\u011f\u0131ml\u0131l\u0131klar\u0131 olan bir s\u00fcrecin par\u00e7as\u0131d\u0131r. Kestra, bu ba\u011f\u0131ml\u0131l\u0131klar\u0131 y\u00f6neterek u\u00e7tan uca, otomatik bir ELT ak\u0131\u015f\u0131 olu\u015fturmam\u0131z\u0131 sa\u011flar.<\/p>\n
Vaka Analizi: E-ticaret M\u00fc\u015fteri Segmentasyonu<\/strong><\/p>\nBir e-ticaret \u015firketi d\u00fc\u015f\u00fcnelim. Pazarlama departman\u0131, m\u00fc\u015fterileri sat\u0131n alma davran\u0131\u015flar\u0131na g\u00f6re segmentlere ay\u0131rarak daha hedefli kampanyalar y\u00fcr\u00fctmek istiyor. Bu s\u00fcre\u00e7 i\u00e7in bir veri ak\u0131\u015f\u0131 tasarlayal\u0131m:<\/p>\n
\n- G\u00fcnl\u00fck m\u00fc\u015fteri kay\u0131tlar\u0131 S3'e y\u00fcklenir.<\/li>\n
- Bu ham veriler Redshift'e kopyalan\u0131r.<\/li>\n
- Redshift'teki ham veriler, dbt kullan\u0131larak temizlenir, birle\u015ftirilir ve sat\u0131n alma s\u0131kl\u0131\u011f\u0131, son sat\u0131n alma tarihi, harcama miktar\u0131 gibi \u00f6zellikler eklenerek segmentasyon i\u00e7in haz\u0131r hale getirilir.<\/li>\n
- D\u00f6n\u00fc\u015ft\u00fcr\u00fclen veriler \u00fczerinde basit bir segmentasyon analizi yap\u0131l\u0131r (\u00f6rne\u011fin, aktif, pasif, yeni m\u00fc\u015fteri).<\/li>\n
- Analiz sonu\u00e7lar\u0131 bir raporlama arac\u0131na (\u00f6rne\u011fin, Power BI veya Tableau) beslenir veya pazarlama otomasyon sistemine g\u00f6nderilir.<\/li>\n<\/ol>\n
\u0130\u015fte bu senaryoyu Kestra'da birle\u015ftiren \u00f6rnek bir ak\u0131\u015f:<\/p>\n
\n\nid: e_commerce_customer_pipeline\nnamespace: prod.customer_analytics\ndescription: \"E-ticaret m\u00fc\u015fteri verilerini i\u015fleyip segmentlere ay\u0131ran u\u00e7tan uca ELT boru hatt\u0131.\"\n\ninputs:\n - name: executionDate\n type: STRING\n defaults: \"{{ now() | date('yyyyMMdd') }}\" # Ak\u0131\u015f\u0131n tetiklendi\u011fi g\u00fcn\u00fcn tarihi\n\ntasks:\n - id: start_pipeline\n type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - echo \"Pipeline started for date: {{ inputs.executionDate }}\"\n\n - id: load_raw_customer_data\n type: io.kestra.plugin.jdbc.redshift.Query\n url: \"jdbc:redshift:\/\/{{ secret('REDSHIFT_HOST') }}:5439\/{{ secret('REDSHIFT_DB') }}\"\n username: \"{{ secret('REDSHIFT_USER') }}\"\n password: \"{{ secret('REDSHIFT_PASS') }}\"\n sql: |\n COPY public.raw_customers\n FROM 's3:\/\/my-bucket\/raw-data\/customers\/customers_{{ inputs.executionDate }}.csv'\n IAM_ROLE '{{ secret('REDSHIFT_IAM_ROLE_ARN') }}'\n CSV\n IGNOREHEADER 1;\n onFailure:\n - id: notify_failure_load\n type: io.kestra.plugin.core.log.Log\n level: ERROR\n message: \"M\u00fc\u015fteri verileri y\u00fcklenemedi! L\u00fctfen S3 dosyalar\u0131n\u0131 kontrol edin.\"\n\n - id: git_clone_dbt_project\n type: io.kestra.plugin.git.Clone\n url: \"https:\/\/github.com\/your-org\/your-dbt-project.git\"\n branch: main\n outputDirectory: dbt-project-folder\n dependsOn:\n - load_raw_customer_data # Veri y\u00fcklemesi bitmeden dbt ba\u015flamaz\n\n - id: dbt_run_and_test\n type: io.kestra.plugin.scripts.shell.Commands\n commands:\n - pip install dbt-redshift\n - cd dbt-project-folder\n - dbt deps\n - dbt run --profiles-dir . --target prod # \u00dcretim ortam\u0131n\u0131 hedefle\n - dbt test --profiles-dir . --target prod\n env:\n DBT_USER: \"{{ secret('REDSHIFT_USER') }}\"\n DBT_PASSWORD: \"{{ secret('REDSHIFT_PASS') }}\"\n DBT_HOST: \"{{ secret('REDSHIFT_HOST') }}\"\n DBT_DATABASE: \"{{ secret('REDSHIFT_DB') }}\"\n DBT_SCHEMA: \"public\"\n runner:\n type: io.kestra.plugin.scripts.runner.docker.Docker\n image: ghcr.io\/dbt-labs\/dbt-redshift:1.5.0\n dependsOn:\n - git_clone_dbt_project # dbt projesi klonlanmadan \u00e7al\u0131\u015fmaz\n onFailure:\n - id: notify_failure_dbt\n type: io.kestra.plugin.core.log.Log\n level: ERROR\n message: \"dbt d\u00f6n\u00fc\u015f\u00fcmleri veya testleri ba\u015far\u0131s\u0131z oldu!\"\n\n - id: run_segmentation_query\n type: io.kestra.plugin.jdbc.redshift.Query\n url: \"jdbc:redshift:\/\/{{ secret('REDSHIFT_HOST') }}:5439\/{{ secret('REDSHIFT_DB') }}\"\n username: \"{{ secret('REDSHIFT_USER') }}\"\n password: \"{{ secret('REDSHIFT_PASS') }}\"\n sql: |\n CREATE TABLE IF NOT EXISTS public.customer_segments AS\n SELECT\n customer_id,\n full_name,\n email,\n CASE\n WHEN days_since_registration < 30 AND total_orders > 0 THEN 'Yeni Aktif M\u00fc\u015fteri'\n WHEN total_orders > 5 AND total_spend > 500 THEN 'De\u011ferli M\u00fc\u015fteri'\n WHEN last_order_date < CURRENT_DATE - INTERVAL '90 days' THEN 'Pasif M\u00fc\u015fteri'\n ELSE 'Di\u011fer'\n END AS customer_segment\n FROM\n public.transformed_customers;\n -- NOT: transformed_customers tablosu dbt taraf\u0131ndan olu\u015fturulmu\u015f varsay\u0131lm\u0131\u015ft\u0131r\n -- total_orders, total_spend, last_order_date gibi alanlar dbt modelinde hesaplanm\u0131\u015f olmal\u0131\n dependsOn:\n - dbt_run_and_test # dbt d\u00f6n\u00fc\u015f\u00fcmleri bitmeden segmentasyon yap\u0131lamaz\n\n - id: end_pipeline\n type: io.kestra.plugin.core.log.Log\n message: \"M\u00fc\u015fteri segmentasyon pipeline'\u0131 ba\u015far\u0131yla tamamland\u0131!\"\n<\/pre>\n<\/code>\n<\/div>\n
Bu karma\u015f\u0131k ak\u0131\u015f, bir e-ticaret \u015firketinin m\u00fc\u015fteri analizi i\u00e7in ihtiya\u00e7 duydu\u011fu t\u00fcm ad\u0131mlar\u0131 tek bir Kestra tan\u0131m\u0131nda birle\u015ftiriyor. dependsOn<\/code> anahtar kelimesi, g\u00f6revler aras\u0131ndaki s\u0131ral\u0131 ba\u011f\u0131ml\u0131l\u0131klar\u0131 tan\u0131mlar ve bir \u00f6nceki ad\u0131m ba\u015far\u0131yla tamamlanmadan bir sonraki ad\u0131m\u0131n ba\u015flamamas\u0131n\u0131 garanti eder. onFailure<\/code> ile hata durumlar\u0131nda bildirimler veya farkl\u0131 i\u015flemler tetiklenebilir. Bu, hem hatalar\u0131n h\u0131zl\u0131ca tespit edilmesini sa\u011flar hem de veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fc korur. Bu entegrasyon sayesinde, pazarlama ekibi her g\u00fcn g\u00fcncel m\u00fc\u015fteri segmentasyon verilerine otomatik olarak eri\u015febilir ve pazarlama stratejilerini an\u0131nda ayarlayabilir. Bu, manuel i\u015flemlerle k\u0131yasland\u0131\u011f\u0131nda inan\u0131lmaz bir verimlilik art\u0131\u015f\u0131 ve daha h\u0131zl\u0131 karar alma kabiliyeti anlam\u0131na gelir.<\/p>\n\n Uzman \u0130pucu: Karma\u015f\u0131k ak\u0131\u015flarda, hatalar\u0131n nedenini kolayca bulmak i\u00e7in her ad\u0131mda detayl\u0131 loglama ve hata y\u00f6netimi stratejileri uygulay\u0131n. Kestra'n\u0131n onFailure<\/code> ve onSuccess<\/code> tetikleyicilerini kullanarak bildirim sistemlerini entegre etmek, operasyonel y\u00fck\u00fc azaltacakt\u0131r.\n<\/div>\nPerformans Optimizasyonu ve \u0130leri D\u00fczey \u0130pu\u00e7lar\u0131<\/h2>\n
B\u00fcy\u00fck \u00f6l\u00e7ekli veri ak\u0131\u015flar\u0131nda performans, maliyet ve g\u00fcvenilirlik kritik \u00f6neme sahiptir. Kestra, Redshift ve dbt entegrasyonundan en iyi verimi almak i\u00e7in baz\u0131 ileri d\u00fczey optimizasyon ve y\u00f6netim stratejilerini uygulamak faydal\u0131 olacakt\u0131r. Bu b\u00f6l\u00fcmde, sisteminizi daha h\u0131zl\u0131, daha uygun maliyetli ve daha g\u00fcvenilir hale getirecek ipu\u00e7lar\u0131n\u0131 ele alaca\u011f\u0131z.<\/p>\n
B\u00fcy\u00fck Veri Setlerinde Kestra ve Redshift Performans\u0131n\u0131 Nas\u0131l Art\u0131rabiliriz?<\/h3>\n
Redshift Taraf\u0131nda Optimizasyonlar:<\/strong><\/p>\n\n- Da\u011f\u0131t\u0131m Stilleri (Distribution Styles):<\/strong> Redshift'in MPP mimarisinden tam anlam\u0131yla faydalanmak i\u00e7in tablolar\u0131n\u0131z\u0131n da\u011f\u0131t\u0131m stillerini (DISTSTYLE) do\u011fru ayarlaman\u0131z gerekir.\n
\nAUTO<\/code>: Redshift'in varsay\u0131lan olarak en uygun da\u011f\u0131t\u0131m stilini se\u00e7mesine izin verir.<\/li>\nKEY<\/code>: Sorgular\u0131n\u0131zda s\u0131k\u00e7a birle\u015ftirilen tablolar i\u00e7in ortak bir s\u00fctunu da\u011f\u0131t\u0131m anahtar\u0131 (DISTKEY) olarak se\u00e7mek, verinin d\u00fc\u011f\u00fcmler aras\u0131nda gereksiz hareketini (shuffle) azalt\u0131r ve birle\u015ftirme (join) performans\u0131n\u0131 art\u0131r\u0131r. \u00d6rne\u011fin, customer_id<\/code> gibi bir anahtar.<\/li>\nALL<\/code>: K\u00fc\u00e7\u00fck boyutlu tablolar\u0131 her bir d\u00fc\u011f\u00fcmde kopyalayarak birle\u015ftirme maliyetini ortadan kald\u0131r\u0131r.<\/li>\nEVEN<\/code>: Veriyi d\u00fc\u011f\u00fcmler aras\u0131nda e\u015fit olarak da\u011f\u0131t\u0131r, ancak birle\u015ftirme performans\u0131n\u0131 optimize etmez.<\/li>\n<\/ul>\n<\/li>\n- S\u0131ralama Anahtarlar\u0131 (Sort Keys):<\/strong> Sorgular\u0131n\u0131zda s\u0131k\u00e7a kullan\u0131lan filtreleme ve s\u0131ralama s\u00fctunlar\u0131n\u0131 s\u0131ralama anahtar\u0131 (SORTKEY) olarak tan\u0131mlamak, Redshift'in veriyi diskte organize etmesine yard\u0131mc\u0131 olur. Bu, sorgular\u0131n daha az disk I\/O yapmas\u0131n\u0131 sa\u011flayarak performans\u0131 art\u0131r\u0131r. Genellikle tarih s\u00fctunlar\u0131 (
order_date<\/code>, registration_date<\/code>) iyi bir s\u0131ralama anahtar\u0131 aday\u0131d\u0131r.<\/li>\n- VACUUM ve ANALYZE:<\/strong> Redshift tablolar\u0131ndaki silinen veya g\u00fcncellenen sat\u0131rlar bo\u015f alan b\u0131rak\u0131r ve sorgu performans\u0131n\u0131 olumsuz etkileyebilir.
VACUUM<\/code> i\u015flemi bu bo\u015f alanlar\u0131 geri kazan\u0131r. ANALYZE<\/code> ise sorgu planlay\u0131c\u0131n\u0131n en optimal sorgu y\u00fcr\u00fctme planlar\u0131n\u0131 olu\u015fturmas\u0131 i\u00e7in istatistikleri g\u00fcnceller. Bu i\u015flemler d\u00fczenli olarak yap\u0131lmal\u0131d\u0131r, Kestra ak\u0131\u015flar\u0131n\u0131za entegre edilebilir.<\/li>\n- Workload Management (WLM):<\/strong> Redshift WLM, farkl\u0131 sorgu t\u00fcrleri i\u00e7in \u00f6ncelikler belirlemenizi ve kaynak ay\u0131rman\u0131z\u0131 sa\u011flar. Kritik analitik sorgulara daha fazla kaynak ay\u0131rarak performanslar\u0131n\u0131 garanti edebilirsiniz.<\/li>\n<\/ul>\n
Kestra Taraf\u0131nda Optimizasyonlar:<\/strong><\/p>\n\n- Paralel \u00c7al\u0131\u015ft\u0131rma:<\/strong> Ba\u011f\u0131ml\u0131 olmayan g\u00f6revleri paralel olarak \u00e7al\u0131\u015ft\u0131rmak, genel ak\u0131\u015f s\u00fcresini \u00f6nemli \u00f6l\u00e7\u00fcde k\u0131saltabilir. Kestra'n\u0131n
parallel<\/code> veya each<\/code> g\u00f6revleri, ayn\u0131 anda birden fazla g\u00f6revi veya bir liste \u00fczerindeki g\u00f6revleri \u00e7al\u0131\u015ft\u0131rman\u0131za olanak tan\u0131r.<\/li>\n- Resource Allocation:<\/strong> Kestra, g\u00f6revler i\u00e7in CPU ve bellek gibi kaynaklar\u0131 tan\u0131mlaman\u0131za izin verir. \u00d6zellikle yo\u011fun i\u015flem gerektiren dbt \u00e7al\u0131\u015ft\u0131rmalar\u0131 veya b\u00fcy\u00fck veri kopyalama i\u015flemleri i\u00e7in yeterli kaynak ay\u0131rmak, performans d\u00fc\u015f\u00fc\u015flerini ve bellek d\u0131\u015f\u0131 hatalar\u0131 \u00f6nler. Docker runner kullan\u0131l\u0131yorsa, Docker konteynerlerine do\u011frudan CPU\/RAM limitleri atayabilirsiniz.<\/li>\n
- Gereksiz \u0130\u015flemlerden Ka\u00e7\u0131nma:<\/strong> Her ak\u0131\u015f \u00e7al\u0131\u015ft\u0131rmas\u0131nda t\u00fcm veriyi yeniden i\u015flemek yerine, yaln\u0131zca yeni veya de\u011fi\u015fen veriyi i\u015fleyen inkremental (art\u0131ml\u0131) yakla\u015f\u0131mlar benimseyin. dbt'nin inkremental modelleri bu konuda \u00e7ok etkilidir.<\/li>\n
- G\u00f6zetim ve Uyar\u0131lar:<\/strong> Kestra'n\u0131n yerle\u015fik izleme ve loglama yeteneklerini kullanarak ak\u0131\u015flar\u0131n\u0131z\u0131n performans\u0131n\u0131 d\u00fczenli olarak takip edin. Anormal s\u00fcrelerde tamamlanan veya ba\u015far\u0131s\u0131z olan ak\u0131\u015flar i\u00e7in uyar\u0131lar (Slack, e-posta, PagerDuty entegrasyonlar\u0131 arac\u0131l\u0131\u011f\u0131yla) yap\u0131land\u0131r\u0131n. Bu, sorunlar\u0131 proaktif olarak tespit etmenizi sa\u011flar.<\/li>\n<\/ul>\n
dbt ile Veri Kalitesi ve G\u00fcvenilirli\u011fi Nas\u0131l Sa\u011flan\u0131r?<\/h3>\n
dbt, veri d\u00f6n\u00fc\u015f\u00fcmlerinin sadece \u00e7al\u0131\u015fmas\u0131n\u0131 de\u011fil, ayn\u0131 zamanda do\u011fru ve g\u00fcvenilir olmas\u0131n\u0131 sa\u011flamak i\u00e7in g\u00fc\u00e7l\u00fc yetenekler sunar.<\/p>\n
\n- Kapsaml\u0131 Testler:<\/strong>\n
\n- Schema Testleri:<\/strong>
unique<\/code>, not_null<\/code>, accepted_values<\/code>, relationships<\/code> gibi yerle\u015fik dbt testlerini kullanarak tablolar\u0131n\u0131zdaki temel veri b\u00fct\u00fcnl\u00fc\u011f\u00fc kurallar\u0131n\u0131 kontrol edin. \u00d6rne\u011fin, bir m\u00fc\u015fteri ID'sinin benzersiz oldu\u011fundan ve bo\u015f olmad\u0131\u011f\u0131ndan emin olun.<\/li>\n- Custom Data Tests (\u00d6zel Veri Testleri):<\/strong> \u0130\u015f mant\u0131\u011f\u0131n\u0131za \u00f6zel daha karma\u015f\u0131k testler yaz\u0131n. \u00d6rne\u011fin, \"bir sipari\u015fin toplam tutar\u0131n\u0131n negatif olamayaca\u011f\u0131\" veya \"bir m\u00fc\u015fterinin ilk sipari\u015f tarihinin kay\u0131t tarihinden sonra olamayaca\u011f\u0131\" gibi kurallar\u0131 kontrol eden SQL sorgular\u0131 yazabilirsiniz. Bu testler, dbt run i\u015fleminden sonra otomatik olarak \u00e7al\u0131\u015ft\u0131r\u0131l\u0131r ve ba\u015far\u0131s\u0131z olursa s\u00fcreci durdurur.<\/li>\n<\/ul>\n<\/li>\n
- Dok\u00fcmantasyon:<\/strong> dbt, modelleriniz, kolonlar\u0131n\u0131z ve testleriniz i\u00e7in dok\u00fcmantasyon olu\u015fturmay\u0131 destekler.
dbt docs generate<\/code> ve dbt docs serve<\/code> komutlar\u0131 ile web tabanl\u0131 bir veri katalogu olu\u015fturabilirsiniz. Bu katalog, t\u00fcm veri modellerinizin ne anlama geldi\u011fini, nereden geldi\u011fini ve nas\u0131l d\u00f6n\u00fc\u015ft\u00fcr\u00fcld\u00fc\u011f\u00fcn\u00fc a\u00e7\u0131klar. Bu, hem yeni ekip \u00fcyelerinin adaptasyonunu kolayla\u015ft\u0131r\u0131r hem de veri analistlerinin do\u011fru verilere eri\u015fmesini sa\u011flar.<\/li>\n- Versiyon Kontrol\u00fc (Git):<\/strong> T\u00fcm dbt projenizi Git gibi bir versiyon kontrol sisteminde saklay\u0131n. Bu, kod de\u011fi\u015fikliklerini takip etmenizi, geri alman\u0131z\u0131, farkl\u0131 dallarda (branch) geli\u015ftirme yapman\u0131z\u0131 ve ekip i\u00e7inde i\u015fbirli\u011fi yapman\u0131z\u0131 sa\u011flar.<\/li>\n
- CI\/CD Entegrasyonu:<\/strong> dbt projenizi bir CI\/CD (S\u00fcrekli Entegrasyon\/S\u00fcrekli Da\u011f\u0131t\u0131m) s\u00fcrecine entegre edin. Her kod de\u011fi\u015fikli\u011finde (pull request), otomatik olarak dbt testlerini ve belki de k\u00fc\u00e7\u00fck \u00f6l\u00e7ekli dbt run i\u015flemlerini \u00e7al\u0131\u015ft\u0131rarak veri kalitesi sorunlar\u0131n\u0131 erken a\u015famada yakalay\u0131n. Kestra, bu CI\/CD ad\u0131mlar\u0131n\u0131 otomatize etmek i\u00e7in ideal bir platformdur.<\/li>\n<\/ul>\n
Bu ileri d\u00fczey stratejiler, veri ak\u0131\u015flar\u0131n\u0131z\u0131n sadece \u00e7al\u0131\u015fmas\u0131n\u0131 de\u011fil, ayn\u0131 zamanda verimli, sa\u011flam ve g\u00fcvenilir olmas\u0131n\u0131 sa\u011flayarak veri odakl\u0131 kararlar\u0131n\u0131z\u0131n do\u011frulu\u011funu art\u0131r\u0131r.<\/p>\n
Gelece\u011fe Y\u00f6nelik Yakla\u015f\u0131mlar ve Mobil Uyumluluk<\/h2>\n
Veri m\u00fchendisli\u011fi ve analiti\u011fi d\u00fcnyas\u0131 s\u00fcrekli evrim ge\u00e7iriyor. Kestra, Redshift ve dbt gibi ara\u00e7larla kurulan mimariler, bu de\u011fi\u015fime ayak uydurabilecek esnekli\u011fi ve \u00f6l\u00e7eklenebilirli\u011fi sunar. Gelece\u011fe y\u00f6nelik yakla\u015f\u0131mlar, \u00f6zellikle ger\u00e7ek zamanl\u0131 i\u015fleme, makine \u00f6\u011frenimi entegrasyonlar\u0131 ve bulutun sundu\u011fu yeni hizmetlerden tam anlam\u0131yla faydalanmay\u0131 i\u00e7erir.<\/p>\n
Gelecekte Veri Ak\u0131\u015flar\u0131n\u0131 Neler Bekliyor?<\/h3>\n\n- Ger\u00e7ek Zamanl\u0131 Veri \u0130\u015fleme:<\/strong> Geleneksel batch (toplu) i\u015fleme hala yayg\u0131n olsa da, anl\u0131k kararlar alabilmek i\u00e7in ger\u00e7ek zamanl\u0131 veri ak\u0131\u015flar\u0131n\u0131n \u00f6nemi art\u0131yor. Kestra'n\u0131n olay tabanl\u0131 yap\u0131s\u0131, Kafka veya Kinesis gibi ak\u0131\u015f platformlar\u0131ndan gelen verileri an\u0131nda tetikleyerek i\u015fleyebilir. dbt'nin streaming adapt\u00f6rleri veya Redshift'in streaming ingest \u00f6zellikleri, bu t\u00fcr senaryolar\u0131 desteklemektedir.<\/li>\n
- Makine \u00d6\u011frenimi (ML) ve Yapay Zeka (AI) Entegrasyonu:<\/strong> Veri ak\u0131\u015flar\u0131, ML modelleri i\u00e7in veri haz\u0131rlama, model e\u011fitimi ve da\u011f\u0131t\u0131m\u0131 i\u00e7in temel altyap\u0131y\u0131 sa\u011flar. Kestra, Python g\u00f6revleri veya \u00f6zel ML eklentileri arac\u0131l\u0131\u011f\u0131yla model e\u011fitim i\u015flerini tetikleyebilir ve dbt ile olu\u015fturulan temiz ve d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f veriyi ML modelleri i\u00e7in girdi olarak sunabilir. Redshift ML, do\u011frudan veri ambar\u0131 i\u00e7inde ML modelleri olu\u015fturma ve \u00e7al\u0131\u015ft\u0131rma yetene\u011fi sunar.<\/li>\n
- Data Mesh ve Data Fabric Yakla\u015f\u0131mlar\u0131:<\/strong> B\u00fcy\u00fck kurulu\u015flarda, verinin tek bir merkezi ekip taraf\u0131ndan y\u00f6netilmesi yerine, domain odakl\u0131 veri \u00fcr\u00fcnleri etraf\u0131nda da\u011f\u0131t\u0131k bir sahiplik modeli olan Data Mesh pop\u00fclerle\u015fiyor. Kestra, farkl\u0131 ekiplerin kendi veri \u00fcr\u00fcnlerini ba\u011f\u0131ms\u0131z olarak orkestre etmelerine olanak tan\u0131rken, dbt veri \u00fcr\u00fcnlerinin standart bir \u015fekilde tan\u0131mlanmas\u0131n\u0131 sa\u011flar.<\/li>\n
- Otomatik Veri Kataloglama ve Ke\u015fif:<\/strong> Veri ak\u0131\u015flar\u0131nda \u00fcretilen veya t\u00fcketilen t\u00fcm veri varl\u0131klar\u0131n\u0131n otomatik olarak kataloglanmas\u0131, veri ke\u015ffedilebilirli\u011fini art\u0131r\u0131r. dbt'nin dok\u00fcmantasyon yetenekleri ve Kestra'n\u0131n ak\u0131\u015f meta verileri, bu t\u00fcr otomatik kataloglama sistemleri i\u00e7in zengin bir kaynak sa\u011flar.<\/li>\n<\/ul>\n
Mobil Uyumluluk Neden \u00d6nemli ve Nas\u0131l Sa\u011flan\u0131r?<\/h3>\n
Veri boru hatt\u0131n\u0131n kendisi genellikle arka u\u00e7ta \u00e7al\u0131\u015fsa da, bu boru hatt\u0131n\u0131n \u00fcretti\u011fi sonu\u00e7lar (raporlar, g\u00f6sterge tablolar\u0131, uyar\u0131lar) genellikle son kullan\u0131c\u0131lara ula\u015f\u0131r. G\u00fcn\u00fcm\u00fczde bu son kullan\u0131c\u0131lar\u0131n \u00e7o\u011fu, i\u015flerini mobil cihazlar \u00fczerinden takip etmektedir. Kestra'n\u0131n web aray\u00fcz\u00fc gibi y\u00f6netim panelleri veya veri ak\u0131\u015f\u0131ndan beslenen i\u015f zekas\u0131 (BI) panolar\u0131, mobil cihazlarda sorunsuz bir \u015fekilde g\u00f6r\u00fcnt\u00fclenebilmelidir. Mobil uyumluluk, kullan\u0131c\u0131 deneyimini art\u0131r\u0131r ve ekiplerin her yerden verilere eri\u015fmesini sa\u011flar.<\/p>\n
Mobil uyumlu HTML \u00fcretmek i\u00e7in, genellikle responsive web tasar\u0131m prensipleri kullan\u0131l\u0131r. Bu prensipler, CSS Media Query'ler arac\u0131l\u0131\u011f\u0131yla farkl\u0131 ekran boyutlar\u0131na ve cihazlara g\u00f6re d\u00fczenin otomatik olarak ayarlanmas\u0131n\u0131 sa\u011flar. Kestra'n\u0131n kendi aray\u00fcz\u00fc modern web teknolojileriyle geli\u015ftirildi\u011fi i\u00e7in genellikle mobil uyumludur. Ancak, Kestra'n\u0131n \u00fcretti\u011fi verilerle d\u0131\u015far\u0131dan bir raporlama arac\u0131 veya \u00f6zel bir g\u00f6sterge panosu geli\u015ftiriyorsan\u0131z, mobil uyumlulu\u011fu sa\u011flamak sizin sorumlulu\u011funuzdad\u0131r.<\/p>\n
\n\n\/* CSS dosyas\u0131nda veya