AWS Üzerinde Apache Iceberg ile İşlemsel Bir Data Lakehouse Oluşturma
Merhaba! Ben Fatih Soysal ve Data Engineering ile ilgili konulara ilgi duyan biri olarak, 2024 Sydney’de düzenlenen DataEngBytes konferansında sunduğum “AWS Üzerinde Apache Iceberg ile İşlemsel Bir Data Lakehouse Oluşturma” sunumunu sizlerle paylaşmak istiyorum.
Data Lakehouse Mimarisi
Son yıllarda, geleneksel veri ambarları ve data lake’lerin sınırları bulanıklaştı. Data lakehouse, her iki dünyanın da en iyi özelliklerini bir araya getirerek, hem yapılandırılmış hem de yapılandırılmamış verilerin depolanmasını ve işlenmesini sağlayan yeni bir mimari sunar.
Data lakehouse mimarisinde, Apache Iceberg gibi açık kaynaklı bir tablo yönetim sistemi, büyük miktarda verinin üzerinde yapısal bir katman oluşturur. Bu, verileri sorgulama, güncelleme ve silme işlemlerini daha verimli hale getirir.
Bu mimari, daha hızlı ve daha esnek veri analizi, daha düşük maliyet ve veri yönetiminin kolaylaştırılması gibi avantajlar sunar. Detaylarına daha sonra değineceğiz.
Apache Iceberg
Apache Iceberg, verilerin depolandığı formattan bağımsız olarak, büyük ölçekli veri kümeleri için yapılandırılmış bir tablo yönetim sistemi sunar. Apache Iceberg, aşağıdaki özelliklerle öne çıkar:
- İşlemsel Tablolar: ACID özelliklerini sağlayan işlemsel tablolar oluşturur.
- Değişmezlik ve Zaman Sürümü: Veri bütünlüğünü ve geriye dönük analizleri desteklemek için değişmezlik ve zaman sürümü sağlar.
- Evrimleşen Şema: Veri şemasını zamanla değiştirmenizi kolaylaştırır.
- Çoklu Dosya Biçimleri: Apache Parquet, ORC gibi farklı dosya biçimlerini destekler.
- Yaygın Entegrasyonlar: Spark, Presto, Trino gibi yaygın veri işleme platformlarıyla uyumludur.
AWS Üzerinde İşlemsel Data Lakehouse
AWS, işlemsel data lakehouse oluşturmak için kapsamlı bir hizmet yelpazesi sunar. Bu hizmetler, veri depolama, işleme, sorgulama ve yönetim için optimize edilmiştir. Sunumda ele aldığımız temel hizmetler şunlardır:
- Amazon S3: Data lake’in temel depolama alanı olarak hizmet eder.
- Amazon EMR: Spark, Presto ve Hive gibi veri işleme çerçevelerini çalıştırmak için kullanılan bir yönetilen Hadoop platformudur.
- Amazon Athena: S3 üzerindeki verileri sorgulamak için kullanılan, sorgulama hizmetidir.
- Amazon Glue: Veri keşfi, temizliği ve dönüşümü için kullanılan bir veri hazırlama hizmetidir.
- AWS Glue Data Catalog: Apache Iceberg tablolarını ve diğer verileri kataloğlamak için kullanılan bir meta veri deposudur.
Yukarıda belirtilen hizmetler, Apache Iceberg ile birleşerek güçlü bir data lakehouse mimarisi oluşturur. Bu mimari, verilerin depolama, işleme ve sorgulama için optimize edilmiş bir çerçeve sunar.
Uygulama Örneği
Sunumda, bir e-ticaret şirketi için bir işlemsel data lakehouse örneği gösterdik. Bu örnekte, Apache Iceberg ile işlemsel tablolar oluşturduk ve bu tablolar üzerinde gerçek zamanlı veri güncellemeleri yaptık. Amazon EMR ve Spark ile veri işleme işlemleri gerçekleştirdik ve Amazon Athena ile gerçek zamanlı analitik sorgulamaları çalıştırdık.
Avantajlar
AWS Üzerinde Apache Iceberg ile işlemsel data lakehouse oluşturmanın birçok avantajı vardır:
- Daha Hızlı Veri Analizi: Yapılandırılmış verilerin kullanımı, daha hızlı veri analizi ve daha hızlı yanıt süreleri sağlar.
- Düşük Maliyet: Daha az depolama alanı gereksinimi ve daha verimli veri işleme, maliyetleri azaltır.
- Esneklik: Apache Iceberg’in esnek yapısı, verilerle nasıl çalışacağınız konusunda daha fazla özgürlük verir.
- Gelişmiş Veri Yönetimi: Apache Iceberg’in tablo yönetimi özellikleri, veri bütünlüğünü ve veri yönetimini iyileştirir.
Sonuç
AWS Üzerinde Apache Iceberg ile işlemsel data lakehouse oluşturmak, modern veri analizi ve veri yönetimi için etkili bir çözümdür. Bu yaklaşım, daha hızlı veri analizi, daha düşük maliyet, esneklik ve gelişmiş veri yönetimi gibi birçok avantaj sunar. Daha fazla bilgi edinmek ve kendi data lakehouse’ınızı kurmak için web sitemi ziyaret edebilir veya bana ulaşabilirsiniz.
#Etiketler
#DataEngBytes #DataLakehouse #ApacheIceberg #AWS #VeriAnalizi #VeriYönetimi #E-Ticaret #Spark #AmazonEMR #AmazonAthena #AmazonS3 #AmazonGlue #VeriDepolama #İşlemselTablolar #Analitik