Takip et

OpenSearch’te Kapsamlı Bir Dashboard Oluşturma Rehberi

OpenSearch’te Kapsamlı Bir Dashboard Oluşturma Rehberi OpenSearch, dağıtık bir arama ve analiz motoru olarak, büyük veri setlerini gerçek zam

OpenSearch’te Kapsamlı Bir Dashboard Oluşturma Rehberi

OpenSearch, dağıtık bir arama ve analiz motoru olarak, büyük veri setlerini gerçek zamanlı olarak depolama, arama ve analiz etme yeteneği sunar. Bu verilerden anlamlı içgörüler elde etmenin en etkili yollarından biri ise dashboard’lar aracılığıyla görselleştirmedir. OpenSearch Dashboards (eski adıyla Kibana), bu verileri interaktif ve anlaşılır grafiklere dönüştürerek karar alma süreçlerini destekleyen güçlü bir araçtır. Bu makalede, OpenSearch Dashboards kullanarak sıfırdan kapsamlı bir dashboard oluşturmanın tüm adımlarını, en iyi uygulamaları ve gelişmiş özellikleri detaylı bir şekilde inceleyeceğiz.

OpenSearch ve OpenSearch Dashboards’a Genel Bakış

Veri analizi ve görselleştirmesi dünyasında OpenSearch ve onunla entegre çalışan OpenSearch Dashboards, güçlü bir ikili oluşturur. Bu bölüm, bu iki bileşenin temel işlevlerini ve neden bir arada kullanıldıklarını açıklamaktadır.

OpenSearch’in Temelleri

OpenSearch, Apache Lucene üzerine inşa edilmiş, açık kaynaklı, dağıtık bir arama ve analiz motorudur. Amazon tarafından Elasticsearch’in açık kaynak topluluğundan ayrılmasıyla geliştirilmiştir. Log analizi, uygulama performansı izleme (APM), güvenlik bilgileri ve olay yönetimi (SIEM), e-ticaret aramaları ve daha birçok kullanım senaryosu için idealdir. Temel özellikleri şunlardır:

* Dağıtık Mimari: Verileri birden fazla sunucuya (düğüme) dağıtarak ölçeklenebilirlik ve yüksek erişilebilirlik sağlar.
* Tam Metin Arama: Gelişmiş arama yetenekleri ile büyük metin tabanlı veri kümelerinde hızlı ve ilgili sonuçlar bulmayı mümkün kılar.
* Analitik Yetenekler: Toplama (aggregation) özellikleri sayesinde veriler üzerinde karmaşık analizler yapılmasına olanak tanır.
* Gerçek Zamanlı İşleme: Veriler indekslendiği anda aranabilir ve analiz edilebilir hale gelir.

OpenSearch Dashboards Nedir?

OpenSearch Dashboards, OpenSearch için geliştirilmiş bir veri görselleştirme ve yönetim aracıdır. Elasticsearch’in Kibana projesinin bir çatalı olarak, OpenSearch kümelerinde depolanan verileri keşfetmek, analiz etmek ve görselleştirmek için kullanıcı dostu bir arayüz sunar. Başlıca işlevleri şunlardır:

* Veri Keşfi (Discover): İndekslerdeki ham verileri sorgulama, filtreleme ve inceleme.
* Görselleştirme Oluşturma (Visualize): Çeşitli grafik ve tablolarla verileri görselleştirme (çubuk grafikler, pasta grafikler, çizgi grafikler, metrikler, haritalar vb.).
* Dashboard Oluşturma (Dashboard): Birden fazla görselleştirmeyi tek bir ekranda birleştirerek kapsamlı veri panoları oluşturma.
* Raporlama: Oluşturulan dashboard’ları PDF veya CSV formatında dışa aktarma.
* Yönetim (Management): İndeks kalıplarını, indeksleri ve diğer OpenSearch ayarlarını yönetme.

Neden OpenSearch Dashboards Kullanmalıyız?

OpenSearch Dashboards, verilerinizi anlamlandırmak ve bunlardan değer elde etmek için vazgeçilmez bir araçtır:

* Gerçek Zamanlı İzleme: Sistem performansını, uygulama loglarını veya iş metriklerini gerçek zamanlı olarak izlemenizi sağlar.
* Hızlı İçgörüler: Karmaşık veri kümelerindeki trendleri, anormallikleri ve kalıpları hızlıca görselleştirerek içgörüler elde etmenize yardımcı olur.
* Esneklik ve Özelleştirme: Çok çeşitli görselleştirme türleri ve özelleştirme seçenekleri sunar, böylece verilerinizi en uygun şekilde sunabilirsiniz.
* İş Birliği: Oluşturulan dashboard’lar kolayca paylaşılabilir, bu da ekip içinde veri odaklı kararlar alınmasını teşvik eder.
* Kullanıcı Dostu Arayüz: Teknik olmayan kullanıcıların bile verileri kolayca keşfetmesine ve görselleştirmeler oluşturmasına olanak tanır.

Ön Koşullar ve Veri Hazırlığı

Bir dashboard oluşturmaya başlamadan önce bazı temel ön koşulların yerine getirilmiş olması gerekir. Bu bölüm, gerekli ortamın hazırlanmasını ve veri içe aktarımını ele almaktadır.

OpenSearch ve OpenSearch Dashboards’un Çalışır Durumda Olması

Bu makale, OpenSearch ve OpenSearch Dashboards’un zaten kurulmuş ve çalışır durumda olduğunu varsaymaktadır. Eğer henüz kurmadıysanız, OpenSearch’in resmi dokümantasyonundan kurulum adımlarını takip edebilirsiniz. Genellikle, her iki bileşen de aynı makinede veya ayrı sunucularda Docker konteynerleri aracılığıyla veya doğrudan işletim sistemine kurulabilir. OpenSearch Dashboards’a genellikle http://localhost:5601 adresinden erişilir.

Veri İçe Aktarımı

Dashboard’ların anlamlı olabilmesi için analiz edilecek verilere ihtiyacımız var. OpenSearch’e veri aktarmanın birçok yolu vardır:

* Logstash: Çeşitli kaynaklardan (dosyalar, veritabanları, mesaj kuyrukları vb.) veri toplayıp işleyerek OpenSearch’e gönderen güçlü bir veri işleme boru hattıdır.
* Fluentd/Fluent Bit: Log ve olay verilerini toplamak için hafif ve esnek çözümler sunar.
* Filebeat/Metricbeat/Heartbeat: Elastic Stack’in “Beats” ailesi, sunuculardan, konteynerlerden ve hizmetlerden log, metrik ve uptime verilerini toplamak için özel olarak tasarlanmıştır.
* OpenSearch API’leri: Doğrudan REST API’leri aracılığıyla JSON formatında veri indeksleyebilirsiniz. Örneğin, Python’daki opensearch-py kütüphanesi veya curl komutu ile basitçe veri ekleyebilirsiniz.

Örnek Veri Seti: Bu makalede, bir web uygulamasının erişim loglarını veya bir e-ticaret sitesinin satış verilerini içeren bir veri setini kullandığımızı varsayalım. Bu veri seti, zaman damgası (@timestamp), HTTP durum kodu (status), isteğin yapıldığı URL (url), IP adresi (ip_address), kullanıcı adı (user), ürün kategorisi (category) ve satış miktarı (amount) gibi alanları içerebilir.

Index Oluşturma ve Veri Modelini Anlama

Veriler OpenSearch’e aktarıldığında, otomatik olarak veya sizin belirlediğiniz bir mapping (eşleme) ile bir indekste depolanır. Index (dizin), benzer özelliklere sahip belgelerin mantıksal bir koleksiyonudur. Örneğin, web_logs-2023-10-26 veya sales_data-* gibi indeksleriniz olabilir.

* Mapping (Eşleme): Bir indeks içindeki belgelerin alanlarını ve bu alanların veri tiplerini (metin, sayı, tarih, boolean, geo_point vb.) tanımlar. Doğru mapping, sorgu performansını ve görselleştirme yeteneklerini doğrudan etkiler.
* Zaman Damgası Alanı: Dashboard’larda zaman tabanlı analizler yapabilmek için her belgede bir zaman damgası alanı olması kritik öneme sahiptir. Genellikle bu alan @timestamp olarak adlandırılır.

Dashboard Oluşturma Adımları

Şimdi, OpenSearch Dashboards arayüzünü kullanarak adım adım bir dashboard oluşturma sürecine geçelim.

Adım 1: OpenSearch Dashboards Arayüzüne Erişim

Web tarayıcınızı açın ve OpenSearch Dashboards’un çalıştığı adrese gidin (varsayılan olarak http://localhost:5601). Giriş ekranı gelirse kullanıcı adı ve şifrenizi girerek oturum açın. Genellikle sol tarafta bir navigasyon menüsü bulunur.

Adım 2: Index Pattern (Dizin Kalıbı) Tanımlama

OpenSearch Dashboards’un hangi indekslerdeki verileri görselleştireceğini bilmesi için bir index pattern tanımlamanız gerekir.

1. Sol navigasyon menüsünden Management > Stack Management > Index Patterns yolunu izleyin.
2. Create index pattern düğmesine tıklayın.
3. Index pattern name alanına, verilerinizin bulunduğu indeksleri eşleştirecek bir kalıp girin. Örneğin, eğer loglarınız my_app_logs-YYYY.MM.DD formatında ise my_app_logs-* yazabilirsiniz. Eğer sadece tek bir indeksiniz varsa, doğrudan o indeksin adını yazın.
4. Next step düğmesine tıklayın.
5. Time Filter field name açılır menüsünden, belgelerinizdeki zaman damgası alanını seçin. Çoğu durumda bu @timestamp olacaktır. Bu alan, zaman tabanlı filtrelemeler ve görselleştirmeler için kullanılır. Eğer zaman damgası alanı yoksa veya seçmezseniz, bazı zaman tabanlı görselleştirmeler yapılamaz.
6. Create index pattern düğmesine tıklayarak işlemi tamamlayın.

Artık OpenSearch Dashboards, belirtilen indekslerdeki verileri tanıyor ve görselleştirmeye hazır.

Adım 3: Görselleştirme (Visualization) Oluşturma

Dashboard’lar, tek tek oluşturulmuş görselleştirmelerin bir araya getirilmesiyle oluşur. Şimdi birkaç farklı görselleştirme türü oluşturalım.

1. Sol navigasyon menüsünden Visualize bölümüne gidin.
2. Create visualization düğmesine tıklayın.
3. Karşınıza gelen listeden bir görselleştirme türü seçin. İşte en yaygın olanlar ve nasıl yapılandırılacakları:

* Çubuk Grafiği (Bar Chart): Belirli bir zaman aralığındaki olay sayısını veya kategorik verilerin dağılımını göstermek için idealdir.
* Seçim: Vertical bar veya Horizontal bar seçin.
* Index pattern: Oluşturduğunuz index pattern’i seçin.
* Metrics (Y-Axis): Genellikle Count (toplam belge sayısı) seçilir. Farklı bir metrik istiyorsanız (Average, Sum, Min, Max gibi), Aggregation açılır menüsünden seçip Field alanından ilgili sayısal alanı belirleyin (örneğin, Sum of amount için amount alanı).
* Buckets (X-Axis): Verileri nasıl gruplayacağınızı belirtir.
* Add > X-axis seçin.
* Aggregation: Date Histogram (zaman içinde trendleri görmek için) veya Terms (kategorik verileri gruplamak için, örneğin status.keyword veya category.keyword) seçin.
* Date Histogram için: Field olarak @timestamp‘i seçin ve Interval (aralık) olarak Auto, Daily, Hourly gibi bir değer belirleyin.
* Terms için: Field olarak ilgili kategorik alanı seçin (örn. status.keyword). Size (boyut) ile kaç farklı terimin gösterileceğini belirleyin.
* Apply changes düğmesine tıklayarak grafiği önizleyin.
* Save düğmesine tıklayarak görselleştirmeyi kaydedin. Anlamlı bir isim verin (örn. “HTTP Durum Kodları Dağılımı”).

* Pasta Grafiği (Pie Chart): Kategorik verilerin oransal dağılımını göstermek için kullanılır.
* Seçim: Pie seçin.
* Index pattern: Oluşturduğunuz index pattern’i seçin.
* Metrics: Genellikle Count seçilir.
* Buckets > Add > Split Slices:
* Aggregation: Terms seçin.
* Field: Oransal dağılımını görmek istediğiniz kategorik alanı seçin (örn. category.keyword).
* Size: Gösterilecek dilim sayısını belirleyin.
* Apply changes ve Save (örn. “Ürün Kategorilerine Göre Satış Oranları”).

* Satır Grafiği (Line Chart): Zaman içindeki trendleri ve değişimleri göstermek için idealdir.
* Seçim: Line seçin.
* Index pattern: Oluşturduğunuz index pattern’i seçin.
* Metrics (Y-Axis): Count veya Average, Sum gibi bir metrik seçin (örn. Sum of amount için amount).
* Buckets (X-Axis):
* Add > X-axis seçin.
* Aggregation: Date Histogram seçin.
* Field: @timestamp seçin ve uygun bir Interval belirleyin.
* İsteğe bağlı olarak, farklı serileri göstermek için Add > Split series kullanabilirsiniz (örn. Terms ile status.keyword alanına göre farklı HTTP durum kodlarının zaman içindeki trendini görmek).
* Apply changes ve Save (örn. “Günlük Satış Trendleri”).

* Metrik (Metric): Tek bir sayısal değeri büyük ve okunabilir bir şekilde göstermek için kullanılır (örn. toplam ziyaretçi sayısı, ortalama satış tutarı).
* Seçim: Metric seçin.
* Index pattern: Oluşturduğunuz index pattern’i seçin.
* Metrics: Count (toplam belge sayısı) veya Average, Sum, Max, Min gibi bir metrik seçin.
* Apply changes ve Save (örn. “Toplam Ziyaretçi Sayısı”).

* Veri Tablosu (Data Table): Ham verilerin veya özetlenmiş verilerin tablo formatında gösterilmesi için kullanılır.
* Seçim: Data Table seçin.
* Index pattern: Oluşturduğunuz index pattern’i seçin.
* Metrics: Count veya diğer metrikleri ekleyin.
* Buckets > Add > Split rows:
* Aggregation: Terms seçin.
* Field: Tabloda satır olarak görmek istediğiniz alanları seçin (örn. ip_address.keyword, url.keyword). Birden fazla Split rows ekleyerek iç içe gruplamalar yapabilirsiniz.
* Apply changes ve Save (örn. “En Çok Ziyaret Edilen Sayfalar”).

Her görselleştirmeyi oluşturduktan sonra, onu kaydedin. Dashboard’unuzda kullanmak üzere en az 3-5 farklı görselleştirme oluşturmanız önerilir.

Adım 4: Dashboard Oluşturma ve Görselleştirmeleri Ekleme

Şimdi sıra, oluşturduğumuz görselleştirmeleri bir araya getirerek bir dashboard oluşturmaya geldi.

1. Sol navigasyon menüsünden Dashboard bölümüne gidin.
2. Create dashboard düğmesine tıklayın.
3. Boş bir dashboard ekranı açılacaktır. Sağ üst köşedeki Add düğmesine tıklayın.
4. Açılan pencerede, daha önce kaydettiğiniz görselleştirmelerin bir listesini göreceksiniz. Eklemek istediğiniz görselleştirmelerin üzerine tıklayın. Her tıklamada, görselleştirme dashboard’a eklenecektir.
5. Görselleştirmeleri ekledikten sonra, Add penceresini kapatın.
6. Dashboard ekranında, görselleştirmeleri sürükle-bırak yöntemiyle istediğiniz konuma taşıyabilir ve köşelerinden çekerek boyutlarını değiştirebilirsiniz. Her görselleştirmenin kendi başlık çubuğu üzerinde düzenleme, kaldırma ve filtreleme seçenekleri bulunur.
7. Dashboard’unuzun sağ üst köşesindeki Save düğmesine tıklayın. Anlamlı bir isim verin (örn. “Web Uygulaması İzleme Paneli” veya “Satış Performansı Dashboard’u”).

Tebrikler! İlk OpenSearch Dashboards’unuzu oluşturdunuz. Artık bu dashboard’u kullanarak verilerinizi keşfedebilir ve izleyebilirsiniz.

Gelişmiş Dashboard Özellikleri

OpenSearch Dashboards, temel görselleştirme ve dashboard oluşturmanın ötesinde, daha derinlemesine analizler yapmanızı sağlayan birçok gelişmiş özellik sunar.

Zaman Filtreleri (Time Filters)

Dashboard’unuzdaki verilerin hangi zaman aralığına ait olduğunu belirlemek için zaman filtrelerini kullanırsınız. Sağ üst köşedeki zaman seçici, en sık kullanılan araçlardan biridir.

* Göreceli Zaman (Relative Time): “Son 15 dakika”, “Son 24 saat”, “Bugün”, “Bu hafta” gibi dinamik zaman aralıkları.
* Mutlak Zaman (Absolute Time): Belirli bir başlangıç ve bitiş tarihi/saati seçerek kesin bir zaman aralığı belirleme.
* Otomatik Yenileme (Auto-refresh): Belirli aralıklarla (örn. her 5 saniyede bir) dashboard’unuzu otomatik olarak yenileyerek gerçek zamanlı izleme sağlar.

Sorgu Çubuğu (Query Bar)

Dashboard’unuzun üst kısmında bulunan sorgu çubuğu, verileri filtrelemek için güçlü bir araçtır.

* Lucene Sorgu Sözdizimi: status:200 AND url:"/login" gibi karmaşık sorgular yazmanıza olanak tanır.
* KQL (Kibana Query Language): Lucene’e göre daha kullanıcı dostu bir sorgu dilidir. Otomatik tamamlama özelliği ile alan adlarını ve değerleri kolayca seçebilirsiniz (örn. status : 200 veya category : "Electronics").
* Sorgu çubuğuna yazdığınız her şey, dashboard’daki tüm görselleştirmelere uygulanır.

Filtreler (Filters)

Sorgu çubuğunun altında veya görselleştirmelerden doğrudan oluşturulabilen filtreler, verileri belirli kriterlere göre daraltmak için kullanılır.

* Alan Bazlı Filtreler: status is 200, category is not "Books", amount > 100 gibi filtreler ekleyebilirsiniz.
* Filtreleri Sabitleme (Pinning): Bir filtreyi sabitlediğinizde, zaman aralığı değişse bile o filtre aktif kalır.
* Filtreleri Etkinleştirme/Devre Dışı Bırakma: Filtreleri geçici olarak kapatıp açabilirsiniz.

Drill-down Yetenekleri

OpenSearch Dashboards, görselleştirmelerden daha detaylı bilgilere ulaşmanızı sağlayan drill-down özelliklerini destekler.

* Discover Sayfasına Geçiş: Bir görselleştirmedeki bir veri noktasına tıklayarak, o veri noktasına karşılık gelen ham verileri Discover sayfasında görüntüleyebilirsiniz.
* Diğer Dashboard’lara Bağlantılar: Gelişmiş seçeneklerle, bir görselleştirmedeki bir öğeye tıklandığında başka bir dashboard’a yönlendirme yapabilirsiniz. Bu, daha spesifik analizler için hiyerarşik dashboard yapıları oluşturmanıza olanak tanır.

Gömme (Embedding)

Oluşturduğunuz dashboard’ları harici web sitelerine veya uygulamalara gömebilirsiniz.

* IFrame: Dashboard’u bir