Ubuntu 18.04 Üzerine ClickHouse Kurulumu ve Kullanımı

Büyük veri kümeleriyle çalışırken, geleneksel ilişkisel veritabanı yönetim sistemleri (RDBMS) genellikle performans sınırlarına ulaşır. Özellikle analitik sorgular, raporlama ve gerçek zamanlı veri işleme gibi senaryolarda, sütun tabanlı veritabanları önemli avantajlar sunar. Bu bağlamda, Yandex tarafından geliştirilen ve açık kaynak olarak sunulan ClickHouse, yüksek performanslı analitik sorgular için tasarlanmış, sütun tabanlı bir OLAP (Online Analytical Processing) veritabanıdır. Bu makalede, Ubuntu 18.04 işletim sistemi üzerine ClickHouse’un nasıl kurulacağını, temel yapılandırmalarını ve nasıl kullanılacağını adım adım inceleyeceğiz.

ClickHouse Nedir?

ClickHouse, büyük veri kümeleri üzerinde ultra hızlı analitik sorgular gerçekleştirmek için özel olarak tasarlanmış, açık kaynaklı, sütun tabanlı bir veritabanı yönetim sistemidir. Geleneksel satır tabanlı veritabanlarının aksine, ClickHouse verileri sütunlar halinde depolar. Bu yaklaşım, analitik sorgularda yalnızca ilgili sütunların okunmasını sağlayarak disk I/O’sunu minimize eder ve sorgu performansını dramatik şekilde artırır. Özellikle petabaytlarca veriye sahip sistemlerde milisaniyeler içinde sonuçlar döndürebilme yeteneğiyle öne çıkar.

ClickHouse’un temel özellikleri şunlardır:

Sütun Tabanlı Depolama: Verileri sütunlar halinde depolar, bu da analitik sorgularda yüksek sıkıştırma oranları ve hızlı okuma performansı sağlar.
Yüksek Performans: Paralel işleme, vektörleştirilmiş sorgu yürütme ve gelişmiş indeksleme teknikleri sayesinde olağanüstü sorgu hızları sunar.
Ölçeklenebilirlik: Yatay ölçeklenebilirliği destekler. Verileri birden fazla sunucuya (sharding) dağıtabilir ve replikasyon ile yüksek erişilebilirlik sağlayabilir.
SQL Uyumluluğu: Standart SQL’e yakın bir sorgu dili kullanır, bu da mevcut SQL bilgisine sahip geliştiriciler için öğrenme eğrisini azaltır.
Çeşitli Veri Tipleri: Sayısal, metin, tarih/saat, dizi, iç içe yapılar gibi zengin veri tiplerini destekler.
Gerçek Zamanlı İşleme: Verileri anında alabilir ve sorgulayabilir, bu da gerçek zamanlı analitik uygulamalar için idealdir.
Esneklik: Farklı tablo motorları (MergeTree ailesi, Log ailesi vb.) sunar, her biri belirli kullanım durumları için optimize edilmiştir.
Açık Kaynak: Apache 2.0 lisansı altında açık kaynaklıdır, geniş bir topluluk desteğine sahiptir.

ClickHouse, genellikle web analizi, uygulama performansı izleme, ağ trafiği analizi, IoT veri işleme, finansal veri analizi gibi alanlarda kullanılır. Büyük ölçekli olay günlüklerini, metrikleri veya işlem verilerini analiz etmek isteyen her türlü işletme için güçlü bir araçtır.

Neden Ubuntu 18.04?

Ubuntu 18.04 LTS (Bionic Beaver), uzun süreli destek (Long Term Support) sunan popüler ve kararlı bir Linux dağıtımıdır. Kurulum ve yapılandırma kolaylığı, geniş paket deposu ve güçlü topluluk desteği sayesinde sunucu ortamlarında yaygın olarak tercih edilir. ClickHouse, birçok Linux dağıtımında çalışabilse de, Ubuntu 18.04, kararlı bir üretim ortamı kurmak için mükemmel bir seçimdir. Bu makaledeki adımlar, bu özel sürüm için optimize edilmiştir, ancak benzer adımlar diğer Debian tabanlı sistemlerde de uygulanabilir.

Sistem Gereksinimleri

ClickHouse’un performansı büyük ölçüde donanım kaynaklarına bağlıdır. Özellikle büyük veri kümeleriyle çalışırken, yeterli kaynak sağlamak kritik öneme sahiptir.

İşletim Sistemi: Ubuntu 18.04 LTS (64-bit)
CPU: Çekirdek sayısı ne kadar fazlaysa, paralel sorgu işleme o kadar verimli olur. En az 2-4 çekirdek önerilir, üretim ortamları için daha fazlası tercih edilir.
RAM: ClickHouse, verileri önbelleğe almak ve sorguları işlemek için belleği yoğun bir şekilde kullanır. En az 8 GB RAM önerilir, ancak işlenecek veri boyutuna ve sorgu karmaşıklığına bağlı olarak 32 GB veya daha fazlası gerekebilir.
Disk: Yüksek hızlı depolama (NVMe SSD veya SAS SSD) şiddetle tavsiye edilir. Geleneksel HDD’ler, ClickHouse’un okuma performansını önemli ölçüde düşürebilir. Disk alanı, depolanacak veri miktarına göre belirlenmelidir. ClickHouse’un yüksek sıkıştırma oranları sayesinde, disk alanı ihtiyacı tahmin edilenden daha az olabilir.
Ağ: Yüksek bant genişliğine sahip bir ağ bağlantısı, özellikle dağıtık sistemlerde veya büyük veri yüklemelerinde önemlidir.

Bu makaledeki kurulum, minimum gereksinimleri karşılayan bir sanal makine veya bulut sunucusu üzerinde de çalışacaktır, ancak üretim ortamları için yukarıdaki öneriler dikkate alınmalıdır.

Kurulum Öncesi Hazırlıklar

ClickHouse kurulumuna başlamadan önce sistemin güncel olduğundan ve gerekli ön koşulların yerine getirildiğinden emin olmalıyız.

Sistemi Güncelleme

Öncelikle sunucunuzdaki paket listelerini güncelleyelim ve mevcut paketleri yükseltelim. Bu, olası bağımlılık sorunlarını önlemeye yardımcı olacaktır.

sudo apt update
sudo apt upgrade -y

Gerekli Bağımlılıkları Kurma

ClickHouse’un düzgün çalışması için bazı temel araçlara ve kütüphanelere ihtiyacımız olabilir. apt-transport-https paketi, HTTPS üzerinden paket depolarına erişim için gereklidir.

sudo apt install -y apt-transport-https ca-certificates dirmngr

Güvenlik Duvarı Yapılandırması (UFW)

Eğer sunucunuzda UFW (Uncomplicated Firewall) etkinse, ClickHouse’un varsayılan portlarını açmanız gerekebilir. ClickHouse, varsayılan olarak iki ana port kullanır:

8123/TCP: HTTP/HTTPS istemci bağlantıları için (örneğin, tarayıcı veya HTTP API üzerinden erişim).
9000/TCP: TCP istemci bağlantıları için (clickhouse-client ve diğer sürücüler tarafından kullanılır).

Bu portları açmak için aşağıdaki komutları kullanın:

sudo ufw allow 8123/tcp
sudo ufw allow 9000/tcp
sudo ufw enable # Eğer UFW etkin değilse etkinleştirin
sudo ufw status # Güvenlik duvarı durumunu kontrol edin

Eğer ClickHouse’a sadece belirli IP adreslerinden erişilmesini istiyorsanız, sudo ufw allow from [IP_ADRESI] to any port 8123 ve sudo ufw allow from [IP_ADRESI] to any port 9000 gibi daha spesifik kurallar tanımlayabilirsiniz.

ClickHouse Kurulumu

ClickHouse’u Ubuntu 18.04 üzerine kurmanın en kolay yolu, resmi ClickHouse deposunu APT paket yöneticisine eklemektir. Bu, ClickHouse’un en güncel ve kararlı sürümünü yüklemenizi sağlar ve gelecekteki güncellemeleri kolaylaştırır.

Resmi ClickHouse Deposu Ekleme

Öncelikle ClickHouse GPG anahtarını sisteminize eklemelisiniz. Bu, indirdiğiniz paketlerin orijinalliğini doğrulamak için kullanılır.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4
Alternatif olarak, eğer yukarıdaki komut başarısız olursa:
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys E0C56BD4

Şimdi ClickHouse deposunu APT kaynak listenize ekleyin:

echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list

Depoyu ekledikten sonra, APT paket listelerinizi tekrar güncelleyin:

sudo apt update

ClickHouse Sunucu ve İstemcisini Kurma

Artık ClickHouse sunucu ve istemci paketlerini yükleyebilirsiniz. clickhouse-server ana veritabanı sunucusunu içerirken, clickhouse-client veritabanına bağlanmak ve sorgular çalıştırmak için kullanılan komut satırı arayüzüdür.

sudo apt install -y clickhouse-server clickhouse-client

Kurulum sırasında ClickHouse, varsayılan yapılandırma dosyalarını oluşturacak ve sunucu servisini başlatacaktır.

Kurulumu Doğrulama

ClickHouse sunucusunun başarıyla çalıştığını doğrulamak için systemctl komutunu kullanabilirsiniz:

sudo systemctl status clickhouse-server

Çıktıda active (running) ifadesini görmelisiniz. Eğer sunucu çalışmıyorsa, sudo systemctl start clickhouse-server komutuyla başlatmayı deneyebilirsiniz. Hataları kontrol etmek için sudo journalctl -u clickhouse-server komutunu kullanabilirsiniz.

ClickHouse Yapılandırması

ClickHouse’un ana yapılandırma dosyaları /etc/clickhouse-server/ dizininde bulunur. Bu dosyalar, sunucunun davranışını, ağ ayarlarını, güvenlik politikalarını ve depolama yollarını kontrol etmenizi sağlar.

Ana Yapılandırma Dosyaları

/etc/clickhouse-server/config.xml: Bu dosya, sunucunun temel ayarlarını (örneğin, dinleme portları, veri ve günlük dizinleri, güvenlik duvarı kuralları) içerir. Çoğu sunucu düzeyindeki yapılandırma bu dosyada yapılır.
/etc/clickhouse-server/users.xml: Kullanıcı hesapları, şifreler, izinler ve profiller bu dosyada tanımlanır. Güvenlik için önemli bir dosyadır.
/etc/clickhouse-server/config.d/ ve /etc/clickhouse-server/users.d/: Bu dizinler, ana config.xml ve users.xml dosyalarına ek yapılandırma parçacıkları eklemek için kullanılır. Bu yaklaşım, ana dosyaları değiştirmeden yapılandırma yapmanızı sağlar ve güncellemeler sırasında çakışmaları önler.

Güvenlik Ayarları

Varsayılan olarak, ClickHouse sunucusu sadece localhost’tan gelen bağlantıları dinler. Uzak erişime izin vermek için config.xml dosyasını düzenlemeniz gerekir.

sudo nano /etc/clickhouse-server/config.xml

Dosyada :: veya 0.0.0.0 satırını bulup yorum satırı olmaktan çıkarın (veya ekleyin). Bu, ClickHouse’un tüm ağ arayüzlerinden gelen bağlantıları dinlemesini sağlar.

::

Değişiklikleri kaydettikten sonra ClickHouse servisini yeniden başlatın:

sudo systemctl restart clickhouse-server

Kullanıcı Yönetimi: Varsayılan olarak, ClickHouse’un default kullanıcısı şifresizdir. Üretim ortamlarında bu kullanıcıya güçlü bir şifre atamak veya yeni, yetkilendirilmiş kullanıcılar oluşturmak çok önemlidir. users.xml dosyasını düzenleyerek kullanıcı şifrelerini ve izinlerini ayarlayabilirsiniz.

sudo nano /etc/clickhouse-server/users.xml

default kullanıcısı için etiketini ekleyin:

    
        
            your_strong_password
            
                ::/0
            
            default
            default

Yeni bir kullanıcı oluşturmak için, etiketi altına başka bir kullanıcı bloğu ekleyebilirsiniz. Örneğin:

        
            my_strong_user_password
            
                ::/0
            
            default
            default

Yine, değişikliklerden sonra ClickHouse servisini yeniden başlatmayı unutmayın.

Performans Ayarları

ClickHouse, varsayılan olarak iyi performans gösterse de, özel kullanım durumunuza göre bazı ayarları optimize etmek performansı daha da artırabilir. config.xml içinde max_memory_usage, max_threads, min_bytes_to_use_direct_io gibi parametreler bulunur. Bu ayarlar, sunucunun belleği, CPU çekirdeklerini ve disk I/O’yu nasıl kullanacağını kontrol eder. Genellikle, bu ayarları değiştirmeden önce ClickHouse belgelerini detaylıca incelemek ve testler yapmak önemlidir.

ClickHouse Kullanımı

ClickHouse sunucusu çalışır durumda ve yapılandırılmış olduğuna göre, şimdi onunla etkileşime geçebilir ve veri işlemlerini gerçekleştirebiliriz.

ClickHouse İstemcisi ile Bağlanma

clickhouse-client, komut satırından ClickHouse’a bağlanmak için kullanılan bir araçtır. Eğer default kullanıcısına şifre atadıysanız veya yeni bir kullanıcı oluşturduysanız, bağlantı sırasında kimlik bilgilerini sağlamanız gerekecektir.

clickhouse-client --user default --password your_strong_password

Eğer varsayılan kullanıcıya şifre atamadıysanız veya yerel bağlantı kuruyorsanız, sadece clickhouse-client komutunu kullanabilirsiniz.

Başarılı bir bağlantıdan sonra, ClickHouse istemci komut istemini göreceksiniz:

ClickHouse client is successfully connected.
>

Veritabanı Oluşturma

Verileri depolamak için bir veritabanı oluşturmanız gerekir. Örneğin, my_database adında bir veritabanı oluşturalım:

CREATE DATABASE my_database;

Oluşturulan veritabanlarını listelemek için:

SHOW DATABASES;

Şimdi bu veritabanını kullanmak üzere seçebiliriz:

USE my_database;

Tablo Oluşturma

ClickHouse’un en önemli özelliklerinden biri, çeşitli tablo motorlarıdır. En yaygın ve önerilen motor, özellikle analitik sorgular için optimize edilmiş olan MergeTree ailesidir. Bu motor, verileri parçalara (parts) böler, sıralı depolama sağlar ve hızlı veri ekleme/sorgulama için tasarlanmıştır.

Örnek olarak, web sitesi ziyaretlerini depolayacak bir tablo oluşturalım:

CREATE TABLE website_visits (
    timestamp DateTime,
    user_id UInt64,
    page_url String,
    duration_ms UInt32,
    ip_address String
) ENGINE = MergeTree()
ORDER BY (timestamp, user_id);

Bu örnekte:

timestamp, DateTime tipinde bir sütundur.
user_id, UInt64 (işaretsiz 64-bit tamsayı) tipindedir.
page_url ve ip_address, String (değişken uzunlukta metin) tipindedir.
duration_ms, UInt32 tipindedir.
ENGINE = MergeTree(): Tablo motorunu belirtir.
ORDER BY (timestamp, user_id): Verilerin diskte timestamp ve ardından user_id sütunlarına göre sıralanacağını belirtir. Bu, birincil anahtar (primary key) gibi davranır ve sorgu performansını büyük ölçüde etkiler.

Tabloları listelemek için:

SHOW TABLES;

Bir tablonun yapısını görmek için:

DESCRIBE TABLE website_visits;

Veri Ekleme

Tabloya veri eklemek için INSERT INTO komutunu kullanırız. ClickHouse, toplu (batch) veri eklemeleri için optimize edilmiştir, bu nedenle tek tek satır eklemek yerine mümkün olduğunca çok satırı tek bir sorguda eklemek daha verimlidir.

INSERT INTO website_visits (timestamp, user_id, page_url, duration_ms, ip_address) VALUES
    ('2023-10-26 10:00:00', 101, '/home', 1500, '192.168.1.10'),
    ('2023-10-26 10:01:30', 102, '/products/item-a', 3000, '192.168.1.11'),
    ('2023-10-26 10:02:15', 101, '/products/item-b', 2200, '192.168.1.10'),
    ('2023-10-26 10:03:40', 103, '/about', 800, '192.168.1.12');

Veri Sorgulama

Verileri sorgulamak için standart SQL SELECT ifadelerini kullanırız. ClickHouse, gruplama, filtreleme, sıralama ve limitlendirme gibi birçok gelişmiş analitik fonksiyonu destekler.

Tüm verileri seçme:

SELECT * FROM website_visits LIMIT 5;

Belirli bir kullanıcıya ait ziyaretleri filtreleme:

SELECT * FROM website_visits WHERE user_id = 101;

Belirli bir sayfayı ziyaret eden kullanıcı sayısını bulma:

SELECT page_url, COUNT(DISTINCT user_id) AS unique_visitors
FROM website_visits
GROUP BY page_url
ORDER BY unique_visitors DESC;

Ortalama ziyaret süresini hesaplama:

SELECT AVG(duration_ms) FROM website_visits;

Belirli bir zaman aralığındaki toplam ziyaret sayısını bulma:

SELECT COUNT() FROM website_visits
WHERE timestamp BETWEEN '2023-10-26 10:00:00' AND '2023-10-26 10:02:00';

Veri Silme ve Güncelleme (MergeTree Motoru İçin)

ClickHouse, özellikle MergeTree motoru ile, geleneksel veritabanlarındaki gibi satır bazında DELETE ve UPDATE işlemlerini verimli bir şekilde desteklemez. Bunun nedeni, sütun tabanlı depolamanın ve veri sıkıştırmasının bu tür işlemleri maliyetli hale getirmesidir. Ancak, ClickHouse bu tür ihtiyaçlar için ALTER TABLE ... DELETE ve ALTER TABLE ... UPDATE komutlarını sunar. Bu komutlar, eşzamansız olarak ve belirli bir koşulu karşılayan tüm satırları silerek veya güncelleyerek çalışır. Genellikle, bu işlemler büyük veri bloklarını etkiler ve anında gerçekleşmeyebilir.

Örneğin, belirli bir user_id‘ye ait tüm kayıtları silmek:

ALTER TABLE website_visits DELETE WHERE user_id = 103;

Bir sütundaki değeri güncellemek:

ALTER TABLE website_visits UPDATE duration_ms = 2000 WHERE user_id = 101 AND page_url = '/home';

Bu işlemlerin tamamlanıp tamamlanmadığını system.mutations tablosundan kontrol edebilirsiniz.

Analitik veritabanlarında yaygın bir yaklaşım, verileri silmek veya güncellemek yerine, yeni bir durumla birlikte yeni kayıtlar eklemek ve sorgularda en son durumu filtrelemektir. Veya, belirli bir zaman aralığından eski verileri periyodik olarak tamamen silmek için partition (bölüm) silme mekanizmalarını kullanmaktır.

Dizinler (Indexes)

MergeTree tablolarında, ORDER BY ifadesinde belirtilen sütunlar birincil dizin (primary index) görevi görür. Bu dizin, verilerin diskte sıralanmasını sağlar ve sorgularda WHERE veya ORDER BY yan tümcelerinde kullanılan bu sütunlar için hızlı veri erişimi sağlar. ClickHouse ayrıca, belirli sorgu tiplerini hızlandırmak için ikincil dizinler (secondary indexes veya data skipping indexes) oluşturmanıza da olanak tanır. Örneğin:

ALTER TABLE website_visits ADD INDEX ip_idx (ip_address) TYPE bloom_filter GRANULARITY 1;

Bu, ip_address sütunu üzerinde bir Bloom filtresi dizini oluşturur. Bloom filtreleri, belirli bir değerin bir veri bloğunda olup olmadığını hızlıca kontrol etmek için kullanışlıdır, ancak kesin sonuçlar döndürmezler (yanlış pozitifler olabilir). Diğer dizin tipleri de mevcuttur.

Görünümler (Views)

ClickHouse, SQL görünümlerini (VIEW) destekler. Görünümler, karmaşık sorguları basitleştirmek ve veri erişimini soyutlamak için kullanılabilir. İki tür görünüm vardır:

Normal Görünümler: Temel bir SELECT sorgusunun sonucunu temsil eder. Sorgulandığında her seferinde yeniden hesaplanır.
Materialized Görünümler (Somutlaştırılmış Görünümler): Temel tablodaki veriler değiştiğinde otomatik olarak güncellenen, fiziksel olarak depolanan bir sorgu sonucudur. Özellikle sıkça sorgulanan özet verileri veya agregasyonları önceden hesaplamak için çok faydalıdır.

Normal görünüm örneği:

CREATE VIEW daily_unique_visitors AS
SELECT toDate(timestamp) AS visit_date, COUNT(DISTINCT user_id) AS unique_users
FROM website_visits
GROUP BY visit_date
ORDER BY visit_date;

Materialized görünüm örneği (daha karmaşık, ayrı bir hedef tablo gerektirir):

CREATE TABLE daily_stats (
    visit_date Date,
    total_visits UInt64,
    unique_visitors UInt64
) ENGINE = SummingMergeTree(visit_date)
ORDER BY visit_date;

CREATE MATERIALIZED VIEW daily_stats_mv TO daily_stats AS
SELECT
    toDate(timestamp) AS visit_date,
    COUNT() AS total_visits,
    COUNT(DISTINCT user_id) AS unique_visitors
FROM website_visits
GROUP BY visit_date;

ClickHouse Fonksiyonları ve Özellikleri

ClickHouse, analitik sorgular için zengin bir fonksiyon setine sahiptir. Bunlar arasında matematiksel fonksiyonlar, tarih/saat fonksiyonları, string fonksiyonları, dizi fonksiyonları, koşullu fonksiyonlar ve gelişmiş agregasyon fonksiyonları bulunur.

Agregasyon Fonksiyonları: count(), sum(), avg(), min(), max(), uniq(), quantile(), groupArray() gibi birçok fonksiyon.
Tarih/Saat Fonksiyonları: toDate(), toStartOfDay(), toHour(), now(), formatDateTime() gibi zaman serisi analizleri için kritik fonksiyonlar.
Dizi Fonksiyonları: arrayElement(), arrayJoin(), has(), arrayFilter() gibi dizi veri tipleriyle çalışmak için fonksiyonlar.
Sorgu Optimizasyonları: ClickHouse, sorguları otomatik olarak optimize etmek için gelişmiş algoritmalar kullanır. Örneğin, PREWHERE anahtar kelimesi, filtrelemeyi mümkün olduğunca erken aşamalarda yaparak performansı artırabilir.
Veri Sıkıştırma: Verileri diskte depolarken yüksek sıkıştırma oranları kullanarak disk alanından tasarruf sağlar ve okuma performansını artırır.
Replikasyon ve Sharding: Üretim ortamlarında yüksek erişilebilirlik ve yatay ölçeklenebilirlik sağlamak için ClickHouse, ZooKeeper veya ClickHouse Keeper kullanarak veri replikasyonunu ve sharding’i destekler. Bu sayede veriler birden fazla sunucuya dağıtılır ve bir sunucu hatasında veri kaybı önlenir.

Bakım ve İzleme

ClickHouse sunucunuzun sağlığını ve performansını izlemek, sorunları erken tespit etmek için önemlidir.

Log Dosyaları

ClickHouse, operasyonel bilgileri ve hataları log dosyalarına yazar. Varsayılan olarak, bu dosyalar /var/log/clickhouse-server/ dizininde bulunur.

clickhouse-server.log: Ana sunucu günlükleri.
clickhouse-server.err.log: Hata günlükleri.
clickhouse-server.trace.log: Daha detaylı izleme bilgileri (genellikle hata ayıklama için kullanılır).

Bu log dosyalarını düzenli olarak kontrol etmek, sunucu sorunlarını teşhis etmek için kritik öneme sahiptir.

Performans İzleme

ClickHouse, dahili system veritabanında birçok tablo aracılığıyla sunucu metriklerini ve performans bilgilerini sunar:

system.metrics: Anlık sunucu metrikleri (CPU kullanımı, bellek, disk I/O vb.).
system.events: Sunucuda gerçekleşen olayların sayısı (sorgu sayısı, hata sayısı vb.).
system.processes: Şu anda çalışan sorguların listesi.
system.query_log: Tamamlanmış sorguların geçmişi ve performans detayları.

Örneğin, çalışan sorguları görmek için:

SELECT query_id, query, elapsed, query_duration_ms FROM system.processes;

Bu tablolar, sunucu performansını anlamak ve darboğazları tespit etmek için paha biçilmez bilgiler sağlar. Prometheus, Grafana gibi izleme araçları ile entegrasyon için de kullanılabilirler.

Sık Karşılaşılan Sorunlar ve Çözümleri

ClickHouse Sunucusu Başlamıyor:
- Log dosyalarını kontrol edin (/var/log/clickhouse-server/clickhouse-server.err.log).
- Yapılandırma dosyalarında (config.xml, users.xml) sözdizimi hatası olup olmadığını kontrol edin.
- Portların başka bir servis tarafından kullanılıp kullanılmadığını kontrol edin (sudo netstat -tulnp | grep 8123).
- Yeterli disk alanı olup olmadığını kontrol edin.
Uzak Bağlantı Yapılamıyor:
- config.xml dosyasında :: veya 0.0.0.0 ayarının etkin olduğundan emin olun.
- Güvenlik duvarında (UFW veya bulut sağlayıcınızın güvenlik grubu) 8123 ve 9000 portlarının açık olduğundan emin olun.
- Kullanıcı adı ve şifrenin doğru olduğundan emin olun (users.xml).
Sorgular Yavaş Çalışıyor:
- ORDER BY anahtarının tablo tanımında doğru ayarlandığından ve sorgularda kullanıldığından emin olun.
- Yeterli RAM ve CPU kaynağı olduğundan emin olun.
- Disk I/O performansını kontrol edin (SSD kullanılıyor mu?).
- Sorgu planını inceleyin ve gereksiz tam tablo taramalarından kaçının.
- system.query_log tablosundaki yavaş sorguları analiz edin.
Disk Alanı Doluyor:
- Veri sıkıştırmanın etkin olduğundan emin olun (MergeTree varsayılan olarak sıkıştırma kullanır).
- Gereksiz eski verileri düzenli olarak temizlemek için TTL (Time-To-Live) politikalarını veya bölüm silme işlemlerini kullanın.
- ALTER TABLE ... DROP PARTITION komutuyla belirli bölümleri silebilirsiniz.

Sonuç

Bu makalede, Ubuntu 18.04 işletim sistemi üzerine ClickHouse’un kurulumunu, temel yapılandırmalarını ve kullanımını ayrıntılı bir şekilde ele aldık. ClickHouse, büyük ölçekli analitik veri işleme ihtiyaçları için güçlü, hızlı ve ölçeklenebilir bir çözümdür. Sütun tabanlı mimarisi, gelişmiş indeksleme yetenekleri ve zengin SQL desteği sayesinde, terabaytlarca hatta petabaytlarca veri üzerinde milisaniyeler içinde sorgu sonuçları elde etmenizi sağlar.

Kurulum öncesi hazırlıklardan başlayarak, ClickHouse deposunu ekleme, sunucu ve istemciyi kurma, temel güvenlik ve ağ yapılandırmalarını yapma adımlarını gösterdik. Ayrıca, veritabanı ve tablo oluşturma, veri ekleme, sorgulama ve MergeTree motorunun temel prensipleri gibi pratik kullanım senaryolarını da inceledik. Son olarak, bakım, izleme ve sık karşılaşılan sorunlara yönelik çözüm önerileri sunduk.

ClickHouse’un potansiyelini tam olarak kullanmak için, tablo motorları, veri tipleri, gelişmiş fonksiyonlar, replikasyon ve sharding gibi konuları daha derinlemesine araştırmanız önerilir. Ancak bu makaledeki bilgiler, ClickHouse ile çalışmaya başlamak için sağlam bir temel oluşturmaktadır. Büyük veri analizi dünyasına adım atarken ClickHouse’un sunduğu performanstan ve esneklikten faydalanarak projelerinizde önemli başarılar elde edebilirsiniz.

Ubuntu 18.04 Üzerine ClickHouse Kurulumu ve Kullanımı