Ubuntu 16.04 Üzerine Hadoop'u Stand-Alone Modda Kurulum Rehberi

Ubuntu 16.04 Üzerine Hadoop’u Stand-Alone Modda Kurulum Rehberi

Giriş

Büyük veri (Big Data) dünyasında en popüler ve yaygın kullanılan çerçevelerden biri olan Apache Hadoop, dağıtık depolama ve büyük veri kümelerinin işlenmesi için güçlü bir platform sunar. Hadoop’un temel mimarisi, HDFS (Hadoop Distributed File System) ve YARN (Yet Another Resource Negotiator) gibi bileşenleri içerir. HDFS, verileri birden çok makineye dağıtarak güvenilirlik ve yüksek erişilebilirlik sağlarken, YARN, küme kaynaklarını yönetir ve veri işleme uygulamalarını (örneğin MapReduce) çalıştırır.

Hadoop’u kullanmaya başlamak isteyenler veya küçük ölçekli testler yapmak isteyen geliştiriciler için, Hadoop’u tek bir makine üzerinde “Stand-Alone Modda” kurmak oldukça pratik bir yöntemdir. Stand-Alone mod, Hadoop’un varsayılan çalışma modudur ve tüm Hadoop bileşenlerinin tek bir JVM (Java Virtual Machine) içinde çalıştığı anlamına gelir. Bu mod, dağıtık dosya sistemi veya kaynak yönetimi gerektirmeyen, tamamen yerel bir dosya sistemi üzerinde çalışan MapReduce programları için idealdir. Genellikle öğrenme, hata ayıklama ve geliştirme amaçlı kullanılır.

Bu kapsamlı rehberde, Ubuntu 16.04 işletim sistemi üzerine Apache Hadoop’u Stand-Alone modda adım adım nasıl kuracağınızı detaylı bir şekilde anlatacağız. Kurulum süreci, gerekli ön koşulların hazırlanmasından, Hadoop’un indirilip yapılandırılmasına ve örnek bir MapReduce işinin çalıştırılmasına kadar tüm adımları içerecektir.

Ön Gereksinimler

Hadoop kurulumuna başlamadan önce, sisteminizin belirli gereksinimleri karşıladığından emin olmanız önemlidir. Bu adımlar, sorunsuz bir kurulum deneyimi için temel oluşturacaktır.

Ubuntu 16.04 İşletim Sistemi

Bu rehber, Ubuntu 16.04 LTS (Long Term Support) sürümü için özel olarak hazırlanmıştır. Farklı Ubuntu sürümlerinde veya diğer Linux dağıtımlarında benzer adımlar izlenebilir, ancak bazı komutlar veya paket adları farklılık gösterebilir. Bir sanal makine (VMware, VirtualBox) veya fiziksel bir makine kullanabilirsiniz.

İnternet Bağlantısı

Gerekli paketleri ve Hadoop dosyalarını indirmek için aktif bir internet bağlantısı gereklidir.

Sudo Yetkileri

Kurulum sırasında sistem düzeyinde değişiklikler yapılması gerekeceğinden, sudo komutunu kullanma yetkisine sahip bir kullanıcı hesabınız olmalıdır. Genellikle, kurulumu gerçekleştiren kullanıcının zaten bu yetkilere sahip olduğu varsayılır.

Temel Linux Komut Bilgisi

Terminal üzerinde temel dosya sistemi navigasyonu (cd, ls), dosya düzenleme (nano, vi veya gedit), paket yönetimi (apt) gibi komutlara aşina olmanız beklenir.

Java Geliştirme Kiti (JDK) Kurulumu

Hadoop, Java ile yazılmıştır ve çalışmak için bir Java Runtime Environment (JRE) veya bir Java Development Kit (JDK) gerektirir. Geliştirme ve daha ileri düzey Hadoop bileşenleri için JDK tercih edilir. Ubuntu 16.04 için OpenJDK 8 en uygun ve kararlı sürümlerden biridir.

Sistem Paketlerini Güncelleme

Öncelikle, sisteminizdeki paket listesini güncelleyelim ve mevcut paketleri yükseltelim:

sudo apt update
sudo apt upgrade -y

OpenJDK 8 Kurulumu

Aşağıdaki komutla OpenJDK 8’i kurabilirsiniz:

sudo apt install openjdk-8-jdk -y

Kurulum tamamlandıktan sonra, Java sürümünü doğrulayarak kurulumun başarılı olup olmadığını kontrol edebilirsiniz:

java -version
javac -version

Çıktı olarak “openjdk version “1.8.0_XXX”” benzeri bir şey görmelisiniz.

JAVA_HOME Ortam Değişkenini Ayarlama

Hadoop’un Java’yı nerede bulacağını bilmesi için JAVA_HOME ortam değişkenini ayarlamamız gerekir. Bu, genellikle /etc/environment dosyasına veya kullanıcının ~/.bashrc dosyasına eklenerek yapılır. Kullanıcı bazında ayarlamak daha esnektir.

Öncelikle Java’nın yüklü olduğu dizini bulalım:

sudo update-alternatives --config java

Bu komut, sistemdeki Java kurulumlarını listeler ve size yolunu gösterir. Genellikle OpenJDK 8 için yol /usr/lib/jvm/java-8-openjdk-amd64 gibi bir şeydir. Bu yolu kopyalayın.

Şimdi ~/.bashrc dosyasını düzenleyelim:

nano ~/.bashrc

Dosyanın sonuna aşağıdaki satırları ekleyin (kendi Java yolunuzu kullanarak):

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

Değişiklikleri kaydedin (Ctrl+O, Enter) ve dosyadan çıkın (Ctrl+X).

~/.bashrc dosyasındaki değişiklikleri uygulamak için terminali yeniden başlatabilir veya aşağıdaki komutu çalıştırabilirsiniz:

source ~/.bashrc

JAVA_HOME değişkeninin doğru ayarlandığını kontrol etmek için:

echo $JAVA_HOME

Doğru yolu görmelisiniz.

SSH Kurulumu ve Yapılandırması

Hadoop, kümedeki düğümler arasında (hatta tek düğümlü bir kurulumda bile kendi bileşenleri arasında) şifresiz SSH bağlantılarına ihtiyaç duyar. Bu, NameNode’un DataNode’ları, ResourceManager’ın NodeManager’ları başlatması gibi işlemlerde kullanılır. Stand-Alone modda bile bu iyi bir uygulamadır ve ileride Pseudo-Distributed veya Fully-Distributed modlara geçiş yapmayı planlıyorsanız zorunludur.

OpenSSH Kurulumu

Eğer sisteminizde OpenSSH sunucusu ve istemcisi kurulu değilse, aşağıdaki komutla kurun:

sudo apt install openssh-server openssh-client -y

Şifresiz SSH Anahtar Çifti Oluşturma

Şifresiz bağlantı kurmak için bir SSH anahtar çifti oluşturmamız ve ortak anahtarı yetkilendirilmiş anahtarlar listesine eklememiz gerekir.

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

* -t rsa: RSA algoritmasını kullanarak bir anahtar oluşturur.
* -P '': Parola boş bırakılır, bu da şifresiz erişim sağlar.
* -f ~/.ssh/id_rsa: Anahtar dosyasının yolunu belirtir.

Ortak anahtarı (public key) yetkilendirilmiş anahtarlar (authorized keys) dosyasına ekleyin:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Yetkilendirilmiş anahtarlar dosyasının izinlerini ayarlayın:

chmod 0600 ~/.ssh/authorized_keys

SSH Bağlantısını Test Etme

Şimdi kendi makinenize şifresiz olarak SSH yapıp yapamadığınızı kontrol edin:

ssh localhost

İlk bağlantıda bir parmak izi uyarısı alabilirsiniz, “yes” yazarak devam edin. Eğer parola sormadan bağlanabiliyorsanız, SSH yapılandırması başarılıdır. Bağlantıyı kapatmak için exit yazın.

Hadoop İndirme ve Çıkartma

Şimdi Apache Hadoop’un kendisini indirip sistemimize kurma zamanı.

Hadoop Sürümünü Seçme

Apache Hadoop’un resmi indirme sayfasından (Apache Hadoop Releases) uygun bir sürüm seçmelisiniz. Ubuntu 16.04 ile uyumlu olması ve Stand-Alone mod için genellikle Hadoop 2.x serisi (örneğin 2.7.x, 2.8.x, 2.9.x) tercih edilir. Bu rehberde, genel bir 2.x sürümü üzerinden ilerleyeceğiz. Genellikle en son kararlı 2.x sürümünü tercih etmek iyi bir fikirdir.

Örnek olarak, Hadoop 2.7.7 sürümünü indirelim. Bu sürümün indirme bağlantısını Apache Hadoop web sitesinden bulabilirsiniz. Genellikle bir ayna (mirror) sitesinden indirme yapılır.

Hadoop Dosyasını İndirme

wget komutunu kullanarak Hadoop tar.gz dosyasını indirin. Önce /opt dizinine geçebiliriz, bu tür yazılımlar için yaygın bir konumdur:

cd /opt
sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

Not: Yukarıdaki URL, Hadoop 2.7.7 için bir örnek olup, seçtiğiniz sürüme göre değişebilir. Lütfen Apache Hadoop web sitesinden güncel ve doğru indirme bağlantısını kontrol edin.

Hadoop Dosyasını Çıkartma

İndirdiğiniz tar.gz dosyasını /usr/local dizinine çıkarın. Bu, Hadoop için standart bir kurulum dizinidir.

sudo tar -xzvf hadoop-2.7.7.tar.gz -C /usr/local/

Çıkartma işlemi tamamlandıktan sonra, daha kolay erişim için dizin adını kısaltabiliriz:

sudo mv /usr/local/hadoop-2.7.7 /usr/local/hadoop

Dizin İzinlerini Ayarlama

Hadoop dizininin sahibi ve grubu, kurulumu yapan kullanıcı olmalıdır. Bu, yapılandırma dosyalarını düzenlerken veya Hadoop çalışırken izin sorunları yaşanmasını önler.

sudo chown -R : /usr/local/hadoop

Örnek: sudo chown -R alperen:alperen /usr/local/hadoop

Kullanıcı adınızı ve grup adınızı öğrenmek için whoami ve id -gn komutlarını kullanabilirsiniz.

Hadoop Ortam Değişkenlerinin Yapılandırılması

Hadoop’un komutlarına her yerden erişebilmek ve Hadoop’un ihtiyaç duyduğu diğer ortam değişkenlerini ayarlamak için ~/.bashrc dosyasını tekrar düzenlememiz gerekecek.

~/.bashrc Dosyasını Düzenleme

nano ~/.bashrc komutu ile dosyanızı açın ve daha önce eklediğiniz JAVA_HOME satırlarının altına aşağıdaki satırları ekleyin:

# Hadoop Ortam Değişkenleri
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Değişiklikleri kaydedin (Ctrl+O, Enter) ve dosyadan çıkın (Ctrl+X).

Değişiklikleri Uygulama

Yeni ortam değişkenlerini aktif hale getirmek için:

source ~/.bashrc

Hadoop Kurulumunu Doğrulama

Hadoop’un doğru şekilde kurulup ortam değişkenlerinin ayarlandığını doğrulamak için hadoop version komutunu çalıştırın:

hadoop version

Hadoop sürüm bilgileri çıktısını görmelisiniz. Bu, Hadoop komutlarının PATH’inizde olduğunu ve çalıştırılabildiğini gösterir.

Hadoop Yapılandırma Dosyalarının Düzenlenmesi

Hadoop’un Stand-Alone modda bile düzgün çalışabilmesi için birkaç temel yapılandırma dosyasını düzenlememiz gerekir. Bu dosyalar /usr/local/hadoop/etc/hadoop/ dizininde bulunur.

hadoop-env.sh

Bu dosya, Hadoop’un çalışacağı ortam değişkenlerini içerir. Özellikle JAVA_HOME değişkenini burada belirtmemiz gerekmektedir.

nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

Dosyayı açtıktan sonra, export JAVA_HOME= ile başlayan satırı bulun ve kendi JAVA_HOME yolunuzla güncelleyin (genellikle 25. satır civarındadır). Baştaki # işaretini kaldırarak yorum satırı olmaktan çıkarın.

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Değişiklikleri kaydedip çıkın.

core-site.xml

Bu dosya, Hadoop kümesinin temel yapılandırma ayarlarını içerir. Stand-Alone modda bile HDFS’i kullanmak istiyorsak, varsayılan dosya sistemini belirtmeliyiz.

nano /usr/local/hadoop/etc/hadoop/core-site.xml

etiketleri arasına aşağıdaki özellikleri ekleyin:


    
        fs.defaultFS
        hdfs://localhost:9000
        NameNode URI

Bu ayar, HDFS NameNode’un localhost üzerinde 9000 portunda çalıştığını belirtir.

hdfs-site.xml

Bu dosya, HDFS ile ilgili yapılandırma ayarlarını içerir. Tek düğümlü bir kurulum için replikasyon faktörünü 1 olarak ayarlamalı ve NameNode ile DataNode verileri için yerel dizinler belirtmeliyiz.

Öncelikle, HDFS verileri için dizinleri oluşturalım:

mkdir -p /usr/local/hadoop/data/namenode
mkdir -p /usr/local/hadoop/data/datanode

Şimdi hdfs-site.xml dosyasını düzenleyelim:

nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

etiketleri arasına aşağıdaki özellikleri ekleyin:


    
        dfs.replication
        1
        Default block replication. The actual number of replications can be specified when the file is created.
    
    
        dfs.namenode.name.dir
        file:///usr/local/hadoop/data/namenode
        The directory where the namenode stores the namespace and transactional logs.
    
    
        dfs.datanode.data.dir
        file:///usr/local/hadoop/data/datanode
        The directory where the datanode stores its blocks.

dfs.replication ayarı, verilerin kaç kopyasının tutulacağını belirtir. Tek düğümlü bir kurulumda bu değeri 1 olarak ayarlamak mantıklıdır.

mapred-site.xml

Bu dosya, MapReduce çerçevesi ile ilgili ayarları içerir. Hadoop 2.x ve sonrası, MapReduce işlerini yönetmek için YARN’ı kullanır. Bu nedenle, MapReduce çerçevesinin YARN üzerinde çalışacağını belirtmeliyiz.

Bu dosyanın varsayılan olarak mapred-site.xml.template adıyla geldiğini göreceksiniz. Önce onu mapred-site.xml olarak kopyalayalım:

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

Şimdi mapred-site.xml dosyasını düzenleyelim:

nano /usr/local/hadoop/etc/hadoop/mapred-site.xml

etiketleri arasına aşağıdaki özellikleri ekleyin:


    
        mapreduce.framework.name
        yarn
        The runtime framework for executing MapReduce jobs.

yarn-site.xml

Bu dosya, YARN ile ilgili ayarları içerir. ResourceManager ve NodeManager gibi YARN bileşenlerinin nasıl çalışacağını yapılandırırız.

nano /usr/local/hadoop/etc/hadoop/yarn-site.xml

etiketleri arasına aşağıdaki özellikleri ekleyin:


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
        A comma-separated list of services that the NodeManager will run.
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
        The class name of the auxiliary service for MapReduce shuffle.
    
    
        yarn.resourcemanager.hostname
        localhost
        The hostname of the ResourceManager.

Bu ayarlar, YARN’ın MapReduce işleri için gerekli olan ShuffleHandler’ı kullanmasını ve ResourceManager’ın localhost üzerinde çalışmasını sağlar.

Tüm yapılandırma dosyalarını kaydettiğinizden ve çıktığınızdan emin olun.

Hadoop Kurulumunun Doğrulanması

Tüm yapılandırmalar tamamlandıktan sonra, Hadoop servislerini başlatıp kurulumu doğrulayabiliriz.

HDFS NameNode’u Biçimlendirme (Sadece Bir Kez!)

HDFS’i ilk kez kullanmadan önce NameNode’u biçimlendirmeniz gerekir. Bu işlem, NameNode üzerindeki tüm meta verileri sileceği için yalnızca ilk kurulumda veya veri kaybını göze alarak yapılmalıdır. Mevcut bir HDFS kurulumunu biçimlendirmek, tüm HDFS verilerinizin silinmesine yol açar.

hdfs namenode -format

Komut çalıştıktan sonra “successfully formatted” mesajını görmelisiniz.

Hadoop Servislerini Başlatma

Şimdi HDFS ve YARN servislerini başlatalım:

start-dfs.sh
start-yarn.sh

Bu komutlar, sırasıyla NameNode, DataNode, SecondaryNameNode (HDFS için) ve ResourceManager, NodeManager (YARN için) süreçlerini başlatır.

Servislerin Çalıştığını Kontrol Etme

jps (Java Virtual Machine Process Status Tool) komutu ile çalışan Java süreçlerini kontrol edebiliriz:

jps

Aşağıdakine benzer bir çıktı görmelisiniz:

XXXX NameNode
XXXX DataNode
XXXX SecondaryNameNode
XXXX ResourceManager
XXXX NodeManager
XXXX Jps

Eğer bu süreçleri görüyorsanız, Hadoop servisleriniz başarıyla çalışıyor demektir.

Web Arayüzlerini Kontrol Etme

Hadoop, çeşitli bileşenler için web arayüzleri sunar. Bu arayüzleri tarayıcınızdan kontrol ederek servislerin durumunu ve küme bilgilerini görebilirsiniz:

* NameNode UI: http://localhost:50070
* ResourceManager UI: http://localhost:8088

Bu adreslere erişebiliyorsanız, web arayüzleri de düzgün çalışıyor demektir.

Örnek Bir MapReduce İşini Çalıştırma

Hadoop kurulumunuzun tamamen işlevsel olduğunu doğrulamak için, Hadoop’un kendi örnek JAR dosyalarını kullanarak basit bir MapReduce işi çalıştırabiliriz. WordCount (kelime sayımı) örneği, Hadoop’un temel MapReduce yeteneğini test etmek için harika bir yoldur.

1. HDFS üzerinde bir giriş dizini oluşturun:

hdfs dfs -mkdir /input

2. HDFS’e örnek bir dosya kopyalayın:
Hadoop’un kendi yapılandırma dizinindeki README.txt dosyasını kullanabiliriz.

hdfs dfs -put /usr/local/hadoop/etc/hadoop/README.txt /input

Dosyanın HDFS’e kopyalandığını doğrulamak için:

hdfs dfs -ls /input

3. WordCount MapReduce işini çalıştırın:

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

Not: hadoop-mapreduce-examples-.jar kısmındaki işareti, sürüm numarasını otomatik olarak eşleştirmek içindir. Eğer bu komut çalışmazsa, ls /usr/local/hadoop/share/hadoop/mapreduce/ komutu ile doğru JAR dosyasının adını bulup yerine yazmanız gerekebilir (örneğin hadoop-mapreduce-examples-2.7.7.jar).

İşin tamamlanmasını bekleyin. Terminalde ilerleme durumunu göreceksiniz.

4. Sonuçları HDFS’ten okuyun:

hdfs dfs -cat /output/part-r-00000

Bu komut, WordCount işinin çıktısını (kelimeler ve sayımları) gösterecektir. Eğer çıktıyı görebiliyorsanız, Hadoop kurulumunuz başarılı bir şekilde çalışıyor demektir!

5. Çıktı dizinini temizleyin (isteğe bağlı):

Yeni bir iş çalıştırmadan önce çıktı dizinini silmeniz gerekebilir, çünkü Hadoop aynı çıktı dizinine yazmaya izin vermez.

hdfs dfs -rm -r /output

Hadoop Servislerini Durdurma

İşiniz bittiğinde veya sistemi kapatmadan önce Hadoop servislerini düzgün bir şekilde durdurmak iyi bir uygulamadır:

stop-dfs.sh
stop-yarn.sh

jps komutunu tekrar çalıştırarak tüm Hadoop süreçlerinin durduğunu doğrulayabilirsiniz.

Sonuç

Tebrikler! Ubuntu 16.04 işletim sisteminiz üzerine Apache Hadoop’u Stand-Alone modda başarıyla kurdunuz ve basit bir MapReduce işini çalıştırarak kurulumunuzu doğruladınız. Bu rehber, Hadoop ekosistemine giriş yapmak, temel kavramları öğrenmek ve geliştirme ortamınızı kurmak için sağlam bir temel sağlamıştır.

Stand-Alone mod, büyük veri projeleri geliştirmeye başlamak, MapReduce algoritmalarını test etmek ve Hadoop bileşenlerinin nasıl çalıştığını anlamak için mükemmel bir başlangıç noktasıdır. Bu kurulum, gerçek dünya dağıtık küme senaryolarından farklı olsa da, Hadoop’un temel işlevselliğini deneyimlemenizi sağlar.

Bir sonraki adım olarak, Hadoop’u Pseudo-Distributed (sahte dağıtık) moda veya Fully-Distributed (tamamen dağıtık) moda kurarak daha karmaşık senaryoları keşfedebilir, birden çok düğüm üzerinde çalışmanın getirdiği avantajları ve zorlukları deneyimleyebilirsiniz. Bu, büyük veri dünyasındaki yolculuğunuzun sadece başlangıcıdır.

Sıkça Sorulan Sorular (SSS)

1. `JAVA_HOME` hatası alıyorum, ne yapmalıyım?

Bu genellikle JAVA_HOME ortam değişkeninin yanlış ayarlandığı veya hiç ayarlanmadığı anlamına gelir. ~/.bashrc dosyanızdaki yolu kontrol edin ve Java’nın gerçekten o dizine yüklendiğinden emin olun. sudo update-alternatives --config java komutuyla doğru Java yolunu bulabilirsiniz. Ayrıca, source ~/.bashrc komutunu çalıştırarak değişiklikleri uyguladığınızdan emin olun.

2. `jps` komutu hiçbir Hadoop sürecini göstermiyorsa ne anlama gelir?

Bu, Hadoop servislerinin başlamadığı anlamına gelir. Aşağıdaki olası nedenleri kontrol edin:

hadoop-env.sh dosyasında JAVA_HOME doğru ayarlanmış mı?
SSH şifresiz bağlantı çalışıyor mu? ssh localhost ile test edin.
Hadoop yapılandırma dosyalarında (core-site.xml, hdfs-site.xml, vb.) herhangi bir yazım hatası veya yanlış yol var mı?
Log dosyalarını kontrol edin: /usr/local/hadoop/logs/ dizinindeki log dosyaları, neden servislerin başlamadığını gösteren ipuçları içerebilir.
NameNode’u biçimlendirmeyi unuttunuz mu? (hdfs namenode -format – sadece bir kez!)

3. Hadoop servisleri neden başlamıyor? (Port Çakışmaları, İzinler vb.)

Nadiren de olsa, bazı portlar başka bir uygulama tarafından kullanılıyor olabilir. Hadoop’un kullandığı varsayılan portlar şunlardır: NameNode (8020, 9000), DataNode (50010, 50020, 50075), SecondaryNameNode (50090), ResourceManager (8032, 8030, 8031, 8033, 8088), NodeManager (8040, 8042). netstat -tulnp | grep komutuyla portların kullanım durumunu kontrol edebilirsiniz.

İzin sorunları da sıkça karşılaşılan bir problemdir. Hadoop dizininin (/usr/local/hadoop) ve HDFS veri dizinlerinin (/usr/local/hadoop/data/namenode, /usr/local/hadoop/data/datanode) doğru kullanıcıya ait olduğundan emin olun (sudo chown -R kullanıcı:grup /usr/local/hadoop).

4. Ubuntu 16.04 yerine başka bir sürümde kurabilir miyim?

Evet, bu rehberdeki adımlar genel olarak Linux tabanlı sistemler için geçerlidir. Ancak, Ubuntu’nun daha yeni sürümlerinde (örneğin 18.04, 20.04, 22.04) veya diğer dağıtımlarda (CentOS, Fedora), Java kurulumu için paket adları (openjdk-8-jdk yerine openjdk-11-jdk gibi) veya varsayılan dizin yolları farklılık gösterebilir. Ayrıca, Hadoop’un daha yeni sürümleri (Hadoop 3.x) farklı Java sürümleri (Java 11 gibi) gerektirebilir. Bu nedenle, kullandığınız işletim sistemi ve Hadoop sürümü için spesifik gereksinimleri kontrol etmeniz önerilir.

5. Hadoop’un hangi sürümünü seçmeliyim?

Genellikle, bir Hadoop kurulumu için en son kararlı sürümü seçmek iyi bir fikirdir. Ancak, belirli bir uygulama veya ekosistem aracı (örneğin Hive, Spark) belirli bir Hadoop sürümüyle daha iyi entegre olabilir. Ubuntu 16.04 gibi eski bir işletim sistemi için Hadoop 2.x serisi (2.7.x, 2.8.x, 2.9.x) genellikle daha uyumludur. Hadoop 3.x serisi daha yeni özellikler sunsa da, genellikle daha yeni Java sürümleri (Java 11+) ve daha modern işletim sistemleri gerektirir. Stand-Alone modda öğrenme amaçlı kurulumlar için Hadoop 2.x serisi hala oldukça yeterlidir.

Ubuntu 16.04 Üzerine Hadoop’u Stand-Alone Modda Kurulum Rehberi