Hadoop Kurulumu

Hadoop Kurulumu

Büyük Veri ve Hadoop Nedir? Sorularının cevabını önceki yazımızda cevaplamaya çalıştık. Büyük Veri ile ilgili çalışmalarımzı için bu yazımızda Hadoop kurulumuna başlıyoruz.

1. Kurulum Öncesi Ayarlar

Bu kurulum Ubuntu 16.04, Java 8 ve Hadoop 2.7.3 için geçerlidir.

1.1. Java Kurulumu

Hadoop kurmadan önce sistemde Java yüklü olmalıdır. Java yüklemek için Terminal üzerinden aşağıda ki adımları gerçekleştiriyoruz.

YUkarıda ki işlemleri gerçekleştirdikten sonra Java 8 sistemimize (/usr/lib/jvm/java-8-oracle) kurulmuş olmalıdır. Kurulumu kontrol etmek için aşağıda ki komutu kullanabiliriz.

Java 8 başarıyla kurulduysa yukarıda ki komuttan sonra aşağıda ki sonuç karşımıza çıkacaktır.

1.2. Open SSH Server ve RSYNC Kurulumu

1.3. Hadoop Sistemine Kullanıcı ve Grup Oluşturma

Yukarıda ki komutlar ile hadoop isminde bir grup ve bu gruba ait hduser kullanıcısını oluşturduk.

1.4. SSH Erişiminin Sağlanması

Hadoop node larının yönetilmesi için SSH erişimi sağlanmalıdır. Bu erişim için aşağıda ki komutları Terminal ekranında çalıştıracağız.

Yukarıda ki işlemde ilk olarak hduser kullanıcısı ile Terminal ekranında yetkili olduk. İkinci komut ile key oluşturuyoruz. Burada “” içersinde şifre tanımlanmaktadır. Burayı boş geçerek ilerleyebiliriz. Son komutta ise oluşturulan key i, authorized_key dosyasına yazılmasını sağlıyoruz.

ssh localhost: Bu komut ile şifresiz girişi test edebiliriz.

2. Hadoop Kurulumu

2.1. Hadoop İndirilmesi

Hadoop’u indirmek istediğiniz versiyonunu https://www.apache.org/dist/hadoop/core/ adresinden indirebilirsiniz. İndirme işlemini Terminalden yapmak için aşağıda ki adımları takip edebilirsiniz.

İlk komutta kurulum yapılacak dizinin adresine ulaşıyoruz. İkinci komut ile Hadoop’un indirileceği adresi yazıyoruz. Üçüncü komutta indirmiş olduğumuz sıkıştırılmış Hadoop dosyasını çıkartıyoruz. Dördüncü komutta ise hadoop-2.7.3 dizininin hadoop dizinine taşıyoruz. Son komutta ise dizinin izin ayarlarını yapılandırıyoruz.

3. Konfigürasyonlar

3.1. Hadoop Komutlarına Erişim

Hadoop komutlarına erişim sağlamak için Terminal üzerinden aşağıda ki komutu giriyoruz.

Açılan dosyanın son satırlarına aşağıda ki iki satırı ekleyelim.

3.2. hadoop-env.sh Ayarı

Hadoop JAVA_HOME ayarları için aşağıda ki komutu veriyoruz.

Açılan dosyada export JAVA_HOME ile başlayan satırı aşağıda ki gibi düzenliyoruz.

3.3. core-size.xml ile Genel Ayarlar

Genel ayarları yapmak için aşağıda ki komutu çalıştırarak core-site.xml dosyasını açıyoruz.

Açılan dosyada <configuration></configuration> etiketleri arasına aşağıda yazanları ekliyoruz.

3.4. HDFS Ayarlarını Yapmak

HDFS ile ilgili ayarları yapmak için aşağıda ki komutu Terminal’e giriyoruz.

Açılan dosyada aşağıda ki düzenlemeleri yapıyoruz.

3.5. MapReduce Ayarları

MapReduce ayarlarını yapmak için aşağıda ki komutu Terminal ekranına giriyoruz.

Açılan dosyada aşağıda ki düzenlemeleri yapıyoruz.

3.6. yarn-site.xml

 

3.7. Hadoop NameNode Formatlanması

Hadoop’un bulunduğu dizine aşağıda ki komut ile ulaşıyoruz.

Formatlama işlemi için aşağıda ki komutu uyguluyoruz.

4. Hadoop’un Başlatılması

Hadoop’un başlatılması için Terminal üzerinde aşağıda ki komutu verdikten sonra sistem şifrelerimizi soracaktır. Sonrasında sistem çalışmaya başlar.

Yukarıda ki komuutu giridkten sonra artık Hadoop’u görebilmek için tarayıcı üzerinden aşağıda ki adrese giderek Hadoop Resource Manager’a erişebiliriz.

5. Kaynaklar

“http://devveri.com/hadoop/hadoop-kurulumu-adim-adim”
“http://www.ayhanarda.com/blog/2015/03/ubuntu-14-04-uzerine-hadoop-2-6-0-kurulumu/”
“https://www.slideshare.net/CenkDerinozlu/byk-veri-lemleri”


Yazılıma olan tutkusu için Trakya Üniversitesi - Bilgisayar Teknolojisi ve Bilişim Sistemleri öğrencisi, bölüm temsilcisi ve Keşan Yusuf Çapraz Uygulamalı Bilimler Yüksekokulu okul temsilcisi olarak öğrenimini 2016'da tamamladı. Junior Java Developer olarak aktif iş hayatına devam etmektedir.

Yazıyı Paylaş

Recent Articles

2 Yanıt “Hadoop Kurulumu”

  1. vildan dedi ki:

    Merhabalar,

    Yukardaki adımları uyguladım ama en son ” JAVA_HOME is not set and could not be found ” hatası alıyorum. Hangi adımda hata yaptım acaba yardımcı olabilir misiniz?

    • Onur ARSLAN dedi ki:

      Aşağıda ki adımda hata yapmış olabilirsiniz. Kendiniz dizine ulaşarak böyle bir adresin olup olmadığını kontrol edin.
      export JAVA_HOME=/usr/lib/jvm/java-8-oracle

Yorum Yaz

© 2018 Onur Arslan. Tüm Hakları Saklıdır. · RSS Yazıları · RSS Yorumları