Hadoop Kurulumu
Büyük Veri ve Hadoop Nedir? Sorularının cevabını önceki yazımızda cevaplamaya çalıştık. Büyük Veri ile ilgili çalışmalarımzı için bu yazımızda Hadoop kurulumuna başlıyoruz.
1. Kurulum Öncesi Ayarlar
Bu kurulum Ubuntu 16.04, Java 8 ve Hadoop 2.7.3 için geçerlidir.
1.1. Java Kurulumu
Hadoop kurmadan önce sistemde Java yüklü olmalıdır. Java yüklemek için Terminal üzerinden aşağıda ki adımları gerçekleştiriyoruz.
1 2 3 |
sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer |
YUkarıda ki işlemleri gerçekleştirdikten sonra Java 8 sistemimize (/usr/lib/jvm/java-8-oracle) kurulmuş olmalıdır. Kurulumu kontrol etmek için aşağıda ki komutu kullanabiliriz.
1 |
java –version |
Java 8 başarıyla kurulduysa yukarıda ki komuttan sonra aşağıda ki sonuç karşımıza çıkacaktır.
1 2 3 |
java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) |
1.2. Open SSH Server ve RSYNC Kurulumu
1 2 |
sudo apt-get install ssh sudo apt-get install rsync |
1.3. Hadoop Sistemine Kullanıcı ve Grup Oluşturma
1 2 |
sudo addgroup hadoop sudo adduser --ingroup hadoop hduser |
Yukarıda ki komutlar ile hadoop isminde bir grup ve bu gruba ait hduser kullanıcısını oluşturduk.
1.4. SSH Erişiminin Sağlanması
Hadoop node larının yönetilmesi için SSH erişimi sağlanmalıdır. Bu erişim için aşağıda ki komutları Terminal ekranında çalıştıracağız.
1 2 3 |
sudo su hduser ssh-keygen -t rsa -P “” cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys |
Yukarıda ki işlemde ilk olarak hduser kullanıcısı ile Terminal ekranında yetkili olduk. İkinci komut ile key oluşturuyoruz. Burada “” içersinde şifre tanımlanmaktadır. Burayı boş geçerek ilerleyebiliriz. Son komutta ise oluşturulan key i, authorized_key dosyasına yazılmasını sağlıyoruz.
ssh localhost: Bu komut ile şifresiz girişi test edebiliriz.
2. Hadoop Kurulumu
2.1. Hadoop İndirilmesi
Hadoop’u indirmek istediğiniz versiyonunu https://www.apache.org/dist/hadoop/core/ adresinden indirebilirsiniz. İndirme işlemini Terminalden yapmak için aşağıda ki adımları takip edebilirsiniz.
1 2 3 4 5 |
cd /usr/local sudo wget https://www.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.6.0.tar.gz sudo tar xzf hadoop-2.7.3.tar.gz sudo mv hadoop-2.7.3 hadoop sudo chown -R hduser:hadoop hadoop |
İlk komutta kurulum yapılacak dizinin adresine ulaşıyoruz. İkinci komut ile Hadoop’un indirileceği adresi yazıyoruz. Üçüncü komutta indirmiş olduğumuz sıkıştırılmış Hadoop dosyasını çıkartıyoruz. Dördüncü komutta ise hadoop-2.7.3 dizininin hadoop dizinine taşıyoruz. Son komutta ise dizinin izin ayarlarını yapılandırıyoruz.
3. Konfigürasyonlar
3.1. Hadoop Komutlarına Erişim
Hadoop komutlarına erişim sağlamak için Terminal üzerinden aşağıda ki komutu giriyoruz.
1 |
sudo nano $HOME/.bashrc |
Açılan dosyanın son satırlarına aşağıda ki iki satırı ekleyelim.
1 2 |
export JAVA_HOME=/usr/lib/jvm/java-8-oracle export HADOOP_HOME=/usr/local/hadoop |
3.2. hadoop-env.sh Ayarı
Hadoop JAVA_HOME ayarları için aşağıda ki komutu veriyoruz.
1 |
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh |
Açılan dosyada export JAVA_HOME ile başlayan satırı aşağıda ki gibi düzenliyoruz.
1 |
export JAVA_HOME=/usr/lib/jvm/java-8-oracle |
3.3. core-size.xml ile Genel Ayarlar
Genel ayarları yapmak için aşağıda ki komutu çalıştırarak core-site.xml dosyasını açıyoruz.
1 |
sudo nano /usr/local/hadoop/etc/core-site.xml |
Açılan dosyada <configuration></configuration> etiketleri arasına aşağıda yazanları ekliyoruz.
1 2 3 4 5 6 |
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
3.4. HDFS Ayarlarını Yapmak
HDFS ile ilgili ayarları yapmak için aşağıda ki komutu Terminal’e giriyoruz.
1 |
sudo nano /usr/local/hadoop/etc/hdfs-site.xml |
Açılan dosyada aşağıda ki düzenlemeleri yapıyoruz.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop_tmp/hdfs/datanode</value> </property> </configuration> |
3.5. MapReduce Ayarları
MapReduce ayarlarını yapmak için aşağıda ki komutu Terminal ekranına giriyoruz.
1 |
sudo nano /usr/local/hadoop/etc/mapred-site.xml |
Açılan dosyada aşağıda ki düzenlemeleri yapıyoruz.
1 2 3 4 5 6 |
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
3.6. yarn-site.xml
1 2 3 4 5 6 7 8 |
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> |
3.7. Hadoop NameNode Formatlanması
Hadoop’un bulunduğu dizine aşağıda ki komut ile ulaşıyoruz.
1 |
cd /usr/local/hadoop |
Formatlama işlemi için aşağıda ki komutu uyguluyoruz.
1 |
./bin/hdfs namenode -format |
4. Hadoop’un Başlatılması
Hadoop’un başlatılması için Terminal üzerinde aşağıda ki komutu verdikten sonra sistem şifrelerimizi soracaktır. Sonrasında sistem çalışmaya başlar.
1 |
/usr/local/hadoop/sbin/start-all.sh |
Yukarıda ki komuutu giridkten sonra artık Hadoop’u görebilmek için tarayıcı üzerinden aşağıda ki adrese giderek Hadoop Resource Manager’a erişebiliriz.
1 |
localhost:8088 |
5. Kaynaklar
“http://devveri.com/hadoop/hadoop-kurulumu-adim-adim”
“http://www.ayhanarda.com/blog/2015/03/ubuntu-14-04-uzerine-hadoop-2-6-0-kurulumu/”
“https://www.slideshare.net/CenkDerinozlu/byk-veri-lemleri”
Merhabalar,
Yukardaki adımları uyguladım ama en son ” JAVA_HOME is not set and could not be found ” hatası alıyorum. Hangi adımda hata yaptım acaba yardımcı olabilir misiniz?
Aşağıda ki adımda hata yapmış olabilirsiniz. Kendiniz dizine ulaşarak böyle bir adresin olup olmadığını kontrol edin.
export JAVA_HOME=/usr/lib/jvm/java-8-oracle