Giunsa ang Pag-install ug Pag-configure sa Apache Hadoop sa Usa ka Node sa CentOS 7

Ang Apache Hadoop usa ka Open Source framework build alang sa gipang-apod-apod nga Big Data storage ug pagproseso sa datos sa tibuok computer clusters. Ang proyekto gibase sa mosunod nga mga sangkap:

Komon nga Hadoop – naglangkob kini sa mga librarya sa Java ug mga gamit nga gikinahanglan sa ubang mga module sa Hadoop.
HDFS – Hadoop Distributed File System – Usa ka Java based scalable file system nga giapod-apod sa daghang node.
MapReduce – YARN framework para sa parallel nga dagkong pagproseso sa datos.
Hadoop YARN: Usa ka balangkas alang sa pagdumala sa kahinguhaan sa cluster.

Kini nga artikulo maggiya kanimo kung giunsa nimo ma-install ang Apache Hadoop sa usa ka node cluster sa CentOS 7 (nagtrabaho usab alang sa RHEL 7 ug Fedora 23+ nga bersyon). Kini nga matang sa pagsumpo gi-refer usab isip Hadoop Pseudo-Distributed Mode.

Lakang 1: I-install ang Java sa CentOS 7

1. Sa dili pa ipadayon ang pag-instalar sa Java, una nga mag-log in gamit ang root user o ang user nga adunay root privileges i-setup ang imong machine hostname gamit ang mosunod nga command.

# hostnamectl set-hostname master

Usab, pagdugang usa ka bag-ong rekord sa host file gamit ang imong kaugalingon nga makina nga FQDN aron itudlo ang imong IP Address sa sistema.

# vi /etc/hosts

Idugang ang ubos nga linya:

192.168.1.41 master.hadoop.lan

Ilisan ang ibabaw nga hostname ug FQDN nga mga rekord sa imong kaugalingong mga setting.

2. Sunod, adto sa Oracle Java download page ug kuhaa ang pinakabag-o nga bersyon sa Java SE Development Kit 8 sa imong sistema uban sa tabang sa curl command:

# curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. Human mahuman ang Java binary download, i-install ang package pinaagi sa pag-isyu sa ubos nga sugo:

# rpm -Uvh jdk-8u92-linux-x64.rpm

Lakang 2: I-install ang Hadoop Framework sa CentOS 7

4. Sunod, paghimo ug bag-ong user account sa imong sistema nga walay gamut nga gahum nga among gamiton para sa Hadoop installation path ug working environment. Ang bag-ong account home directory magpuyo sa /opt/hadoop directory.

# useradd -d /opt/hadoop hadoop
# passwd hadoop

5. Sa sunod nga lakang bisitaha ang panid sa Apache Hadoop aron makuha ang link para sa pinakabag-o nga stable nga bersyon ug i-download ang archive sa imong sistema.

# curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

6. I-extract ang archive sa kopya sa directory content sa hadoop account home path. Usab, siguroha nga imong usbon ang gikopya nga mga permiso sa mga file sumala niana.

#  tar xfz hadoop-2.7.2.tar.gz
# cp -rf hadoop-2.7.2/* /opt/hadoop/
# chown -R hadoop:hadoop /opt/hadoop/

7. Sunod, pag-log in gamit ang hadoop user ug i-configure ang Hadoop ug Java Environment Variables sa imong sistema pinaagi sa pag-edit sa .bash_profile file.

# su - hadoop
$ vi .bash_profile

Idugang ang mosunod nga mga linya sa katapusan sa file:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. Karon, pagsugod sa mga variable sa palibot ug susiha ang ilang kahimtang pinaagi sa pag-isyu sa ubos nga mga sugo:

$ source .bash_profile
$ echo $HADOOP_HOME
$ echo $JAVA_HOME

9. Sa kataposan, i-configure ang ssh key based authentication para sa hadoop account pinaagi sa pagpadagan sa ubos nga mga command (ilisan ang hostname o FQDN batok sa ssh-copy-id command sumala niana).

Usab, biyai nga blangko ang passphrase aron awtomatiko nga maka-login pinaagi sa ssh.

$ ssh-keygen -t rsa
$ ssh-copy-id master.hadoop.lan