Giunsa ang Pag-install ug Pag-configure sa Cloudera Manager sa CentOS/RHEL 7 - Bahin 3

Niini nga artikulo, among gihulagway ang lakang sa lakang nga proseso sa pag-install sa Cloudera Manager sumala sa mga gawi sa industriya. Sa Part 2, nakaagi na kami sa Cloudera Pre-requisites, siguruha nga ang tanan nga mga server andam nga hingpit.

Pinakamaayong Praktis sa Pag-deploy sa Hadoop Server sa CentOS/RHEL 7 – Bahin 1
Pag-set up sa Hadoop Pre-requisites ug Security Hardening – Bahin 2

Dinhi kita adunay 5 node cluster diin 2 ka agalon ug 3 ka trabahante. Gigamit nako ang 5 nga mga higayon sa AWS EC2 aron ipakita ang pamaagi sa pag-install. Ginganlan nako ang 5 nga mga server sama sa ubos.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Ang Cloudera Manager kay usa ka administratibo ug monitoring nga himan para sa tibuok CDH. Kami nga admin kasagaran nagtawag niini nga himan sa pagdumala alang sa Cloudera Hadoop. Mahimo natong i-deploy, monitor, kontrolon, ug himoon ang mga kausaban sa configuration gamit kini nga himan. Kini hinungdanon kaayo sa pagdumala sa tibuok cluster.

Sa ubos mao ang importante nga paggamit sa Cloudera Manager.

I-deploy ug i-configure ang mga cluster sa Hadoop sa automated nga paagi.
Pag-monitor sa kahimsog sa cluster
I-configure ang mga alerto
Troubleshooting
Pagreport
Paghimo og Cluster Utilization Report
Pag-configure sa mga Kapanguhaan sa dinamikong paagi

Lakang 1: Pag-instalar sa Apache Web Server sa CentOS

Atong gamiton ang master1 isip webserver para sa Cloudera repository. Usab, ang Cloudera Manager mao ang WebUI, busa kinahanglan namon nga ma-install ang Apache. Sunda ang mga lakang sa ubos aron ma-install ang apache web server.

# yum -y install httpd

Sa higayon nga ma-install ang httpd, sugdi kini ug i-enable aron kini masugdan sa boot.

# systemctl start httpd
# systemctl enable httpd

Human magsugod sa httpd, siguroha ang status.

# systemctl status httpd

Human magsugod ang httpd, ablihi ang browser sa imong lokal nga sistema ug idikit ang IP address sa master1 sa search bar, kinahanglan nimo nga makuha kini nga panid sa pagsulay aron masiguro nga maayo ang pagdagan sa httpd.

Lakang 2: I-configure ang Lokal nga DNS aron Masulbad ang IP ug Hostname

Kinahanglan nga adunay usa ka DNS server o i-configure ang /etc/hosts aron masulbad ang IP ug hostname. Dinhi among gi-configure ang /etc/hosts, apan sa tinuud nga oras, usa ka gipahinungod nga DNS server ang naa didto alang sa palibot sa produksiyon.

Sunda ang mga lakang sa ubos aron maghimo usa ka entry para sa tanan nimong mga server sa /etc/hosts.

# vi /etc/hosts

Kini kinahanglan nga ma-configure sa tanan nga mga server.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Lakang 3: I-configure ang SSH Passwordless Login

Ang Cloudera Manager gi-install sa master1 niini nga demonstrasyon. Kinahanglan namong i-configure ang password-less ssh gikan sa master1 ngadto sa tanang ubang node. Tungod kay ang Cloudera Manager mogamit sa ssh aron ipahibalo ang tanan nga ubang mga node aron ma-install ang mga pakete.

Sunda ang mga lakang sa ubos aron ma-configure ang password-less ssh gikan sa master1 sa tanan nga nahabilin nga mga server. Kita adunay usa ka user nga 'tecmint' aron magpadayon pa.

Paghimo usa ka user 'tecmint' tanan nga 4 server gamit ang useradd command sama sa gipakita.

# useradd -m tecmint

Aron mahatagan ang gamut nga pribilehiyo sa user 'tecmint', idugang ang ubos nga linya sa /etc/sudoers file. Mahimo nimong idugang kini nga linya ubos sa gamut sama sa gihatag sa screenshot.

tecmint   ALL=(ALL)    ALL

Pagbalhin sa user 'tecmint' ug paghimo og ssh key sa master1 gamit ang ubos nga sugo.

# sudo su tecmint
$ ssh-keygen

Karon kopyaha ang gibuhat nga yawe sa tanan nga 4 nga mga server pinaagi sa paggamit sa ssh-copy-id nga sugo sama sa gipakita.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Karon kinahanglan nimo nga makahimo sa ssh gikan sa master1 hangtod sa nahabilin nga tanan nga mga server nga wala’y password sama sa gipakita.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Lakang 4: Pag-instalar ug Pag-configure sa Cloudera Manager

Mahimo natong gamiton ang repository sa vendor (Cloudera) aron i-install ang tanang mga pakete gamit ang mga himan sa pagdumala sa package sa RHEL/CentOS. Sa tinuud nga oras, ang paghimo sa among kaugalingon nga tipiganan mao ang labing kaayo nga praktis tungod kay tingali wala kami pag-access sa internet sa mga server sa produksiyon.

Dinhi atong i-install ang Cloudera Manager 6.3.1 release. Tungod kay gamiton namo ang master1 isip repo server, among gi-download ang mga package sa nahisgutan sa ubos nga dalan.

Paghimo sa nahisgutan sa ubos nga mga direktoryo sa master1 server.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Mahimo namong gamiton ang wget tool sa pag-download sa mga package sa http. Busa, i-install ang wget gamit ang ubos nga sugo.

$ sudo yum -y install wget

Sunod, i-download ang Cloudera Manager tar file gamit ang mosunod nga wget command.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

I-extract ang tar file ngadto sa /var/www/html/cloudera-repos/cm6, nahimo na namo ang master1 isip webserver pinaagi sa pag-instalar sa http ug among gisulayan sa browser.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Karon, pamatud-i nga ang tanan nga Cloudera rpm file naa sa /var/www/html/cloudera-repos/cm6/RPMS/x86_64 directory.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Paghimo og /etc/yum.repos.d/cloudera-manager.repo nga mga file sa tanang server sa cluster host nga adunay mosunod nga sulod, dinhi master1 (65.0.101.148) mao ang Web server.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Karon ang repositoryo nadugang na, padagana ang ubos nga sugo aron makita ang gipalihok nga mga repositoryo.

$ yum repolist

Pagdalagan ang ubos nga sugo aron makita ang tanan nga anaa nga Cloudera nga may kalabutan nga mga pakete sa repositoryo.

$ yum list available | grep cloudera*

I-install ang cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Pagdalagan ang ubos nga sugo aron makita ang tanang na-install nga Cloudera nga mga pakete.

$ yum list installed | grep cloudera*

Pagdalagan ang ubos nga sugo aron masugdan ang cloudera-scm-server-db nga usa ka nagpahiping database sa pagtipig sa Cloudera Manager ug uban pang metadata sa mga serbisyo.

Sa kasagaran, ang Cloudera moabut uban ang postgre-sql nga na-embed sa Cloudera Manager. Gi-install namon ang naka-embed, sa usa ka tinuud nga oras sa gawas nga database nga magamit. Mahimo kini nga Oracle, MySQL, o PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Pagdalagan ang ubos nga sugo aron masusi ang kahimtang sa database.

$ sudo systemctl status cloudera-scm-server-db

I-configure ang db.properties para sa Cloudera Manager server.

$ vi /etc/cloudera-scm-server/db.properties

I-configure ang ubos nga bili kay EMBEDDED para gamiton sa Cloudera Manager ang Embedded Database.

com.cloudera.cmf.db.setupType=EMBEDDED

Pagdalagan ang ubos nga sugo aron masugdan ang Cloudera Manager server.

$ sudo systemctl start cloudera-scm-server

Pagdalagan ang ubos nga sugo aron masusi ang kahimtang sa Cloudera Manager server.

$ sudo systemctl status cloudera-scm-server

Pagdalagan ang ubos nga sugo aron masugdan ug susihon ang kahimtang sa ahente sa Cloudera Manager.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Sa higayon nga ang Cloudera Manager Server malampuson nga moandar ug maayo, mahimo nimong tan-awon ang WebUI (Login page) sa browser gamit ang IP address ug port number 7180 nga mao ang port number sa Cloudera Manager.

https://65.0.101.148:7180

Niini nga artikulo, nakita namo ang sunod-sunod nga proseso sa pag-instalar sa Cloudera Manager sa CentOS 7. Atong makita ang CDH ug uban pang mga pag-instalar sa serbisyo sa sunod nga artikulo.