Giunsa ang Pag-install sa CDH ug Pag-configure sa Mga Placement sa Serbisyo sa CentOS/RHEL 7 - Bahin 4
Sa una nga artikulo, gipasabut namon ang pag-install sa Cloudera Manager, sa kini nga artikulo, mahibal-an nimo kung giunsa ang pag-install ug pag-configure sa CDH (Cloudera Distribution Hadoop) sa RHEL/CentOS 7.
Samtang nag-instalar sa CDH parcel, kinahanglan natong sigurohon ang Cloudera Manager ug CDH compatibility. Ang bersyon sa Cloudera adunay 3 ka bahin –
Pananglitan, gigamit namo ang Cloudera Manager 6.3.1 ug CDH 6.3.2. Dinhi ang 6 mao ang mayor ug ang 3 mao ang menor nga bersyon. Major ug Minor kinahanglan nga managsama aron malikayan ang mga isyu sa pagkaangay.
- Pinakamaayong Praktis sa Pag-deploy sa Hadoop Server sa CentOS/RHEL 7 – Bahin 1
- Pag-set up sa Hadoop Pre-requisites ug Security Hardening – Bahin 2
- Unsaon Pag-instalar ug Pag-configure sa Cloudera Manager sa CentOS/RHEL 7 – Bahin 3
Atong kuhaon ang ubos nga 2 nodes para sa pag-instalar sa CDH. Na-install na namon ang Cloudera Manager sa master1, gigamit usab namon ang master1 ingon usa ka repo server.
master1.linux-console.net worker1.linux-console.net
Lakang 1: Pag-download sa CDH Parcels sa Master Server
1. Una, kumonekta sa master1 server ug i-download ang CDH Parcels files sa /var/www/html/cloudera-repos/cdh directory. Kinahanglan namon nga i-download sa ubos ang gihisgutan nga 3 nga mga file nga kinahanglan nga nahiuyon sa RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Sa dili pa i-download kini nga mga file, siguruha nga maghimo usa ka direktoryo sa cdh sa ilawom sa /var/www/html/cloudera-repos/ lokasyon.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Sunod, i-download ang gihisgutan sa ibabaw nga 3 nga mga file gamit ang mosunod nga wget command.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Lakang 2: I-setup ang Cloudera Manager Repo Sa mga Kliyente sa Trabaho
4. Karon, sumpaysumpaya ang worker servers ug kopyaha ang repo file (cloudera-manager.repo) gikan sa repo server (master1) ngadto sa tanang nahabilin nga worker server. Kini nga repo file nagsiguro sa mga server nga ang tanan nga gikinahanglan nga mga parsela ug mga RPM ma-download gikan sa repo server samtang nag-instalar.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Sa higayon nga idugang ang repo, ilista ang mga gi-enable nga mga repository aron masiguro nga ang cloudera-manager repo ma-enable.
$ yum repolist
Lakang 3: I-install ang Cloudera Manager Daemons ug Ahente sa mga Worker Server
6. Karon, kinahanglan namong i-install ang cloudera-manager-daemons ug cloudera-manager-agent sa tanang nahabilin nga mga server.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Sunod, kinahanglan nimo nga i-configure ang ahente sa Cloudera Manager aron i-report ang server sa Cloudera Manager.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Ilisan ang localhost sa Cloudera Manager server IP address.
8. Sugdi ang Cloudera Manager Agent ug pamatud-i ang kahimtang.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Lakang 4: I-install ug I-setup ang CDH
Adunay kami mga parsela sa CDH sa master1 - repo server. Siguruha nga ang tanan nga mga server adunay Cloudera Manager repo file sa /etc/yum.repos.d/ kung sundon nimo ang awtomatikong pag-install gamit ang Cloudera Manager.
9. Log in sa Cloudera Manager gamit ang ubos nga URL sa port 7180 ug gamita ang default username ug password sa Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Sa higayon nga maka-log in ka, masugatan ka sa Welcome page. Dinhi makit-an nimo ang mga nota sa pagpagawas, Bag-ong Mga Feature sa Cloudera Manager.
11. Dawata ang Lisensya ug Padayon.
12. Pilia ang Edisyon. Ang pagsulay nga bersyon gipili pinaagi sa default, mahimo naton ipadayon kana.
13. Karon, sunda ang mga lakang sa Cluster Installation. Ipadayon ang Welcome Page.
14. Ngalan ang Cluster ug magpadayon, among gihinganlan nga \tecmint. Adunay 2 ka klase sa Cluster nga mahimo nimong ipasabut. Nagpadayon kami sa Regular Cluster.
- Regular nga Cluster: Maglangkob sa mga storage node, compute node, ug uban pang gikinahanglang serbisyo.
- Compute Cluster: Maglangkob lang sa mga compute node. Ang gawas nga pagtipig mahimong gamiton alang sa pagtipig sa datos.
15. Na-install na namo ang Cloudera Manager Agents sa tanang server. Mahimo nimong makit-an ang mga server sa \Karon Gidumala nga mga Host. Para sa awtomatik nga pag-install, kinahanglan nimong isulod ang FQDN o IP sa mga server sa kapilian nga \Bag-ong mga Host ug pangitaa. Awtomatiko nga makit-an sa Cloudera Manager ang mga host diin kinahanglan namon i-install ang CDH.
Dinhi, i-klik ang \Currently Managed Hosts, pilia ang tanan nga mga host pinaagi sa pagpili sa 'Hostname' ug magpadayon.
16. Pilia ang Repository – gamit ang Parcel mao ang girekomendar nga paagi. I-klik ang 'More Options' aron ma-configure ang repository.
17. Pagsulod sa lokal nga repository URL sama sa gihisgotan sa ubos. Kuhaa ang tanan nga nahabilin nga mga pampublikong repositoryo nga nagpunting sa Web (Cloudera Repositories).
Kini ang CDH lokal nga repository URL nga naa namo sa master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Kung nakasulod na ang URL sa repository, kini nga panid magpakita ra nga magamit nga mga parsela. Ipadayon kini nga lakang.
19. Karon ang mga parsela gi-download, gipang-apod-apod, gi-unpack, ug gi-activate sa tanang available nga mga server.
20. Sa higayon nga ang CDH Parcels Aktibo na, inspeksyon ang Cluster. Kini nga lakang maghimo usa ka pagsusi sa kahimsog sa cluster. Dinhi kita naglaktaw ug Nagpadayon.
Lakang 5: Pag-configure sa Cluster
21. Dinhi kinahanglan natong pilion ang Mga Serbisyo nga i-install sa Cluster. Ang pipila ka mga naka-pack nga kombinasyon mahimong magamit pinaagi sa default, kita moadto sa Custom Services.
22. Sa Custom Services, nag-instalar lamang kami sa Core Components (HDFS ug YARN) alang niini nga katuyoan sa demo.
23. I-assign ang mga tahas sa server. Mahimo namon ipasibo sumala sa among mga kinahanglanon. Pangitaa ang tsart sa ubos nga naghulagway sa girekomendar nga Pag-apod-apod sa Papel alang sa usa ka batakang gamay nga cluster nga adunay 5 ngadto sa 20 ka mga node nga adunay Taas nga Availability.
24. Pilia ang tipo sa Database, hostname, DB Name, Username, ug Password. Sa among paggamit sa Embedded PostgreSQL, kini mapili pinaagi sa default. Sulayi ang koneksyon, kini kinahanglan nga malampuson.
25. Kini nga panid magpakita sa default nga mga parameter sa pagsumpo sa HDFS ug Yarn, lakip ang mga direktoryo sa datos. Ribyuha ang tanan nga mga detalye sa pag-configure ug mahimo ka magbag-o kung gikinahanglan. Unya Ipadayon kini.
26. Kini nga panid magpakita sa mga detalye sa 'First Run' nga sugo. Mahimo nimong palapdan kini aron makita ang mga detalye sa pagpadagan sa mga mando. Kung adunay bisan unsang mga isyu sa network o pagtugot sa cluster, kini nga lakang mapakyas. Kasagaran, kini nga lakang nagdesisyon sa hapsay nga pag-instalar sa Cluster Building.
27. Kung nahuman na ang lakang sa ibabaw, I-klik ang 'Finish' aron makompleto ang pag-install. Kini ang Dashboard sa Cloudera Manager human ma-install ang CDH.
http://104.211.95.96:7180/cmf/home
Nakompleto namo ang Cloudera Manager ug ang pag-instalar sa CDH nga malampuson. Sa Cloudera Manager Dashboard, makit-an nimo ang usa ka pre-defined set sa mga tsart diin imong mamonitor ang Cluster CPU, Disk IO ug uban pa. Madumala namo ang tibuok Cluster gamit kining Cloudera Manager. Atong makita ang tanang administratibong operasyon sa umaabot nga mga artikulo.