Labing Maayo nga Mga Praktis alang sa Pag-deploy sa Hadoop Server sa CentOS/RHEL 7 - Bahin 1

Niini nga serye sa mga artikulo, atong tabonan ang tibuok Cloudera Hadoop Cluster Building building nga adunay Vendor ug Industrial nga girekomenda nga labing maayo nga mga gawi.

Ang pag-instalar sa OS ug paghimo sa lebel sa OS Pre-requisites mao ang unang mga lakang sa pagtukod og Hadoop Cluster. Ang Hadoop mahimong modagan sa lainlaing lami sa plataporma sa Linux: CentOS, RedHat, Ubuntu, Debian, SUSE ug uban pa, Sa real-time nga produksiyon, kadaghanan sa Hadoop Clusters gitukod sa ibabaw sa RHEL/CentOS, atong gamiton ang CentOS 7 alang sa demonstrasyon sa kini nga serye sa mga panudlo.

Sa usa ka Organisasyon, ang pag-instalar sa OS mahimo gamit ang kickstart. Kung kini usa ka 3 hangtod 4 nga cluster sa node, posible ang manual nga pag-install apan kung magtukod kami usa ka dako nga cluster nga adunay labaw pa sa 10 nga mga node, kapoy ang pag-install sa OS sa usag usa. Sa kini nga senaryo, ang pamaagi sa Kickstart moabut sa litrato, mahimo naton ipadayon ang pag-install sa masa gamit ang kickstart.

Ang pagkab-ot sa maayo nga pasundayag gikan sa usa ka Hadoop Environment nagdepende sa paghatag sa husto nga Hardware & Software. Mao nga, ang pagtukod sa usa ka produksiyon nga Hadoop cluster naglangkit sa daghang konsiderasyon bahin sa Hardware ug Software.

Niini nga artikulo, moagi kami sa lainlaing mga Benchmark bahin sa pag-install sa OS ug pipila nga labing kaayo nga mga gawi alang sa pag-deploy sa Cloudera Hadoop Cluster Server sa CentOS/RHEL 7.

Importante nga Konsiderasyon ug Pinakamaayo nga Praktis sa Pag-deploy sa Hadoop Server

Ang mosunud mao ang labing kaayo nga mga gawi alang sa pag-set up sa pag-deploy sa Cloudera Hadoop Cluster Server sa CentOS/RHEL 7.

  • Ang Hadoop server wala magkinahanglan ug enterprise standard servers sa paghimo ug cluster, nagkinahanglan kini ug commodity hardware.
  • Sa production cluster, girekomendar nga adunay 8 ngadto sa 12 ka data disk. Sumala sa kinaiya sa kabug-at sa trabaho, kita kinahanglan nga magdesisyon niini. Kung ang cluster para sa compute-intensive nga mga aplikasyon, ang pagbaton ug 4 ngadto sa 6 ka drive maoy labing maayong praktis aron malikayan ang mga isyu sa I/O.
  • Ang mga data drive kinahanglang mabahin sa tagsa-tagsa, pananglitan – sugod sa /data01 ngadto sa /data10.
  • Ang configuration sa RAID dili girekomendar alang sa mga worker node, tungod kay ang Hadoop mismo naghatag ug fault-tolerance sa datos pinaagi sa pagkopya sa mga block ngadto sa 3 nga default. Mao nga ang JBOD labing maayo alang sa mga node sa trabahante.
  • Alang sa mga Master Server, ang RAID 1 mao ang labing maayong praktis.
  • Ang default filesystem sa CentOS/RHEL 7.x kay XFS. Gisuportahan sa Hadoop ang XFS, ext3, ug ext4. Ang girekomendar nga file-system kay ext3 kay gisulayan kini alang sa maayong performance.
  • Ang tanan nga mga server kinahanglan adunay parehas nga bersyon sa OS, labing menos parehas nga gamay nga pagpagawas.
  • Kinamaayohang praktis nga adunay homogenous nga hardware (tanan nga worker node kinahanglan adunay parehas nga mga kinaiya sa hardware (RAM, disk space & Core etc).
  • Sumala sa cluster workload (Balanced Workload, Compute Intensive, I/O Intensive) ug gidak-on, ang resource (RAM, CPU) nga pagplano kada server magkalahi.

Pangitaa ang ubos nga Pananglitan alang sa Disk Partitioning sa mga server sa 24TB storage.

Pag-instalar sa CentOS 7 alang sa Hadoop Server Deployment

Mga butang nga kinahanglan nimong mahibal-an sa dili pa i-install ang CentOS 7 server alang sa Hadoop Server.

  • Ang minimum nga pag-instalar igo na alang sa Hadoop Servers (worker nodes), sa pipila ka mga kaso, ang GUI mahimong i-install lamang para sa mga Master server o Management server diin makagamit kami og mga browser para sa Web UIs of Management tools.
  • Ang pag-configure sa mga network, hostname, ug uban pang mga setting nga may kalabotan sa OS mahimong mahimo pagkahuman sa pag-install sa OS.
  • Sa tinuud nga oras, ang mga tigbaligya sa server adunay ilang kaugalingon nga console aron makig-uban ug magdumala sa mga server, pananglitan - Ang mga server sa Dell adunay iDRAC nga usa ka aparato, gilakip sa mga server. Gamit kana nga iDRAC interface ma-install namo ang OS nga naay OS image sa among local system.

Niini nga artikulo, among gi-install ang OS (CentOS 7) sa VMware virtual machine. Dinhi, dili kami adunay daghang mga disk aron mahimo ang mga partisyon. Ang CentOS susama sa RHEL (parehas nga gamit), mao nga atong makita ang mga lakang sa pag-instalar sa CentOS.

1. Sugdi pinaagi sa pag-download sa CentOS 7.x ISO nga imahe sa imong lokal nga windows system ug pilia kini samtang nag-booting sa virtual machine. Pilia ang 'Install CentOS 7' ingon sa gipakita.

2. Pilia ang Pinulongan, ang default kay English, ug i-klik ang continue.

3. Pagpili sa Software - Pilia ang 'Minimal Installation' ug i-klik ang 'Done'.

4. Ibutang ang root password kay kini mag-aghat kanato sa pag-set.

5. Destinasyon sa Pag-instalar - Kini ang importante nga lakang nga magmabinantayon. Kinahanglan namon nga pilion ang disk diin kinahanglan i-install ang OS, kinahanglan nga pilion ang gipahinungod nga disk alang sa OS. I-klik ang 'Destinasyon sa Pag-install' ug pilia ang Disk, sa tinuud nga daghang mga disk ang naa didto, kinahanglan namon nga pilion, labi nga 'sda'.

6. Ubang mga Opsyon sa Pagtipig - Pilia ang ikaduha nga kapilian (akong i-configure ang partitioning) aron ma-configure ang partition nga may kalabutan sa OS sama sa /var, /var/log, /home, /tmp, /opt, /swap.

7. Kung nahuman na, sugdi ang pag-instalar.

8. Kung nahuman na ang Pag-install, i-reboot ang server.

9. Pag-log in sa server ug ibutang ang hostname.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Niini nga artikulo, nakaagi kami sa mga lakang sa pag-install sa OS ug labing kaayo nga mga gawi alang sa pagbahin sa filesystem. Kini ang tanan nga kinatibuk-ang giya, sumala sa kinaiya sa workload, mahimo nga kinahanglan naton nga magkonsentrar sa daghang mga nuances aron makab-ot ang labing kaayo nga pasundayag sa cluster. Ang pagplano sa pundok usa ka arte alang sa administrador sa Hadoop. Kita adunay lawom nga pag-dive sa OS level pre-requisites ug security Hardening sa sunod nga artikulo.