一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

Hadoop - 企業(yè)級大數(shù)據(jù)管理平臺CDH(介紹和準備工作)

 小牛學(xué)堂666 2018-09-13

cloudera官網(wǎng): https://www./

官方文檔地址: https://www./documentation/enterprise/latest.html

一 .CDN介紹和解決的問題

CDH是由cloudera進行開發(fā)的大數(shù)據(jù)一站式平臺管理解決方案,基于Hadoop生態(tài)的第三方發(fā)行版本,這樣的描述相信大家還是挺難理解的,我們一起來梳理下CDH帶來的改觀.

作坊和工廠有什么區(qū)別? 一個是做出來東西就好了,一個是精細化流水線生產(chǎn)

用這個來對比自建Hadoop和CDH再好不過,要理解其中的區(qū)別我們需要先對CDH有個基礎(chǔ)的認知,先從了解CDH解決了常見的什么問題

組件兼容

  • 復(fù)雜的生態(tài)環(huán)境。在Hadoop生態(tài)圈中,組件的選擇、使用,比如Hive,Mahout,Sqoop,F(xiàn)lume,Spark,Oozie等等,需要大量考慮兼容性的問題,版本是否兼容,組件是否有沖突,編譯是否能通過等。經(jīng)常會浪費大量的時間去編譯組件,解決版本沖突問題。

  • CDH每個版本都會有兼容認證都是經(jīng)過嚴格的測試之后公布的,理論上來說只要統(tǒng)一CDH版本就不會出現(xiàn)兼容問題

穩(wěn)定安全

  • 不同的版本會有不同的漏洞很容易被被利用,又不敢輕易更新

  • 版本更新快。通常情況,比如CDH每個季度會有一個update,每一年會有一個release。基于穩(wěn)定版本Apache Hadoop,并應(yīng)用了最新Bug修復(fù)或Feature的patch

安裝配置管理

  • 復(fù)雜的集群部署、安裝、配置。通常按照集群需要編寫大量的配置文件,分發(fā)到每一臺節(jié)點上,容易出錯,效率低下,還需要大量的查閱資料文檔。

  • 統(tǒng)一的網(wǎng)頁進行安裝配置,非常詳細的文檔以及配置的分類注解以及推薦配置(基本都已經(jīng)是最優(yōu)配置)

資源監(jiān)控管理運維

  • 復(fù)雜的集群運維。對集群的監(jiān)控,運維,需要安裝第三方的其他軟件,如ganglia,nagois等,運維難度較大。

  • 運維簡單。提供了管理、監(jiān)控、診斷、配置修改的工具,管理配置方便,定位問題快速、準確,使運維工作簡單,有效。

企業(yè)服務(wù)

  • 只能求助社區(qū)的幫助,響應(yīng)差,解決問題需要碰運氣.

  • 代碼基于Apache協(xié)議,100%開源。同時提供企業(yè)付費服務(wù)一對一支持,作為保障的后盾

PS: 使用CDH部署集群不能代替對各個組件進行單獨的學(xué)習(xí)了解的工作,非常推薦大家從單個組件安裝部署開始最后在統(tǒng)一使用CDH部署

二 .準備工作

環(huán)境準備

  • CentOS 7.4 64位

  • JDK 1.8

  • Cloudera Manager 5.15.0

需要準備一臺cm服務(wù)器 兩臺master服務(wù)器 使用三臺節(jié)點服務(wù)器

服務(wù)器最低要求 4核心8G

所有節(jié)點修改hostname

> hostnamectl --static set-hostname cm> hostnamectl --static set-hostname master-1> hostnamectl --static set-hostname master-2> hostnamectl --static set-hostname slave-1> hostnamectl --static set-hostname slave-2> hostnamectl --static set-hostname slave-3

修改節(jié)點的hosts可以直接通過主機名進行訪問

> vim /etc/hosts# 修改為大家自己服務(wù)器的IP地址192.168.3.10 cm 
192.168.3.21 master-1
192.168.3.22 master-2
192.168.3.31 slave-1
192.168.3.32 slave-2
192.168.3.33 slave-3

依賴文件安裝包準備

> mkdir -p  /app/install> cd /app/install
> wget http://archive./cm5/cm/5/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz> wget http://archive./cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel> wget http://archive./cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1> wget http://pic./mysql-connector-java.jar

JDK1.8需要自行下載 jdk-8u101-linux-x64.tar.gz

最終我們可以看到有如下文件:

???

下載慢可選多線程下載工具 axel

cd /app/install
wget http://www./code/axel-2.4.tar.gz
tar zxvf axel-2.4.tar.gzcd axel-2.4
./configure
make
make installcd ..

所有節(jié)點關(guān)閉防火墻和selinux

關(guān)閉防火墻:

systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state

關(guān)閉selinux:

vim /etc/selinux/config

找到SELINUX改為:
SELINUX=disabled

所有節(jié)點ssh免密碼登錄

先在cm 上執(zhí)行:

ssh-keygen -t rsa   #一路回車到完成ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm   #將公鑰拷貝到本機的authorized_keys上

再在其他節(jié)點分別執(zhí)行以下命令:

注意此處不變,將公鑰拷貝到cm的authorized_k

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm

在CM上,將authorized_keys分發(fā)到其他節(jié)點服務(wù)器:

scp ~/.ssh/authorized_keys root@master-1:~/.ssh/
scp ~/.ssh/authorized_keys root@master-2:~/.ssh/
scp ~/.ssh/authorized_keys root@slave-1:~/.ssh/
scp ~/.ssh/authorized_keys root@slave-2:~/.ssh/
scp ~/.ssh/authorized_keys root@slave-3:~/.ssh/

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多

    搡老熟女老女人一区二区| 日本一区二区三区黄色| 欧美日韩国产午夜福利| 国产成人精品午夜福利| 亚洲高清欧美中文字幕| 国产精品视频一区麻豆专区| 精品少妇一区二区视频| 国产三级黄片在线免费看| 色哟哟精品一区二区三区| 婷婷伊人综合中文字幕| 91日韩欧美国产视频| 欧美一区日韩一区日韩一区| 国产欧美日韩综合精品二区| 在线精品首页中文字幕亚洲| 亚洲欧美日本国产不卡| 成人精品一区二区三区综合| 日韩一区二区三区在线欧洲| 亚洲另类女同一二三区| 午夜亚洲精品理论片在线观看| 亚洲一区二区三区福利视频| 国产肥妇一区二区熟女精品| 日本加勒比不卡二三四区| 日韩精品一区二区三区含羞含羞草 | 不卡免费成人日韩精品| 黄色污污在线免费观看| 精品国产品国语在线不卡| 国产爆操白丝美女在线观看| 日韩无套内射免费精品| 日本理论片午夜在线观看| 日本欧美一区二区三区在线播| 亚洲精品福利视频你懂的| 久久黄片免费播放大全| 午夜精品成年人免费视频| 亚洲国产精品久久网午夜| 国产又色又爽又黄又免费| 国产激情一区二区三区不卡| 亚洲乱妇熟女爽的高潮片| 91一区国产中文字幕| 国产亚洲二区精品美女久久| 精品国产一区二区欧美| 一区二区日韩欧美精品|