cloudera官網(wǎng): https://www./ 官方文檔地址: https://www./documentation/enterprise/latest.html 一 .CDN介紹和解決的問題CDH是由cloudera進行開發(fā)的大數(shù)據(jù)一站式平臺管理解決方案,基于Hadoop生態(tài)的第三方發(fā)行版本,這樣的描述相信大家還是挺難理解的,我們一起來梳理下CDH帶來的改觀. 作坊和工廠有什么區(qū)別? 一個是做出來東西就好了,一個是精細化流水線生產(chǎn) 用這個來對比自建Hadoop和CDH再好不過,要理解其中的區(qū)別我們需要先對CDH有個基礎(chǔ)的認知,先從了解CDH解決了常見的什么問題 組件兼容
穩(wěn)定安全
安裝配置管理
資源監(jiān)控管理運維
企業(yè)服務(wù)
二 .準備工作環(huán)境準備
需要準備一臺cm服務(wù)器 兩臺master服務(wù)器 使用三臺節(jié)點服務(wù)器
所有節(jié)點修改hostname > hostnamectl --static set-hostname cm> hostnamectl --static set-hostname master-1> hostnamectl --static set-hostname master-2> hostnamectl --static set-hostname slave-1> hostnamectl --static set-hostname slave-2> hostnamectl --static set-hostname slave-3 修改節(jié)點的hosts可以直接通過主機名進行訪問 > vim /etc/hosts# 修改為大家自己服務(wù)器的IP地址192.168.3.10 cm 依賴文件安裝包準備> mkdir -p /app/install> cd /app/install > wget http://archive./cm5/cm/5/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz> wget http://archive./cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel> wget http://archive./cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1> wget http://pic./mysql-connector-java.jar
最終我們可以看到有如下文件: ?? 下載慢可選多線程下載工具 axelcd /app/install 所有節(jié)點關(guān)閉防火墻和selinux關(guān)閉防火墻: systemctl stop firewalld.service 關(guān)閉selinux: vim /etc/selinux/config 所有節(jié)點ssh免密碼登錄先在cm 上執(zhí)行: ssh-keygen -t rsa #一路回車到完成ssh-copy-id -i ~/.ssh/id_rsa.pub root@cm #將公鑰拷貝到本機的authorized_keys上 再在其他節(jié)點分別執(zhí)行以下命令: 注意此處不變,將公鑰拷貝到cm的authorized_k ssh-keygen -t rsa 在CM上,將authorized_keys分發(fā)到其他節(jié)點服務(wù)器: scp ~/.ssh/authorized_keys root@master-1:~/.ssh/ |
|
來自: 小牛學(xué)堂666 > 《待分類》