|
約定： 本次安裝測(cè)內(nèi)容 1，
SQOOP 從 數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到HDFS 2，
SQOOP 從 數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)到HIVE 3，
SQOOP 從HIVE中將數(shù)據(jù)導(dǎo)出到數(shù)據(jù)庫 版本：sqoop-1.4.6 SQOOP2的版本，性能不太穩(wěn)定。 下載安裝文件 鏈接:https://pan.baidu.com/s/1DvgGAse5qIfIkfe0lPlq0w 密碼:t9n2 （感謝科多大數(shù)據(jù)的武老師提供的安裝文件） tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz -C
/opt/ mv sqoop-1.4.6-cdh5.5.2/ sqoop 第二步驟 將mysql的驅(qū)動(dòng)包拷貝到 sqoop_home/lib下面 第三步驟：配置環(huán)境變量（注意修改為自己的路徑） export SQOOP_HOME=/opt/cdh5/sqoop export PATH=$PATH:$SQOOP_HOME/bin 第四步：配置SQOOP，vi /opt/sqoop/conf/sqoop-env.sh  修改為自己的
安裝目錄
第五步：檢測(cè)配置 Sqoop version 查看版本號(hào)是否返回即可  開始使用：
前提： Mysql可以正常使用
HDFS服務(wù)開啟 HIVE服務(wù)開啟 ： nohup hive
--service metastore &
一、 查看當(dāng)前MYSQL中的元數(shù)據(jù)信息 查看數(shù)據(jù)庫 sqoop list-tables --connect
jdbc:mysql://192.168.133.139:3306/hive --username hive –P 查看表 sqoop list-tables --connect jdbc:mysql://192.168.133.139:3306/hive
--username hive -P
#使用 sqoop將數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入到
Hdfs（地址使用默認(rèn)地址/user/$user/tabname） sqoop import \ --connect jdbc:mysql://192.168.133.139:3306/hive
\ --username hive \ --password hive \ --table TBLS #列出指定數(shù)據(jù)庫下面的 表的列表 sqoop list-tables --connect
jdbc:mysql://192.168.128.152:3306/hive \ --username hive \ --password hive #使用 sqoop將數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入到
Hdfs #使用指定的輸出目錄 #使用指定的并發(fā)數(shù)量 sqoop import \ --connect
jdbc:mysql://192.168.128.152:3306/hive \ --username hive --password hive \ --table TABLE_PARAMS \ --target-dir /tmp/TABLE_PARAMS \ -m 2 #使用sqoop將HDFS文件導(dǎo)出到 MYSQL 表中，默認(rèn)MAP為 4個(gè) sqoop export \ --connect
jdbc:mysql://192.168.128.152:3306/hive \ --table table_bak \ --username hive \ --password hive \ --export-dir
hdfs://192.168.128.152:9000/tmp/TABLE_PARAMS TBLS_BAK ----------------------我是分界線--------------------------------------------------------- #使用自定義的條件，并且過濾字段，并發(fā)數(shù)為1 #切分的字段可以更改為另外一個(gè)字段 sqoop import \ --connect jdbc:mysql://192.168.128.152:3306/hive
\ --username hive \ --password hive \ --query "SELECT PARAM_VALUE from
hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7" \ --split-by TBL_ID \ -m 1 \ --target-dir /tmp/TABLE_PARAMS_BAK
sqoop import \ --hive-import \ --hive-table kk \ --connect
jdbc:mysql://192.168.128.152:3306/hive \ --username hive \ --password hive \ --query "SELECT PARAM_VALUE from
hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7" \ --fields-terminated-by "," \ --lines-terminated-by "\n" \ --target-dir /tmp/aa \ -m 1 |
|
|
