一区二区三区日韩精品-日韩经典一区二区三区-五月激情综合丁香婷婷-欧美精品中文字幕专区

分享

Hive安裝與配置詳解

 印度阿三17 2019-11-22

?

既然是詳解,那么我們就不能只知道怎么安裝hive了,下面從hive的基本說起,如果你了解了,那么請(qǐng)直接移步安裝與配置

hive是什么

hive安裝和配置

hive的測(cè)試


hive

  這里簡(jiǎn)單說明一下,好對(duì)大家配置hive有點(diǎn)幫助。hive是建立在hadoop上的,當(dāng)然,你如果只搭建hive也沒用什么錯(cuò)。說簡(jiǎn)單一點(diǎn),hadoop中的mapreduce調(diào)用如果面向DBA的時(shí)候,那么問題也就顯現(xiàn)了,因?yàn)椴皇敲總€(gè)DBA都能明白mapreduce的工作原理,如果為了管理數(shù)據(jù)而需要學(xué)習(xí)一門新的技術(shù),從現(xiàn)實(shí)生活中來說,公司又需要花錢請(qǐng)更有技術(shù)的人來了。

  開個(gè)玩笑,hadoop是為了存儲(chǔ)數(shù)據(jù)和計(jì)算而推廣的技術(shù),而和數(shù)據(jù)掛鉤的也就屬于數(shù)據(jù)庫(kù)的領(lǐng)域了,所以hadoop和DBA掛鉤也就是情理之中的事情,在這個(gè)基礎(chǔ)之上,我們就需要為了DBA創(chuàng)作適合的技術(shù)。

  hive正是實(shí)現(xiàn)了這個(gè),hive是要類SQL語(yǔ)句(HiveQL)來實(shí)現(xiàn)對(duì)hadoop下的數(shù)據(jù)管理。hive屬于數(shù)據(jù)倉(cāng)庫(kù)的范疇,那么,數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)到底有什么區(qū)別了,這里簡(jiǎn)單說明一下:數(shù)據(jù)庫(kù)側(cè)重于OLTP(在線事務(wù)處理),數(shù)據(jù)倉(cāng)庫(kù)側(cè)重OLAP(在線分析處理);也就是說,例如mysql類的數(shù)據(jù)庫(kù)更側(cè)重于短時(shí)間內(nèi)的數(shù)據(jù)處理,反之。

無hive:使用者.....->mapreduce...->hadoop數(shù)據(jù)(可能需要會(huì)mapreduce)

有hive:使用者...->HQL(SQL)->hive...->mapreduce...->hadoop數(shù)據(jù)(只需要會(huì)SQL語(yǔ)句)


?hive安裝和配置

安裝

一:下載hive——地址:http://mirror./apache/hive/

?這里以hive-2.1.1為例子,如圖:

將hive解壓到/usr/local下:

[root@s100 local]# tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/

將文件重命名為hive文件:

[root@s100 local]# mv apache-hive-2.1.1-bin hive

?

修改環(huán)境變量/etc/profile:

[root@s100 local]# vim /etc/profile

?

1 #hive
2 export HIVE_HOME=/usr/local/hive
3 export PATH=$PATH:$HIVE_HOME/bin

執(zhí)行source /etc.profile:

執(zhí)行hive --version

[root@s100 local]# hive --version

?

?有hive的版本顯現(xiàn),安裝成功!

配置

[root@s100 conf]# cd /usr/local/hive/conf/

修改hive-site.xml:

這里沒有,我們就以模板復(fù)制一個(gè):

[root@s100 conf]# cp hive-default.xml.template hive-site.xml
[root@s100 conf]# vim hive-site.xml 

?

1.配置hive-site.xml(第5點(diǎn)的后面有一個(gè)單獨(dú)的hive-site.xml配置文件,這個(gè)如果有疑問可以用后面的配置文件,更容易明白)

主要是mysql的連接信息(在文本的最開始位置)

復(fù)制代碼
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www./licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
--><configuration>
  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
  <!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
  <!-- Hive Execution Parameters -->

        <!-- 插入一下代碼 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>用戶名(這4是新添加的,記住刪除配置文件原有的哦?。?        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>密碼
        <value>123456</value>
    </property>
   <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>jdbc:mysql://192.168.1.68:3306/hive</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>mysql驅(qū)動(dòng)程序
        <value>com.mysql.jdbc.Driver</value>
    </property>
        <!-- 到此結(jié)束代碼 -->


  <property>
    <name>hive.exec.script.wrapper</name>
    <value/>
    <description/>
  </property>
復(fù)制代碼

2.復(fù)制mysql的驅(qū)動(dòng)程序到hive/lib下面(這里已經(jīng)拷貝好了)

[root@s100 lib]# ll mysql-connector-java-5.1.18-bin.jar 
-rw-r--r-- 1 root root 789885 1月   4 01:43 mysql-connector-java-5.1.18-bin.jar

?

3.在mysql中hive的schema(在此之前需要?jiǎng)?chuàng)建mysql下的hive數(shù)據(jù)庫(kù))

1 [root@s100 bin]# pwd
2 /usr/local/hive/bin
3 [root@s100 bin]# schematool -dbType mysql -initSchema

4.執(zhí)行hive命令

[root@localhost hive]# hive

成功進(jìn)入hive界面,hive配置完成

5.查詢mysql(hive這個(gè)庫(kù)是在?schematool -dbType mysql -initSchema?之前創(chuàng)建的?。?/p> 復(fù)制代碼

 1 [root@localhost ~]# mysql -uroot -p123456
 2 Welcome to the MySQL monitor.  Commands end with ; or \g.
 3 Your MySQL connection id is 10
 4 Server version: 5.1.73 Source distribution
 5 
 6 Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
 7 
 8 Oracle is a registered trademark of Oracle Corporation and/or its
 9 affiliates. Other names may be trademarks of their respective
10 owners.
11 
12 Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
13 
14 mysql> use hive
15 Reading table information for completion of table and column names
16 You can turn off this feature to get a quicker startup with -A
17 
18 Database changed
19 mysql> show tables;
20  --------------------------- 
21 | Tables_in_hive            |
22  --------------------------- 
23 | AUX_TABLE                 |
24 | BUCKETING_COLS            |
25 | CDS                       |
26 | COLUMNS_V2                |
27 | COMPACTION_QUEUE          |
28 | COMPLETED_COMPACTIONS     |
復(fù)制代碼
備注 (這里不計(jì)入正文不要重復(fù)配置hive-site.xml)

配置文件hive-site.xml

這里不得不說一下,如果你的?schematool -dbType mysql -initSchema?并沒有執(zhí)行成功怎么辦,小博主昨天在這卡了一天,最后根據(jù)偉大的百度和hive官方文檔,直接寫了一個(gè)hive-site.xml配置文本:

復(fù)制代碼
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/hahive</value>(mysql地址localhost)
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>(mysql的驅(qū)動(dòng))
                <value>com.mysql.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>(用戶名)
                <value>root</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>(密碼)
                <value>123456</value>
        </property>

        <property>
                <name>hive.metastore.schema.verification</name>
                <value>false</value>
        </property>
</configuration>
復(fù)制代碼

?

?


?

那我們做這些事干什么的呢,下面小段測(cè)試大家感受一下

hive測(cè)試:

備注:這里是第二個(gè)配置文件的演示:所以數(shù)據(jù)庫(kù)名稱是hahive數(shù)據(jù)庫(kù)!

1.需要知道現(xiàn)在的hadoop中的HDFS存了什么

[root@localhost conf]# hadoop fs -lsr /

2.進(jìn)入hive并創(chuàng)建一個(gè)測(cè)試庫(kù)和測(cè)試表

[root@localhost conf]# hive

?創(chuàng)建庫(kù):

1 hive> create database hive_1;
2 OK
3 Time taken: 1.432 seconds

?顯示庫(kù):

1 hive> show databases;
2 OK
3 default
4 hive_1
5 Time taken: 1.25 seconds, Fetched: 2 row(s)

?創(chuàng)建庫(kù)成功!

3.查詢一下HDFS有什么變化

多了一個(gè)庫(kù)hive_1

娜莫喔?jìng)兊膍ysql下的hahive庫(kù)有什么變化

1 mysql> use hahive;
1 2 3 4 5 6 7 8 mysql>?select?*?from?DBS; ------- ----------------------- ------------------------------------------------ --------- ------------ ------------ | DB_ID | DESC????????????????? | DB_LOCATION_URI??????????????????????????????? | NAME??? | OWNER_NAME | OWNER_TYPE | ------- ----------------------- ------------------------------------------------ --------- ------------ ------------ |???? 1 | Default Hive database | hdfs://localhost/user/hive/warehouse?????????? | default | public???? | ROLE?????? | |???? 6 | NULL????????????????? | hdfs://localhost/user/hive/warehouse/hive_1.db | hive_1? | root?????? | USER?????? | ------- ----------------------- ------------------------------------------------ --------- ------------ ------------ 2 rows?in?set?(0.00 sec)

4.在hive_1下創(chuàng)建一個(gè)表hive_01

1 2 3 4 5 6 7 8 9 10 11 hive> use hive_1; OK Time taken: 0.754 seconds hive> create table hive_01 (id?int,name?string); OK Time taken: 2.447 seconds hive> show tables; OK hive_01 (表創(chuàng)建成功) Time taken: 0.31 seconds, Fetched: 2 row(s) hive>

HDFS下的情況:

mysql下:

1 2 3 4 5 6 7 mysql>?select?*?from?TBLS; -------- ------------- ------- ------------------ ------- ----------- ------- ---------- --------------- -------------------- -------------------- | TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE????? | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | -------- ------------- ------- ------------------ ------- ----------- ------- ---------- --------------- -------------------- -------------------- |????? 6 |? 1514286051 |???? 6 |??????????????? 0 | root? |???????? 0 |???? 6 | hive_01? | MANAGED_TABLE | NULL?????????????? | NULL?????????????? | -------- ------------- ------- ------------------ ------- ----------- ------- ---------- --------------- -------------------- -------------------- 2 rows?in?set?(0.00 sec)

娜莫在web端是什么樣子的呢!

?

總的來說,hive其實(shí)就和mysql差不多呢!那么后面就不說了

最后,瀏覽別人博客的時(shí)候都會(huì)有版權(quán)聲明,感覺好6的樣子,小博主以后也寫一段╭(╯^╰)╮


?版權(quán)聲明:

本文作者:魁·帝小仙

博文地址:http://www.cnblogs.com/dxxblog/p/8193967.html

歡迎對(duì)小博主的博文內(nèi)容批評(píng)指點(diǎn),如果問題,可評(píng)論或郵件聯(lián)系(2335228250@qq.com)

歡迎轉(zhuǎn)載,轉(zhuǎn)載請(qǐng)?jiān)谖恼马?yè)面明顯位置給出原文鏈接,謝謝

來源:https://www./content-4-574201.html

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多

    亚洲一区二区久久观看| 国产精品欧美一区两区| 中国日韩一级黄色大片| 九七人妻一区二区三区| 少妇肥臀一区二区三区| 黄色片一区二区在线观看| 精品少妇人妻av一区二区蜜桃| 国产a天堂一区二区专区| 中文字幕高清不卡一区| 一区二区三区人妻在线| 激情爱爱一区二区三区| 三级理论午夜福利在线看| 又色又爽又黄的三级视频| 少妇被粗大进猛进出处故事| 精品综合欧美一区二区三区| 男女午夜福利院在线观看| 欧美欧美欧美欧美一区| 一区二区日韩欧美精品| 日韩1区二区三区麻豆| 最近日韩在线免费黄片| 人妻精品一区二区三区视频免精| 国产午夜福利在线观看精品| 日韩欧美一区二区不卡视频| 扒开腿狂躁女人爽出白浆av| 亚洲视频一区自拍偷拍另类| 久久人人爽人人爽大片av| 麻豆视频传媒入口在线看| 中文字幕一区二区熟女| 日本高清不卡在线一区| 日韩人妻欧美一区二区久久| 国产伦精品一一区二区三区高清版| 亚洲专区中文字幕视频| 清纯少妇被捅到高潮免费观看| 亚洲国产精品一区二区毛片| 国产中文另类天堂二区| 日韩精品人妻少妇一区二区| 日韩高清毛片免费观看| 中文字幕日产乱码一区二区| 日韩一区二区三区在线欧洲| 国产欧美一区二区另类精品| 久久精品一区二区少妇|