hive（數(shù)據(jù)倉(cāng)庫(kù)工具）

Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)工具在Hadoop中用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)。它架構(gòu)在Hadoop之上，總歸為大數(shù)據(jù)，并使得查詢和分析方便。并提大數(shù)據(jù)培訓(xùn)供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。術(shù)語(yǔ)“大數(shù)據(jù)”是大型數(shù)據(jù)集，其中包括體積龐大，高速，以及各種由與日俱增的數(shù)據(jù)的集合。使用傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)，它是難以加工大型數(shù)據(jù)。因此，Apache軟件基金會(huì)推出了一款名為Hadoop的解決大數(shù)據(jù)管理和處理難題的框架。

SQL

結(jié)構(gòu)化查詢語(yǔ)言(Structured Query Language)簡(jiǎn)稱SQL，是一種數(shù)據(jù)庫(kù)查詢和程序設(shè)計(jì)語(yǔ)言，用于存取數(shù)據(jù)以及查詢、更新和管理關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)；同時(shí)也是數(shù)據(jù)庫(kù)腳本文件的擴(kuò)展名。

結(jié)構(gòu)化查詢語(yǔ)言是高級(jí)的非過(guò)程化編程語(yǔ)言，允許用戶在高層數(shù)據(jù)結(jié)構(gòu)上工作。它不要求用戶指定對(duì)數(shù)據(jù)的存放方法，也不需要用【關(guān)注尚硅谷，輕松學(xué)IT】戶了解具體的數(shù)據(jù)存放方式，所以具有完全不同底層結(jié)構(gòu)的不同數(shù)據(jù)庫(kù)系統(tǒng), 可以使用相同的結(jié)構(gòu)化查詢語(yǔ)言作為數(shù)據(jù)輸入與管理的接口。結(jié)構(gòu)化查詢語(yǔ)言語(yǔ)句可以嵌套，這使它具有極大的靈活性和強(qiáng)大的功能。

常見(jiàn)SQL命令

SELECT 語(yǔ)句

作用：用于從表中選取數(shù)據(jù)，結(jié)果被存儲(chǔ)在一個(gè)結(jié)果表中

語(yǔ)法：select 列名稱 from 表名稱

舉例：select LastName from Person 或 select * from Person

WHERE 子句

作用：如需有條件地從表中選取數(shù)據(jù)，可將 WHERE 子句添加到 SELECT 語(yǔ)句

語(yǔ)法：SELECT 列名稱 FROM 表名稱WHERE 列 運(yùn)算符 值

舉例：SELECT * FROM Persons WHERE FirstName='John'

ORDER BY 語(yǔ)句

作用：ORDER BY 語(yǔ)句用于根據(jù)指定的列對(duì)結(jié)果集進(jìn)行排序，默認(rèn)按照升序?qū)τ涗涍M(jìn)行排序；如需按照降序，可使用DESC關(guān)鍵字

舉例：ORDER BY SELECT LastName, FirstName FROM Persons ORDER BY FirstName

SELECT DISTINCT

作用：關(guān)鍵字DISTINCT 用于返回唯一不同的值

語(yǔ)法：SELECT DISTINCT 列名稱 FROM 表名稱

舉例：要從Company列中僅選取唯一不同的值，

SELECTDISTINCT Company FROM Orders

AND 和 OR 運(yùn)算符

作用: AND 和 OR 可在 WHERE 子語(yǔ)句中把兩個(gè)或多個(gè)條件結(jié)合起來(lái)。

如果第一個(gè)條件和第二個(gè)條件都成立，則 AND 運(yùn)算符顯示一條記錄。

如果第一個(gè)條件和第二個(gè)條件中只要有一個(gè)成立，則 OR 運(yùn)算符顯示一條記錄

舉例：使用 AND 來(lái)顯示所有姓為 "Carter" 并且名為 "Thomas" 的人

SELECT* FROM Persons WHERE FirstName='Thomas' AND LastName='Carter'

SUM() 函數(shù)

作用：SUM 函數(shù)返回?cái)?shù)值列的總數(shù)（總額）

語(yǔ)法：SELECT SUM(column_name) FROM table_name

舉例：

 我們希望查找 "OrderPrice" 字段的總數(shù)

SELECTSUM(OrderPrice) AS OrderTotal FROM Orders

GROUP BY 語(yǔ)句

“GroupBy”從字面意義上理解就是根據(jù)“By”指定的規(guī)則對(duì)數(shù)據(jù)進(jìn)行分組，所謂的分組就是將一個(gè)“數(shù)據(jù)集”劃分成若干個(gè)“小區(qū)域”，然后針對(duì)若干個(gè)“小區(qū)域”進(jìn)行數(shù)據(jù)處理

舉例：

 select類別, sum(數(shù)量) as 數(shù)量之和fromA

groupby 類別

返回結(jié)果如下表，實(shí)際上就是分類匯總。

實(shí)例介紹：

1. 從persona_data_info 表中，查詢job_id=279 的每個(gè)gender類別的人數(shù)總和

select gender,sum(persona_count) from persona_data_info where job_id=279 group by gender;

2. 從persona_data_city ,persona_city_map兩個(gè)表中查詢job_id=279且citycode= map.code

SELECTjob_id,citycode,persona_count,province,region,city_level FROM persona_data_city,persona_city_map where job_id=279 AND persona_data_city.citycode =persona_city_map.`code`;