基本命令
切换数据库： use <db_name>;
表重命名：ALTER TABLE table1 RENAME TO table2;
增加表分区
ALTER TABLE table1 ADD IF NOT EXISTS
PARTITION (year = 2001)
PARTITION (year = 2002)
...;
删除表分区
ALTER TABLE table1 DROP IF EXISTS PARTITION (year = 2001);
重命名列名
ALTER TABLE table1 CHANGE COLUMN <old_col> <new_col>
插入新列
ALTER TABLE table1 ADD COLUMNS(
app_name STRING
session_id LONG);
改变存储格式
ALTER TABLE table1
[PATITION (year = 2001)]
SET FILEFORMAT SEQUENCEFILE;
本地导入数据
LOAD DATA LOCAL INPATH '${env: HOME}/ California/employees'
OVERWRITE INTO TABLE employees
[PARTITION (country = 'US')];
通过查询语句插入数据
INSERT OVERWRITE TABLE employees
[PARTITION(...)]
SELECT * FROM stage_employees se
WHERE se.cnty = 'US' and se.et = 'OR';
通过单个查询语句创建表
CREATE TABLE table1
AS SELECT name, salary, address
FROM employees es
WHERE es.cnty = 'US';
导出数据
INSERT OVERWRITE DIRECTORY '/tmp/ca_employees'
SELECT name, salary, address
FROM employees es
WHERE es.cnty = 'US'
Hive 查询
SELECT col1, col2, col3 FROM table1 WHERE ...可以增加一些数学运算符 或者 自带函数
聚合函数
SELECT count(*), avg(salary)
FROM employees
GROUP BY cnty;
LIMIT: LIMIT从句用于限制结果的行数
设置列别名
SELECT count(*) as sum_num , avg(salary) as avg_sal
FROM employees
GROUP BY cnty;
LIKE: 与通配符 % 一起用, %可代替任何内容
HAVING: HAVING从句用来限制 GROUP BY产生的结果的输出。
SELECT avg(salary)
FROM employees
GROUP BY cnty
HAVING avg(salary) > 500;
JOIN
Hive SQL支持JOIN操作，但是只支持等值连接。
inner join
SELECT a.ymd, a.price, b.price
FROM stocks a inner join stocks b on a.ymd = b.ymd
WHERE a.name = "IBM" and b.name = "APPLE"
理论上一个JOIN 需要启动一个mapreduce任务，但是当多个表做连接时ON子句的连接键一样的话只启用一个mapreduce任务。
JOIN优化，把大表放在最后 或者 在代码中加入/*+STREAMTABLE(小表)*/
LEFT OUTER JOIN
image.png
RIGHT OUTER JOIN
image.png
FULL OUTER JOIN
LEFT SEMI-JOIN
左半边连接 只返回左表中满足on条件的结果。
map-side join
在JOIN时，把小表加载到内存中能够加快JOIN效率。
image.png
SORT BY、ODER BY 、DISTRIBUTE BY 、CLUSTER BY
ODER BY 对数据做全局排序，最后用一个reduce做排序
SORT BY 对数据做局部排序，在每一个reduce中排序
DISTRIBUTE BY控制map的输出在reduce中是如何划分的。
CLUSTER BY 相当于结合DISTRIBUTE BY 和 SORT BY，对同一列做DISTRIBUTE 和 SORT，但是只支持默认的升序排列。
数值转化
CAST( VALUE AS TYPE)
网友评论