创建表
#1. 通过select数据集创建表
create table table_name [stored as orc]
as
select ......
#2. --只复制表结构,不复制表数据
CREATE TABLE empty_key_value_store LIKE key_value_store;
向表里加载数据
有local 是linux 本地 无local 是dhfs
LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名;
LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名 PARTITION(ds='2021-07-04');
insert into table ext_task1 partition(taskname='wordcount05')
select
word,
num
from ext_task1
where taskname='wordcount0
导出数据到HDFS
有local 是linux 本地 无local 是hdfs
insert overwrite local directory '/home/user/' select NAME FROM USER;
注意:如果是分区表,导出数据时,导出的格式是avro、orc文件格式,如果不加分区导出时,会报错。
如何把分区表中所有数据都导出来avro、orc文件格式
需要通过临时表,作为中间表,先导出到中间表,再从中间表导出avro、orc文件格式的数据。
常规修改操作
--改表名
ALTER TABLE table_name RENAME TO new_table_name;
--修改表属性
ALTER TABLE table_name SET TBLPROPERTIES table_properties;
-- 增加表字段
alter table table_name add columns (test_col string);
--修改表字段
alter table ext_test_c CHANGE COLUMN col_new col_new2 string;
对新增字段插入数据再查询发现是NULL
hive比较特殊的地方,在于它的表结构和数据其实是分开的。这个会导致,对hive分区表新增字段后,在执行插入分区的动作,会发现其实数据文件中已经有新字段值了,但是在查询的时候新字段的值还是显示为null。
例如我执行了下面的方法新增了一列col3:
alter table my.test_table add columns(col3 int comment '第三列')
然后想插入一些数据:
insert overwrite table my.test_table partition(pt=1)
select 1 as col1, 2 as col2 ,3 as col3 from my.online_table;
结果查询col1,col2,col3发现结果其实是:
1 2 NULL 1 2 NULL ...1
这是因为你对表结构进行了改变,但是历史分区的数据却没有做改变(新增分区不会出现这个情况)。
为了解决上面的问题,可以采用两种方式:
如果已经执行添加操作,并且没有带cascade,可以尝试下面的方法:
使用replace 恢复表结构,这样历史的分区数据都不会消失
使用replace 恢复表结构,这样历史的分区数据都不会消失
alter table industry_db.product replace
columns(product_name string comment ‘产品名’);
- 在新增的时候加上cascade关键词
alter table my.test_table add columns(col3 int comment '第三列') cascade
Hive视图
- 只有逻辑视图,没有物化视图;
- 视图只能查询,不能Load/Insert/Update/Delete数据; alter view 和重建效果一致。
- 视图在创建时候,只是保存了一份元数据,在hdfs中没有体现,当查询视图的时候,才开始执行视图对应的那些子查询,如果子查询比较简单,不会生成MapReduce任务;
结论: 无论 使用视图还是不使用视图,执行的任务数不变。主要是为了简化SQL的编写;
动态分区
在select最后一个字段必须跟你的分区字段,这样就会自行根据deptno的value来分区。
Hive默认是静态分区,我们在插入数据的时候要手动设置分区,如果源数据量很大的时候,那么针对一个分区就要写一个insert,比如说,有很多我们日志数据,我们要按日期作为分区字段,在插入数据的时候手动去添加分区,那样太麻烦。因此,Hive提供了动态分区,动态分区简化了我们插入数据时的繁琐操作。
--设置参数动态分区
--开启动态分区
set hive.exec.dynamic.partition=true;
--这个属性默认是strict,即限制模式,strict是避免全分区字段是动态的,必须至少一个分区字段是指定有值即静态的,且必
--须放在最前面。设置为nonstrict之后所有的分区都可以是动态的了。
set hive.exec.dynamic.partition.mode=nonstrict;
--表示每个节点生成动态分区的最大个数,默认是100
set hive.exec.max.dynamic.partitions.pernode=10000;
--表示一个DML操作可以创建的最大动态分区数,默认是1000
set hive.exec.max.dynamic.partitions=100000;
--表示一个DML操作可以创建的最大文件数,默认是100000
set hive.exec.max.created.files=150000
--将select数据,覆盖到表的动态分区
insert overwrite table table1 partition (ds, hr)
select key, value, ds, hr FROM table2 WHERE ds is not null;
读到最后,希望对小伙伴有所帮助,希望多多点赞,多多转发。
,