创建表

#1. 通过select数据集创建表 create table table_name [stored as orc] as select ...... #2. --只复制表结构,不复制表数据 CREATE TABLE empty_key_value_store LIKE key_value_store;

向表里加载数据

有local 是linux 本地 无local 是dhfs

LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名; LOAD DATA LOCAL INPATH '路径/文件名' OVERWRITE INTO TABLE 表名 PARTITION(ds='2021-07-04');

insert into table ext_task1 partition(taskname='wordcount05') select word, num from ext_task1 where taskname='wordcount0

导出数据到HDFS

有local 是linux 本地 无local 是hdfs

insert overwrite local directory '/home/user/' select NAME FROM USER;

注意:如果是分区表,导出数据时,导出的格式是avro、orc文件格式,如果不加分区导出时,会报错。

如何把分区表中所有数据都导出来avro、orc文件格式

需要通过临时表,作为中间表,先导出到中间表,再从中间表导出avro、orc文件格式的数据。

常规修改操作

hive主要内容(Hive常用知识点汇总01)(1)

--改表名 ALTER TABLE table_name RENAME TO new_table_name; --修改表属性 ALTER TABLE table_name SET TBLPROPERTIES table_properties; -- 增加表字段 alter table table_name add columns (test_col string); --修改表字段 alter table ext_test_c CHANGE COLUMN col_new col_new2 string;

对新增字段插入数据再查询发现是NULL

hive比较特殊的地方,在于它的表结构和数据其实是分开的。这个会导致,对hive分区表新增字段后,在执行插入分区的动作,会发现其实数据文件中已经有新字段值了,但是在查询的时候新字段的值还是显示为null。

例如我执行了下面的方法新增了一列col3:

alter table my.test_table add columns(col3 int comment '第三列')

然后想插入一些数据:

insert overwrite table my.test_table partition(pt=1) select 1 as col1, 2 as col2 ,3 as col3 from my.online_table;

结果查询col1,col2,col3发现结果其实是:

1 2 NULL 1 2 NULL ...1

这是因为你对表结构进行了改变,但是历史分区的数据却没有做改变(新增分区不会出现这个情况)。

为了解决上面的问题,可以采用两种方式:

如果已经执行添加操作,并且没有带cascade,可以尝试下面的方法:

使用replace 恢复表结构,这样历史的分区数据都不会消失

使用replace 恢复表结构,这样历史的分区数据都不会消失 alter table industry_db.product replace columns(product_name string comment ‘产品名’);

alter table my.test_table add columns(col3 int comment '第三列') cascade

Hive视图

结论: 无论 使用视图还是不使用视图,执行的任务数不变。主要是为了简化SQL的编写;

动态分区

hive主要内容(Hive常用知识点汇总01)(2)

在select最后一个字段必须跟你的分区字段,这样就会自行根据deptno的value来分区。

Hive默认是静态分区,我们在插入数据的时候要手动设置分区,如果源数据量很大的时候,那么针对一个分区就要写一个insert,比如说,有很多我们日志数据,我们要按日期作为分区字段,在插入数据的时候手动去添加分区,那样太麻烦。因此,Hive提供了动态分区,动态分区简化了我们插入数据时的繁琐操作。

--设置参数动态分区

--开启动态分区

set hive.exec.dynamic.partition=true;

--这个属性默认是strict,即限制模式,strict是避免全分区字段是动态的,必须至少一个分区字段是指定有值即静态的,且必

--须放在最前面。设置为nonstrict之后所有的分区都可以是动态的了。

set hive.exec.dynamic.partition.mode=nonstrict;

--表示每个节点生成动态分区的最大个数,默认是100 set hive.exec.max.dynamic.partitions.pernode=10000; --表示一个DML操作可以创建的最大动态分区数,默认是1000 set hive.exec.max.dynamic.partitions=100000; --表示一个DML操作可以创建的最大文件数,默认是100000 set hive.exec.max.created.files=150000 --将select数据,覆盖到表的动态分区 insert overwrite table table1 partition (ds, hr) select key, value, ds, hr FROM table2 WHERE ds is not null;

读到最后,希望对小伙伴有所帮助,希望多多点赞,多多转发。

,