美文网首页
[Hive] hive的内部表和外部表

[Hive] hive的内部表和外部表

作者: LZhan | 来源:发表于2019-08-07 22:49 被阅读0次

早上在地铁上不经意看到这个问题,隐约记得自己曾经整理过,不过现在已经不是很清晰,只能记得内部表和外部表区别是有无external修饰,删除内部表数据是元数据与存储在hdfs上的数据一起删除掉,但是外部表删除仅仅删除元数据;
所以说记得笔记,转载的博客得常常看啊!

1、内部表

创建内部表的语句:

create table test  (name string,age string) location '/input/table_data'

上传数据到表中:

load data inpath  '/input/data' into table test

这里会将hdfs的/input/data目录下的数据转移到test表数据的存储目录,即/input/table_data目录下。

在我们删除test表之后,会将test表的数据和元数据信息全部删除,即最后的/input/table_data下没有数据

所以在工作中,相对于内部表,更多的是创建外部表

2、外部表

创建外部表的语句:会带有EXTERNAL关键字

 CREATE EXTERNAL TABLE IF NOT EXISTS persona.location_info
(
  member_id         BIGINT  COMMENT '会员Id',
  is_da             BOOLEAN COMMENT '是否会员',
  city              STRING  COMMENT '常居地'
)
STORED AS PARQUET
LOCATION '/persona/data/location_info'

工作中,给一张新建的hive外部表导入数据,一般就是:

result.write.mode(SaveMode.Overwrite).parquet("/persona/data/location_info")

将查询得到的数据以parquet格式写到表存储的路径上。

一般是不会使用insert,就算只是插入一条记录也会进行MapReduce操作

3、说说上面提到的元数据信息

相关博客链接:
https://www.cnblogs.com/1130136248wlxk/articles/5517909.html
https://www.jianshu.com/p/ccf9c8a43e61
<1> hive版本表
version:存储hive的版本信息的表,有且只能有一条记录,多或者少都不行
<2> 数据库相关的表

image.png

dbs是主表,dbs示例数据:


image.png

<3> 还有与表相关的表,分区相关的表等等

相关文章

  • hdfs,hive大数据的存储管理和显示管理

    1.Hive中内部表和外部表及其对应的hdfs路径 1.1 Hive内部表和外部表的区别 Hive 创建内部表时,...

  • hive内部表与外部表

    hive内部表与外部表 hive的内部表与外部表之间的区别 传统数据库和hive之间的区别 传统数据库对表的验证是...

  • Hive框架基础(二)

    * Hive框架基础(二) 我们继续讨论hive框架 * Hive的外部表与内部表 内部表:hive默认创建的是内...

  • hive 建表方式及参数详解

    Hive 表简单介绍    hive中有两种表:外部表和内部表(managed and external)。可以通...

  • 案例详解__HIVE中内部表、外部表、分区表和分桶表

    目录一、Hive建表语法二、内部表外部表三、分区表四、分桶表 Hive在建表时可指定内部表、外部表、分区表和分桶表...

  • hive外部表分区

    外部表和内部表 内部表:数据由hive自身管理 存储在hive指定的hdfs目录中 删除会删除数据本身外部表(ex...

  • hive进阶学习

    创建hive表常用语句: 修改hive表名称: 内部表 vs 外部表: 创建分区表以及补充操作: hive中查询介...

  • Hive内部表和外部表的区别详解

    Hive内部表和外部表的区别详解 - CSDN博客 1.内部表 create tabletest (name st...

  • HIVE

    基础命令 基本DDL 内部表与外部表的区别 Hive 创建内部表时,会将数据移动到数据仓库指向的路径; Hive ...

  • 更新hive表数据

    hive外部表和内部表的区别 hive内部表删除的时候会将元数据和hdfs上的数据和对应的文件夹都删掉了,而删除外...

网友评论

      本文标题:[Hive] hive的内部表和外部表

      本文链接:https://www.haomeiwen.com/subject/srkzdctx.html