美文网首页大数据
hive优化命令

hive优化命令

作者: 堂哥000 | 来源:发表于2021-06-19 16:46 被阅读0次
  • 显示所有带ods字样的数据库
    show databases like '*ods*'
  • 显示所有带ods字样的某个库下的表名
    show table '*ods*'
  • 显示某个表一级分区下的二级分区(不显示全分区)
    show partitions table_name partition(the_date='20210619')
  • 表描述信息
     -- 两种写法信息一致,第二种表描述更丰富
     desc extended  table_name [partition(the_date='20210619')]
     dssc formatted table_name [partition(the_date='20210619')]
  • 原表基础重建表(不修改表内数据,相当于修改表字段名)
alter table table_name replace columns (
  field_one string comment 'first field name'
  ,field_two int comment 'second field name '
) ;
  • 设置表文件属性,可实现一个表同时存在orc格式和txt格式
-- 不加(partition)分区对整个表设置文件属性,但是已导入数据不会受到影响
--  加上分区参数不会修改整表,原来的分区内为orc 文件,修改完分区内可读
--  此方法可实现,每个分区的数据文件格式可独立存在
alter table  table_name  partition(pt='20210619')
set fileformat orcfile;
  • 提取hdfs除去最后一域的其他数据
hadoop fs -ls -R /user/hive/warehouse/tmp.db/ |awk '{print $8}'|awk -F'/' '{gsub($(NF-1)"/"$NF,"");print}'
  • 读一次表,查询插入多个表


    多段插入

    hive-132

相关文章

  • hive优化命令

    显示所有带ods字样的数据库show databases like '*ods*' 显示所有带ods字样的某个库下...

  • 数仓--Hive-面试之Hive优化策略

    Hive的优化策略大致分为:配置优化(hive-site.xml和hive-cli执行前配置)、表优化、hive数...

  • Hive常用的几种交互操作

    查看hive下的交互命令方式 -help(hive 外) 命令:bin/hive -helpusage: hive...

  • 大数据开发之Hive优化篇2-Hive的explain命令

    备注:Hive 版本 2.1.1 一.Hive explain命令概述 Hive的explain命令用来看Hive...

  • HiveQL快速使用

    hive命令包括Hive cli 和 hiveQL命令 Hive cli cli 就是命令行界面,可以通过cli创...

  • Hive进阶

    hive配置,命令 hive查询显示列名 hive默认分隔符 \001 hive命令行中查看当前hive环境变量 ...

  • Hive优化

    Hive简单优化与定期ETL Hive优化 Hive的执行依赖于底层的MapReduce作业,因此对Hadoop作...

  • Hive优化

    Hive优化 今天的主要内容——Hive优化 Fetch抓取Hive 中对某些情况的查询可以不必使用 MapRed...

  • Hive优化

    Hive数据倾斜优化总结 Hive数据倾斜优化分为配置优化和SQL优化 优先原则: 数据不怕多,避免倾斜。 减少J...

  • Hive 企业使用优化一

    Hive优化之一fetch task。 优化场景, 1、当在hive中执行select * from emp全部查...

网友评论

    本文标题:hive优化命令

    本文链接:https://www.haomeiwen.com/subject/uhvryltx.html