美文网首页
Hive基础知识

Hive基础知识

作者: 陈超Terry的技术屋 | 来源:发表于2019-07-21 00:19 被阅读0次

体系结构

   1、 Hive是建立在Hadoop HDFY上的数据仓库基础构架。

         用HDFS存储数据,用MapReduce进行计算(查询分析)

   2、 HSQL是Hive的查询语言,类似SQL。

           Hive将HSQL解析成MapReduce的job,在Hadoop里执行

    3、 Hive允许开发者自定义Map和Reduce来执行复杂的分析工作

    4、Hive的表,就是HDFS的目录及目录下的文件。

          目录名是表名,目录的下面文件是表的数据。

          表的元信息存在关系数据库里:自带的derby或另外部署的Mysql。

  创建表的物理实现过程如下:

Hive的metadata元信息

     元信息包括:表名;列信息;目录位置;分区及其属性;表的属性(是否为外部表等);表的数据所在目录等。

    详细参加下图:

Hive的元信息

HSQL的执行过程

  1、 解释器、编译器、优化器完成HQL查询语句,词法分析、语法分析、编译、优化器、以及查询计划Plan(类似java的.class文件)的生成。

   2、 生成的查询计划,放在HDFS目录中,将在随后的Map/Reduce中被调用执行。、、

   更信息的过程如下:

用explain plan for + select语句,可以查看该SQL的执行计划详情。 

相关文章

  • Hive架构及搭建方式

    Hive架构及搭建方式 [TOC] 前言 本文档基于hive 3.1.2编写 hive的基础知识 基本架构 整个h...

  • Hadoop(二十七)HIVE的高级应用之推荐系统

    一.HIVE的基础知识 Hive复合数据类型:map– 创建map:map、str_to_map– 取key、va...

  • Hive 基础搭建教程

    需要安装Hadoop,教程:Hadoop 基础搭建教程 需要了解Hive基本概念:Hive 基础知识 1. 相关依...

  • Hive 学习总结

    这一周主要学习了 Hive 的一些基础知识,学习了多个 Hive 窗口函数,虽然感觉这些窗口函数没有实际的应用...

  • Spark学习笔记九:SparkSQL

    一、SparkSQL基础知识 1.SparkSQL介绍 Hive是Shark的前身,Shark是SparkSQL的...

  • Hive 基础知识

    Hive的安装步骤可以参考:https://www.cnblogs.com/kinginme/p/7233315....

  • Hive基础知识

    Hive是构建在Hadoop HDFS上得一个数据仓库 数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化...

  • hive基础知识

  • Hive基础知识

    体系结构 1、 Hive是建立在Hadoop HDFY上的数据仓库基础构架。 用HDFS存储数据,用Ma...

  • hive基础知识

    Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理,提...

网友评论

      本文标题:Hive基础知识

      本文链接:https://www.haomeiwen.com/subject/ifnslctx.html