美文网首页
Hive各模块说明

Hive各模块说明

作者: david9 | 来源:发表于2019-10-22 14:26 被阅读0次

hive 2.1.1源码为例,对应CDH版本为6.2.0

模块名称 模块说明
hive-accumulo-handler
hive-ant
hive-beeline beeline客户端,内部通过jdbc和hiveserver2交互,走thrift
hive-cli hive命令的实现类,通过CliDriver处理整个流程
hive-common common包,没啥好说的,注意HiveConf类贯穿整个hive执行流程
hive-contrib 一些示例代码
hive-exec 核心模块,SQL的编译、执行(MR、Spark、Tez)都在这里,配合hive-cli 或hive-service看
hive-hbase-handler hbase相关,没细看
hive-hcatalog-core 提供编程式读写hive的接口(HCatReader/HCatWriter),官方介绍:HCatalog is a table and storage management layer for Hadoop that enables users with different data processing tools — Pig, MapReduce — to more easily read and write data on the grid
hive-hcatalog-pig-adapter
hive-hcatalog-server-extensions
hive-hcatalog-streaming
hive-hplsql hplsql,存储过程
hive-hwi 简单的JSP web界面,容器为jetty
hive-jdbc hive jdbc驱动实现,提供以jdbc方式连接HiveServer2,底层为thrift
hive-llap-client llap相关
hive-llap-common
hive-llap-ext-client
hive-llap-server
hive-llap-ext-client
hive-llap-tez
hive-metastore 核心模块,metastore相关,通过thrift和hiveserver2交互,注意各种events
hive-orc orc文件格式
hive-packaging deb包相关
hive-serde 序列化、反序列化
hive-service 核心模块,CLIService接口
hive-service-rpc CLIService的thrift协议定义
hive-shims-0.23 胶水代码,适配各种不同版本的hadoop、xxx、yyy等等
hive-shims-aggregator
hive-shims-common
hive-shims-scheduler
hive-storage-api
hive-testutils
hive-webhcat hcatalog的REST接口,官方介绍:WebHCat is the REST API for HCatalog, a table and storage management layer for Hadoop
hive-webhcat-java-client

相关文章

  • Hive各模块说明

    以hive 2.1.1源码为例,对应CDH版本为6.2.0

  • 系统架构简述

    写在最前 此处省略许多字...... 重要说明 由于模块较多,其中除了hive模块没有使用Redis,其它模块都使...

  • recon-ng各模块说明

    关于DNS 关于文件探测 关于远程注入 关于主机和端口 关于获取基本信息 关于信息验证 关于信息的利用 recon...

  • Hive主要模块及调用关系

    Hive主要模块及调用关系 Hive工作原理 Hive的编译器 编译器主要有这么几个模块:Parser,Seman...

  • Hive 参数

    Hive 参数 hive.exec.max.created.files•说明:所有hive运行的map与reduc...

  • Spark On Hive 部署和配置

    Spark On Hive,通过spark sql模块访问和使用Hive,默认Spark预编译(pre-built...

  • hive库表授权ranger插件加载过程

    1、ranger-hive-plugin架构说明 ranger将hive的鉴权分为了两部分 ranger-hive...

  • hive日志配置

    1、hive日志配置说明 hive日志的配置文件放在hive的conf目录配置文件名:hive-log4j2.pr...

  • Hive底层原理:explain执行计划详解

    不懂hive中的explain,说明hive还没入门,学会explain,能够给我们工作中使用hive带来极大的便...

  • 09.Hive介绍与环境搭建

    一. Hive架构说明 Hive是什么 Hive是一款基于Hadoop的数据仓库软件,用于处理Hadoops上的结...

网友评论

      本文标题:Hive各模块说明

      本文链接:https://www.haomeiwen.com/subject/unnvyctx.html