美文网首页
003 Impala | 安装前性能配置

003 Impala | 安装前性能配置

作者: __destory__ | 来源:发表于2019-02-26 16:58 被阅读0次

为了更好的发挥Impala的性能,需要在impala的配置项,如下几点,

Short-Circuit Reads 开启HDFS短路读取

HDFS也有短路读取的功能,因此在安装Impala之前开启次功能,这样Impala可以直接从file system中直接读取文件,而不需要经过NameNode,DataNode进程。同时,短路读取,也可以最小化数据的额外拷贝。

需要libhadoop.so文件,Hadoop Native Library,要确保Impala的server和client能够同时读取到才行。

配置如下,

  1. 确保impala能够读取到core-site.xml和hdfs-site.xml,共享这些文件或者拷贝到impala配置目录,独享配置(此时,修改不会影响HDFS)
  2. 在Impala的所有节点中,修改hdfs-site.xml配置文件,如下,
<property>
 <name>dfs.client.read.shortcircuit</name>
 <value>true</value>
</property>
<property>
 <name>dfs.domain.socket.path</name>
 <value>/var/run/hdfs-sockets/dn</value>
</property>
<property>
 <name>dfs.client.file-block-storage-locations.timeout.millis</name>
 <value>10000</value>
</property
  1. 确保/var/run/hdfs-sockets/dn目录对于root组是有读权限,如果不是root组,会报错如下,


    group error.png

修改之后,启动impala便可顺利,


change group.png
  1. 重启所有DataNodes

下图,是CDH的截图,改配置是HDFS的,但是可以给impala服务范围使用,如果开始,需要去HDFS的配置修改功能设置,


shortcircuit.png

提示,建议的 DataNode 数据目录权限 配置为处于非安全模式中的 755,使用 HDFS Short Circuit Reads 实现最佳 Impala 性能。至少一个 DataNode 角色组 (DataNode Group 1) 有无效值:700。您应了解在进行该更改之前,修改安全群集中的该配置值的含义。

需要将dfs.datanode.data.dir.perm设置为755,默认是700,


perm.png

Block Location Tracking 块位置追踪

让Impala知道HDFS块的元数据信息,包括磁盘数据块的位置等等,能够更好的增强效率
操作步骤,

  1. 对于每个DataNodes,修改hdfs-site.xml
<property>
 <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
 <value>true</value>
</property> 
  1. 确保Impala能够读到hdfs-site.xml配置文件
  2. 重启DataNodes

相关文章

  • 003 Impala | 安装前性能配置

    为了更好的发挥Impala的性能,需要在impala的配置项,如下几点, Short-Circuit Reads ...

  • Centos7+安装Impala

    Impala下载地址 安装Impala的其他依赖 安装Hadoop、Hive(安装方式自行百度) 安装Impala...

  • Gitlab

    安装docker 001 上传docker的repo 002 安装docker并启动docker服务 003 配置...

  • Impala配置

    1、关于Impala Daemon个数设置 A More Precise Approach A more prec...

  • impala性能测试

    1.获取工具 2.生成数据 3.将数据复制到hadoop 4.创建数据表

  • impala安装

    安装前提 hadoop,hive,mysql安装正常 开始安装impala 安装规划 主节点node03执行以下命...

  • vue-cli3项目搭建配置

    vue-cli3项目搭建配置以及性能优化项目初始化 注意:安装前请确保有安装node.js,并且node>=8.9...

  • 03. impala-kudu 安装

    注意: 1. 需要启动hdfs。 2. 权限 参考: impala-kudu安装kudu和kudu-impala的...

  • OLTPBenchmark配置及OLTP性能调优

    配置OLTPBenchmark并进行性能调优 安装依赖 PostgreSQL 首先安装PostgreSQL,本测试...

  • Impala与Hbase整合实现查询添加数据

    Impala是Cloudera 开发的所以在CDH大数据环境下 安装简单,CDH自己集成了Impala Impal...

网友评论

      本文标题:003 Impala | 安装前性能配置

      本文链接:https://www.haomeiwen.com/subject/qutzyqtx.html