美文网首页
CDH6安装Lzo

CDH6安装Lzo

作者: Rex_2013 | 来源:发表于2020-08-06 14:29 被阅读0次

官方安装文档
官方配置文档

环境

centos7.6
cdh6.2.1

Parcel安装Lzo

  1. 在CDH的 Parcel 配置中,“远程Parcel存储库URL”,点击 “+” 号,添加地址栏:
image.png
    CDH6:https://archive.cloudera.com/gplextras6/6.2.1/parcels/
  1. 返回Parcel列表,延迟几秒后会看到多出了 GPLEXTRAS(CDH6) 下载 -- 分配 -- 激活。
image.png
  1. 安装完LZO后,打开HDFS配置,找到“压缩编码解码器”,点击 “+” 号,添加:
com.hadoop.compression.lzo.LzoCodec
com.hadoop.compression.lzo.LzopCodec
image.png
  1. YARN配置,找到 “MR 应用程序 Classpath”(mapreduce.application.classpath)添加:
/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
image.png
  1. 重启更新过期配置

相关文章

  • CDH6安装Lzo

    官方安装文档官方配置文档 环境 centos7.6cdh6.2.1 Parcel安装Lzo 在CDH的 Parce...

  • hdfs支持lzo压缩配置

    1 安装linux的lzo库 需要在集群的每一个节点都安装lzo库,假定都64位的机器。 1)安装lzo 操作如下...

  • Ambari安装配置lzo

    1.使用Ambari部署好hdp后,先安装lzo所需的相关文件: yum -y install lzo lzo-d...

  • Hadoop和HBase中的压缩算法、压缩比和压缩配置介绍(详细

    adoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装n...

  • hadoop之配置LZO压缩以及创建索引支持分片

    一、LZO相关软件下载及前置工作1、查看是否安装了lzop,lzo格式文件压缩解压需要用到服务器的lzop工具 如...

  • hadoop,spark中使用lzo

    一、环境准备 hadoop-2.6.0-cdh5.15.1并支持压缩(参考:hadoop安装文档) lzo jar...

  • CDH6安装简介

    环境介绍 虚拟机版本:CentOS 7.5(三台) CHD版本:6.3.0 MySQL:5.7 相关下载地址(不清...

  • Hive读取索引文件问题

    LZO压缩 数据保存在HDFS上面可以选取LZO压缩形式。LZO压缩的特点是可以切片 但是hadoop本身并不支持...

  • LZO 创建索引

    创建LZO文件索引,LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则L...

  • HIve 配置LZO压缩

    1.下载lzo源码包,然后进行编译,下载lzo的源码包地址https://github.com/twitter/h...

网友评论

      本文标题:CDH6安装Lzo

      本文链接:https://www.haomeiwen.com/subject/hvizrktx.html