美文网首页
HDFS的一些高级特性

HDFS的一些高级特性

作者: 陈超Terry的技术屋 | 来源:发表于2019-07-17 16:37 被阅读0次

一、HDFS的回收站

   1、默认HBase是禁用回收站

   2、开启回收站:

         1)修改配置core-site.xml:   fs.trash.interval=0.  //默认0是时间,代表禁止

               修改成:  fs.trash.interval=1440 

    3、删除日志的提示

           回收站开启之后,删除数据后,会有下面类似的日志:

           日志:Moved: 'hdfs://172.26.73.102:9000/scott' to trash at: hdfs://172.26.73.102:9000/user/root/.Trash/Current

          /root/.Trash/Current :是回收站的地址

      4、恢复数据

           hdfs dfs -cp /user/root/.Trash/Current/scott/*.csv /datafiles

       5、清空回收站

           hdfs dfs -expunge

二、配额quota

     分成名称配额、空间配额。

     1、名称配额

      目录下面文件的个数限制。

     //设置 /test1下面只有3个文件。。。实际存放的/目录和文件=配置的个数-1

     hdfs dfsadmin -setQuota 3 /test1

     hdfs dfsadmin -clrQuota /test1

      2、空间配额

            目录下面的空间大小。

            记住:如果HDFS的block的大小为128M,则空间配额制少是128M,否则一个小文件也存不进去。

三、HDFS的快照

    1、默认目录的快照是禁止的

    2、快照操作

             如何开启

             hdfs dfsadmin -allowSnapshot /data。//开启那个目录允许快照

             创建快照

                  hdfs dfs -createSnapshot /test3 test3_snapshot_01

                 创建的快照,会放在/拷贝到隐藏目录 如/roo/.snapshot下面

             快照可以进行对比差异

                 对比test3_snapshot_01和test3_snapshot_02的差异

                 hdfs snapshotDiff /test3 test3_snapshot_01 test3_snapshot_02

四、HDFS的安全模式safemode

      1、HDFS的安全模式 是只读的

      2、在正常运行时,HDFS不能使用安全模式

      3、HDFS在安全模式下:检查数据块的副本率;如果数据块的副本率低于默认的副本率,HDFS就会进行数据块的水平复制

      4、 安全模式的操作指令,如下:

[root@hadoop-master hbase-0.96.2-hadoop2]# hdfs dfsadmin -safemode

Usage: java DFSAdmin [-safemode enter | leave | get | wait]

相关文章

  • HDFS的一些高级特性

    一、HDFS的回收站 1、默认HBase是禁用回收站 2、开启回收站: 1)修改配置core-site...

  • HDFS技术原理

    发自简书 HDFS概述及应用场景 HDFS在FusionInsight产品的位置 HDFS系统架构 关键特性介绍 ...

  • HDFS NameNode BlockReportLease 问

    概述 HDFS 在 HDFS-7923 中,引入了 block report lease 这个新的特性,目标是避免...

  • 漫谈未来的HDFS

    前面我们提到的HDFS,了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的,首先数据要以...

  • HDFS的Federation特性

    背景 hdfs主要有两层架构: 命名空间(Namespace)由目录,文件和块组成。它支持所有与命名空间相关的文件...

  • HDFS高级命令

    一、HDFS高级命令 hdfs haadmin 1.确定给定的NameNode是Active还是Standby 2...

  • PHP的一些高级特性

    自定义__clone()复制对象 如上例,PHP4时代$second和$first是两个完全不同的对象,php5之...

  • Vue的一些高级特性

    Vue的一些高级特性 兄弟组件之间的传值 自定义v-model $nextTick slot 动态,异步组件 ke...

  • Greenplum企业应用实战(笔记):第六章 Greenplu

    第六章 Greenplum 高级应用 [TOC] 本章将介绍一些 Greenplum 的高级特性,主要是与其他关系...

  • 使用Netty,我们到底在开发些什么?

    您可能感兴趣的文章: 大数据成神之路系列:Java高级特性增强-集合Java高级特性增强-多线程Java高级特性增...

网友评论

      本文标题:HDFS的一些高级特性

      本文链接:https://www.haomeiwen.com/subject/jwtclctx.html