1，现象，登录一台datanode,可以使用iotop查看
2，我们发现du -sk 占用了IOPS， 然后需要怎么处理呢。hadoop有相关的jira
https://issues.apache.org/jira/browse/HADOOP-9884
3,解决方案：
网上大致有两种办法，第一钟办法是将du改成df，因为df操作特别快。不针对每个文件。第二种办法是直接利用内存里面存储的blocks块的统计数据。我下面介绍一下怎么使用df。
增加一个类:
还需要在core-site.xml里面增加配置。fs.getspaceused.classname=org.apache.hadoop.fs.DFCachingGetSpaceUsed
有任何问题可以留言
1，现象，登录一台datanode,可以使用iotop查看 2，我们发现du -sk 占用了IOPS， 然后需要怎...
dfs.datanode.du.reserved是什么鬼 dfs.datanode.du.reserved表示的是...
1.ERROR org.apache.Hadoop.hdfs.server.datanode.DataNode:J...
hadoop datanode起不来 检查/data目录下namenode集群id和datanode集群id是否致...
在ambari中启动hadoop datanode时报错ERROR:Invalid HADOOP_COMMON_H...
1.查看文件夹文件大小 du -sk [filename] du -sh * 2.
在Hadoop环境搭建中，我们配置多个DataNode保证了DataNode的高可用，但是NameNode是单点的...
DataNode节点退役 1.在hadoop的配置目录修改datanode-deny.list添加待下线节点hos...
1、配置NameNode的hdfs-site.xml，适当减小dfs.replication副本数，增加dfs.h...
一. Hadoop日志 日志分类: namenode日志 datanode日志 secondarynamenode...
本文标题：du -sk 造成hadoop 的datanode IO Wai
本文链接：https://www.haomeiwen.com/subject/brdpmctx.html
网友评论