早在2013年的时候,docker就已经发行,然而那会还是很少人了解docker。一直到2014年,Martin ...[作者空间]
Flink 和 Spark 都是基于内存计算、支持实时/批处理等多种计算模式的统一框架 1,技术理念不同 Spar...[作者空间]
项目背景 在描述和还原事故之前,简单说明下相关环境: spring boot v2.0.4.RELEASE s...[作者空间]
架构设计系列文章,请参见连接。 十分钟让你透彻理解大数据的工作方式。大数据并不是深不可测、高不可攀的技术,这里用1...[作者空间]
中国科学院院士梅宏表示,随着在行业领域应用的深入,数据作为基础性战略资源的地位日益凸显。数据确权、数据质量、数据安...[作者空间]
报错 Failed with exception java.io.IOException:org.apache.h...[作者空间]
项目实战之四日志文件数据存储、收集、预处理和分析 日志文件:每天的文件安装【日期】存放在对应的文件夹中一天之内只产...[作者空间]
Nginx语法 日志格式 实际日志 "27.38.5.159" "-" "31/Aug/2015:00:04:37...[作者空间]
Apache 企业实际使用并不多。最原始(基础)版本。这是学习hadoop的基础。 cloudera 对hadoo...[作者空间]
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文 件缓存在HDFS当中,Na...[作者空间]
HDFS快照是一个只读的基于时间点文件系统拷贝。快照可以是整个文件系统的 也可以是一部分。常用来作为数据备份,防止...[作者空间]
ResourceManager(RM)负责跟踪集群中的资源,并调度应用程序(例如MapReduce作业)。在Had...[作者空间]
HDFS 使用分布式日志管理,日志管理的是nameNode的fsimages和eidts日志文件。[作者空间]
ZKFailoverController(ZKFC)是一个新的组件,它是一个ZooKeeper客户端,它还监视和管...[作者空间]
namenode启动都是standby。 利用zookeeper来选举一个为active ZooKeeper客户端...[作者空间]
查看目录 bin/hadfs dfs -ls / 报错:报错 错误原因:是因为client在访问代理的时候出错了。...[作者空间]
请先参看规划HA的分布式集群服务器HDFS HA配置详解 一定要严格按照顺序执行 说明:如果不安装启动顺序来就会出...[作者空间]
根据HA架构图,规划HA的分布式集群服务器 HA集群规划 根据官方文档配置HA 部分说明 Architecture...[作者空间]
背景 Hadoop 2.0 之前,在HDFS 集群中 NameNode 存在单点故障(SPOF )。对于只有一个N...[作者空间]
HDFS元数据 datanode[作者空间]