HDFS的读写流程：
image.png
1.Client通过FileSystem.open(filePath)方法,与NameNode节点进行【rpc】协议通信，校验是否有权限是否存在文件，假如都存在，返回该文件的部分或全部的blockList(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象；
2.Clinet调用FSDataInputStream.read方法
1）与第一个块的最近的DataNode进行read，读取完成后，会check,假如ok，会关闭与当前的DN的通信；假如失败会记录块的这个副本+DN信息，下次就不会从这读取。那么就去该块的第二个DN的地址读取
2)然后读取第二个块，如第一个
3)假如block列表读取完成后，文件还未结束，那么FileSystem会从NN获取下一批次的block的列表。当然读操作对于client,就是透明的，感觉就是连续的数据流
3.Client调用FSDataInputStream.close()方法，关闭输入流
HDFS的读写流程： 1.Client通过FileSystem.open(filePath)方法,与NameNod...
技术文章入大厂总结hadoop权威指南剑指offerkylin，hadoop，spark源码
2016 读书列表： 大数据技术： 1、《hadoop权威指南》 2、《Hadoop技术内幕 深入解析HADOOP...
当前在Hadoop技术的发展中，如何把Docker技术应用于Hadoop平台的建立，尤其是对于Hadoop on ...
阿里Hadoop总结
1. 什么是Hadoop 大数据处理的分布式系统 2. Hadoop****生态圈 三大核心： HDFS集群：分布...
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
前言 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的...
本文标题：Hadoop技术点总结
本文链接：https://www.haomeiwen.com/subject/oiipmctx.html
网友评论