Hdfs文件读取的原理介绍与源码剖析

0/325 Views        4-24 19:34 |Alex | Hadoop

图解读文件的数据流 ----1步.首先调用FileSystem对象的open方法,这个对象其实是DistributedFileSystem的一个实例 ----2步.DistributedFileSystem通过rpc获得文件的第一批个block的locations,同一block按照重复数会返回多个locations,这些locations按照hadoop拓扑结构排序,距离客户端近的排在前面.(源码中fetchLocatedBlocksAndGetLastBl...More »

返回顶部
Themes by lishiyu.cn