Question

hadoop文件存放问题

假设我有一个200MB的文件，我将其存在HDFS上，那么hadoop是将文件分块后是怎样选择datanode来存放这些block的呢？（不是问副本的存放机制，是问文件所分的几个块是怎样存的）

Answer 1

（1）文件分割后，会有一个 文件 --> block的映射，这个映射是持久化到硬盘中的，具体的映射关系表是在FSNamesystem.java中构建的（该部分的构建使用的是FSDirectory.java的功能，filename - blockset）；
有了文件到块的映射表就可以通过文件找到blocklist；
（2）datanode的选取，hadoop有它本身的机制，一般来说，datanode默认是三个，选取的是不同机架的datanode，同机架里选一台，另一个机架里选取两台（安全性等考虑）；
（3）block写入datanodes，选取的三个datanode，比如说是A、B、C，先写给A，A再写给B，B再写给C；然后B收到C的写入成功，A收到B的写入成功，然后告诉namenode 和 client写入成功；
（4）真正写的并不是block，而是比block更小的好像是chunk ， 还包括有各种校验。

追问

你的第一点正是我要找的！不过我在FSDirectory中没找到HDFS将文件映射block的机制。请问是哪个或哪几个函数做到这个功能的呢？
我现在在思考的问题是：
比如说我在北京和西安各有一堆计算机，两地都用同一个hadoop建立联系，namenode设在北京，现在我在西安这的某台电脑上上传一个比较大的文件，那这个文件会被namenode写在哪呢？
是随机选的呢？还是就近存在西安的节点上？

Answer 2

可以的 没问题