Question

web+Hadoop遇到的一些问题，请大家帮助一下~，感激不尽~~~

我当前做一个web项目，底层用hadoop hdfs存储数据，web服务器部署在了集群中的一台机器上。现在在做上传和下载，对于一个非集群内的客户端，通过访问这个web项目，来将本地文件直接上传到hdfs，或者直接从hdfs下载到本地，都是直接通过访问这个web页面实现，应该怎么做呢？
因为集群外的机器虽然能访问得了web，但是本地却没有hadoop客户端，应该如何解决本地上传和下载呢？

Answer 1

hadoop提供API的，直接调用hadoop的api就行。你web服务器肯定是可以访问集群的，数据其实是在你的web服务器做了中转。你的web服务器对hadoop集群来说就是client，你就可以获取输出流，然后从web服务端写出就行了。

Answer 2

是否可以使用代理，或者使用ICE服务接口来实现你说的功能？

追问

能不能具体说说呢？

追答

1. 代理的方式就是说读写请求发给代理服务器，代理服务程序会接受文件，并且将文件写到hdfs中，写文件可以是异步操作的，这样界面感觉会比较快些，读的话也类似；

2. ICE服务跟web service差不多了，不过比web service更简单，走的协议也是比较底层的，所以效率更高，需要实现服务接口，客户端调用服务接口读写文件就好了。

另外补充一句，hdfs读写小文件性能不高的，大文件还可以（64MB或以上），hdfs读写千万级别的文件性能会降低的比较厉害。这个也是做系统时应该要考虑进去的~

追问

存在的一个问题是，因为文件太大，几个G的大文件都有，所以很难通过浏览器将该文件传到代理服务器呢~，请问你有什么好解决办法吗？

追答

那么大的文件肯定不能通过浏览器来上传的，因为走的是http协议，效率很低的。
如果是我们做的话，想到有两种做法，仅供参考：
1）写一个客户端小程序，由这个小程序来上传文件，走tcp协议，这个性能肯定很好的，千兆网环境下，能够跑满千兆的。上传文件时，其实是调用这个小程序；
2）还是ICE接口，因为ICE走的协议也是比http要高效的，所以可以通过调用ICE服务的方式来上传文件。我们有同事测试过，性能不比tcp传输慢的，也是能跑满千兆带宽，不过这块我不是特别熟，没怎么用过了~
不知道你们网络环境如何，可以优先考虑下ICE吧，希望能帮助到你~~

追问

之前我没有接触过ICE，利用ICE我可以将本地文件直接传送到hdfs，还是另外一台机器？能具体说一下ICE吗？，利用它我可以实现什么样的服务~

追答

webservice有了解过吗？webservice也是可以数据传输的。
因为我一直做底层的，所以写个客户端程序我比较擅长，ice的话最近计划学吧。
网上搜了点资料，希望对你有帮助~~~
wenku.baidu.com/view/05edfd6548d7c1c708a14589
http://blog.csdn.net/bestone0213/article/details/41114399
等我实验一下，到时候再追答吧~