如何配置Hadoop环境

 我来答
豆包丨干粮
2017-09-20 · 超过54用户采纳过TA的回答
知道小有建树答主
回答量:160
采纳率:66%
帮助的人:69.6万
展开全部

Hadoop的伪分布式环境搭建(资源来于网络)

望采纳,参考文献:http://blog.csdn.net/u012342408/article/details/50520696

什么是伪分布式?Hadoop 伪分布式模式是在一台机器上模拟Hadoop分布式,单机上的分布式并不是真正的分布式,而是使用线程模拟的分布式。分布式和伪分布式这两种配置也很相似,唯一不同的地方是伪分布式是在一台机器上配置,也就是名字节点(namenode)和数据节点(datanode)均是同一台机器。

需要配置的文件有core-site.xml和hdfs-site.xml这两个文件他们都位于${HADOOP_HOME}/etc/hadoop/文件夹下。 
其中core-site.xml:

1 <?xml version="1.0" encoding="UTF-8"?>
2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3 <!--
4   Licensed ...
-->
18
19 <configuration>
20   <property>
21     <name>hadoop.tmp.dir</name>
22     <value>file:/home/hadoop/tmp</value>
23     <description>Abase for other temporary directories.</description>
24   </property>
25   <property>
26     <name>fs.default.name</name>
27     <value>hdfs://master:9000</value>
28   </property>
29 </configuration> 1234567891011121314151617

文件hdfs-site.xml的配置如下:

1 <?xml version="1.0" encoding="UTF-8"?>
2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
3 <!--
4   Licensed ...
-->
18
19 <configuration>
20   <property>
21     <name>dfs.replication</name>
22     <value>1</value>
23   </property>
24   <property>
25     <name>dfs.namenode.name.dir</name>
26     <value>file:/home/hadoop/tmp/dfs/name</value>
27   </property>
28   <property>
29     <name>dfs.datanode.data.dir</name>
30     <value>file:/home/hadoop/tmp/dfs/data</value>
31   </property>
32 </configuration>1234567891011121314151617181920

配置完成后,执行格式化命令,使HDFS将制定的目录进行格式化:

hdfs namenode -format1

若格式化成功,在临近输出的结尾部分可看到如下信息: 

快又稳
2024-10-28 广告
在Linux环境下配置基于域名的虚拟主机,需安装Apache或Nginx等Web服务器,并编辑配置文件。以Apache为例,需创建虚拟主机配置文件,指定域名、文档根目录等,然后启用该配置文件并重启Apache服务。同样,Nginx也需在相应... 点击进入详情页
本回答由快又稳提供
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式