hadoop执行mapreduce成功但结果数据错误
学习hadoop,找了3台机器部了个小集群。其中一台的配置很差,内存只有256M。在集群上跑一段小程序。mapreduce执行成功,没有报错,但是得到的结果数据不对,数据...
学习hadoop,找了3台机器部了个小集群。其中一台的配置很差,内存只有256M。
在集群上跑一段小程序。mapreduce执行成功,没有报错,但是得到的结果数据不对,数据中总会有随机的、连续的一大段数据没做处理。代码没有错误,复制修改到单机环境下可以正确执行的代码。
一直在不停的试着运行。有次256那台机器很卡,分配到上边的map都没有执行,结果这次得到了正确的结果。
因此觉得由于256机器配置太差引发了问题。不知道推测是否正确?这种问题该怎么描述(程序正确,执行正常不报错,就是结果不对)?该怎么处理保证每次都能得到正确运算结果(除了替换掉那台256机器外的方法)?
系统环境fedora10,hadoop1.0.4 展开
在集群上跑一段小程序。mapreduce执行成功,没有报错,但是得到的结果数据不对,数据中总会有随机的、连续的一大段数据没做处理。代码没有错误,复制修改到单机环境下可以正确执行的代码。
一直在不停的试着运行。有次256那台机器很卡,分配到上边的map都没有执行,结果这次得到了正确的结果。
因此觉得由于256机器配置太差引发了问题。不知道推测是否正确?这种问题该怎么描述(程序正确,执行正常不报错,就是结果不对)?该怎么处理保证每次都能得到正确运算结果(除了替换掉那台256机器外的方法)?
系统环境fedora10,hadoop1.0.4 展开
1个回答
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询