hadoop的reduce阶段卡住的问题

来源:互联网  时间:2016/8/9 16:28:15

关于网友提出的“ hadoop的reduce阶段卡住的问题”问题疑问,本网通过在网上对“ hadoop的reduce阶段卡住的问题”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题: hadoop的reduce阶段卡住的问题
描述:

2013-10-14 18:02:37,237 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0637_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.01 MB/s) >
2013-10-14 18:02:38,447 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0622_r_000000_0 0.05263158% reduce > copy (3 of 19 at 0.00 MB/s) >
2013-10-14 18:02:40,981 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0616_r_000000_0 0.17543861% reduce > copy (10 of 19 at 0.00 MB/s) >
2013-10-14 18:02:43,465 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0637_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.01 MB/s) >
2013-10-14 18:02:44,192 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0616_r_000000_0 0.17543861% reduce > copy (10 of 19 at 0.00 MB/s) >
2013-10-14 18:02:44,652 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0622_r_000000_0 0.05263158% reduce > copy (3 of 19 at 0.00 MB/s) >
2013-10-14 18:02:46,665 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0637_r_000000_0 0.16666667% reduce > copy (1 of 2 at 0.01 MB/s) >
2013-10-14 18:02:47,869 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0622_r_000000_0 0.05263158% reduce > copy (3 of 19 at 0.00 MB/s) >
2013-10-14 18:02:50,411 INFO org.apache.hadoop.mapred.TaskTracker: attempt_201310122012_0616_r_000000_0 0.17543861% reduce > copy (10 of 19 at 0.00 MB/s) >
reduce阶段一直被卡在17%,一个datanode机器上显示上面这些信息,拷贝没有速度,这是什么问题呢?说明一下,不是每一个任务都会出现这个问题,而是有的任务会这样,而另外一些任务是可以正常完成的。因此我任务应该不是防火墙或者/etc/hosts配置的问题


解决方案1:

一个晚上都卡在那个位置肯定有问题,应该是datanode的配置问题,不过偶尔的时候一般会存在卡一会接下来就会出现commit pending 的时候就没问题。会不会是没有空闲的slots了哪?

上一篇hadoop 26 安装 ScondaryNameNode 无法启动,也没有报错!!
下一篇如何在Apache hadoop220下面部署impala
明星图片
相关文章
《 hadoop的reduce阶段卡住的问题》由码蚁之家搜集整理于网络,
联系邮箱:mxgf168#qq.com(#改为@)