Hadoop中DataNode未启动解决办法

   

Hadoop中DataNode未启动解决办法

centos 7
hadoop 2.7.3
问题:Hadoop集群搭建完毕,但是DataNode未启动,NameNode、SecondaryNameNode皆启动正常。
原因:由于多次格式化NameNode,在配置文件中保存的是第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。
解决:
1、查看当前namenode clusterID

cd /data/module/hadoop-2.7.3/
cd logs
tail -fn  50 hadoop-root-datanode-bigdata1.log
...
2020-07-20 16:16:46,965 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/data/module/hadoop-2.7.3/tmp/dfs/data/
java.io.IOException: Incompatible clusterIDs in /data/module/hadoop-2.7.3/tmp/dfs/data: namenode clusterID = CID-0546ea45-92f6-463b-b683-8a72e8dd5f2e; datanode clusterID = CID-a8586e1c-ff63-48d6-b5b7-94b7b1f7837d
...

namenode clusterID = CID-0546ea45-92f6-463b-b683-8a72e8dd5f2
2、修改配置文件

vim /data/module/hadoop-2.7.3/tmp/dfs/data/current/VERSION
...
clusterID=CID-0546ea45-92f6-463b-b683-8a72e8dd5f2e
...

重新启动hdfs即可。

发表评论