Hadoop에러 - [hadoop java.net.connectexception:연결이 거부됨] 해결하기.

요즘 학교에서 빅데이터 처리 개론 수업을 들으면서 가상머신에 하둡을 설치하고 활용하는 것을 배우고 있습니다. 그런데 강의를 따라가면서 실습하던 와중에, 오류에 부딪혀서 기록하는 겸 글로 올렸습니다.

 

ls: Call From hadoop-name/127.0.1.1 to master:9000 failed on connection exception: java.net.ConnectException: 연결이 거부됨. For more details see : http://wiki.apache.org/hadoop/ConnectionRefused

 

위와 같은 에러에 부딫혔습니다. ls를 해도, mkdir을 해도 저 메세지만 출력되면서 원하는 작업이 수행되지 않습니다.

 

좀 찾아보니 명확한 원인은 찾을 수 없었습니다. 네임노드에서 하둡이 실행되는 와중에 비정상적으로 종료되면 Safe Mode로 들어가기 때문이라는 글도 있었고, stackexchange에서는 Permission 때문이라는 사람도 있었습니다. 둘 다 공통적인 Solution은

hadoop namenode -format

이 명령어를 통해서 네임노드를 포멧하는 방법을 제시하고 있었습니다. 그런데 하둡의 Safe Mode를 윈도우 안전모드처럼 생각하면, 정상적으로 잘 종료했다가 다시 키면 되는거 아닌가? 하는 생각이 들었습니다.

 

stop-all.sh # 하둡을 정상적인 방법으로 종료시키고

start-all.sh # 다시 정상적인 방법으로 실행시킨다면?

 

그래서 위와 같이 하둡을 한번 껐다가 키니까

 

 

아까 보이던 메세지 없이 명령어가 제대로 잘 실행됐습니다.