210713_HADOOP (HDFS Format)

MR 전에 연결 및 포맷 작업

 

👏 꼭 master 서버에서 진행! 

 

 

1. namenode를 포맷하기 전

/data/hadoop/dfs/name/current 내용을 확인해보자

 

 

 

2. namenode 포맷 (name/current 초기화 및 재 생성) 

 : 해당 경로에 폴더와 파일 생성 확인

 

[hadoop@hadoop01 ~]$ source ~/.bash_profile
[hadoop@hadoop01 ~]$ pwd
/home/hadoop
[hadoop@hadoop01 ~]$ cd hadoop/bin
[hadoop@hadoop01 bin]$ hdfs namenode -format

21/07/13 10:59:48 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hadoop01/192.168.56.116
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.10.1
STARTUP_MSG:   classpath = /home/hadoop/hadoop-2.10.1/etc/hadoop:/home/hadoop/hadoop-2.10.1/share/hadoop/common/lib/stax2-api-3.1.4.jar:/home/hadoop/hadoop-2.10.1/share/hadoop/common/lib/stax-api-1.0-2.jar:/home/hadoop/hadoop-2.10.1/share/hadoop/common/lib/activatio

 

 

3. 경로가 맞지 않아 위의 명령어가 되지 않으면 아래 명령으로 경로를 주고 실행

 

[hadoop@hadoop01 bin]$ $HADOOP_HOME/bin/hdfs namenode -format

 

4. hdfs 명령어 확인하기 

 

[hadoop@hadoop01 bin]$ $HADOOP_HOME/bin/hdfs --help
[hadoop@hadoop01 bin]$ $HADOOP_HOME/bin/hadoop fs --help
[hadoop@hadoop01 bin]$ $HADOOP_HOME/bin/hadoop --help

 

5. hadoop-env.sh , yarn-env.sh 설정 재 확인 하고 다른 머신으로도 동일 적용하자 

 

[hadoop@hadoop01 bin]$scp /home/hadoop/hadoop/etc/env.sh
							hadoop@hadoop02:/home/hadoop/env.sh

 

 

6. namenode를 초기화 한 후 "start-all.sh" 쉘 파일을 이용해

namenode , datanode, nodemanager, secondarynamenode, yarn 데몬을 실행 시킵니다.

   * start-all.sh 를 실행하는 것 보다 start-dfs.sh ,start-yarn.sh 각각 실행 해주는 것을 권장! 

 

[hadoop@hadoop01 ~]$ $HADOOP_HOME/sbin/start-all.sh