210714_HADOOP (MapReduce 2)

 

MapReduce Tutorial 2

https://hadoop.apache.org/docs/r2.10.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v2.0



1. JPS 올린다 

jps 는 전체 실행하는 어플리케이션 

 

 

2. 파이어폭스(브라우저)열고 hadoop01은 localhost:50070 , 나머지 머신은 hadoop01:50070 으로 맞춘다.

만약 연결이 안될때는 아래와 같이 실행한 후 열어 보자.

VM virtualbox →  머신(hadoop01) 오른쪽 마우스 클릭 → 설정 → 네트워크 → 고급 → 포트 포워딩 →

이름, 프로토콜, 포스트 ip , 포스트포트, 게스트 ip   (terminal 창에서 ifconfig 확인)  입력 후 적용한다.

 = 모든 머신에 동일하게 적용

 

 

 

 

다시 localhost : 50070 , hadoop01 : 50070 열고 접속 되는지 확인한다.

 

 

3. 윈도우 브라우저에서 192.168.56.116:50070 해도 열려야 한다.

 

 

 

 

4. 도움말을 확인하고 test폴더 안에 file01, file02 를 만들자

 

[hadoop@hadoop01 ~]$ mkdir test
[hadoop@hadoop01 ~]$ cd test
[hadoop@hadoop01 test]$ cat >> file01
Hello World, Bye World!


// ctrl+c : 나가는 명령어

[hadoop@hadoop01 test]$ cat >> file02
Hello Hadoop, Goodbye to hadoop.


// ctrl+c : 나가는 명령어

5. jps 포맷 및  jps 다시맞추고 local : 50070 디렉토리 올리기

  : 열심히 올려보았으나 실패했음, 다음 회차 계속 . . 

 

[hadoop@hadoop01 ~]$ source ~/.bash_profile
[hadoop@hadoop01 ~]$ cd hadoop/bin
[hadoop@hadoop01 bin]$ hdfs namenode -format
[hadoop@hadoop01 bin]$ cd
[hadoop@hadoop01 ~]$ $HADOOP_HOME/sbin/start-all.sh
[hadoop@hadoop01 ~]$ $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/joe/wordcount/input/
[hadoop@hadoop01 ~]$ cd test
[hadoop@hadoop01 test]$ $HADOOP_HOME/bin/hadoop fs -put file01 /user/joe/wordcount/input

 

 

 

😎 알고 가기

 

노드매니저 안죽게 하는 명령어

 

$HADOOP_YARN_HOME/sbin/yarn-daemons.sh --config 
$HADOOP_CONF_DIR start nodemanager