Hadoop 구조

아래 내용은 문제점을 겪으며 해결한 부분이다.

Hadoop 분산처리를 위한 시스템(?)이다.

Hadoop을 위해서는 apache Project에서 얻어온 배포파일을 절차에 따라 진행하면 된다.

Hadoop은

bin/hadoop namenode -format (namenode를 포맷하고)

bin/start-all.sh (Hadoop 실행)

bin/stop-all.sh (Hadoop 중지)

그 결과 다음과 같은 process가 동작한다.

> jps

Jps

JobTracker

SecondaryNameNode

NameNode

DataNode

Hadoop NameNode, DataNode Path는 hadoop/conf 의 .sh 파일에 정의된다.

Hadoop이 동작하게 되면 아래와 같은 명령어로 hdfs에 접근할 수 있다.

$HADOOP/bin/hadoop fs -명령어

-put 넣고싶은dir  넣어지는dir

>hdfs로 넣을 떄

-ls PATH

> PATH의 dir구조를 보고싶을 때

-lsr PATH

> PATH아래의 dir구조를 보고 싶을 때

-cat PATH

> PATH의 내용을 보고 싶을 때

bin/hadoop jar jar_PATH java_PATH PARAMETER

> hadoop jar를 실행할 때

일반적인 hadoop fs Path

/user/root/~

hdfs://localhost:8080/

Jobtracer: http://master:50030

Namenode: http://master:50070