Hadoop 유사 분산 환경 구축 / 테스트

Hadoop / 하둡 / 유사분산 환경

설치 환경 Ubuntu 12.04 LTS

wget http://ftp.daum.net/apache/hadoop/hadoop-1.2.0/hadoop-1.2.0.tar.gz

wget 명령어를 이용해 Hadoop 패키지를 다운 받는다

tar xzf hadoop-1.2.0.tar.gz

압축을 해제하면 hadoop-1.2.0 디렉토리가 생성됨

Open JDK를 제거하고 Oracle JDK를 설치해야 한다

sudo apt-get purge openjdk*
sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update
sudo apt-get install oracle-java-7-installer

java -version

이전에 압축을 풀었던 hadoop 디렉토리를 이동 시킨다

압축을 풀었던 위치에서 아래의 명령어를 실행

sudo mv hadoop-1.2.0 /usr/local

.bash_profile 에 경로 추가

cd
vi .bash_profile

아래 내용을 입력하고 저장

export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export HADOOP_INSTALL=/usr/local/hadoop-1.2.0
export PATH=$PATH:$HADOOP_INSTALL/bin

source 명령어로 입력한 내용을 적용시킨다

source .bash_profile

hadoop-env.sh 설정

sudo vi /usr/local/hadoop-1.2.0/conf/hadoop-env.sh

hadoop-env.sh 파일에 아래 두 줄을 파일의 마지막에 입력하고 저장

export JAVA_HOME=/usr/lib/jvm/java-7-oracle
export HADOOP_HOME=/usr/local/hadoop-1.2.0

openssh-server 설치 및 keygen

sudo apt-get install openssh-server
/etc/init.d/ssh restart
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Hadoop 의 XML 파일 수정

hadoop-1.2.0/conf 안에 있음

core-site.xml

hdfs-site.xml

mapred-site.xml

위 XML 파일 3개를 수정해야 함

각 XML 파일에 소스를 입력하는 위치는 다음과 같다

        입력 할 내용

conf 디렉토리로 이동

cd /usr/local/hadoop-1.2.0/conf

core-site.xml 편집

vi core-site.xml

    fd.default.name
    hdfs://localhost:9000


    hadoop.tmp.dir
    /usr/local/hadoop-1.2.0/hadoop-${user.name}

hdfs-site.xml 편집

vi hdfs-site.xml

    dfs.name.dir
    /usr/local/hadoop-1.2.0/dfs/name


    dfs.name.edits.dir
    ${dfs.name.dir}


    dfs.data.dir
    /usr/local/hadoop-1.2.0/dfs/data

mapred-site.xml 편집

vi mapred-site.xml

    mapred.job.tracker
    localhost:9001


    mapred.local.dir
    ${hadoop.tmp.dir}/mapred/local


    mapred.system.dir
    ${hadoop.tmp.dir}/mapred/system

Hadoop 데몬 시작

cd /usr/local/hadoop-1.2.0
./bin/start-all.sh

데몬 실행 후 인터넷 브라우저로

http://localhost:50030/jobtracker.jsp

에 접속하여 구축된 것을 확인 할 수 있다

데몬을 처음 실행 했을 때 namenode 를 제외한 데몬만 실행 될 경우

namenode 를 포맷 하면 해결되는 것 같다

hadoop namenode -format

Hadoop 테스트

cd /usr/local/hadoop-1.2.0
hadoop dfs -mkdir input
hadoop dfs -put CHANGES.txt input/
hadoop jar hadoop-examples-1.2.0.jar wordcount input output

간단한 낱말 숫자 세기

아래 명령어는 결과를 로컬에서 볼 수 있게 해준다

mkdir localoutput
hadoop dfs -copyToLocal output localoutput
cd localoutput
vi part-r-000000

명령어로 충분하고 딱히 스크린샷이 필요한 것은 아니지만 과정을 담은 스크린샷을 올림

2014 / 02 / 19 - 21:20 최초 작성

2014 / 02 / 20 - 01:41 태그 정리