Apache sqoop-1.99.7 설정 및 설치

설치 버전/다운로드 : sqoop-1.99.7-bin-hadoop200.tar.gz

1. 다운로드
$wget  http://mirror.apache-kr.org/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

2. 압축풀고 /usr/local/sqoop 로 옮기기$ cd ~/다운로드
$ tar -xzvf sqoop-1.99.7-bin-hadoop200.tar.gz$ sudo mv sqoop-1.99.7-bin-hadoop200 /usr/local/sqoop


3.  PATH 설정
$nano ~/.bashrc
아래 추가
export SQOOP_HOME=/usr/local/sqoopexport PATH=$SQOOP_HOME/bin$ source ~/.bashrc


4. Sqoop2 서버 환경 설정
서버 환경 파일은 server/conf 에 위치합니다. 해당 위치로 이동합니다.
$ cd /usr/local/sqoop/server/confcatalina.propertise에선 하둡 라이브러리에 대한 경로를 설정할 수 있습니다. default 경로는 /usr/local/hadoop. /usr/local/hadoop/lib/ 입니다.
다르다면, common.loader 부분을 아래와 같이 설정합니다.(본인의 경로에 맞게)
$ nano catalina.properties
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop/*.jar,/usr/local/hadoop/lib/*.jar,/usr/local/hadoop/share/hadoop/hdfs/*.jar,/usr/local/hadoop/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/share/hadoop/yarn/*.jar,/usr/local/hadoop/share/hadoop/yarn/lib/*.jar,/usr/local/hive-2.1.0/lib/*.jar,/usr/local/hadoop/share/hadoop/common/*.jar,/usr/local/hadoop/share/hadoop/common/lib/*.jar


하둡 환경 파일이 담긴 경로를 확인 / 변경
$nano sqoop.properties# Hadoop configuration directoryorg.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/etc/hadoop/


하둡 환경파일 추가
$HADOOP_HOME/etc/hadoop/core-site.xml 에 아래 두 프로퍼티를 추가 

<property>                
<name>hadoop.proxyuser.sqoop2.hosts</name>
<value>*</value>       
 </property>        
<property>                
<name>hadoop.proxyuser.sqoop2.groups</name>                
<value>*</value>       
 </property>

5. Sqoop2 서버 검증$ sqoop2-tool verifyVerification was successful.라고 뜨면 설정이 제대로 된 겁니다. 이와 함께 예외도 같이 뜨는 걸 볼 수 있는데, 메인 쓰레드가 아닌 서브 쓰레드에서 발생한 예외로 지금 오류 수정 중이란 것 같습니다.


6. Sqoop2 서버 시작
$ sqoop2-server start
$ sqoop2-server stop
sqoop2 comand line 진입
$ sqoop2-shell