Apache Hive의 간단한 설정

Apache Hive는 하둡에서 동작하는 데이터 웨어하우스

+ 인프라 구조로서 데이터 요약, 질의 및 분석 기능을 제공한다.

​

​

아카이브 해제 및 이름 변경

cd ~ tar -zxvf apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin hive-3.1.2

​

환경변수 설정

vi /etc/profile 마지막에 추가 export PATH=$PATH:/root/hive-3.1.2/bin ​ source /etc/profile

​

mysql connector 설치

mysql-connector 다운 및 /root/hive-3.1.2/lib로 옮기기 ​ wget http://mirrors.163.com/mysql/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz tar -zxvf mysql-connector-java-5.1.47.tar.gz cp mysql-connector-java-5.1.47/mysql-connector-java-5.1.47-bin.jar /root/hive-3.1.2/lib/

​

설정 파일 복사

cd ~/hive-3.1.2/conf/ ​ cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties cp hive-log4j2.properties.template hive-log4j2.properties cp hive-default.xml.template hive-default.xml cp hive-default.xml.template hive-site.xml cp hive-env.sh.template hive-env.sh

​

hive에 환경변수 변경

cd ~/hive-3.1.2/conf/ ​ vi hive-env.sh ​ 다음 내용 맨 윗 줄에 추가 ​ HADOOP_HOME=/root/hadoop-3.1.2 export HIVE_CONF_DIR=/root/hive-3.1.2/conf export HIVE_AUX_JARS_PATH=/root/hive-3.1.2/lib

​

hive 설정 파일 설정

vi ~/hive-3.1.2/conf/hive-site.xml ​ <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hiveallowMultiQueries=true&useSSL=false&verifyServerCertificate=false</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>[ DB ID ]</value> // ID 주의 </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>[ DB PW ]</value> // PW 주의 </property> <property> <name>datanucleus.readOnlyDatastore</name> <value>false</value> </property> <property> <name>datanucleus.fixedDatastore</name> <value>false</value> </property> <property> <name>datanucleus.autoCreateSchema</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateTables</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateColumns</name> <value>true</value> </property> </configuration>

​

Mysql에 DB 생성

DB 접속해 hive라는 DB 생성 ​ CREATE DATABASE hive;

​

Hive DB 생성

schematool -initSchema -dbType mysql

​

하둡 실행 후 hive 실행

# start-all.sh

# hive

​

정상적으로 실행이 되는 것 확인

​

! 만약 safemode 오류가 날 시엔 아래의 명령어를

hdfs dfsadmin -safemode leave

​

​

​

​

hive_data.zip

Data put ​ 위 첨부한 파일을 이용해 데이터를 넣어보자. ​ unzip ./hive_data.zip /hive_data/ 압축 풀기 ​ hdfs dfs -mkdir /dept 폴더 생성 ​ hdfs dfs -put ./hive_data/dept_nosinglequot.txt /dept 데이터 넣기 ​ #hive ​ 실제 파일 내용이다. ​ ​ SELECT * FROM dept; 위 파일 내용이 그대로 데이터화 되어 적용되는 것을 알 수 있다. ​ ​ ​