Simple is IT, 누구나 보고 누구나 깨닫는 IT

psql 접속 중 오류가 발생했어요. 잘 사용해 왔는데, 갑자기 왜 이럴까... 궁금해졌죠. 이유는 간단해요! 내부 postmaster.pid 파일이 발생시키는 Process 충돌 때문입니다. 아래 명령어로 간단하게 해결이 가능해요! $ brew services stop postgresql Stopping `postgresql`... (might take a while) ==> Successfully stopped `postgresql` (label: homebrew.mxcl.postgresql) $ rm /usr/local/var/postgres/postmaster.pid $ brew services start postgresql ==> Successfully started `postgresql` (l..

AWS DMS(Data Migration Service) 무엇일까요? 관계형 DB, 데이터 웨어하우스, NoSQL DB 및 그 밖의 데이터 스토어 유형을 쉽게 마이그레이션 하도록 도와주는 AWS의서비스에요! DB 마이그레이션을 생각하면 아주 골치아픈 기억들이 많을거에요... DMS를 잘 사용한다면 AWS 클라우드와 온프레미스(또는 프라이빗 클라우드) 간 데이터 마이그레이션이 아주 쉬워지죠. 또, 한 번 수행한 마이그레이션에서 지속적인 변경 사항을 복제해 동기화 상태로 유지할 수도 있답니다! DMS는 소스 데이터 스토어에서 대상 데이터 스토어 마이그레이션하는데 사용하는 웹 서비스에요. (이 두 데이터 스토어는 엔드포인트라고 불리죠!) Example Endpoint: Source - Oracle DB, De..

DB 환경은 MySQL로 진행을 한다. MySQL 설치 및 기본 셋팅 방화벽 설정은 기본이다 !!!!!!!! setenforce 0 systemctl stop firewalld ​ MySQL Installing yum install http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server ​ systemctl restart mysqld ​ ​ MySQL root 패스워드 설정 cat /var/log/mysqld.log | grep root@localhost 기존 설정된 패스워드 확인 후 ​ mysql_secure_installation ​ mysql -u root -p ​ ​ 접속 ..

HBase: Key-Value Store 기반의 NoSQL이며 하둡을 위한 비관계형 분산 DB이다.​ HBase Table 형태 구성 Table : 여러 개의 Row로 구성​ [AB001 Line 등] Row : Row Key와 하나 또는 여러 개의 Column들로 구성, Row Key를 이용해 정렬 Row Key : RDBMS에서 PK와 비슷한 역할​ [Cf:name 등] Column_Family : 성능 향상을 위해 Column들을 물리적으로 묶어둔 것​ [lastname 등] Column_Qualifier : 칼럼 한정자를 통해 표현, 칼럼 한정자는 사전에 지정될 필요가 없음​ Cell : 실질적으로 저장되는 데이터 또는 값, Timestamp와 함께 저장​​ Timestamp 값과 함께 내부적으로..

Apache Hive는 하둡에서 동작하는 데이터 웨어하우스 + 인프라 구조로서 데이터 요약, 질의 및 분석 기능을 제공한다.​​ 아카이브 해제 및 이름 변경 cd ~ tar -zxvf apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin hive-3.1.2 ​ 환경변수 설정 vi /etc/profile 마지막에 추가 export PATH=$PATH:/root/hive-3.1.2/bin ​ source /etc/profile ​ mysql connector 설치 mysql-connector 다운 및 /root/hive-3.1.2/lib로 옮기기 ​ wget http://mirrors.163.com/mysql/Downloads/Connector-J/mysql-con..

BIG DATA: 기존 데이터베이스 관리 도구의 능력을 넘어서는 대량의 정형 또는 비정형 데이터 집합을 포함해 가치를 추출하고 결과를 분석한다.​ 공통적 특징은 3V 데이터의 다양성 (Variety) 데이터의 양 (Volume) 데이터 생성 속도 (Velocity)​ 추가로. 정확성(Veracity), 가변성(Variability), 시각화(Visualization) 등이 계속해서 새로 추가가 된다.​​ File System DBMS Hadoop 데이터에 대한 물리적 접근만 조정 데이터에 대한 물리적 접근과 논리적인 접근 모두 조정 File System의 장점과 DBMS의 장점을 서로 결합한 형태의 Hadoop이 등장 동일한 파일을 두 개 이상의 프로그램이 동시에 접근 불가 동일한 데이터를 다수 사용자가..

View가상 테이블, 하나 이상의 테이블로부터 유도되어 만들어짐.다른 테이블이나 다른 뷰에 저장되어 있는 데이터를 보여주는 역할만을 수행​ 뷰의 장단점 ​ 사용 구문 CREATE VIEW [뷰 이름] AS // 뷰의 생성 SELECT [속성, 속성, ...] FROM [테이블 명] WHERE [조건] DROP VIEW [뷰 이름] // 뷰의 삭제​​​Index테이블에서 원하는 데이터를 쉽고 빠르게 찾기 위해 사용 (원본 테이블의 사본과도 같음)​장점 : 검색 성능이 높다. ( 사용하면 테이블 전체를 읽지 않기 때문)단점 : 테이블이 클수록 데이터 검색 시간이 느려짐​​ 사용 구문 CREATE INDEX [인덱스 이름] // 인덱스의 생성 ON [테이블 명]​ SHOW INDEX FROM [테이블 명] /..

내장 함수 ​ 내장 함수​: 일정한 기능을 수행하는 내용을 미리 만들어 둔 것을 의미한다.​​​​함수의 기본 사용 방법 : 함수명(인자값);집계 함수 : SUM, COUNT, AVG문자 처리 내장 함수 : RIGHT, SUBSTRING_INDEX, UPPER날짜 및 시간 처리 내장 함수 : NOWm CURDATE, CURTIME​​​GROUP BY특정열 또는 특정 열을 연산한 결과를 집계하여 그 집계값에 따라 그룹을 짓는 연산​! 집계 함수는 GROUP BY 절에 추가하지 않아도 사용 가능​ ​ HAVINGGROUP BY 결과에 조건을 걸어 데이터를 조회하고 싶을 때 사용​ ! GROUP BY에서 사용하는 WHERE절과 같다고 생각​​ ​​JOIN 교집합​ Inner JOIN - 교집합만 나오게 됨​​S..