HIVE 기초+실무

강좌구성
(20강) 전체 : 16시간 11분|평균 : 48분32초

수강기간
2개월

전문강사
알지오 R&D [IT]

HIVE 기초+실무 인강 평생교육원 교육 안내
HIVE 기초+실무 강의, 하이브 는 빅데이터에서 쓰이는 구조적 데이터 저장소로, 하둡에 저장된 데이터를 분산된 서버에 구조적으로 다루기를 원하는 분들이 이용하기 좋습니다. HIVE 는 데이터를 저장하고 실시간 저장기능을 실무 예제로 다루고 싶은분들에게 HIVE 기초+실무 교육을 권장합니다.

단기 습득!

2년 연속 IT교육 인강부분 1위 알지오 (근거자료)

2003년부터 운영해온 수많은 데이터베이스를 기반으로

단기 습득할 강의

로 제공합니다!
늦지 않았습니다. 알지오에서 지금부터 시작하세요!

01.50분 Hive의 특징과 구성요소
Hive 특성, Hive 구성요소, Hive 설치, Hive 실습

책갈피[00:29] 하둡의 구성 요소/[01:38] 맵 리듀스 아키텍처/[06:12] 셔플 단계/[15:07] load data inpath//[24:06] 환경 변수 적용/[31:52] 디렉토리 생성/[41:43] 웨어하우스 디렉토리 권한 변경/[47:35] 테이블 확인
02.46분 하이브 명령과 인터페이스
하이브 명령, 명령행 인터페이스, 데이터형, 파일 인코딩

책갈피[00:21] 하이브 명령/[06:16] 명령 수행/[12:01] 테스트 테이블 조회/[21:25] 데이터 형과 파일 인코딩/[30:22] 주의할점/[41:28] 변형 예제/[44:52] 크리에이트 테이블 문 실행
03.45분 데이터 정의 언어
데이터베이스 생성, 삭제 및 변경, 테이블 생성, 테이블 파티셔닝, 테이블 삭제

책갈피[00:08] 데이터 정의 언어/[05:46] 하둡 파일 시스템에서 해당 디렉토리 생성 확인하기/[13:56] 구조는 동일하지만 이름이 다른 테이블 생성하기/[23:52] 데이터 삽입 확인/[33:36] 파티션 확인/[40:22] stored as textfile/[44:24] 테이블 삭제 시 차이점
04.47분 데이터 정의 언어와 조작
테이블 변경, 데이터 로딩, INSERT문, 데이터 꺼내기

책갈피[00:10] 데이터 조작/[01:07] 테이블 생성/[06:15] 컬럼 명 변경/[12:48] 테이블 속성 변경/[27:52] 데이터 확인/[35:28] 데이터 확인/[42:52] select 보기
05.47분 HiveQL 쿼리 part1
SELECT FROM 절, 쿼리 문법, 연산자, 함수, 쿼리 옵션

책갈피[00:12] SELECT FROM 절에 대해 알아보기/[03:36] 컬렉션 필드 접근/[07:11] 배열의 인덱스를 벗어나는 접근을 할 경우/[15:26] abs 함수//[24:07] json_tuple 함수/[30:03] regexp_replace 함수/[36:22] SELECT FROM 절에서 옵션으로 사용할수 있는 기능/[42:30] case, when, and
06.49분 HiveQL 쿼리 part2
WHERE 절, GROUP BY 절, 기타 절 (~BY, UNION ALL), 형변환 및 샘플링

책갈피[00:26] where 절/[01:22] where 절 기본 구문 보기/[03:50] 에러가 난 이유/[05:15] 중첩 쿼리문 실행/[10:22] 3.3이 포함되어 결과가 나타나는 이유/[15:45] RLike 문/[25:14] order by절/[34:45] distribute by와 sort by 의 컬럼이 같은 경우/[40:00] 테이블 생성/[43:00] 쿼리문 입력/[47:15] rand 함수
07.41분 HiveQL 쿼리 part3
내부 조인, 외부 조인, 세미 조인, 맵 사이드 조인

책갈피[00:09] 조인/[00:47] 내부 조인/[05:15] 쿼리문 실행시 에러가 나는 이유/[12:05] 데이터가 큰 테이블에 메모리에 올려질 경우/[19:51] 쿼리문 실행/[24:25] 주의점/[32:22] 카타시안 프로덕트 조인/[37:37] 현재 버전에서의 맵사이드 조인 사용방법/[40:07] 버킷된 테이블에 대한 최적화 설정 해줘야 되는 이유
08.50분 HiveQL 뷰
뷰의 특성, 뷰의 사용법, 스키마 설계, 스키마 설계 최적화 방법들

책갈피[00:26] HiveQL 뷰/[00:44] 테이블과 뷰의 차이점/[08:03] 뷰에 쿼리 실행//[11:20] 결과 보기/[21:45] hdfs의 특성 고려/[29:07] 예제 보기/[33:04] 값 입력/[38:04] 데이터 입력/[43:00] 버켓팅 속성 값/[46:30] 테이블 조회/[49:19] 압축하기
09.47분 HiveQL 색인
색인의 특성, 색인의 사용법, 튜닝, 튜닝 기법

책갈피[00:14] 색인/[05:24] 인덱스/[10:48] 익스플레인/[15:41] file output operator/[21:51] 예시 보기/[28:55] 스트릭트 모드로 사용할수 없는 쿼리 세번째/[34:45] 자바 가상머신 재사용/[40:22] 투기적 실행/[45:28] 쿼리문 실행
10.49분 파일 압축 및 아카이빙과 NoSQL 스토리지 핸들러
파일 압축, 시퀀스 파일, 아카이빙, HBase, 카산드라, 다이나모디비

책갈피[00:16] 파일 압축 및 아카이빙 알아보기/[02:07] 파일 압축/[05:59] 하이브가 파일 포멧을 바라보는 관점1/[13:16] 예제를 통한 압축 수행/[21:37] 출력 파일 압축에 대한 코덱 변경/[30:33] 파티션 아카이빙/[40:13] HBase 테이블 생성 예제/[44:22] 카산드라 매핑/[48:34] 쿼리문 보기
11.52분 보안과 개발
인증, 사용자, 그룹, 역할 권한, Hive 빌드 방법, 테스트 케이스 실행, 이클립스 연동

책갈피[00:05] 하이브 보안 및 개발 환경 설정/[00:15] 보안/[04:55] hive.metastore.execute.setugi/[06:00] 권한 부분 살펴보기/[12:22] 테이블 생성/[22:11] 셀렉트문 실행/[31:41] 하이브 소스 빌드/[38:37] 테스트 케이스 실행 방법/[41:19] 소스 이클립스에 연동/[47:00] hivetest.java 코드 보기/[50:42] 쿼리문 실행
12.52분 함수 part1
함수 종류 및 설명, UDF, 생년 월일로 만 나이를 찾아내는 함수 만들기 실습, GenericUDF, NULL 체크 및 기본값을 입력 받아 값을 출력하는 함수 만들기 실습

책갈피[00:05] 함수에 대해 알아보기/[03:20] show functions 명령실행/[05:12] 명령 수행/[11:09] 대표적 테이블 생성 함수 예제/[19:00] 클래스 정의 보기/[29:41] j유닛 테스트/[32:04] 컴파일 하고 자르로 묶기/[39:00] 실제 테스트/[43:04] 이니셜라이즈 메소드 역할/[47:51] 자르 카피/[50:36] 해당 자바 코드 보기
13.49분 함수 part2
UDAF, MsSQL의 GROUP_CONCAT 함수 만들기, explode 함수 기능 만들기, UDTF, 복합 데이터형 효과 만들기

책갈피[00:14] udaf 함수//[05:00] mysql 접속/[12:31] 로직 보기/[21:18] 쿼리문 실행/[29:33] 테스트/[32:52] parseString 매소드/[39:52] process 매소드 살펴보기/[42:14] create 처리/[45:52] 쿼리의 결정성/[47:46] 매크로
14.54분 스트리밍과 하이브 쓰리프트 서비스
쉘 스크립트와 스트리밍, 파이썬 스크립트와 스트리밍, Generic MR 도구 활용, 그루비를 활용한 쓰리프트 서비스 실습

책갈피[00:08] 스트리밍과 하이브 쓰리프트 서비스에 대해 알아보기/[00:40] 스트리밍/[06:15] 항등 변환과의 차이점/[13:28] 셀렉트 문 만들기/[22:11] 쿼리 실행/[36:07] identityMapper.java/[43:22] 하이브 서버에 연결/[48:37] 로직 보기/[52:29] 쓰리프트 메타스토어
15.49분 하이브의 포맷과 잠금 기능
파일 포맷, 레코드 포맷 및 SerDe, Zookeeper를 활용한 하이브 잠금 실습

책갈피[00:32] 하이브 포맷 사용자화 방법/[02:28] 테이블 생성/[05:30] 시퀀스 파일 포맷/[12:22] 쿼리 실행/[16:41] getSplits 매소드 보기/[23:52] 데이터 입력/[30:32] jar 파일 등록/[40:30] 저장 확인/[47:36] 하이브 접속 후 쿼리 수행/[48:46] 결과 확인
16.53분 Hive Workflow 관리와 공통의 메타 스토어 활용
Oozie 설치 및 활용 방법, HCatalog 프로그래밍, HCatalog 아키텍처, AWS의 EMR 간단 설명

책갈피[00:51] oozie/[02:30] oozie workflow job/[05:43] 셸 스크립터 실행/[09:28] oozie에 대한 홈 디렉토리 잡기/[18:33] query-table 살펴보기/[23:14] workflow 실행/[32:00] h 카탈로그를 활용한 맵 리듀스 구현 소스 살펴보기/[38:45] 리듀스 클래스 보기/[42:07] hcatalog-명령행(지원하지 않는 명령)/[48:00] task 인스턴스 그룹/[50:07] S3에 MYSQL 덤프
17.44분 사례 연구 part1
m6d.com, NASA 제트 추진 연구소, 포토 버킷

책갈피[00:39] m6d.com 사례 살펴보기/[05:15] 테이블 스키마 살펴보기/[13:26] 확인/[20:55] 새로 만든 함수를 통한 데이터 처리 확인/[29:07] m6d.com-하둡 클러스터 간 하이브 데이터 복제/[37:15] 포토 버킷 사례/[40:15] 하둡과 하이브를 적용한 이유/[42:29] 포토 버킷의 데이터를 사용하는 곳
18.49분 사례 연구 part2
아웃 브레인, 심플리치, 카르마스피어

책갈피[00:14] 아웃 브레인 분석/[00:54] 사이트 내 유입 경로 식별/[05:57] 쿼리문 살펴보기/[14:03] date 변수 활용 살펴보기/[21:48] 테이블 생성/[29:37] 중첩 쿼리문이 하는일/[34:06] 각 세션 페이지 뷰 별로 집계하기/[39:52] 카마스피어 관점/[41:52] 데이터 포맷팅 예제/[46:08] 쿼리 살펴보기
19.53분 오라클 마이그레이션 part1
데이터 변환조인 변환분석 함수

책갈피[00:05] 오라클 마이그레이션/[01:53] sql과 hiveQL의 차이/[05:23] 지연 시간/[10:13] date/[18:52] 문자열 형 데이터 변환/[27:56] 크로스 조인/[35:15] 디코드 함수/[43:00] 오라클의 분석함수 기본 변환규칙/[45:44] MAX, MIN 함수/[51:30] NOT EXISTS 쿼리
20.45분 오라클 마이그레이션 part2
스칼라 서브 쿼리, 고급 분석 함수, 오픈 소스 R하이브 소개

책갈피[00:35] 스칼라 서브 쿼리/[03:14] 쿼리문 실행/[05:15] 롤업 쿼리 살펴보기/[11:07] 쿼리문 실행//[20:25] r하이브의 구조/[29:03] rhive.list.tables/[35:30] 하둡 파일 시스템 지원 함수/[39:45] 파일 업로드/[41:53] r 하이브와 유사 패키지의 비교

강의목록 다운로드

Since 2003 IT전문교육!

하둡

선생님 프로필
◆ 학력 경남대학교 전자계산학과 ◆ 약력 ISG 개발팀 이섬테크 개발팀 미래엔컬처그룹 정보시스템팀
하둡 인강 평생교육원 교육 안내 하둡 (HADOOP)은 대용량데이터를 관리하기에 적합한 시스템으로 분산시스템개발 시 사용하면 좋습니다. 하둡 학습의 이해를 원활하게 하기 위해서는 기본적으로 자바프로그래밍 관련지식이 있어야 합니다. 하둡은 데이터를 응용하는 내용으로 구성되기때문에 데이터베이스와 리눅스의 기본 개념을 같이 학습하는 것을 권장합니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 13시간 10분/수강료 : ~~250,000원~~ 125,000원
R 프로그래밍 기초

선생님 프로필
◆ 학력 포항공대 기계공학과 (석사) ◆ 약력 -서울대학교(SNU) : 최적화 알고리즘 개발(C) -한국과학기술원(KAIST) : 무인 로봇 자율 주행 관련 알고리즘 개발(MATLAB) -국방과학연구소(ADD) : 유도 로켓 발사 역학 해석
R 프로그래밍 기초 인강 평생교육원 교육 안내 R 프로그래밍 은 빅데이터 수집 및 처리기술은 자바 및 리눅스 기반이기 때문에 일정부분의 개발환경을 이해하고 있는분들이 R 프로그래밍 기초부터 이용해야 좋습니다. 하지만 분석기술은 비전공자나 기초자 분들도 학습이 가능하기 때문에 R 프로그래밍 을 처음 접하는 분들도 이용할수 있습니다. 개인적으로 실습하고 적용해야 기술적인 개발능력이 향상될 수 있습니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 11시간 1분/수강료 : ~~330,000원~~ 165,000원
리눅스 서버관리 [입문+고급]

선생님 프로필
◆ 학력 경남대학교 전자계산학과 ◆ 약력 ISG 개발팀 이섬테크 개발팀 미래엔컬처그룹 정보시스템팀
리눅스 서버관리 인강 평생교육원 교육 안내 리눅스 서버는 서버운영에 가장 많이 활용되는 운영체제로 프로그램개발시 서버운영에 활용하기 편리합니다. 기존 리눅스 서버 관리에 대한 활용방법을 원하는 분들이 이용하면 좋습니다. 프로그래밍초보자라면 기본 C,C++의 기본개념이 있는상태에서 학습시 이해도가 높습니다. 단, 기본 과정이 아니기때문에 리눅스의 기본명령어 및 기초 과정이 학습되어 있는 분들께 권장합니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 11시간 6분/수강료 : ~~370,000원~~ 185,000원

HIVE 기초+실무

단기 습득!

강의목록 다운로드

선생님 프로필

선생님 프로필

선생님 프로필