IT전문가

멀티미디어

Apple

오피스 / 자격증

HOME>IT전문가>데이터베이스>HIVE 기초+실무

알지오 패키지

HIVE 기초+실무

HIVE 기초+실무
20회차 속성과정
전체 : 16시간 11분|회차당 평균 : 48분32초

이용기간 2개월

전문강사 : 알지오 R&D [IT]

270,000165,000
HIVE 기초+실무 인강 평생교육원 교육 안내
HIVE 기초+실무 강의, 하이브 는 빅데이터에서 쓰이는 구조적 데이터 저장소로, 하둡에 저장된 데이터를 분산된 서버에 구조적으로 다루기를 원하는 분들이 이용하기 좋습니다. HIVE 는 데이터를 저장하고 실시간 저장기능을 실무 예제로 다루고 싶은분들에게 HIVE 기초+실무 교육을 권장합니다.
  • 01.50분 Hive의 특징과 구성요소

    Hive 특성, Hive 구성요소, Hive 설치, Hive 실습

    책갈피[00:29] 하둡의 구성 요소/[01:38] 맵 리듀스 아키텍처/[06:12] 셔플 단계/[15:07] load data inpath//[24:06] 환경 변수 적용/[31:52] 디렉토리 생성/[41:43] 웨어하우스 디렉토리 권한 변경/[47:35] 테이블 확인

  • 02.46분 하이브 명령과 인터페이스

    하이브 명령, 명령행 인터페이스, 데이터형, 파일 인코딩

    책갈피[00:21] 하이브 명령/[06:16] 명령 수행/[12:01] 테스트 테이블 조회/[21:25] 데이터 형과 파일 인코딩/[30:22] 주의할점/[41:28] 변형 예제/[44:52] 크리에이트 테이블 문 실행

  • 03.45분 데이터 정의 언어

    데이터베이스 생성, 삭제 및 변경, 테이블 생성, 테이블 파티셔닝, 테이블 삭제

    책갈피[00:08] 데이터 정의 언어/[05:46] 하둡 파일 시스템에서 해당 디렉토리 생성 확인하기/[13:56] 구조는 동일하지만 이름이 다른 테이블 생성하기/[23:52] 데이터 삽입 확인/[33:36] 파티션 확인/[40:22] stored as textfile/[44:24] 테이블 삭제 시 차이점

  • 04.47분 데이터 정의 언어와 조작

    테이블 변경, 데이터 로딩, INSERT문, 데이터 꺼내기

    책갈피[00:10] 데이터 조작/[01:07] 테이블 생성/[06:15] 컬럼 명 변경/[12:48] 테이블 속성 변경/[27:52] 데이터 확인/[35:28] 데이터 확인/[42:52] select 보기

  • 05.47분 HiveQL 쿼리 part1

    SELECT FROM 절, 쿼리 문법, 연산자, 함수, 쿼리 옵션

    책갈피[00:12] SELECT FROM 절에 대해 알아보기/[03:36] 컬렉션 필드 접근/[07:11] 배열의 인덱스를 벗어나는 접근을 할 경우/[15:26] abs 함수//[24:07] json_tuple 함수/[30:03] regexp_replace 함수/[36:22] SELECT FROM 절에서 옵션으로 사용할수 있는 기능/[42:30] case, when, and

  • 06.49분 HiveQL 쿼리 part2

    WHERE 절, GROUP BY 절, 기타 절 (~BY, UNION ALL), 형변환 및 샘플링

    책갈피[00:26] where 절/[01:22] where 절 기본 구문 보기/[03:50] 에러가 난 이유/[05:15] 중첩 쿼리문 실행/[10:22] 3.3이 포함되어 결과가 나타나는 이유/[15:45] RLike 문/[25:14] order by절/[34:45] distribute by와 sort by 의 컬럼이 같은 경우/[40:00] 테이블 생성/[43:00] 쿼리문 입력/[47:15] rand 함수

  • 07.41분 HiveQL 쿼리 part3

    내부 조인, 외부 조인, 세미 조인, 맵 사이드 조인

    책갈피[00:09] 조인/[00:47] 내부 조인/[05:15] 쿼리문 실행시 에러가 나는 이유/[12:05] 데이터가 큰 테이블에 메모리에 올려질 경우/[19:51] 쿼리문 실행/[24:25] 주의점/[32:22] 카타시안 프로덕트 조인/[37:37] 현재 버전에서의 맵사이드 조인 사용방법/[40:07] 버킷된 테이블에 대한 최적화 설정 해줘야 되는 이유

  • 08.50분 HiveQL 뷰

    뷰의 특성, 뷰의 사용법, 스키마 설계, 스키마 설계 최적화 방법들

    책갈피[00:26] HiveQL 뷰/[00:44] 테이블과 뷰의 차이점/[08:03] 뷰에 쿼리 실행//[11:20] 결과 보기/[21:45] hdfs의 특성 고려/[29:07] 예제 보기/[33:04] 값 입력/[38:04] 데이터 입력/[43:00] 버켓팅 속성 값/[46:30] 테이블 조회/[49:19] 압축하기

  • 09.47분 HiveQL 색인

    색인의 특성, 색인의 사용법, 튜닝, 튜닝 기법

    책갈피[00:14] 색인/[05:24] 인덱스/[10:48] 익스플레인/[15:41] file output operator/[21:51] 예시 보기/[28:55] 스트릭트 모드로 사용할수 없는 쿼리 세번째/[34:45] 자바 가상머신 재사용/[40:22] 투기적 실행/[45:28] 쿼리문 실행

  • 10.49분 파일 압축 및 아카이빙과 NoSQL 스토리지 핸들러

    파일 압축, 시퀀스 파일, 아카이빙, HBase, 카산드라, 다이나모디비

    책갈피[00:16] 파일 압축 및 아카이빙 알아보기/[02:07] 파일 압축/[05:59] 하이브가 파일 포멧을 바라보는 관점1/[13:16] 예제를 통한 압축 수행/[21:37] 출력 파일 압축에 대한 코덱 변경/[30:33] 파티션 아카이빙/[40:13] HBase 테이블 생성 예제/[44:22] 카산드라 매핑/[48:34] 쿼리문 보기

  • 11.52분 보안과 개발

    인증, 사용자, 그룹, 역할 권한, Hive 빌드 방법, 테스트 케이스 실행, 이클립스 연동

    책갈피[00:05] 하이브 보안 및 개발 환경 설정/[00:15] 보안/[04:55] hive.metastore.execute.setugi/[06:00] 권한 부분 살펴보기/[12:22] 테이블 생성/[22:11] 셀렉트문 실행/[31:41] 하이브 소스 빌드/[38:37] 테스트 케이스 실행 방법/[41:19] 소스 이클립스에 연동/[47:00] hivetest.java 코드 보기/[50:42] 쿼리문 실행

  • 12.52분 함수 part1

    함수 종류 및 설명, UDF, 생년 월일로 만 나이를 찾아내는 함수 만들기 실습, GenericUDF, NULL 체크 및 기본값을 입력 받아 값을 출력하는 함수 만들기 실습

    책갈피[00:05] 함수에 대해 알아보기/[03:20] show functions 명령실행/[05:12] 명령 수행/[11:09] 대표적 테이블 생성 함수 예제/[19:00] 클래스 정의 보기/[29:41] j유닛 테스트/[32:04] 컴파일 하고 자르로 묶기/[39:00] 실제 테스트/[43:04] 이니셜라이즈 메소드 역할/[47:51] 자르 카피/[50:36] 해당 자바 코드 보기

  • 13.49분 함수 part2

    UDAF, MsSQL의 GROUP_CONCAT 함수 만들기, explode 함수 기능 만들기, UDTF, 복합 데이터형 효과 만들기

    책갈피[00:14] udaf 함수//[05:00] mysql 접속/[12:31] 로직 보기/[21:18] 쿼리문 실행/[29:33] 테스트/[32:52] parseString 매소드/[39:52] process 매소드 살펴보기/[42:14] create 처리/[45:52] 쿼리의 결정성/[47:46] 매크로

  • 14.54분 스트리밍과 하이브 쓰리프트 서비스

    쉘 스크립트와 스트리밍, 파이썬 스크립트와 스트리밍, Generic MR 도구 활용, 그루비를 활용한 쓰리프트 서비스 실습

    책갈피[00:08] 스트리밍과 하이브 쓰리프트 서비스에 대해 알아보기/[00:40] 스트리밍/[06:15] 항등 변환과의 차이점/[13:28] 셀렉트 문 만들기/[22:11] 쿼리 실행/[36:07] identityMapper.java/[43:22] 하이브 서버에 연결/[48:37] 로직 보기/[52:29] 쓰리프트 메타스토어

  • 15.49분 하이브의 포맷과 잠금 기능

    파일 포맷, 레코드 포맷 및 SerDe, Zookeeper를 활용한 하이브 잠금 실습

    책갈피[00:32] 하이브 포맷 사용자화 방법/[02:28] 테이블 생성/[05:30] 시퀀스 파일 포맷/[12:22] 쿼리 실행/[16:41] getSplits 매소드 보기/[23:52] 데이터 입력/[30:32] jar 파일 등록/[40:30] 저장 확인/[47:36] 하이브 접속 후 쿼리 수행/[48:46] 결과 확인

  • 16.53분 Hive Workflow 관리와 공통의 메타 스토어 활용

    Oozie 설치 및 활용 방법, HCatalog 프로그래밍, HCatalog 아키텍처, AWS의 EMR 간단 설명

    책갈피[00:51] oozie/[02:30] oozie workflow job/[05:43] 셸 스크립터 실행/[09:28] oozie에 대한 홈 디렉토리 잡기/[18:33] query-table 살펴보기/[23:14] workflow 실행/[32:00] h 카탈로그를 활용한 맵 리듀스 구현 소스 살펴보기/[38:45] 리듀스 클래스 보기/[42:07] hcatalog-명령행(지원하지 않는 명령)/[48:00] task 인스턴스 그룹/[50:07] S3에 MYSQL 덤프

  • 17.44분 사례 연구 part1

    m6d.com, NASA 제트 추진 연구소, 포토 버킷

    책갈피[00:39] m6d.com 사례 살펴보기/[05:15] 테이블 스키마 살펴보기/[13:26] 확인/[20:55] 새로 만든 함수를 통한 데이터 처리 확인/[29:07] m6d.com-하둡 클러스터 간 하이브 데이터 복제/[37:15] 포토 버킷 사례/[40:15] 하둡과 하이브를 적용한 이유/[42:29] 포토 버킷의 데이터를 사용하는 곳

  • 18.49분 사례 연구 part2

    아웃 브레인, 심플리치, 카르마스피어

    책갈피[00:14] 아웃 브레인 분석/[00:54] 사이트 내 유입 경로 식별/[05:57] 쿼리문 살펴보기/[14:03] date 변수 활용 살펴보기/[21:48] 테이블 생성/[29:37] 중첩 쿼리문이 하는일/[34:06] 각 세션 페이지 뷰 별로 집계하기/[39:52] 카마스피어 관점/[41:52] 데이터 포맷팅 예제/[46:08] 쿼리 살펴보기

  • 19.53분 오라클 마이그레이션 part1

    데이터 변환조인 변환분석 함수

    책갈피[00:05] 오라클 마이그레이션/[01:53] sql과 hiveQL의 차이/[05:23] 지연 시간/[10:13] date/[18:52] 문자열 형 데이터 변환/[27:56] 크로스 조인/[35:15] 디코드 함수/[43:00] 오라클의 분석함수 기본 변환규칙/[45:44] MAX, MIN 함수/[51:30] NOT EXISTS 쿼리

  • 20.45분 오라클 마이그레이션 part2

    스칼라 서브 쿼리, 고급 분석 함수, 오픈 소스 R하이브 소개

    책갈피[00:35] 스칼라 서브 쿼리/[03:14] 쿼리문 실행/[05:15] 롤업 쿼리 살펴보기/[11:07] 쿼리문 실행//[20:25] r하이브의 구조/[29:03] rhive.list.tables/[35:30] 하둡 파일 시스템 지원 함수/[39:45] 파일 업로드/[41:53] r 하이브와 유사 패키지의 비교





알지오 패키지