하둡

강좌구성
(20강) 전체 : 13시간 10분|평균 : 39분30초

수강기간
2개월

전문강사
알지오 R&D [IT] ▶ 프로필 보기

선생님 프로필

◆ 학력
경남대학교 전자계산학과

◆ 약력
ISG 개발팀
이섬테크 개발팀
미래엔컬처그룹 정보시스템팀

하둡 인강 평생교육원 교육 안내
하둡 (HADOOP)은 대용량데이터를 관리하기에 적합한 시스템으로 분산시스템개발 시 사용하면 좋습니다. 하둡 학습의 이해를 원활하게 하기 위해서는 기본적으로 자바프로그래밍 관련지식이 있어야 합니다. 하둡은 데이터를 응용하는 내용으로 구성되기때문에 데이터베이스와 리눅스의 기본 개념을 같이 학습하는 것을 권장합니다.

단기 습득!

2년 연속 IT교육 인강부분 1위 알지오 (근거자료)

2003년부터 운영해온 수많은 데이터베이스를 기반으로

단기 습득할 강의

로 제공합니다!
늦지 않았습니다. 알지오에서 지금부터 시작하세요!

01.38분 hadoop의 소개와 개발 준비
빅데이터, 하둡 에코 시스템, ETL, 실행모드, 리눅스 서버 준비, 호스트 파일 수정, 인코딩 방식 설정, 자바와 하둡 설치

책갈피[00:59] 빅데이터의 정의/[01:38] 빅데이터의 특징/[01:49] 빅데이터의 3대 요소/[05:30] 비정형 데이타/[11:07] 하둡과 관련된 제품/[20:00] scribe/[32:22] 설치 파일 실행/[36:30] ssh 접속 시도
02.36분 개발 준비와 하둡 분산 파일 시스템
하둡 환경설정 파일 수정, 하둡 실행, 예제 실행, 이클립스 설정, 프로젝트 빌드, HDFS 기초, HDFS 아키텍처, 네임노드와 데이터노드, 블록구조 파일시스템

책갈피[00:03] 환경 설정 파일 수정/[05:46] hadoop classpath 옵션/[10:15] dfs.http.address/[16:22] jps로 하둡 실행 여부 확인/[22:45] 빌드 결과 확인/[32:37] 네임노드와 데이터노드
03.38분 HDFS의 파일 저장 동작방식과 읽기 동작방식
HDFS 기초, HDFS 아키텍처, HDFS 명렁어 사용, 클러스터 웹 인터페이스

책갈피[00:13] 파일 저장에 대한 동작방식 그림/[02:23] 데이터 저장시 장애가 발생할 경우/[05:56] 에디트 로그와 파일 시스템 이미지의 동작방식/[10:41] HDFS 명령어 사용법/[23:21] mv 명령어/[31:03] stat 명령어/[37:22] Dead Nodes
04.37분 HDFS 입출력과 맵리듀스
HDFS 입출력 예제, 맵리듀스 개념, 아키텍처, WordCount

책갈피[00:04] HDFS 입출력 예제/[06:43] 맵과 리듀스의 동작/[16:15] 잡 할당 과정/[22:00] Interface Writable/[28:22] 매퍼 클래스 소스코드 보기/[34:22] class OutputFormat/[36:15] class LazyOutputForma
05.36분 WordCount 맵리듀스 프로그램
분석용 데이터, 항공 출발 지연 데이터 분석, 항공 도착 지연 데이터 분석

책갈피[00:04] WordCount 맵리듀스 프로그램 만들기/[01:17] 자세한 소스 보기/[05:30] 리듀스 메소드 재정의/[2:31] 출력 로그 자세히 보기/[23:29] 필요한 데이터 다운/[31:48] 출력 데이터 생성 확인/[35:50] 사용자 정의 옵션 사용
06.32분 맵리듀스 기초
사용자 정의 옵션, 카운터 사용, 다수의 파일 출력, 체인

책갈피[00:06] 사용자 정의 옵션/[01:25] GenericOptionsParser/[06:15] Interface Tool/[14:11] 로그 보기/[21:37] Class MultipleOutputs/[30:02] 매소드 보기/[31:52] 세번째 매퍼 설정할 경우
07.38분 맵리듀스 정렬 구현
보조 정렬, 부분 정렬, 전체 정렬

책갈피[00:06] 정렬 구현/[02:15] 보조 정렬 순서/[05:57] 복합키 비교기 보기/[12:09] 리듀서 소스 보기/[21:03] 맵 리듀스 파일 실행/[32:05] 전체 정렬 작동 방식/[37:06] 정렬 확인
08.40분 조인과 맵리듀스 튜닝
주인 구현, 조인 준비, 맵-사이드 조인, 리듀스-사이드 조인, 셔플 튜닝

책갈피[00:07] 조인/[05:00] Class DistributedCache/[13:09] 리듀스-사이드 조인/[22:44] 출력 경로 조회/[32:07] 리듀스/[39:34] 주의할 점
09.44분 맵리듀스 튜닝과 하둡 운영
콤바이너 클래스 적용, 맵 출력 데이터 압축, DFS 블록 사이즈 수정, JVM 재사용, 투기적 잡 실행, 네임노드 HA 구성, 파일시스템 상태 확인, HDFS 어드민 명령어

책갈피[00:05] 콤바이너 클래스 적용/[05:30] snappy/[06:46] ArrivalDelayCount에 snappy 적용/[12:43] 결과 비교/[21:56] 개별적인 잡에 대한 투기적 잡 실행/[30:48] 생성자 로그의 정보 보기/[38:45] -saveNamespace 옵션/[43:30] 파일 저장 용량 설정 방법
10.43분 하둡 운영
데이터 저장공간 관리, 데이터노드 제거 및 추가, 네임노드와 데이터노드 장애복구, 하둡 사용자 관리, 하둡 주요 포트

책갈피[00:02] 데이터 저장공간 관리/[04:30] 데이터노드 제거/데이터노드 추가/[06:15] hdfs-site.xml 파일 내용 보기/[12:35] 에러가 나는 이유/[22:36] 네임노드 메타데이타 이중화/[33:35] 하둡 부가기능/[41:20] 제너릭 옵션 설명/[43:00] -archives
11.37분 하둡 부가기능
하둡 스트리밍, 스트리밍 실행 옵션, 스틀리밍 구현, 잡스케줄러

책갈피[00:02] 하둡 스트리밍 구현/[01:07] 첫번째 job 구현/[05:56] 명령어 파이프라인 사용//[15:11] 하둡 스트리밍 실행/[24:06] 페어스케줄러/[33:28] 풀 설정 파일 정의/[36:09] 전체에 대한 속성 보기
12.39분 하둡 부가기능과 하이브
페어 스케줄러, 커패시티 스케줄러, contrib 패키지, 하이브 아키텍처, 하이브 설치, 하이브QL, 하이브 칼럼 타입

책갈피[00:08] 페어 스케줄러 적용/[06:30] 커패시티 스케줄러/[11:31] 속성값 살펴보기/[18:26] 관리 화면에서 queue 조회/[23:56] 구성요소 보기/[33:19] 테이블 생성 내용/어/[38:22] drop 테이블
13.40분 하이브QL과 하둡 적용
데이터업로드, 하이브 내장집계함수, 하이브 내장함수, 조인, 조인 제약사항, 버킷활용, 하둡과 몽고DB 이용, 히둡 에코시스템 활용한 분석 플랫폼 구축, 빅데이터 기술 이용한 소셜 네트워크 데이터 분석

책갈피[00:09] 데이터 업로드/[00:39] 첫번째 라인 삭제한 이유/[06:42] 하이브 주요 내장함수/[14:07] 조인하기/[24:55] 스토리지 사용 추이 데이터 보기/[33:52] 확장성과 실시간성 확보/[37:37] sns 데이터 분석 시스템 구성
14.37분 하둡 데이터 이동 part1
인그레스, 이그레스, 플룸 아키텍처, 스크라이브 아키텍처, 추크와 아키텍처, 하둡에 로그파일 집어넣기

책갈피[00:05] 하둡 데이터의 이동/[06:00] 복구 가능성/[12:11] 하둡으로 데이터를 옮길때 쓸수 있는 주된 방법/[17:55] 플룸 노드 데몬 시작 화면/[21:55] 플룸 마스터에서 설정 변경하는 방법/[30:52] 장애극복 모드/[35:09] 출력 포맷 보기
15.45분 하둡 데이터 이동 part2
반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기, 파일슬러퍼, 우지, 데이터베이스로부터 데이터 풀링, 맵리듀스활용, 스쿱

책갈피[00:23] 반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기/[01:32] 파일 슬러퍼/[06:00] 슬러퍼의 중요한 특징/[15:58] 실제 작업 흐름 보기/[26:14] DB 구조 살펴보기/[36:58] 두가지 예제 더 보기/[42:57] 맵 리듀스의 데이터 소스로서 HBase를 사용하는 경우
16.40분 하둡 데이터 이동 part3
하둡 밖으로 데이터 옮기기, 로컬 파일시스템으로의 이그레스, 데이터베이스, HBase, 하이브를 활용한 데이터 분석, 로그 파일 로딩, UDF 및 압축 파티션 테이블 쓰기

책갈피[00:08] 하둡 밖으로 데이터 옮기기/[05:45] input-fields-terminated-by/[10:03] HBase shell 에서 테이블 만들기/[16:29] 직렬화 및 역직렬화(SerDe)/[21:41] RegexSerDe 작동 보기/[30:11] 버킷 설정 두가지 방법/[37:00] udf 클래스 살펴보기/[39:45] description 보기
17.44분 하이브 활용과 피그
하이브를 활용한 데이터 분석, 하이브 조인 튜닝, 그루핑, 정렬, Explain, 피그 기본, 피그로 데이터 로드

책갈피[00:05] 하이브 조인 튜닝/[05:15] Full outer join/[10:50] 세미 조인/[24:48] 피그 라틴 데이터 타입 보기/[33:52] 완전한 기능을 갖춘 로그 로더 제공 방법/[40:00] 로드 하기/[41:59] 커먼 로그 로드 펑션을 사용해 로드 하는 법 알아보기
18.42분 피그
피그 파이프라인, 필터링 및 투영, UDF 그루핑 및 취합, UDF 활용 위치 찾기, 스트리밍, 조인, 정렬, 데이터저장

책갈피[00:57] 필터링/[01:11] 투영/[02:07] 필터링 과정/[07:46] 필터 연산 결과로 ip 주소별로 로그 엔트리 그루핑하고 계산하기/[13:01] getfinal/[22:56] exec 메소드/[29:18] 스트리밍/[36:30] 시퀀스 파일로 저장하는 이유/[41:07] 커스텀 로드 펑션 실행
19.40분 피그와 그런치 및 그 외 기술
사용자 작업 흐름 최적화, LIMIT, SAMPLE, ILLUSTRATE, EXPLAIN, 성능, 그런치

책갈피[00:57] 사용자 작업 흐름 최적화/[05:41] RandomSampleLoader 인자 보기/[12:01] Map Reduce Plan/[21:41] 피그에서 리듀서를 사용하는 연산자/[29:52] configure 메서드/[35:52] 크런치에서 완전한 맵 리듀스 잡 실행하기/[38:34] uniqueValues 메서드 살펴보기
20.44분 데스트와 디버깅
로그에서 가장 인기있는 URL 찾기, 조인, 케스케이딩, 튜플, 파이프, 탭, 테스트, 사용자 공간 문제 디버깅, 맵리듀스 주의 사항

책갈피[00:03] 로그에서 가장 인기있는 URL 찾기/[02:59] initialize를 통한 선언 초기화/[06:46] 크런치 조인 파이프라인/[15:33] 테스트 요소 살펴보기/[24:07] run 메서드/[32:06] 테스크 출력 값 보기/[40:14] 투기적 실행 경쟁 조건/[43:21] 지나치게 많은 카운터

강의목록 다운로드

Since 2003 IT전문교육!

R 프로그래밍 기초

선생님 프로필
◆ 학력 포항공대 기계공학과 (석사) ◆ 약력 -서울대학교(SNU) : 최적화 알고리즘 개발(C) -한국과학기술원(KAIST) : 무인 로봇 자율 주행 관련 알고리즘 개발(MATLAB) -국방과학연구소(ADD) : 유도 로켓 발사 역학 해석
R 프로그래밍 기초 인강 평생교육원 교육 안내 R 프로그래밍 은 빅데이터 수집 및 처리기술은 자바 및 리눅스 기반이기 때문에 일정부분의 개발환경을 이해하고 있는분들이 R 프로그래밍 기초부터 이용해야 좋습니다. 하지만 분석기술은 비전공자나 기초자 분들도 학습이 가능하기 때문에 R 프로그래밍 을 처음 접하는 분들도 이용할수 있습니다. 개인적으로 실습하고 적용해야 기술적인 개발능력이 향상될 수 있습니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 11시간 1분/수강료 : ~~330,000원~~ 165,000원
HIVE 기초+실무

HIVE 기초+실무 인강 평생교육원 교육 안내 HIVE 기초+실무 강의, 하이브 는 빅데이터에서 쓰이는 구조적 데이터 저장소로, 하둡에 저장된 데이터를 분산된 서버에 구조적으로 다루기를 원하는 분들이 이용하기 좋습니다. HIVE 는 데이터를 저장하고 실시간 저장기능을 실무 예제로 다루고 싶은분들에게 HIVE 기초+실무 교육을 권장합니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 16시간 11분/수강료 : ~~330,000원~~ 165,000원
리눅스 서버관리 [입문+고급]

선생님 프로필
◆ 학력 경남대학교 전자계산학과 ◆ 약력 ISG 개발팀 이섬테크 개발팀 미래엔컬처그룹 정보시스템팀
리눅스 서버관리 인강 평생교육원 교육 안내 리눅스 서버는 서버운영에 가장 많이 활용되는 운영체제로 프로그램개발시 서버운영에 활용하기 편리합니다. 기존 리눅스 서버 관리에 대한 활용방법을 원하는 분들이 이용하면 좋습니다. 프로그래밍초보자라면 기본 C,C++의 기본개념이 있는상태에서 학습시 이해도가 높습니다. 단, 기본 과정이 아니기때문에 리눅스의 기본명령어 및 기초 과정이 학습되어 있는 분들께 권장합니다.

학습기간 : 2개월/강의수 : 20강/진행시간 : 11시간 6분/수강료 : ~~370,000원~~ 185,000원