- 강의구성
- (20강) 전체 : 13시간 10분|평균 : 39분30초
- 수강료
- 250,000원
- 125,000원
수강 전 자주 묻는 질문
교재 없이? 초보자도 가능 한가요?
교재 없이도 동영상과 실습 자료만으로 학습할 수 있으며, 초보자도 이해하고 따라올 수 있도록 설계된 강의입니다.
알지오의 강의특징은 무엇인가요?
알지오 강의는 단순 촬영본이 아니라, 전문 편집으로 핵심만 담아 학습 효율을 높인 강의입니다.
프로그램은 어떻게 구하나요?
알지오 는 원격평생교육원 으로, 프로그램에 대한 정보는 알수 없습니다.
수강생 여러분께 감사드리며, 납부하신 수강료 일부는 매월 사회 환원 활동에 사용됩니다. 특히 소외된 이웃들에게 라면을 기부하며 작은 나눔을 이어가고 있습니다. 자세한 내용은 아래 링크에서 확인하실 수 있습니다. 알지오 사회환원 활동
-
01.38분
hadoop의 소개와 개발 준비
빅데이터, 하둡 에코 시스템, ETL, 실행모드, 리눅스 서버 준비, 호스트 파일 수정, 인코딩 방식 설정, 자바와 하둡 설치
빅데이터의 정의/빅데이터의 특징/빅데이터의 3대 요소/비정형 데이타/하둡과 관련된 제품/scribe/설치 파일 실행/ssh 접속 시도
-
02.36분
개발 준비와 하둡 분산 파일 시스템
하둡 환경설정 파일 수정, 하둡 실행, 예제 실행, 이클립스 설정, 프로젝트 빌드, HDFS 기초, HDFS 아키텍처, 네임노드와 데이터노드, 블록구조 파일시스템
환경 설정 파일 수정/hadoop classpath 옵션/dfs.http.address/jps로 하둡 실행 여부 확인/빌드 결과 확인/네임노드와 데이터노드
-
03.38분
HDFS의 파일 저장 동작방식과 읽기 동작방식
HDFS 기초, HDFS 아키텍처, HDFS 명렁어 사용, 클러스터 웹 인터페이스
파일 저장에 대한 동작방식 그림/데이터 저장시 장애가 발생할 경우/에디트 로그와 파일 시스템 이미지의 동작방식/HDFS 명령어 사용법/mv 명령어/stat 명령어/Dead Nodes
-
04.37분
HDFS 입출력과 맵리듀스
HDFS 입출력 예제, 맵리듀스 개념, 아키텍처, WordCount
HDFS 입출력 예제/맵과 리듀스의 동작/잡 할당 과정/Interface Writable/매퍼 클래스 소스코드 보기/class OutputFormat/class LazyOutputForma
-
05.36분
WordCount 맵리듀스 프로그램
분석용 데이터, 항공 출발 지연 데이터 분석, 항공 도착 지연 데이터 분석
WordCount 맵리듀스 프로그램 만들기/자세한 소스 보기/리듀스 메소드 재정의/출력 로그 자세히 보기/필요한 데이터 다운/출력 데이터 생성 확인/사용자 정의 옵션 사용
-
06.32분
맵리듀스 기초
사용자 정의 옵션, 카운터 사용, 다수의 파일 출력, 체인
사용자 정의 옵션/GenericOptionsParser/Interface Tool/로그 보기/Class MultipleOutputs/매소드 보기/세번째 매퍼 설정할 경우
-
07.38분
맵리듀스 정렬 구현
보조 정렬, 부분 정렬, 전체 정렬
정렬 구현/보조 정렬 순서/복합키 비교기 보기/리듀서 소스 보기/맵 리듀스 파일 실행/전체 정렬 작동 방식/정렬 확인
-
08.40분
조인과 맵리듀스 튜닝
주인 구현, 조인 준비, 맵-사이드 조인, 리듀스-사이드 조인, 셔플 튜닝
조인/Class DistributedCache/리듀스-사이드 조인/출력 경로 조회/리듀스/주의할 점
-
09.44분
맵리듀스 튜닝과 하둡 운영
콤바이너 클래스 적용, 맵 출력 데이터 압축, DFS 블록 사이즈 수정, JVM 재사용, 투기적 잡 실행, 네임노드 HA 구성, 파일시스템 상태 확인, HDFS 어드민 명령어
콤바이너 클래스 적용/snappy/ArrivalDelayCount에 snappy 적용/결과 비교/개별적인 잡에 대한 투기적 잡 실행/생성자 로그의 정보 보기/-saveNamespace 옵션/파일 저장 용량 설정 방법
-
10.43분
하둡 운영
데이터 저장공간 관리, 데이터노드 제거 및 추가, 네임노드와 데이터노드 장애복구, 하둡 사용자 관리, 하둡 주요 포트
데이터 저장공간 관리/데이터노드 제거/데이터노드 추가/hdfs-site.xml 파일 내용 보기/에러가 나는 이유/네임노드 메타데이타 이중화/하둡 부가기능/제너릭 옵션 설명/-archives
-
11.37분
하둡 부가기능
하둡 스트리밍, 스트리밍 실행 옵션, 스틀리밍 구현, 잡스케줄러
하둡 스트리밍 구현/첫번째 job 구현/명령어 파이프라인 사용/하둡 스트리밍 실행/페어스케줄러/풀 설정 파일 정의/전체에 대한 속성 보기
-
12.39분
하둡 부가기능과 하이브
페어 스케줄러, 커패시티 스케줄러, contrib 패키지, 하이브 아키텍처, 하이브 설치, 하이브QL, 하이브 칼럼 타입
페어 스케줄러 적용/커패시티 스케줄러/속성값 살펴보기/관리 화면에서 queue 조회/구성요소 보기/테이블 생성 내용/drop 테이블
-
13.40분
하이브QL과 하둡 적용
데이터업로드, 하이브 내장집계함수, 하이브 내장함수, 조인, 조인 제약사항, 버킷활용, 하둡과 몽고DB 이용, 히둡 에코시스템 활용한 분석 플랫폼 구축, 빅데이터 기술 이용한 소셜 네트워크 데이터 분석
데이터 업로드/첫번째 라인 삭제한 이유/하이브 주요 내장함수/조인하기/스토리지 사용 추이 데이터 보기/확장성과 실시간성 확보/sns 데이터 분석 시스템 구성
-
14.37분
하둡 데이터 이동 part1
인그레스, 이그레스, 플룸 아키텍처, 스크라이브 아키텍처, 추크와 아키텍처, 하둡에 로그파일 집어넣기
하둡 데이터의 이동/복구 가능성/하둡으로 데이터를 옮길때 쓸수 있는 주된 방법/플룸 노드 데몬 시작 화면/플룸 마스터에서 설정 변경하는 방법/장애극복 모드/출력 포맷 보기
-
15.45분
하둡 데이터 이동 part2
반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기, 파일슬러퍼, 우지, 데이터베이스로부터 데이터 풀링, 맵리듀스활용, 스쿱
반구조화된 데이터 및 바이너리 파일 집어넣고 가져오기/파일 슬러퍼/슬러퍼의 중요한 특징/실제 작업 흐름 보기/DB 구조 살펴보기/두가지 예제 더 보기/맵 리듀스의 데이터 소스로서 HBase를 사용하는 경우
-
16.40분
하둡 데이터 이동 part3
하둡 밖으로 데이터 옮기기, 로컬 파일시스템으로의 이그레스, 데이터베이스, HBase, 하이브를 활용한 데이터 분석, 로그 파일 로딩, UDF 및 압축 파티션 테이블 쓰기
하둡 밖으로 데이터 옮기기/input-fields-terminated-by/HBase shell 에서 테이블 만들기/직렬화 및 역직렬화(SerDe)/RegexSerDe 작동 보기/버킷 설정 두가지 방법/udf 클래스 살펴보기/description 보기
-
17.44분
하이브 활용과 피그
하이브를 활용한 데이터 분석, 하이브 조인 튜닝, 그루핑, 정렬, Explain, 피그 기본, 피그로 데이터 로드
하이브 조인 튜닝/Full outer join/세미 조인/피그 라틴 데이터 타입 보기/완전한 기능을 갖춘 로그 로더 제공 방법/로드 하기/커먼 로그 로드 펑션을 사용해 로드 하는 법 알아보기
-
18.42분
피그
피그 파이프라인, 필터링 및 투영, UDF 그루핑 및 취합, UDF 활용 위치 찾기, 스트리밍, 조인, 정렬, 데이터저장
필터링/투영/필터링 과정/필터 연산 결과로 ip 주소별로 로그 엔트리 그루핑하고 계산하기/getfinal/exec 메소드/스트리밍/시퀀스 파일로 저장하는 이유/커스텀 로드 펑션 실행
-
19.40분
피그와 그런치 및 그 외 기술
사용자 작업 흐름 최적화, LIMIT, SAMPLE, ILLUSTRATE, EXPLAIN, 성능, 그런치
사용자 작업 흐름 최적화/RandomSampleLoader 인자 보기/Map Reduce Plan/피그에서 리듀서를 사용하는 연산자/configure 메서드/크런치에서 완전한 맵 리듀스 잡 실행하기/uniqueValues 메서드 살펴보기
-
20.44분
데스트와 디버깅
로그에서 가장 인기있는 URL 찾기, 조인, 케스케이딩, 튜플, 파이프, 탭, 테스트, 사용자 공간 문제 디버깅, 맵리듀스 주의 사항
로그에서 가장 인기있는 URL 찾기/initialize를 통한 선언 초기화/크런치 조인 파이프라인/테스트 요소 살펴보기/run 메서드/테스크 출력 값 보기/투기적 실행 경쟁 조건/지나치게 많은 카운터
![리눅스 서버관리 [입문+고급]](/img_file/builder/Date/201902126696linux.png "리눅스 서버관리 [입문+고급]")
