hubring

[빅데이터 하둡 프로그래밍 공부 정리] 1-1 빅데이터 정의 1. 서버 한 대로 처리할 수 없는 규모의 데이터 2. 기존의 소프트웨어로 처리할 수 없는 데이터 3.3V(Volumn velocity variety) 크기를 굳이 따지자면 20 TB 스케일 업 vs 스케일 아웃 스케일 업 : 하나의 서버에 용량을 키우는 것 스케일 아웃 : 분산형 컴퓨터 장비를 여러개 두는 것 1-2 빅데이터 예 웹페이지 데이터 1. 크롤링 데이터 ex) 페이지 랭크 : 수많은 페이지의 중요도를 계산 2. 검색 로그, 클릭 로그 데이터 ex) 독감 지도, 연관 검색 디바이스 생성 데이터 소셜 미디어 데이터 1-3 빅데이터 시스템 구성 1. 데이터 수집 모듈 Flume, chukwa (오픈소스 기반) 다수의 노드로 구성된 클러스..

1. HDFS와 YARN이란 무엇인가요? hdfs(Hadoop distributed file system ) 개념 : 분산 파일 시스템 - HDFS는 Hadoop 애플리케이션에서 사용되는 기본 분산 스토리지 - 마스터(NameNode)/슬레이브(DataNode) 구조의 분산파일 시스템 - 마스터(NameNode)/워커(DataNode) 구조의 분산파일 시스템 - 하나의 파일을 여러개의 블록으로 나눠어 가능한 여러개의 DataNode에 저장됨. - 하부 운영체제의 파일 시스템을 그대로 사용, 데이터 노드를 설치하기 위해 다른 파일 시스템을 설치할 필요없이 디스크 상의 특정 디렉토리를 데이터 저장으로 사용할 수 있음 - hdfs 클라이언트를 통해 사용자 대신 nameNode와 DataNode의 접근이 가능합..