'BigData' 태그의 글 목록

빅데이터를 지탱하는 기술책을 읽고 정리한 내용입니다. 데이터 파이프라인, 데이터 웨어하우스, 데이터 레이크에 대한 개념들이 쉽게 정리되어 있고 전체적인 데이터 흐름을 알 수 있어서 많은 도움이 되었습니다. 데이터 파이프라인 - 데이터 수집에서 워크플로 관리까지 - 차례대로 전달해나가는 데이터로 구성된 시스템 데이터 수집 벌크형 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법으로, 데이터베이스와 파일 서버등에서 정기적으로 데이터를 수집하는데 사용 스트리밍형 차례차례 생성되는 데이터를 끊임없이 계속해서 보내는 방법으로 실시간 데이터를 수집하는데 사용 스트림 처리와 배치 처리 스트림 처리 과거 30분간 취합한 데이터를 집계하여 그래프를 만들려면 시계열 데이터베이스와 같은 실시간 처리를 지향한 데이터베이스..

Data Enginnering 2019. 9. 18. 22:15

이전 1 다음