내일도이렇게

빅데이터를 지탱하는 기술책을 읽고 정리한 내용입니다. 데이터 파이프라인, 데이터 웨어하우스, 데이터 레이크에 대한 개념들이 쉽게 정리되어 있고 전체적인 데이터 흐름을 알 수 있어서 많은 도움이 되었습니다. 데이터 파이프라인 - 데이터 수집에서 워크플로 관리까지 - 차례대로 전달해나가는 데이터로 구성된 시스템 데이터 수집 벌크형 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법으로, 데이터베이스와 파일 서버등에서 정기적으로 데이터를 수집하는데 사용 스트리밍형 차례차례 생성되는 데이터를 끊임없이 계속해서 보내는 방법으로 실시간 데이터를 수집하는데 사용 스트림 처리와 배치 처리 스트림 처리 과거 30분간 취합한 데이터를 집계하여 그래프를 만들려면 시계열 데이터베이스와 같은 실시간 처리를 지향한 데이터베이스..

네트워크 정리(1) 에 이어서 회사에서 자주 보게 되는 IP에 대해서 정리한 내용입니다. IP 주소 실생화에 비유하면 주소와 같은 개념이고 데이터를 다른 네트워크의 목적지로 보내기 위해 IP 주소가 필요하다. 인터넷 서비스 제공자(ISP) 에게 받을 수 있다. IP 버전에는 IPv4 , IPv6 가 있다. IPv4 주소는 32비트로 약 43억개가 있고 IPv6은 128비트로 IPv4보다 많은 IP 주소를 만들 수 있다. IPv4 주소에는 공인 IP 주소와 사설 IP 주소가 있는데 주소가 고갈되고 있어서 인터넷에 직접 연결되는 컴퓨터나 라우터에는 공인IP 주소 회사나 가정의 랜에 있는 컴퓨터는 사설 IP 주소를 할당하는 정책을 사용하고 있다. DHCP 기능을 사용하여 주소를 자동으로 할당한다. (DHCP ..

REST: Good Practices for API Design 요즘 회사에서 api 개발을 하는데 좀 더 보기 좋고 효율적인 API 만드는 방법이 뭐가 있을 까 고민하다가 검색을 통해 몇개의 블로그들을 봤는데 영어 공부도 할겸 REST: Good practices for API Design 글을 번역을 하였습니다. 그냥 독해하면 되지 않을까 하는 생각으로 접근하였는데 막상 번역을 할려고하니 어렵네요.. 이 글에서 나오는 용어 정리를 해보면 Resouce : 어떤 것의 대표 혹은 객체 ex) employees , animals Collections: resouces 의 집합 URL: 어느 resource 가 어디에 위치할 수 있고 , 어떤 action들이 수행될 수 있는지를 나타내는 경로 REST 가 무..

회사에서 모델링 할 일이 있었는데 정규화에 대해서 이해가 안 되는 부분이 있어서 데이터베이스 설계 및 구축 이 책에 있는 정규화 부분을 읽고 정리했습니다. 보통 이론적으로는 5차 정규화까지 알려져 있지만 3차 정규화까지만 알아도 큰 문제가 없다고 한다. 모델링 할 때 정규화를 알고 정규화가 필요 없는 모델을 만드는게 중요하다 정규화 ERD 내에서 중복을 찾아 제거해 나가는 과정 판매 전표 가지고 정규화 과정을 설명하기로 한다. 제 1 정규화 엔티티에서 하나의 속성이 복수의 값을 갖도록 설계되었을 때 하나의 속성이 단일 값을 갖도록 하는 것 한 명의 사원이 여러 개의 취미를 가질 수 있으므로 아래와 같이 생각할 수 있다. 하지만 이렇게 하면 복수 개의 값들이 저장된 것을 볼 수 있다 이런식으로 취미 속성에..