내일도이렇게

인덱스 데이터베이스 분야에 있어서 테이블에 대한 동작의 속도를 높여주는 자료 구조 책의 와 같은 개념 장점 검색 속도가 무척 빨라질 수 있다. 그 결가 해당 쿼리의 부하를 줄어들어서, 결국 시스템 전체의 성능이 향상된다. 단점 인덱스가 데이터베이스 공간을 차지해서 추가적인 공간이 필요해지는데, 대략 데이터베이스 크기의 10% 정도의 추가 공간이 필요하다. 처음 인덱스를 생성하는데 시간이 많이 소요될 수 있다. 데이터 변경 작업이 자주 일어날 경우에는 오히려 성능이 많이 나빠질 수도 있다. 인덱스의 종류 클러스터형 인덱스 영어 사전과 같은 책 테이블당 한 개만 생성할 수 있다. 행 데이터를 지정한 열에 맞춰서 자동 정렬 보조 인덱스 책 뒤에 가 있는 일반 책 테이블당 여러 개를 생성할 수 있다. a 열 에..

1. mysql 의 전체 구조 MYSQL 엔진 클라이언트로부터의 접속 및 쿼리 요청을 처리하는 커넥션 핸들러 SQL 파서 및 전처리기, 그리고 쿼리의 최적화된 실행을 위한 옵티마이저 캐시&버퍼 스토리지 엔진 요청된 SQL 문장을 분석하거나 최적화 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 데이터를 읽어오는 부분 InnoDB , MyISAM, Memory 등 지정할 수 있다 핸들러 API 쿼리 실행기에서 데이터를 쓰고나 읽어야 할 때는 각 스토리지 엔진에게 쓰기 또는 읽기를 요청하는 데 이러한 요청을 핸들러 요청이라고 하는데 , 여기에 사용되는 API를 핸들러 API 라고 함 InnoDB 스토리지 엔진 또한 이 핸들러 API를 이용해 MySQL 엔진과 데이터를 주고 받음 2. MySQ..

업무로 AWS DB 마스터를 두고 사내망에 슬레이브를 구성하여 슬레이브에서 데몬에서 사용할 쿼리나 통계 내는 대에 사용하기 위해 구축을 해봤습니다. 업무에서 했던 것을 정리하기 위해 Mysql 5.7 버전을 마스터/슬레이브 구축에 대해 글을 작성했습니다. 보통 DB 부하 분산을 위해 마스터는 UPDATE/INSERT/DELETE 문을 사용하고 SELECT만 슬레이브에 하는 구조로 사용된다. MySQL 에서는 마스터에서 실행한 갱신계의 SQL문이 바이너리 로그라는 전용 로그 파일로 기록된다. 이 로그 파일의 내용이 슬레이브로 전송되어 저장된다. 슬레이브는 저장된 로그 파일을 순차적으로 실행함으로써 결과적으로 마스터와 슬레이브의 상태가 일치되는 구조 슬레이브 바이너리 로그 수신 과 바이너리 로그 실행 2 단..

빅데이터를 지탱하는 기술책을 읽고 정리한 내용입니다. 데이터 파이프라인, 데이터 웨어하우스, 데이터 레이크에 대한 개념들이 쉽게 정리되어 있고 전체적인 데이터 흐름을 알 수 있어서 많은 도움이 되었습니다. 데이터 파이프라인 - 데이터 수집에서 워크플로 관리까지 - 차례대로 전달해나가는 데이터로 구성된 시스템 데이터 수집 벌크형 이미 어딘가에 존재하는 데이터를 정리해 추출하는 방법으로, 데이터베이스와 파일 서버등에서 정기적으로 데이터를 수집하는데 사용 스트리밍형 차례차례 생성되는 데이터를 끊임없이 계속해서 보내는 방법으로 실시간 데이터를 수집하는데 사용 스트림 처리와 배치 처리 스트림 처리 과거 30분간 취합한 데이터를 집계하여 그래프를 만들려면 시계열 데이터베이스와 같은 실시간 처리를 지향한 데이터베이스..