띵유로그

이러다가는 열심히 공부한 하둡을 다 잊어버릴 것 같아 블로그에 적기로 했다. 위키북스의 실무로 배우는 빅데이터 기술 이라는 책으로 공부했다. 책에서 제공하는 코드를 통해 스마트카 상태정보, 운전자 운행 로그를 수집후에 적재하고 분석하는 과정까지 진행해보았다. 공부한 내용을 수집, 적재, 처리 및 탐색, 분석 및 응용으로 나누어 글을 작성하겠다. 이번 글은 수집이다. 수집과정에서의 각 SW의 사용 용도를 요약하면 아래와 같이 나타낼 수 있다. - 로그 수집 : 플럼 - 로그 이벤트 처리 : 스톰 - 버퍼링 및 트랜잭션 처리 : 카프카 플럼을 통해 로그를 수집하고 스톰으로 로그 이벤트를 처리하는데, 그 사이에서의 안정적인 수집을 위해 버퍼링과 트랜잭션 처리를 하는것이 카프카이다. 1. 플럼 - Source ..