띵유로그

wget 명령어를 통해 logstash 를 다운로드 받습니다. logstash 도 링크를 걸어줍니다. 그 후에 .bash_profile을 수정해서 어떤 경로에서도 logstash 명령어를 수행할 수 있도록 경로를 잡아줍니다. 그 후 수정된 값을 적용시키기 위해 source명령어를 실행해줍니다. 2. twitter 연동 먼저 트위터 계정을 만들고 개발자 app 신청을 합니다. https://www.citopes.com/entry/%ED%8A%B8%EC%9C%84%ED%84%B0-%EA%B0%9C%EB%B0%9C%EC%9E%90-%EA%B3%84%EC%A0%95-%EC%B7%A8%EB%93%9D%ED%95%98%EA%B8%B0 트위터 개발자 계정 신청하기 트위터의 API를 이용하기 위해서는 Access To..

이러다가는 열심히 공부한 하둡을 다 잊어버릴 것 같아 블로그에 적기로 했다. 위키북스의 실무로 배우는 빅데이터 기술 이라는 책으로 공부했다. 책에서 제공하는 코드를 통해 스마트카 상태정보, 운전자 운행 로그를 수집후에 적재하고 분석하는 과정까지 진행해보았다. 공부한 내용을 수집, 적재, 처리 및 탐색, 분석 및 응용으로 나누어 글을 작성하겠다. 이번 글은 수집이다. 수집과정에서의 각 SW의 사용 용도를 요약하면 아래와 같이 나타낼 수 있다. - 로그 수집 : 플럼 - 로그 이벤트 처리 : 스톰 - 버퍼링 및 트랜잭션 처리 : 카프카 플럼을 통해 로그를 수집하고 스톰으로 로그 이벤트를 처리하는데, 그 사이에서의 안정적인 수집을 위해 버퍼링과 트랜잭션 처리를 하는것이 카프카이다. 1. 플럼 - Source ..