띵유로그

이번 글에서는 수집한 데이터를 어디에 어떻게 저장하는지에 대해 적을 것이다. 수집한 데이터의 성격에따라 처리방식과 적재 위치가 달라질 수 있다. 데이터 발생 주기에 따라서 일괄 배치성 데이터인지, 실시간 스트림인지도 다르고, 데이터의 형식에따라서 가공여부나 사전 검증 대상인지도 판단해야한다. 예를들면, 데이터의 성격에따라 간략히 이렇게 저장방식을 다르게 할 수 있다. ex) 대용량 파일 전체를 영구저장할 경우 - 분산파일시스템 대규모 메시지 전체를 영구저장할 경우 - No-SQL 대규모 메시지 전체를 버퍼링 처리할 경우 - MoM 대규모 데이터 일부만 임시저장할 경우 - 캐시 이번 글에서는 이 중에서 대용량 로그 파일을 적재할 때 사용되는 분산파일 시스템인 하둡에 대해서 설명한다. 1. 하둡 [하둡 1...