[데이터 파이프라인-2] Kinesis 구성하기

1. Kinesis 데이터스트림 구성

2. 컨슈머 설정 (Firehorse)

Delivery streams 항목 -> Create delivery stream

 

2-1. Firehorse (consumer 역할)상세 설정사항

설정하는 방법은 쉽다.그냥 source와 destination을 지정해주면 된다.
Source : 키네시스 데이터 스트림
Destination : S3

가져올 스트림의 이름을 적어준다. (스트림 이름 : class-stream)

가져올 때 람다 transformation 도 할 수 있으나 여기서는 하지 않았다. (disable)

Data 형식도 바꿀 수 있다. bigdata format인 Parquet와 ORC로 바꿀 수 있다.
(Avro 와 함께 분산 처리, 저장하는 포맷으로 binary 압축된 포맷 )

https://www.datanami.com/2018/05/16/big-data-file-formats-demystified/

또 Glue라는 어플리케이션으로 보내 ETL 작업을 추가로 할 수 있다. (다음에 glue에 대해서도 따로 공부해야겠다.. 잘 알아두면 쓸 일이 많을 듯)