반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- EMR 구조
- AWS Crawler
- 실행엔진
- Spark 최적화
- 카프카
- 데이터파이프라인
- lazy evaluation
- kafka 설치
- 스파크
- ORACLE MSSQL차이
- 프로그래머스
- freenom
- 지연연산
- 데이터베이스복사
- Databricks
- 빌드도구
- Catalyst Optimizer
- 문맥교환
- 하둡1.0
- 서버간 복사
- 데이터엔지니어링
- 데이터 수집
- 하둡에코시스템
- 프로그래머스힙
- 프로그래머스 큰 수 만들기
- 하둡2.0
- Spark
- 런타임데이터영역
- ORACLE문법
- 하둡
Archives
- Today
- Total
목록kafka 설치 (1)
띵유로그
[데이터파이프라인]kafka 설치 ~ 토픽생성
트위터에서 발생한 데이터를 kafka로 보내는 과정을 직접 해보려합니다. 먼저 aws에서 t2.medium 으로 인스턴스를 하나 시작했습니다. 인스턴스 시작하는 과정은 포스팅에 포함하지 않았습니다. 1. 자바 설치 카프카는 자바 기반이기 때문에 자바를 설치해주어야 합니다. java 가 잘 설치된걸 확인했다면 이제 wget명령어를 통해 kafka 를 설치해줍니다. 2. kafka 설치 똑같이 명령어를 실행시켰는데 에러가 나면 dlcdn.apache.org 홈페이지에 들어가서 파일 경로가 달라진건아닌지, 오타가 있지는 않는지 확인해봅니다. https://dlcdn.apache.org/kafka/3.0.0/ Index of /kafka/3.0.0 dlcdn.apache.org 그 후 압축을 풀어줍니다. 추가)..
DataEngineering
2022. 1. 16. 17:31