반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- 서버간 복사
- 하둡에코시스템
- 데이터파이프라인
- 하둡2.0
- Catalyst Optimizer
- 빌드도구
- 지연연산
- lazy evaluation
- kafka 설치
- 데이터엔지니어링
- ORACLE문법
- 데이터베이스복사
- freenom
- Spark 최적화
- AWS Crawler
- 데이터 수집
- 하둡
- Databricks
- 실행엔진
- 문맥교환
- Spark
- EMR 구조
- 프로그래머스 큰 수 만들기
- 프로그래머스힙
- 카프카
- 런타임데이터영역
- 하둡1.0
- 프로그래머스
- 스파크
- ORACLE MSSQL차이
Archives
- Today
- Total
목록kafka 설치 (1)
띵유로그

트위터에서 발생한 데이터를 kafka로 보내는 과정을 직접 해보려합니다. 먼저 aws에서 t2.medium 으로 인스턴스를 하나 시작했습니다. 인스턴스 시작하는 과정은 포스팅에 포함하지 않았습니다. 1. 자바 설치 카프카는 자바 기반이기 때문에 자바를 설치해주어야 합니다. java 가 잘 설치된걸 확인했다면 이제 wget명령어를 통해 kafka 를 설치해줍니다. 2. kafka 설치 똑같이 명령어를 실행시켰는데 에러가 나면 dlcdn.apache.org 홈페이지에 들어가서 파일 경로가 달라진건아닌지, 오타가 있지는 않는지 확인해봅니다. https://dlcdn.apache.org/kafka/3.0.0/ Index of /kafka/3.0.0 dlcdn.apache.org 그 후 압축을 풀어줍니다. 추가)..
DataEngineering
2022. 1. 16. 17:31