반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- EMR 구조
- 프로그래머스 큰 수 만들기
- Databricks
- 스파크
- 데이터엔지니어링
- 지연연산
- 프로그래머스
- 카프카
- AWS Crawler
- 런타임데이터영역
- Catalyst Optimizer
- Spark
- 데이터베이스복사
- lazy evaluation
- kafka 설치
- 하둡
- 하둡2.0
- ORACLE MSSQL차이
- ORACLE문법
- Spark 최적화
- 데이터 수집
- 실행엔진
- freenom
- 하둡에코시스템
- 하둡1.0
- 문맥교환
- 서버간 복사
- 프로그래머스힙
- 데이터파이프라인
- 빌드도구
Archives
- Today
- Total
목록데이터엔지니어링 (1)
띵유로그
[데이터파이프라인] Presto - Mysql 연동
지난 포스팅에서는 프레스토를 알아봤는데요, 이번 포스팅에서는 Mysql 과 연동해보겠습니다. Presto에 대한 기본적인 내용부터 각종 DBMS와의 연결방법은 https://prestodb.io/docs/current/overview.html에도 자세히 나와있으니 참고하면 좋을 것같습니다. 먼저, Emr 생성시 Presto를 선택해주고 띄운후 접속해줍니다. 운영중인 mysql 은 이미 있고, 인바운드, 아웃바운드 규칙은 이미 설정되어있다고 가정합니다! /etc/presto/conf/catalog 폴더에 가면 기본적으로 hive.properties 파일만 존재하는것을 볼 수 있습니다. (awsdatacatalog.properties는 hive.properties 파일로의 링크임) 1. 카탈로그 추가 (my..
DataEngineering
2022. 3. 1. 19:30