반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- 스파크
- Catalyst Optimizer
- 하둡에코시스템
- 데이터엔지니어링
- 프로그래머스
- 프로그래머스힙
- EMR 구조
- 하둡
- 서버간 복사
- kafka 설치
- 데이터 수집
- 빌드도구
- 프로그래머스 큰 수 만들기
- lazy evaluation
- 문맥교환
- 지연연산
- AWS Crawler
- 런타임데이터영역
- 하둡2.0
- freenom
- 카프카
- Spark
- 하둡1.0
- Spark 최적화
- 데이터베이스복사
- ORACLE문법
- 데이터파이프라인
- ORACLE MSSQL차이
- Databricks
- 실행엔진
Archives
- Today
- Total
목록AWS Crawler (1)
띵유로그
[데이터파이프라인] AWS Glue Crawler 시작하기
1. 데이터베이스를 만들어줍니다. 2. 크롤러 탭에서 크롤러를 추가해줍니다. 3. 상세 설정 일정은 온디맨드로 설정했습니다. 4. 크롤러를 선택하고 실행해줍니다. 5. 이제 왼쪽 테이블 탭에서 생성된 테이블을 확인합니다. 6. 테이블을 직접 클릭해서 상세정보를 확인합니다. 테이블의 값이 변경될 떄마다 오른쪽 상단에 버전으로 관리됩니다. 스키마 편집도 가능합니다. 7. cralwer와는 무관하지만, athena를 통해 쿼리를 실행해보겠습니다. 서버리스이기 때문에 데이터 쿼리 시작 을 눌러 바로 사용할 수 있습니다. 비용도 로드되는 양에 따라 부과됩니다. 쓸데없이 많은 데이터를 읽지 않도록 주의합니다. 참고로 athena 내부엔진은 Presto로 되어있습니다. * 첫 번째 쿼리를 실행하기 전에 Amazon ..
DataEngineering
2022. 2. 17. 19:38