반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- 프로그래머스 큰 수 만들기
- kafka 설치
- lazy evaluation
- AWS Crawler
- 빌드도구
- 문맥교환
- Spark
- 프로그래머스
- 서버간 복사
- 프로그래머스힙
- EMR 구조
- 카프카
- Catalyst Optimizer
- 하둡2.0
- 데이터 수집
- 데이터엔지니어링
- 스파크
- 하둡
- freenom
- 실행엔진
- 데이터베이스복사
- 지연연산
- ORACLE MSSQL차이
- 하둡1.0
- 하둡에코시스템
- Spark 최적화
- 데이터파이프라인
- Databricks
- ORACLE문법
- 런타임데이터영역
Archives
- Today
- Total
목록AWS Crawler (1)
띵유로그
[데이터파이프라인] AWS Glue Crawler 시작하기
1. 데이터베이스를 만들어줍니다. 2. 크롤러 탭에서 크롤러를 추가해줍니다. 3. 상세 설정 일정은 온디맨드로 설정했습니다. 4. 크롤러를 선택하고 실행해줍니다. 5. 이제 왼쪽 테이블 탭에서 생성된 테이블을 확인합니다. 6. 테이블을 직접 클릭해서 상세정보를 확인합니다. 테이블의 값이 변경될 떄마다 오른쪽 상단에 버전으로 관리됩니다. 스키마 편집도 가능합니다. 7. cralwer와는 무관하지만, athena를 통해 쿼리를 실행해보겠습니다. 서버리스이기 때문에 데이터 쿼리 시작 을 눌러 바로 사용할 수 있습니다. 비용도 로드되는 양에 따라 부과됩니다. 쓸데없이 많은 데이터를 읽지 않도록 주의합니다. 참고로 athena 내부엔진은 Presto로 되어있습니다. * 첫 번째 쿼리를 실행하기 전에 Amazon ..
DataEngineering
2022. 2. 17. 19:38