반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
Tags
- 빌드도구
- 하둡
- AWS Crawler
- 런타임데이터영역
- 프로그래머스
- 지연연산
- freenom
- 스파크
- 데이터엔지니어링
- kafka 설치
- 하둡1.0
- 하둡에코시스템
- ORACLE문법
- Catalyst Optimizer
- 실행엔진
- 하둡2.0
- Spark
- 데이터 수집
- 데이터파이프라인
- ORACLE MSSQL차이
- 데이터베이스복사
- 프로그래머스힙
- 서버간 복사
- lazy evaluation
- 카프카
- 문맥교환
- EMR 구조
- 프로그래머스 큰 수 만들기
- Spark 최적화
- Databricks
Archives
- Today
- Total
목록AWS Crawler (1)
띵유로그
1. 데이터베이스를 만들어줍니다. 2. 크롤러 탭에서 크롤러를 추가해줍니다. 3. 상세 설정 일정은 온디맨드로 설정했습니다. 4. 크롤러를 선택하고 실행해줍니다. 5. 이제 왼쪽 테이블 탭에서 생성된 테이블을 확인합니다. 6. 테이블을 직접 클릭해서 상세정보를 확인합니다. 테이블의 값이 변경될 떄마다 오른쪽 상단에 버전으로 관리됩니다. 스키마 편집도 가능합니다. 7. cralwer와는 무관하지만, athena를 통해 쿼리를 실행해보겠습니다. 서버리스이기 때문에 데이터 쿼리 시작 을 눌러 바로 사용할 수 있습니다. 비용도 로드되는 양에 따라 부과됩니다. 쓸데없이 많은 데이터를 읽지 않도록 주의합니다. 참고로 athena 내부엔진은 Presto로 되어있습니다. * 첫 번째 쿼리를 실행하기 전에 Amazon ..
DataEngineering
2022. 2. 17. 19:38