일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 데이터베이스복사
- Spark 최적화
- 데이터파이프라인
- 프로그래머스 큰 수 만들기
- 서버간 복사
- 런타임데이터영역
- 카프카
- 하둡에코시스템
- AWS Crawler
- 빌드도구
- 프로그래머스힙
- 스파크
- EMR 구조
- freenom
- lazy evaluation
- Spark
- 프로그래머스
- 실행엔진
- kafka 설치
- ORACLE MSSQL차이
- 하둡
- Catalyst Optimizer
- 데이터 수집
- 하둡2.0
- 문맥교환
- Databricks
- ORACLE문법
- 지연연산
- 데이터엔지니어링
- 하둡1.0
- Today
- Total
띵유로그
[AWS] EC2에 S3연결 본문
0. EC2 연결
2. apt 업데이트
# apt-get update
# sudo apt-get install build-essential git libfuse-dev libcurl4-openssl-dev libxml2-dev mime-support automake libtool
# sudo apt-get install pkg-config libssl-dev
3. IAM 메뉴에서 User 생성
- 사용자 이름을 입력하고 키를 통해 접근할 예정이므로 프로그래밍 방식 엑세스를 선택한다.
- AmazonS3FullAccess
생성된 키를 다운로드 받는다.
4.S3FS 설치
: s3를 filesystem처럼 mount 시킬 수 있게 해주는 라이브러리.
성능이 느리다고 한다.. goofys 라는 패키지도 있다.
4. AWS 오른쪽 상단에 계정을 눌러 "내 보안 자격증명" -> 액세스키 만들기
5. 만든 엑세스 키를 /etc/passwd-s3fs 에 저장후 권한을 변경한다. (일반유저 읽기 권한 제거)
[AWSAccessKeyId]:[AWSSecretKey]
[] 대신 다운로드 받은 키를 넣는다 XXX : YY
6. S3FS 환경설정
/etc/fuse.conf 파일을 열면 모두 주석처리가 되어있는데 아래와 같이 주석을 해제한다.
7-0.
그 후 s3fs mybucket /path/to/mountpoint -o passwd_file=etc/passwd-s3fs
로 하는데 안돼서 구글링하면서 시도했던 것들
1) s3fs mybucket /path/to/mountpoint -o passwd_file=etc/passwd-s3fs -o dbglevel=info -f -o curldbg
<- 디버깅모드로 실행 **가장 결정적**
2) export region = ap-northeast-2
3) S3FS 다운로드 다시함
git clone https://github.com/s3fs-fuse/s3fs-fuse
7-1. df -h 로 마운트 된것 확인 & 마운트한 경로에서 업로드한 파일 확인