목록s3 (2)

코알못

[로그 수집] 파이프 라인을 만들어 보자!

로그를 저장소인 S3에 저장하여 EMR 에서 활용할 것이다. 이를 위해서 로그를 아래 아키텍쳐와 같이 구성하는 실습을 진행해본다! 모두 버전은 7.6.0로 맞추었으며, mac 관련 설치 파일을 이용하였으니 맞는 os로 설치 해야 한다. =================== java =================== logstash 의 경우 실행시 java 설치 필요하다는 오류 발생 could not find java; set JAVA_HOME or ensure java is in PATH // 설치 가능한 버전 확인 $ yum list *java*jdk* Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Available Pac..
BIG DATA 2022. 2. 13. 18:58
[AWS] S3 생성 (저장소 생성)

S3 는 저장소로 저장소 단위를 버킷이라고 부른다. 그럼 생성하는 실습을 진행해보자! - https://aws.amazon.com/ko/ > 콘솔에 로그인 클릭 로그인을 진행하고 회원이 아니라면 가입을 진행하고 로그인을 한다. 그리고 MFA 인증을 등록하였다면 입력한다. (은행 OTP 같은 2차 보안 수단) 로그인이 성공적으로 됐다면 AWS 관리 콘솔이 뜬다. 그럼 검색창에 S3 를 검색하여 클릭한다. 버킷 만들기 버튼을 클릭한다. 일반 구성은 아래와 같이 설정 한다. 버킷이름 : 소문자, 숫자, 마침표(.) 및 하이픈(-)으로 구성 해야하며 버킷 이름은 모든 AWS 계정에서 고유해야 한다. AWS 리전 : 사용할 AWS S3 위치 지정 저자는 리전을 가까운 서울로 사용한다. 객체 소유권은 아래와 같다...
BIG DATA 2022. 1. 29. 00:03
Prev 1 Next