코알못

우선 클러스터를 구성 했다면 기본 서버 관리를 위해 필요한 부분을 알아본다! 1. 서버 접속 방법 2. 서버에서 하둡 접속하는 방법 3. 서버에 떠있는 서비스 확인 및 재기동 4. 로그 보는 방법 5. 설정을 수정하고 적용 하는 방법 6. 관리 UI 접속 방법 1. 서버 접속 방법 서버 접속을 하기 위해서는 보안 그룹을 먼저 확인 해야 한다. 보안 그룹은 방화벽 같은것으로 접속에 사용하는 ssh 는 22번 포트를 사용하므로 22번 포트에 대한 방화벽이 뚫려 있어야 한다. 우선 aws 관리 콘솔 (https://aws.amazon.com/ > 콘솔에 로그인) 에 들어가서 emr을 검색 한다. 검색해서 생성한 클러스터를 클릭하면 아래와 같이 요약탭에 요약정보가 나온다. 하단에 '보안 및 엑세스' 부분을 보면..

우선 EMR 에 대해서 알아보면 아래와 같다. AWS 에서 제공하는 하둡 서비스 운영 부담을 줄여 준다. 서버를 원하는대로 변경 할 수 있어 클러스터에 대한 유연성과 확장성이 좋다. 빠르게 하둡을 설치하여 이용할 수 있다. 기존 하둡과 비교하면 아마존 하둡인 EMRFS는 저장소를 S3에 저장할 수 있다는 점이 다르며 아마존의 서비스를 적극적으로 활용할 수 있다. S3 의 경우에도 하둡과 동일한 분산 저장소이기에 무한대로 저장도 가능하니 디스크 증설이 필요 없으며, 디스크 파일은 URL 로 공유도 가능하니 파일 접근 및 공유가 쉽다. 그러나 하둡의 경우 replica 를 통해 데이터 유실을 방지하고 데이터 처리 성능을 빠르게 하나 S3 의 경우에는 일반 파일 시스템처럼 백업 하면 복제 기능은 동일하게 할 ..

S3 는 저장소로 저장소 단위를 버킷이라고 부른다. 그럼 생성하는 실습을 진행해보자! - https://aws.amazon.com/ko/ > 콘솔에 로그인 클릭 로그인을 진행하고 회원이 아니라면 가입을 진행하고 로그인을 한다. 그리고 MFA 인증을 등록하였다면 입력한다. (은행 OTP 같은 2차 보안 수단) 로그인이 성공적으로 됐다면 AWS 관리 콘솔이 뜬다. 그럼 검색창에 S3 를 검색하여 클릭한다. 버킷 만들기 버튼을 클릭한다. 일반 구성은 아래와 같이 설정 한다. 버킷이름 : 소문자, 숫자, 마침표(.) 및 하이픈(-)으로 구성 해야하며 버킷 이름은 모든 AWS 계정에서 고유해야 한다. AWS 리전 : 사용할 AWS S3 위치 지정 저자는 리전을 가까운 서울로 사용한다. 객체 소유권은 아래와 같다...