코알못

[AWS] EMR(hadoop) - 자동 종료 해보자! 본문

BIG DATA

[AWS] EMR(hadoop) - 자동 종료 해보자!

코린이s 2022. 1. 30. 23:44
728x90

AWS 하둡인 EMR의 경우 사용한 만큼 과금이 되는 구조로 클러스터 종료 시점까지 계속적으로 비용이 나간다.

사용한 만큼 비용을 지불하면 되니 필요할때만 기동하고 안쓸때는 클러스터를 종료를 하는것이 비용을 절감하는 방법이다.

클라우드 비용 과금 방지를 하기 위해 EMR 자동 종료 기능이 있으며 해당 기능을 사용하여 자동 종료를 하는 실습을 해본다.

자동 종료 기능은 클러스터 생성시 자동 종료 옵션을 지정 하거나 생성 한 뒤 지정할 수 있다.

우선 클러스터 생성 시점에 설정하는 방법은 아래와 같다.

 

설정하는 시간은 클러스터 인스턴스 모두 할당 받은 뒤 아무 작업 요청 없을때부터 경과 시간을 측정하며

만약 작업이 제출 되었다면 작업이 완전히 없을때 부터 경과 시간을 측정한다.



그 다음 클러스터를 생성한뒤에 설정하는 방법은 어렵지 않다.

AWS > 콘솔에 로그인 > emr 검색 > 클러스터 목록 > 해당 클러스터 선택 > 하드웨어 탭 선택

 자동 종료 설정에 Edit 를 클릭하면 아래와 같이 설정하는 화면이 동일하게 나타나므로 설정한뒤 저장하면 된다.

끝!

728x90
Comments