일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Mac
- fastcampus
- login
- aws
- spring
- Cluster
- 설정
- Kafka
- 자동
- 예제
- 클러스터
- 레디스
- EMR
- redash
- 로그인
- Docker
- vue
- 간단
- gradle
- ec2
- Zeppelin
- Jenkins
- java
- SpringBoot
- config
- hive
- 자바
- 머신러닝
- Redis
- 젠킨스
- Today
- Total
목록aws (17)
코알못
서버 운영중에 서버 자원을 늘려야 하는 경우가 생긴다. 만약 직접 서버를 운영한다면 디스크나 메모리 카드를 사다가 교체해야 할 것이다. 그러나 EC2 로 운영한다면 기존 데이터를 유지하고 서버 스펙을 쉽게 변경할 수 있다! 그럼 실습을 진행해본다. 우선 AWS 콘솔에서 EC2 를 검색하여 들어간뒤 서버 유형을 변경할 서버를 검색한다. 해당 서버의 오른쪽클릭 > stop instance > 인스턴스를 중단한다. 인스턴스가 중단 됐다면 다시 오른쪽을 클릭한뒤 instance settings > change instance type 기존 small 인스턴스에서 xlarge 인스턴스로 변경해본다. 이제 유형을 선택하고 apply 를 눌러 적용한다. 완료 하면 아래와 같이 변경된것을 확인할 수 있다! 이제 sta..
AWS 하둡인 EMR 에는 오토 스케일링이라는 기능이 있다. 이는 하둡에는 없는 기능이며 AWS 에서 제공하는 기능으로 클라우드 서비스에 맞게 서버를 자동으로 스케일링 해주는 기능이다. 쉽게 말하자면 서버를 필요할때 서버를 늘려주고 필요없을때 반납해주는 기능이다. 예를 들어 하둡을 평상시에 사용안하다가 필요한 상황이 생기면 그때 기존 서버수 보다 더 투입하여 빠르게 처리하고 안쓸때 반납하는 기능이다. 오토 스케일링은 클러스터 구성시에도 가능하고 클러스터 구성후에도 설정 가능하며 실습을 진행해보자! 클러스터 생성시에 고급 설정을 들어간뒤, 2단계 하드웨어 설정에 있다. 현재 core 노드 3대, task 노드 3대로 총 6대의 노드 매니저가 작업을 진행할 것이다. 클러스터 스케일링중 EMR 관리자에 의한 ..
AWS 하둡인 EMR의 경우 사용한 만큼 과금이 되는 구조로 클러스터 종료 시점까지 계속적으로 비용이 나간다. 사용한 만큼 비용을 지불하면 되니 필요할때만 기동하고 안쓸때는 클러스터를 종료를 하는것이 비용을 절감하는 방법이다. 클라우드 비용 과금 방지를 하기 위해 EMR 자동 종료 기능이 있으며 해당 기능을 사용하여 자동 종료를 하는 실습을 해본다. 자동 종료 기능은 클러스터 생성시 자동 종료 옵션을 지정 하거나 생성 한 뒤 지정할 수 있다. 우선 클러스터 생성 시점에 설정하는 방법은 아래와 같다. 설정하는 시간은 클러스터 인스턴스 모두 할당 받은 뒤 아무 작업 요청 없을때부터 경과 시간을 측정하며 만약 작업이 제출 되었다면 작업이 완전히 없을때 부터 경과 시간을 측정한다. 그 다음 클러스터를 생성한뒤에..
우선 클러스터를 구성 했다면 기본 서버 관리를 위해 필요한 부분을 알아본다! 1. 서버 접속 방법 2. 서버에서 하둡 접속하는 방법 3. 서버에 떠있는 서비스 확인 및 재기동 4. 로그 보는 방법 5. 설정을 수정하고 적용 하는 방법 6. 관리 UI 접속 방법 1. 서버 접속 방법 서버 접속을 하기 위해서는 보안 그룹을 먼저 확인 해야 한다. 보안 그룹은 방화벽 같은것으로 접속에 사용하는 ssh 는 22번 포트를 사용하므로 22번 포트에 대한 방화벽이 뚫려 있어야 한다. 우선 aws 관리 콘솔 (https://aws.amazon.com/ > 콘솔에 로그인) 에 들어가서 emr을 검색 한다. 검색해서 생성한 클러스터를 클릭하면 아래와 같이 요약탭에 요약정보가 나온다. 하단에 '보안 및 엑세스' 부분을 보면..
우선 EMR 에 대해서 알아보면 아래와 같다. AWS 에서 제공하는 하둡 서비스 운영 부담을 줄여 준다. 서버를 원하는대로 변경 할 수 있어 클러스터에 대한 유연성과 확장성이 좋다. 빠르게 하둡을 설치하여 이용할 수 있다. 기존 하둡과 비교하면 아마존 하둡인 EMRFS는 저장소를 S3에 저장할 수 있다는 점이 다르며 아마존의 서비스를 적극적으로 활용할 수 있다. S3 의 경우에도 하둡과 동일한 분산 저장소이기에 무한대로 저장도 가능하니 디스크 증설이 필요 없으며, 디스크 파일은 URL 로 공유도 가능하니 파일 접근 및 공유가 쉽다. 그러나 하둡의 경우 replica 를 통해 데이터 유실을 방지하고 데이터 처리 성능을 빠르게 하나 S3 의 경우에는 일반 파일 시스템처럼 백업 하면 복제 기능은 동일하게 할 ..
aws 에서 다루는 보안 관련 설정과 쓰이는 부분을 알아보자! 간단하게 윗단에 ACL 정책이 있고 내부적으로는 secutiry group 설정을 한다. 그 이유는 아래와 같이 각각 가지고 있는 성격을 보면 알 수 있다. 서브넷이 같을 경우 security group 만 적용되며 서브넷이 다를 경우 security group 과 ACL 이 같이 적용 된다. 끝!
S3 는 저장소로 저장소 단위를 버킷이라고 부른다. 그럼 생성하는 실습을 진행해보자! - https://aws.amazon.com/ko/ > 콘솔에 로그인 클릭 로그인을 진행하고 회원이 아니라면 가입을 진행하고 로그인을 한다. 그리고 MFA 인증을 등록하였다면 입력한다. (은행 OTP 같은 2차 보안 수단) 로그인이 성공적으로 됐다면 AWS 관리 콘솔이 뜬다. 그럼 검색창에 S3 를 검색하여 클릭한다. 버킷 만들기 버튼을 클릭한다. 일반 구성은 아래와 같이 설정 한다. 버킷이름 : 소문자, 숫자, 마침표(.) 및 하이픈(-)으로 구성 해야하며 버킷 이름은 모든 AWS 계정에서 고유해야 한다. AWS 리전 : 사용할 AWS S3 위치 지정 저자는 리전을 가까운 서울로 사용한다. 객체 소유권은 아래와 같다...
저번 시간에는 kafka cluster 를 구축 하고 어떻게 동작하는지 알아보았다! 이제 connect 를 구축하여 데이터 허브를 구성한다! connect 는 원하는(예 : RDB, S3 등) 데이터를 알아서 가져오고(producer) 원하는 형태(예: RDB, S3 등)로 넣어주는(consumer) 솔루션 이다. 직접 producer, comsumer 을 만들어서 사용해도 되지만 관리/성능 측면에서 내가 만드는 것 보다 잘 만들어둔 솔루션(connect)을 사용하는것이 낫기에 사용하도록 한다! 테스트를 위해 자주 사용하는 명령어는 아래 정리하였으니 참고하도록 한다. // topic list ./kafka-topics.sh --list --bootstrap-server kafka-01:9092,kafka..