코알못

우선 클러스터를 구성 했다면 기본 서버 관리를 위해 필요한 부분을 알아본다! 1. 서버 접속 방법 2. 서버에서 하둡 접속하는 방법 3. 서버에 떠있는 서비스 확인 및 재기동 4. 로그 보는 방법 5. 설정을 수정하고 적용 하는 방법 6. 관리 UI 접속 방법 1. 서버 접속 방법 서버 접속을 하기 위해서는 보안 그룹을 먼저 확인 해야 한다. 보안 그룹은 방화벽 같은것으로 접속에 사용하는 ssh 는 22번 포트를 사용하므로 22번 포트에 대한 방화벽이 뚫려 있어야 한다. 우선 aws 관리 콘솔 (https://aws.amazon.com/ > 콘솔에 로그인) 에 들어가서 emr을 검색 한다. 검색해서 생성한 클러스터를 클릭하면 아래와 같이 요약탭에 요약정보가 나온다. 하단에 '보안 및 엑세스' 부분을 보면..

우선 EMR 에 대해서 알아보면 아래와 같다. AWS 에서 제공하는 하둡 서비스 운영 부담을 줄여 준다. 서버를 원하는대로 변경 할 수 있어 클러스터에 대한 유연성과 확장성이 좋다. 빠르게 하둡을 설치하여 이용할 수 있다. 기존 하둡과 비교하면 아마존 하둡인 EMRFS는 저장소를 S3에 저장할 수 있다는 점이 다르며 아마존의 서비스를 적극적으로 활용할 수 있다. S3 의 경우에도 하둡과 동일한 분산 저장소이기에 무한대로 저장도 가능하니 디스크 증설이 필요 없으며, 디스크 파일은 URL 로 공유도 가능하니 파일 접근 및 공유가 쉽다. 그러나 하둡의 경우 replica 를 통해 데이터 유실을 방지하고 데이터 처리 성능을 빠르게 하나 S3 의 경우에는 일반 파일 시스템처럼 백업 하면 복제 기능은 동일하게 할 ..

aws 에서 다루는 보안 관련 설정과 쓰이는 부분을 알아보자! 간단하게 윗단에 ACL 정책이 있고 내부적으로는 secutiry group 설정을 한다. 그 이유는 아래와 같이 각각 가지고 있는 성격을 보면 알 수 있다. 서브넷이 같을 경우 security group 만 적용되며 서브넷이 다를 경우 security group 과 ACL 이 같이 적용 된다. 끝!

S3 는 저장소로 저장소 단위를 버킷이라고 부른다. 그럼 생성하는 실습을 진행해보자! - https://aws.amazon.com/ko/ > 콘솔에 로그인 클릭 로그인을 진행하고 회원이 아니라면 가입을 진행하고 로그인을 한다. 그리고 MFA 인증을 등록하였다면 입력한다. (은행 OTP 같은 2차 보안 수단) 로그인이 성공적으로 됐다면 AWS 관리 콘솔이 뜬다. 그럼 검색창에 S3 를 검색하여 클릭한다. 버킷 만들기 버튼을 클릭한다. 일반 구성은 아래와 같이 설정 한다. 버킷이름 : 소문자, 숫자, 마침표(.) 및 하이픈(-)으로 구성 해야하며 버킷 이름은 모든 AWS 계정에서 고유해야 한다. AWS 리전 : 사용할 AWS S3 위치 지정 저자는 리전을 가까운 서울로 사용한다. 객체 소유권은 아래와 같다...

저번 시간에는 kafka cluster 를 구축 하고 어떻게 동작하는지 알아보았다! 이제 connect 를 구축하여 데이터 허브를 구성한다! connect 는 원하는(예 : RDB, S3 등) 데이터를 알아서 가져오고(producer) 원하는 형태(예: RDB, S3 등)로 넣어주는(consumer) 솔루션 이다. 직접 producer, comsumer 을 만들어서 사용해도 되지만 관리/성능 측면에서 내가 만드는 것 보다 잘 만들어둔 솔루션(connect)을 사용하는것이 낫기에 사용하도록 한다! 테스트를 위해 자주 사용하는 명령어는 아래 정리하였으니 참고하도록 한다. // topic list ./kafka-topics.sh --list --bootstrap-server kafka-01:9092,kafka..

이번 시간에는 AWS EC2를 이용하여 Kafka 클러스터를 구축해볼것 이다. 그전에 kafka 에 대해 알아보자! - 분산 메세징 큐 시스템 - 대용량 처리에 특화되어 기존 메세징 시스템 보다 우수한 TPS를 보여줌 - 단순한 메시지 헤더를 지닌 TCP 기반의 프로토콜 사용 (rabitmq는 APMQ 프로토콜 사용) 개인 적인 의견으로 빠르게 구축하고 싶으면 rabbitmq 사용 (또한, 모니터링 툴도 함께 제공하고 있어 따로 구축하지 않아도 된다.), 빅데이터 처리 또는 빠른 처리를 위한것이면 kafka 를 사용하는 것이 좋다고 본다. 아래 용어에 대해 먼저 간단하게 알아보자! 개념 설명 topic 분류된 메세지의 집합 producer 메세지 등록하는 어플리케이션 consumer 메세지를 가져오는 어..

구글과 같이 로그인한 이력이 있다면 다른 아이디로 간편하게 로그인 가능 해당 코드는 개선 예정으로 참고용으로 보시면 됩니다. - gradle : gradle-3.5.1 - java : 1.8 - spring boot : 1.5.4.RELEASE - spring session : 1.3.1.RELEASE :: https://github.com/works-code/multi-browser-session GitHub - works-code/multi-browser-session: 구글과 같이 하나의 브라우저에서 멀티 세션 관리 기초 코드 구글과 같이 하나의 브라우저에서 멀티 세션 관리 기초 코드. Contribute to works-code/multi-browser-session development by c..

이번 시간에는 세션을 redis로 변경하여 하여 로그인 관리를 해본다 ! 보통 상용 환경에서는 서버 한대로는 부족하기에 여러대로 운영하기에 기본 로컬 메모리를 사용하게 되면 로그인을 진행한 서버가 아닌 다른 서버로 요청이 갈시 로그인 정보가 없기에 다시 로그인을 해야하는 상황이 발생한다 이를 방지하기 위해 redis 를 사용하여 사용자 세션 정보를 한곳에서 관리 한다! 우선 redis로 전환하기 전 로컬 메모리에 저장되는 세션 만료 시간은 아래와 같이 설정 가능하다. server: servlet: session: timeout: 60s # 기본 30분이며 60s 미만 설정시 60초로 된다. 로그인시 60초 뒤에 다시 로그인 페이지 호출시 로그인이 풀린다. (만료전 호출시 로그인을 따로 안해도 토큰 발행이..