코알못

서버 운영중에 서버 자원을 늘려야 하는 경우가 생긴다. 만약 직접 서버를 운영한다면 디스크나 메모리 카드를 사다가 교체해야 할 것이다. 그러나 EC2 로 운영한다면 기존 데이터를 유지하고 서버 스펙을 쉽게 변경할 수 있다! 그럼 실습을 진행해본다. 우선 AWS 콘솔에서 EC2 를 검색하여 들어간뒤 서버 유형을 변경할 서버를 검색한다. 해당 서버의 오른쪽클릭 > stop instance > 인스턴스를 중단한다. 인스턴스가 중단 됐다면 다시 오른쪽을 클릭한뒤 instance settings > change instance type 기존 small 인스턴스에서 xlarge 인스턴스로 변경해본다. 이제 유형을 선택하고 apply 를 눌러 적용한다. 완료 하면 아래와 같이 변경된것을 확인할 수 있다! 이제 sta..

로그를 저장소인 S3에 저장하여 EMR 에서 활용할 것이다. 이를 위해서 로그를 아래 아키텍쳐와 같이 구성하는 실습을 진행해본다! 모두 버전은 7.6.0로 맞추었으며, mac 관련 설치 파일을 이용하였으니 맞는 os로 설치 해야 한다. =================== java =================== logstash 의 경우 실행시 java 설치 필요하다는 오류 발생 could not find java; set JAVA_HOME or ensure java is in PATH // 설치 가능한 버전 확인 $ yum list *java*jdk* Loaded plugins: extras_suggestions, langpacks, priorities, update-motd Available Pac..

저번 시간에는 kafka cluster 를 구축 하고 어떻게 동작하는지 알아보았다! 이제 connect 를 구축하여 데이터 허브를 구성한다! connect 는 원하는(예 : RDB, S3 등) 데이터를 알아서 가져오고(producer) 원하는 형태(예: RDB, S3 등)로 넣어주는(consumer) 솔루션 이다. 직접 producer, comsumer 을 만들어서 사용해도 되지만 관리/성능 측면에서 내가 만드는 것 보다 잘 만들어둔 솔루션(connect)을 사용하는것이 낫기에 사용하도록 한다! 테스트를 위해 자주 사용하는 명령어는 아래 정리하였으니 참고하도록 한다. // topic list ./kafka-topics.sh --list --bootstrap-server kafka-01:9092,kafka..

이번 시간에는 AWS EC2를 이용하여 Kafka 클러스터를 구축해볼것 이다. 그전에 kafka 에 대해 알아보자! - 분산 메세징 큐 시스템 - 대용량 처리에 특화되어 기존 메세징 시스템 보다 우수한 TPS를 보여줌 - 단순한 메시지 헤더를 지닌 TCP 기반의 프로토콜 사용 (rabitmq는 APMQ 프로토콜 사용) 개인 적인 의견으로 빠르게 구축하고 싶으면 rabbitmq 사용 (또한, 모니터링 툴도 함께 제공하고 있어 따로 구축하지 않아도 된다.), 빅데이터 처리 또는 빠른 처리를 위한것이면 kafka 를 사용하는 것이 좋다고 본다. 아래 용어에 대해 먼저 간단하게 알아보자! 개념 설명 topic 분류된 메세지의 집합 producer 메세지 등록하는 어플리케이션 consumer 메세지를 가져오는 어..