코알못

'filebeat > logstash > es' 로 현재 구성되어 있어 서비스 로그를 계속적으로 es 에 적재하고 있다. 그러나 logstash 설정 변경이 필요한 상황이라 logstash 를 재기동 해야 하는 상황으로 이때 이슈가 없을까? 에 대한 테스트를 진행해본다. 테스트는 아래와 같이 진행해본다. 1) 수동 restart 1. logstash 다운 $ kill -9 [logstash PID] 2. filebeat 에서 읽는 로그 파일에 데이터 추가 $ cat service.log {'name':'ParkHyunJun'} {'name':'LeeHoSeong'} {'name':'thewayhj'} {'name':'LeeNow'} {'name':'hongYooLee'} {'name':'test'} $ ..

우선 클러스터를 구성 했다면 기본 서버 관리를 위해 필요한 부분을 알아본다! 1. 서버 접속 방법 2. 서버에서 하둡 접속하는 방법 3. 서버에 떠있는 서비스 확인 및 재기동 4. 로그 보는 방법 5. 설정을 수정하고 적용 하는 방법 6. 관리 UI 접속 방법 1. 서버 접속 방법 서버 접속을 하기 위해서는 보안 그룹을 먼저 확인 해야 한다. 보안 그룹은 방화벽 같은것으로 접속에 사용하는 ssh 는 22번 포트를 사용하므로 22번 포트에 대한 방화벽이 뚫려 있어야 한다. 우선 aws 관리 콘솔 (https://aws.amazon.com/ > 콘솔에 로그인) 에 들어가서 emr을 검색 한다. 검색해서 생성한 클러스터를 클릭하면 아래와 같이 요약탭에 요약정보가 나온다. 하단에 '보안 및 엑세스' 부분을 보면..