코알못

운영중에 DB에 중요한 데이터가 있다면 사용자별 접근 제어를 하여 허용한 사용자에게만 조회 할 수 있도록 해야한다. 데이터 분석을 위해서는 여러 BI 툴을 사용하며 그중 Redash 에서 데이터 접근 제어하는 방법을 알아본다! 데이터 소스별 권한 설정은 세가지로 모두 테스트를 통해 알아보도록 한다. - Full Access - View Only - 권한 없음 테스트 결과는 아래와 같다. case 기존에 만들어진 쿼리/대시보드 조회 가능 여부 신규 쿼리/대시보드 생성 가능 여부 Full Access O O View Only O X 권한 없음 X X 중요한 데이터의 경우에는 따로 데이터베이스를 두어 권한 설정을 하면 좋을것 같다.(전자 결제 승인후 관리자가 권한 부여) 현재 데이터 레이크(데이터 스키마=구조..

'filebeat > logstash > es' 로 현재 구성되어 있어 서비스 로그를 계속적으로 es 에 적재하고 있다. 그러나 logstash 설정 변경이 필요한 상황이라 logstash 를 재기동 해야 하는 상황으로 이때 이슈가 없을까? 에 대한 테스트를 진행해본다. 테스트는 아래와 같이 진행해본다. 1) 수동 restart 1. logstash 다운 $ kill -9 [logstash PID] 2. filebeat 에서 읽는 로그 파일에 데이터 추가 $ cat service.log {'name':'ParkHyunJun'} {'name':'LeeHoSeong'} {'name':'thewayhj'} {'name':'LeeNow'} {'name':'hongYooLee'} {'name':'test'} $ ..

AWS 하둡인 EMR 에는 오토 스케일링이라는 기능이 있다. 이는 하둡에는 없는 기능이며 AWS 에서 제공하는 기능으로 클라우드 서비스에 맞게 서버를 자동으로 스케일링 해주는 기능이다. 쉽게 말하자면 서버를 필요할때 서버를 늘려주고 필요없을때 반납해주는 기능이다. 예를 들어 하둡을 평상시에 사용안하다가 필요한 상황이 생기면 그때 기존 서버수 보다 더 투입하여 빠르게 처리하고 안쓸때 반납하는 기능이다. 오토 스케일링은 클러스터 구성시에도 가능하고 클러스터 구성후에도 설정 가능하며 실습을 진행해보자! 클러스터 생성시에 고급 설정을 들어간뒤, 2단계 하드웨어 설정에 있다. 현재 core 노드 3대, task 노드 3대로 총 6대의 노드 매니저가 작업을 진행할 것이다. 클러스터 스케일링중 EMR 관리자에 의한 ..

AWS 하둡인 EMR의 경우 사용한 만큼 과금이 되는 구조로 클러스터 종료 시점까지 계속적으로 비용이 나간다. 사용한 만큼 비용을 지불하면 되니 필요할때만 기동하고 안쓸때는 클러스터를 종료를 하는것이 비용을 절감하는 방법이다. 클라우드 비용 과금 방지를 하기 위해 EMR 자동 종료 기능이 있으며 해당 기능을 사용하여 자동 종료를 하는 실습을 해본다. 자동 종료 기능은 클러스터 생성시 자동 종료 옵션을 지정 하거나 생성 한 뒤 지정할 수 있다. 우선 클러스터 생성 시점에 설정하는 방법은 아래와 같다. 설정하는 시간은 클러스터 인스턴스 모두 할당 받은 뒤 아무 작업 요청 없을때부터 경과 시간을 측정하며 만약 작업이 제출 되었다면 작업이 완전히 없을때 부터 경과 시간을 측정한다. 그 다음 클러스터를 생성한뒤에..