코알못

이전 시간에 [ldap 구성], [ldap 웹 페이지 연동] 하는 실습을 진행하였다. 이제 redash 라는 데이터 시각화 툴에도 ldap 연동하여 로그인하는 실습을 진행해본다. [redash 설치] 와 [버전 업그레이드] 까지 완료 됐다는 가정하에 실습 진행한다. 버전 업그레이드를 하는 이유는 파이썬을 이용하여 ldap 라이브러리를 설치 하여야 하는데 v8 에서는 설치 되지 않기 때문이다. redash 서버에 접속한다. ldap연동을 위해서는 ldap3 라는 파이썬 라이브러리가 필요하여 ldap3 가 설치된 도커 이미지를 사용해야 한다. 그러므로 기존 도커 이미지인 v10 에서 ldap 3 라이브러리가 설치된 이미지를 이용할 것이다. 이를 위해 '/opt/redash' 디렉토리에서 Dockerfile ..

운영중에 DB에 중요한 데이터가 있다면 사용자별 접근 제어를 하여 허용한 사용자에게만 조회 할 수 있도록 해야한다. 데이터 분석을 위해서는 여러 BI 툴을 사용하며 그중 Redash 에서 데이터 접근 제어하는 방법을 알아본다! 데이터 소스별 권한 설정은 세가지로 모두 테스트를 통해 알아보도록 한다. - Full Access - View Only - 권한 없음 테스트 결과는 아래와 같다. case 기존에 만들어진 쿼리/대시보드 조회 가능 여부 신규 쿼리/대시보드 생성 가능 여부 Full Access O O View Only O X 권한 없음 X X 중요한 데이터의 경우에는 따로 데이터베이스를 두어 권한 설정을 하면 좋을것 같다.(전자 결제 승인후 관리자가 권한 부여) 현재 데이터 레이크(데이터 스키마=구조..

DB 종류가 다르다면 두 데이터간의 조인이 불가능하다. 물론 redash 에서도 불가능하다. 그러나 각각의 DB에서 조회한 결과 끼리 join 하여 새 데이터를 만들어 낼 수 있다! 그럼 실습을 진행해보자! 아래 '장르별 카운트', '탑 장르명' 두 데이터의 결과를 조합하여 'TOP 장르의 카운트'를 출력해본다. // 장르별 카운트 // 탑 장르 우선 아래와 같이 Query Results 를 만들어 본다. 최종적으로 탑 장르의 카운트를 출력할것이니 'TopGenreCount' 라고 적는다. 저장을 완료 했다면 '장르별 카운트', '탑 장르명' 각각의 쿼리 번호를 알아야 한다. 각각 쿼리를 클릭해보면 주소창 상단에 쿼리 번호가 나오며 1번 이며 탑 장르의 경우 쿼리번호가 3이다. 쿼리 조회시 query_[..

Redash 에 직접 회원 가입할 수 없으며 admin 에 의해 초대된 회원만 이용가능하다. 초대는 email 로 초대 메세지를 보내고 전송되는 링크를 타고 들어오는 방식이라 SMTP 서버가 연동되어 있지 않으면 초대 링크를 직접 복사해서 전달 해야 한다. 그렇기에 SMTP 서버를 연동해보자 (이전 포스팅 참고) admin 계정으로 로그인 하고 아래와 같이 Settings > Users > New User 을 눌러 초대 메세지를 보내보자! 보내고 난뒤 초대 대기중인 사용자 항목을 확인 할 수 있다. 아직 수락을 안한 상태로 볼 수 있으며 메일함으로 가서 메일이 왔는지 확인 한다. 아래와 같이 초대 메일이 왔으며 Setup account 을 눌러 본다. 초기 비밀번호를 입력하라는 창이 생기며 설정해본다. ..

매일 특정 시간에 TOP 장르에 대해 Slack 으로 공유 해주는 봇을 만들어본다! 필요한 도구는 Redash + goole sheet + zapier + slack 이 필요하다. zapier 는 여러 앱을 통합해주는 도구로 자동으로 어떠한 처리를 할 수 있도록 한다. 즉, Redash 의 결과를 google sheet 에 넣고(zapier 는 redash를 지원하지 않는다.) zapier 를 이용해 goole sheet 와 Salck 을 연결하여 특정 시간에 알람을 보내도록 한다. 우선 무료 zapier 으로는 아래 제한이 있다. 15분마다 감지 가능 1달에 100개의 작업가능 5개의 zap 만 생성 가능 single step zaps 가격표는 아래 참고 하자 우선 우리는 무료로 실습하고 필요하면 유료..

현재 회사 내에서 기획팀과 같이 개발자가 아닌 부서에서 분석 시스템의 데이터를 보고 싶을시 서버에 직접 들어가 쿼리를 날릴 수 없어 쉽게 UI로 조작 가능한 Tableau를 사용하고 있다. Redash 라는 오픈 소스를 알게 되어 두 도구를 현업 기준 비교하여 대체하면 좋을지 본다. 구분 Redash Tableau 비용 무료 유료 데이터 시각화 가능 가능 추출 방법 쿼리 UI 내에서 조작 자동/수동 수동/자동 (자동 기능 이용시 매번 추출을 자동화 할 수 있어 편리) 수동 데이터 공유 CSV, EXCEL, 이미지, 웹 형식 (정기 보고 데이터의 경우 대시보드 URL에서 갱신된 데이터를 볼 수 있어 매번 보고 할 필요가 없어짐 > 업무 공수를 줄일 수 있다.) CSV, EXCEL, 이미지 설치 필요 여부 ..

redash 기능중 특정 조건을 만족할시 알람을 보내는 기능이 있다. 로그 수가 특정 카운트 이하로 떨어졌을시 알람을 발생시키는 실습을 진행해본다! 우선 오늘 날짜 로그 수를 카운팅하는 쿼리를 작성한다. 현재는 1건이고 3건 이하일시 알람을 보내도록 설정한다. redash 페이지를 접속한뒤 Create > Alert 를 클릭한다. 그러나 메일 서버를 설정하라는 오류가 발생한다. 메일 서버는 나중에 셋팅하기로 하고 우선 slack 연동을 진행해본다. 설정 값은 아래와 같다. - totalcount 칼럼의 값이 3보다 작을시 알람을 보낸다. - 상태값이 변경(경고 > 정상 or 정상 > 경고 등) 되면 무조건 보낸다. - rearm secounds 는 알람을 보낸뒤 1s 동안은 감지 하지 않는다. (만약 6..

이번 실습은 redash 에서 조회한 데이터를 외부에 공유 하는 실습을 해본다. 쿼리 결과 공유 파일로 공유 (공유 시점의 데이터) CSV 파일 다운후 공유 엑셀 파일로 다운후 공유 이미지 파일로 다운후 공유 URL로 공유 (저장된 데이터를 서버에서 가져오는것으로 호출 시점에 DB 를 조회하여 데이터를 갱신하지는 않는다.) CSV 파일 다운 URL JSON 파일 다운 URL 웹 뷰 URL 대시 보드 웹 뷰 URL 공유 (저장된 데이터를 서버에서 가져오는것으로 호출 시점에 DB 를 조회하여 데이터를 갱신하지는 않는다.) 자 실습 진행해본다! 쿼리 결과 공유 실습부터 진행한다. 우선 공유할 대상 쿼리를 선택한다. CSV, Excle 을 클릭 하여 모두 저장한다. 확인해보면 아래와 같이 다운이 되었으며 열어보..