코알못

zeppelin 은 Apache 에서 만든 web 기반 notebook 으로 CLI 환경에서 분석시 불편함을 해소해준다. Zeppelin 을 이용하기 위해 아래 실습을 진행할 예정이며 이번 시간에는 일부만 진행하고 그외 실습은 따로 글 생성하여 링크를 걸어둘 예정이니 참고 하면 된다. 대시 보드 기능 (노트 하나가 대시보드 개념으로 아래 설명) 스케쥴링 기능 노트, URL, interpreter(DB 등) 별 권한 설정 기능 공유 기능(URL, CSV, TSV 형태로 공유 가능하며 아래 설명) 협업 기능 (라이브 코딩 가능 아래 설명, 노트 버전 관리 기능) ldap 연동 Interpreter 추가 자체적으로 지원하는 기능은 아니지만 경고/결과 알람 발송 이번 시간은 '대시보드, 공유, 라이브 코딩 테스..

DB 종류가 다르다면 두 데이터간의 조인이 불가능하다. 물론 redash 에서도 불가능하다. 그러나 각각의 DB에서 조회한 결과 끼리 join 하여 새 데이터를 만들어 낼 수 있다! 그럼 실습을 진행해보자! 아래 '장르별 카운트', '탑 장르명' 두 데이터의 결과를 조합하여 'TOP 장르의 카운트'를 출력해본다. // 장르별 카운트 // 탑 장르 우선 아래와 같이 Query Results 를 만들어 본다. 최종적으로 탑 장르의 카운트를 출력할것이니 'TopGenreCount' 라고 적는다. 저장을 완료 했다면 '장르별 카운트', '탑 장르명' 각각의 쿼리 번호를 알아야 한다. 각각 쿼리를 클릭해보면 주소창 상단에 쿼리 번호가 나오며 1번 이며 탑 장르의 경우 쿼리번호가 3이다. 쿼리 조회시 query_[..

apidoc 는 nodejs 로 만들어 졌으며 규격서를 자동으로 만들어주는 도구 이다. nodejs 이기에 npm install로 설치가능하며 아래 공식 문서 참고하여 진행해본다. - https://apidocjs.com/

Redash 에 직접 회원 가입할 수 없으며 admin 에 의해 초대된 회원만 이용가능하다. 초대는 email 로 초대 메세지를 보내고 전송되는 링크를 타고 들어오는 방식이라 SMTP 서버가 연동되어 있지 않으면 초대 링크를 직접 복사해서 전달 해야 한다. 그렇기에 SMTP 서버를 연동해보자 (이전 포스팅 참고) admin 계정으로 로그인 하고 아래와 같이 Settings > Users > New User 을 눌러 초대 메세지를 보내보자! 보내고 난뒤 초대 대기중인 사용자 항목을 확인 할 수 있다. 아직 수락을 안한 상태로 볼 수 있으며 메일함으로 가서 메일이 왔는지 확인 한다. 아래와 같이 초대 메일이 왔으며 Setup account 을 눌러 본다. 초기 비밀번호를 입력하라는 창이 생기며 설정해본다. ..

매일 특정 시간에 TOP 장르에 대해 Slack 으로 공유 해주는 봇을 만들어본다! 필요한 도구는 Redash + goole sheet + zapier + slack 이 필요하다. zapier 는 여러 앱을 통합해주는 도구로 자동으로 어떠한 처리를 할 수 있도록 한다. 즉, Redash 의 결과를 google sheet 에 넣고(zapier 는 redash를 지원하지 않는다.) zapier 를 이용해 goole sheet 와 Salck 을 연결하여 특정 시간에 알람을 보내도록 한다. 우선 무료 zapier 으로는 아래 제한이 있다. 15분마다 감지 가능 1달에 100개의 작업가능 5개의 zap 만 생성 가능 single step zaps 가격표는 아래 참고 하자 우선 우리는 무료로 실습하고 필요하면 유료..

현재 회사 내에서 기획팀과 같이 개발자가 아닌 부서에서 분석 시스템의 데이터를 보고 싶을시 서버에 직접 들어가 쿼리를 날릴 수 없어 쉽게 UI로 조작 가능한 Tableau를 사용하고 있다. Redash 라는 오픈 소스를 알게 되어 두 도구를 현업 기준 비교하여 대체하면 좋을지 본다. 구분 Redash Tableau 비용 무료 유료 데이터 시각화 가능 가능 추출 방법 쿼리 UI 내에서 조작 자동/수동 수동/자동 (자동 기능 이용시 매번 추출을 자동화 할 수 있어 편리) 수동 데이터 공유 CSV, EXCEL, 이미지, 웹 형식 (정기 보고 데이터의 경우 대시보드 URL에서 갱신된 데이터를 볼 수 있어 매번 보고 할 필요가 없어짐 > 업무 공수를 줄일 수 있다.) CSV, EXCEL, 이미지 설치 필요 여부 ..

redash 기능중 특정 조건을 만족할시 알람을 보내는 기능이 있다. 로그 수가 특정 카운트 이하로 떨어졌을시 알람을 발생시키는 실습을 진행해본다! 우선 오늘 날짜 로그 수를 카운팅하는 쿼리를 작성한다. 현재는 1건이고 3건 이하일시 알람을 보내도록 설정한다. redash 페이지를 접속한뒤 Create > Alert 를 클릭한다. 그러나 메일 서버를 설정하라는 오류가 발생한다. 메일 서버는 나중에 셋팅하기로 하고 우선 slack 연동을 진행해본다. 설정 값은 아래와 같다. - totalcount 칼럼의 값이 3보다 작을시 알람을 보낸다. - 상태값이 변경(경고 > 정상 or 정상 > 경고 등) 되면 무조건 보낸다. - rearm secounds 는 알람을 보낸뒤 1s 동안은 감지 하지 않는다. (만약 6..

저자의 경우 redash 에서 제공하는 AMI 이미지로 설치를 진행하였으나 버전은 V8(8.0.0+b32245) 이였다. redash 커뮤니티 사이트를 찾아보니 github 에는 v10.1.0(10.1.0.b50633) 까지 버전이 나왔으나 AMI 는 V8 까지 나온것으로 확인 되었다. 업그레이드 가이드를 제공하고 있어 지금부터 v10.1.0(10.1.0.b50633) 으로 업그레이드 해보자! - git : https://github.com/getredash/redash/releases Releases · getredash/redash Make Your Company Data Driven. Connect to any data source, easily visualize, dashboard and shar..