코알못

저번 시간에 Vue 프로젝트를 간단하게 만들어 봤으며 [Vue] Vue 란? (프로젝트 생성 까지) 구글에 검색해보면 오픈소스 프로그레시브 자바스크립트 프레임워크 라고 나오는것을 볼 수 있다. 하나씩 보자면 - 오픈 소스 : 무료 - 프로그레시브 : 진보적인 , 앞서 나아가는 - 자바스크립트 co-de.tistory.com 이번 시간에는 컴포넌트를 구성 하는 실습을 진행해보자! 컴포넌트는 화면을 구성하는 단위로 3가지 컴포넌트를 만들어 볼 예정이다. - Header.vue - Menu.vue - Content.vue 우선 프로젝트에서 생성된 App.vue 파일은 최상위 컴포넌트로 해당 컴포넌트에서 3개의 컴포넌트를 불러와 배치 할 것이다. 우선 vue 파일 구성을 보면 아래와 같이 세가지로 나뉘며 각각 ..

구글에 검색해보면 오픈소스 프로그레시브 자바스크립트 프레임워크 라고 나오는것을 볼 수 있다. 하나씩 보자면 - 오픈 소스 : 무료 - 프로그레시브 : 진보적인 , 앞서 나아가는 - 자바스크립트 : 자바스크립트 기반 언어 - 프레임 워크 : 프로젝트를 쉽게 구현할 수 있도록 틀, 구조, 규약 합쳐보면 vue 는 앞서 나가는 자바스크립트 기반 무료 틀 이다. 이제 실습을 하면서 배워 나가도록 하자! 우선 vue-cli 를 설치한다. vue-cli는 기본으로 필요한 vue 프로젝트를 생성해주는 도구이다. $ npm -v 8.12.1 $ npm install -g @vue/cli $ vue -V @vue/cli 5.0.4 이제 vue-cli 설치를 완료했다면 프로젝트를 생성한다. $ vue create hell..

1. INSERT OVERWRITE 쿼리를 hive 에서 돌릴시 s3 에 쓰는 시간이 오래 소요됨 (처리 로그 확인) - 원인 : s3 rename 의 경우 지우고 삭제하는 개념이라 hdfs 보다 느리다고함 - 해결 : . hdfs 에 임시 파일 쓰도록 하는 옵션 추가 . thread 갯수 늘리는 옵션 추가 set hive.blobstore.optimizations.enabled=true; set fs.s3.threadpool.size=5000; set fs.s3.threadpool.maxSize=5000; set fs.s3.maxConnections=5000; set hive.emr.use.hdfs.as.scratch.dir=true; set hive.exec.input.listing.max.threa..

IDC 에 하둡을 구성하여 운영중에 있었으나 디스크 증설, 버전 관리 등 공수가 크고 관리에 어려움이 있어 클라우드 이전을 계획 하였다. 클라우드 이전을 위해서는 약 37TB의 데이터를 이관해야 했으나 현재 IDC에 구축한 하둡의 경우 외부로 나가는 네트워크 망이 1G 로 되어 있으며 해당 망에 부하가 생길시 서비스에 영향을 주는 상황이였다. hadoop(hdp 2.6) 에 distcp 에 mac map 수(-m), map 당 max bandwidth(-bandwidth) 조절 가능한 옵션이 존재하나 아래 테스트와 같이 해당 옵션이 적용 되지 않았다. (map 하나 투입, 56Mbps 사용하도록 설정 하였으나 200Mbps 를 사용하였다.) 서비스에 영향을 줄수 있는 작업이므로 다른 대안을 검색중 선택한..

이전 시간에 [ldap 구성], [ldap 웹 페이지 연동] 하는 실습을 진행하였다. 이제 redash 라는 데이터 시각화 툴에도 ldap 연동하여 로그인하는 실습을 진행해본다. [redash 설치] 와 [버전 업그레이드] 까지 완료 됐다는 가정하에 실습 진행한다. 버전 업그레이드를 하는 이유는 파이썬을 이용하여 ldap 라이브러리를 설치 하여야 하는데 v8 에서는 설치 되지 않기 때문이다. redash 서버에 접속한다. ldap연동을 위해서는 ldap3 라는 파이썬 라이브러리가 필요하여 ldap3 가 설치된 도커 이미지를 사용해야 한다. 그러므로 기존 도커 이미지인 v10 에서 ldap 3 라이브러리가 설치된 이미지를 이용할 것이다. 이를 위해 '/opt/redash' 디렉토리에서 Dockerfile ..

내 웹페이지의 로그인 할 때 ldap 을 연동하여 로그인 기능을 구현할 것이며 ldap 에 정의된 회원만 내 웹페이지 기능을 이용할 수 있도록 한다. 우선 웹페이지와 ldap 연동을 어떻게 하는지 보기 위해 아래 저자가 만든 git 소스를 통해 파악한다. 스타터 코드라 기본적으로 있어야 하는 코드만 넣어 심플하다. - https://github.com/works-code/embedded-ldap-login GitHub - works-code/embedded-ldap-login: 임베디드 ldap을 이용한 로그인 구현을 위한 스타터 코드 임베디드 ldap을 이용한 로그인 구현을 위한 스타터 코드. Contribute to works-code/embedded-ldap-login development by c..

filebeat에서 다중 logstash 서버로 로그 이동시 한대가 장애나서 죽는다면 데이터가 살아있는 logstash 서버에만 전송한다. 만약 장애나서 죽은 서버를 다시 살리면 어떻게 될까? 다시 살아난 서버에 로그를 전송한다. 이때 filebeat 의 filebeat.yml 파일에 loadbalance 설정을 true로 안하거나 설정값 자체가 없다면 기본 false 이기에 로드밸런싱이 되지 않으며 이때문에 방금 기동한 logstash에 로그가 안들어와 재기동하면 로그를 안보내주는건가 ? 생각 할 수 있는데 아니다. output.logstash: hosts: [ "IP:5044", "IP:5044", "IP:5044" ] loadbalance: true 위처럼 수정하게 되면 정상적으로 로그가 들어오는것..

EMR 클러스터 생성시 EC2와 다르게 일시 정지 기능이 없어 요금 절약을 위해 클러스터를 종료하고 생성 하게 됩니다. 종료 하고 생성시 마다 IP가 계속적으로 변경되어 BI 툴(redash 등) 에서 hive 접속시 IP 설정을 계속적으로 변경해야 하여 서비스 사용자가 불편함을 겪게 되는 문제가 있습니다. 이를 해결 하기 위해 EMR 클러스터에 고정 IP를 할당하려고 하며 그 방법은 아래와 같다. 우선 GIT 에서 아래 파일을 다운 받는다. https://github.com/awslabs/aws-support-tools/blob/master/EMR/Assign_Private_IP/assign_private_ip.py GitHub - awslabs/aws-support-tools: Tools and sa..