코알못

이전 시간에 nexus 관련 실습을 두가지 진행 하였다. library jar 를 nexus에 올려 사용하는 실습 maven central proxy로 사용하는 실습 이번 시간에는 docker image를 nexus에 올려 사용하는 실습을 진행해보자! nexus는 이전 시간에 생성 하였으니 접속하여 docker image repository를 생성해보자! nexus UI 'http://[nexus IP]:8081' 에 접속하여 아래와 같이 Create repository를 클릭한다. 노란 표시는 중요한 부분이며 설명 하자면 repository 이름은 'docker-image' 연결할 포트는 5443 이며 http 연결 하고 로그인 하지 않아도 docker pull 할 수 있도록 한다는 의미이다. 이미지를..

EMR zeppelin에서 노트 실행시 기본으로 저장되는 경로는 아래와 같다. - '/etc/zeppelin/conf/zeppelin-env.sh' 파일의 'ZEPPELIN_NOTEBOOK_DIR' 설정값 설정값이 '/var/lib/zeppelin/notebook'이며 마스터 노드의 로컬 해당 경로에 저장 된다. EMR 의 경우 일시정지가 없어 재기동시 모든 데이터가 날라가 아래 AWS 공식 문서와 같이 S3로 직접 백업해야 했다. # AWS 가이드 https://docs.aws.amazon.com/whitepapers/latest/teaching-big-data-skills-with-amazon-emr/back-up-zeppelin-notebook-notes.html 불편하므로 zeppelin 설정을 ..

EKS 특징에 대해 알아보자! AWS 관리형 Kubernetes 어떠한 EC2, VPC에 EKS가 생성 되었는지 알 필요 없다. 보안 신규 버전 빠르게 적용 가능 EKS는 AWS EKS Control Plane를 통해 제어하며 사용하는 워커노드는 EC2도 가능(ondemand, spot)하며 파게이트(Fargate)와 같은 관리형 서버를 사용할 수 있다. 배포 방식은 여러 방법이 있고 아래와 같다. AWS 서비스 이용 AWS CloudFormation & AWS CDK 자체 명령어 사용 eksctl 외부 서비스 이용 terraform 등 EKS는 VPC CNI 을 제공한다! CNI는 컨테이너 네트워크 제어를 위한 플러그인이며 워커노드, 파드에 사용하는 네트워크(overlay) 를 같은 대역으로 할당 가능..

이번 시간에는 Nexus 설치 및 이용을 해보도록 한다! Nexus를 이용하면 아래 장점을 누릴 수 있다. 클라우드가 아닌 자체 서버에 내부 소스 코드 저장하여 보안적 측면에서 좋음 maven central에 있는 라이브러리중 사용하는 라이브러리는 nexus blob stores(local, aws s3)에 저장 두번째부터 라이브러리 사용시 저장한 데이터를 사용하므로 maven central 와 네트워크 통신을 하지 않아도 되어 빠르게 사용 가능함 (빠른 빌드) 서비스 서버가 maven central(외부)를 통신하지 않고 nexus(내부)서버와 통신하면 되므로 서비스 서버를 private한 공간(외부 통신 안되는 구간)에 구축 할 수 있음 [이전글] 에서도 Nexus 관련 실습을 진행하였으나 이번 시간..

이번 시간에는 도커에서 이미지 사용시 해당 이미지가 보안에 취약한지 궁금할때가 있다. 이때 보안 취약점을 검토할 수 있는 오픈 소스 프로젝트 Clair의 실습을 진행하도록 한다! Clair 이미지의 경우 데이터 베이스 포함된 이미지가 있으나 해당 이미지로 띄울시 CVE(정보보안 표준 취약점) 관련 데이터 소스를 가져와 데이터 베이스에 데이터를 채우는데 20-30분이 걸린다고 한다. 그래서 이를 해결하기 위해 Clair 데이터 베이스, 서버 분리된 이미지가 나왔으며 Clair 데이터 베이스 이미지는 배치로 매일 최신 취약점 데이터를 받아 데이터베이스(postgre)에 저장하며 갱신된 날짜 태그로 이미지가 올라간다. 그러므로 매일 갱신된 데이터로 분석하고 싶다면 Clair 데이터 베이스 이미지를 latest..

이번 시간에는 EC2 를 사용하다가 EBS 볼륨이 부족할때 확장하는 방법을 알아보자! 디스크 유형을 확인 한다. $ sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT nvme1n1 259:0 0 30G 0 disk /data nvme0n1 259:1 0 16G 0 disk └─nvme0n1p1 259:2 0 8G 0 part / └─nvme0n1p128 259:3 0 1M 0 part nvme0n1 유형이라면 아래와 같이 증설 하면 되며 $ sudo growpart /dev/nvme0n1 1 xvda라면 아래와 같이 증설한다. $ sudo growpart /dev/xvda 1 확인해보면 정상적으로 16G가 할당 된 것을 볼 수있 다. $ sudo lsblk NAM..

SparkSql 실행중 해당 이슈 발생 하였으며 ExecutorLostFailure는 디스크 부족 이슈이며 메모리 부족시에는 RuntimeException 발생한다고 한다. 디스크 이슈는 Core노드쪽 확인하며 메모리 이슈의 경우 Core, Task 노드 모두 확인한다. 저자의 경우 메모리 사용량이 서버별로 30% 밖에 사용하지 않아 메모리 사용 설정을 변경 하였으며 3가지 방안이 있다. 1. Job 레벨에서 Spark 드라이버 메모리 조정 [1][2] [1] https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.4/using-zeppelin/content/zeppelin_customize_interpreter_settings.html [2] https://zepp..

전체 프로젝트 품질 측정하는 도구로 소나 큐브가 있다. 소나 큐브란❔ 코드 컨벤션(코드 작성 Role)을 정의 할 수 있고 지켜지고 있는지 수치로 확인 할 수 있다. 소나 큐브에 jacoco 라이브러리 분석 결과도 포함 할 수 있어 같이 연동하여 사용하는데 jacoco 란 ❔ 코드 커버리지를 측정하는 라이브러리이며 소나 큐브랑 연동하면 소나 큐브 내부에 jacoco 분석 결과를 표현할 수 있다. 코드 커버리지란 ❔ 테스트 코드 실행시 전체 프로젝트 코드의 몇 퍼센트가 실행 되었는지 보고 테스트 코드가 적절하게 작성이 되었는지 확인하는 방법중에 하나이다! 지금 부터 소나큐브 설치를 진행해보자! EC2 인스턴스를 생성하며 아래 스펙 이상이여야 하며 CPU Memory 2Core 4GB 방화벽은 아래와 같이 ..