코알못

AWS 하둡인 EMR 에는 오토 스케일링이라는 기능이 있다. 이는 하둡에는 없는 기능이며 AWS 에서 제공하는 기능으로 클라우드 서비스에 맞게 서버를 자동으로 스케일링 해주는 기능이다. 쉽게 말하자면 서버를 필요할때 서버를 늘려주고 필요없을때 반납해주는 기능이다. 예를 들어 하둡을 평상시에 사용안하다가 필요한 상황이 생기면 그때 기존 서버수 보다 더 투입하여 빠르게 처리하고 안쓸때 반납하는 기능이다. 오토 스케일링은 클러스터 구성시에도 가능하고 클러스터 구성후에도 설정 가능하며 실습을 진행해보자! 클러스터 생성시에 고급 설정을 들어간뒤, 2단계 하드웨어 설정에 있다. 현재 core 노드 3대, task 노드 3대로 총 6대의 노드 매니저가 작업을 진행할 것이다. 클러스터 스케일링중 EMR 관리자에 의한 ..

2장 - 사이킷런으로 시작하는 머신러닝 # 사이킷런 소개와 특징 - 사이킷런은 파이썬 머신러닝 라이브러리 # 첫번째 머신러닝 만들어 보기 - 붓꽃 품종 예측하기 - 분류 (classification) 예제 - 지도학습(supervised learning) 예제 * 지도 학습이란? 데이터를 주고 학습을 시킴 비지도 학습 - 꽃잎의 길이 & 너비, 꽃받침의 길이 & 너비를 기반으로 꽃의 품종 예측 - sk-learn 명명 규칙 1) sklearn.datasets : 데이터 세트 생성모듈 2) sklearn.tree : 트리 기반 ML 알고리즘 클래스 3) sklearn.model_selection : 학습 , 검증, 예측 데이터로 분리, 학습 모델 - 예제 1) 붓꽃 품종 예측하기 :: github.com/..