IT 썸네일형 리스트형 주식 공부 PER 주식공부를 시작했다. 빅 데이터, 기계머신, 학습머신을 공부하기 위해 프로야구 예측 시스템을 만들었다. 하지만 서버운용을 하기에는 돈이 들고 해서 그냥 혼자 돌려서 예측이 얼마나 정확한지 보기로 했다. 광고를 달려고 해도 구글 애드센스에서 자료가 너무 없어서 안된다고 거절당했다.......... 그래서 주식을 공부하기로 했다. 어차피 앞으로 돈만 벌어 저축하는거에는 한계가 있기 때문에. 앞으로 재무제표 공부하는데 있어서 RIM 등 기업가치를 일일이 계산하기는 힘드니.. 간단히 시스템 구축해서 할려고 한다. 시자아아아악 더보기 데이터 스케이일링 변환 방법 1. Log변환을 통해 왜곡된 분포도를 정규분포로 변환 2. IQR(Inter Quantile Range)을 이용해서 분포 제거 - 박스 플랏 밖의 데이터(Box plot) 제거 3. oversampling, undersampling 을 통해 이상치 제거 3.1 방법론 1) SMOTE(Synthetic Minority OverSampling Technique) - k최근접을 이용한 방법 더보기 데이터 전처리(preprocessing) 주요 포인트 데이터 클린징 결손값 처리(null, nana 처리) 데이터 인코딩(문자 등등을 숫자로 변경) 레이블 인코딩 분류를 숫자로 변경하는것, 쉽다 하지만 숫자이기 떄문에 알고리즘에 영향을 미칠수가 있다. 이런것을 고려하여 구현해야한다. 원핫 인코딩(one-hot) 분류별로 데이터 테이블, 차원( 3 x 3 배열을 만들고 0, 1 로 채우는것) pandas의 get_dummies(datafram)으로 사용 pandas를 안한다면 LabelEncoder로 변환 -> 2차원 데이터로 변환 -> 원핫 인코딩으로 변환 데이터 스케일링(kg, cm 등의 작업) 이상치 제거 - 어처구니 없는 값 제거 Feature 선택, 추출 및 가공 더보기 Ubuntu docker jenkins 설치방법 docker 설치가 안되있다면 https://itnhappy.tistory.com/294 Docker 설치 방법 설치 환경 : ubuntu 18.04, Aws ec2 sudo apt update sudo apt install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo.. itnhappy.tistory.com 1. sudo docker pull jenkins # 알아서 최신버전으로 받는다. 2. sudo docker images 로 받았는지 확인 3. sudo docker run -d -p 8080:8080 -v /j.. 더보기 Docker 설치 방법 설치 환경 : ubuntu 18.04, Aws ec2 sudo apt update sudo apt install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" sudo apt update apt-cache policy docker-ce sudo apt install docker-ce sudo systemctl status .. 더보기 kafka java consumer 샘플 코드 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960package kafka.sw.example; import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import kafka.consumer.Consumer;import kafka.consumer.ConsumerConfig;import kafka.co.. 더보기 kafka java producer 예제 코드 123456789101112131415161718192021222324252627282930313233343536373839404142package aaaa; import java.util.ArrayList;import java.util.List;import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; public class ProducerExample { public static void main(String[] args) throws Exception { Properties props = new Prope.. 더보기 IT 관련 공부 사이트 1. 인프라런https://www.inflearn.com/무료와 유료 강의가 존재하며, 내가 파악하기에 가상 실용적인(?), 실무에서 사용할 만한 강좌가 많다. 2. 엘리스 https://academy.elice.io/ 생긴지 얼마 안된 사이트이지만 기본적으로 풀스택, 프론트, 백엔드 기술가자 가져야 할 과목이 강의중이다. 더보기 ubuntu에서 visual studio code 설치하는 방법 우분투에서 Visual Studio Code를 설치하는 방법은 간단하다! $sudo add-apt-repository ppa:ubuntu-desktop/ubuntu-make $sudo apt-get update $sudo apt-get install ubuntu-make $sudo umake ide visual-studio-code 끄으읕~ 더보기 ubuntu 14.04 에서 Ruby, rails 설치하는 방법 https://gorails.com/setup/ubuntu/14.10 더보기 이전 1 ··· 3 4 5 6 7 8 9 ··· 17 다음
