머신러닝 개발자의 퀀트 시스템 구축기

# 1) 기존의 순서를 지킬 필요가 없을 때 list(set(input_items)) # 2) 기존의 순서를 지켜야 할 때 # drop_duplicates 함수에서 keep 옵션을 설정할 수 있음. input_items = pd.Series(input_items).drop_duplicates(keep="last").tolist()

python 2to3 사용방법 python 은 2.7 version 과 3.x version이 함께 사용되고 있다. 따라서 version간의 변환을 하는 작업이 상당히 귀찮아질 수 가 있는데, python에서 자체적으로 제공하는 2to3 로 version간의 변환을 어느정도는 자동화 할 수가 있다. file 1개를 변환 c:\> 2to3 -w example.py directory 전체를 변환 c:\> 2to3 -w --output-dir=dst_dir -W -n src_dir

RANSAC은 scikit-learn 에 구현되어있고, line fitting 하는 example code 도 Robust linear model estimation using RANSAC에 친절하게 나와있다. 이걸 multiple order polynomial regression 으로 확장하기 위해서는 feature를 다항식에 맞게 확장만 해주면 된다. 예를 들어 에서 feature set 인 [X]를 에서는 feature set을 [X^2, X] 으로 확장시켜 주고 feature 가 2개인 linear regression 으로 각각의 coefficient 를 찾아주면 된다. Robust linear model estimation using RANSAC 에서 fitting curve 와 dataset을..

numpy array 에서 조건문을 vector화 해서 indexing 하는 것을 boolean indexing 이라고 한다. 예를 들면 img 라는 이름의 numpy array 에서 200보다 작은 element는 value를 0으로 바꾸고 싶을 때 다음과 같이 coding 하는게 간단하고 빠르다. img[img < 200] = 0 물론 if 문을 써도 되지만 위 code 처럼하는 것이 가독성과 효율성에서 좋은 code다. matlab의 matrix도 이와 같은 방식의 indexing을 지원하고 있고, 처음 matlab 배울 때 무지 헷갈렸지만 나중에는 굉장히 유용하게 썼었고, python numpy로 넘어오면서도 잘 쓰고 있다. 다음과 같이 조건문 여러개를 and/or 로 연결하는 방법도 있다. 이걸..

python은 2.7 / 3.x version이 공존하고 있고 third party library 들의 update 도 빈번하기 때문에 co-work 을 할 때 작업환경을 공통으로 설정하는 것이 정신건강이 좋다. 이럴 때 사용하는 것이 python 가상환경이다. (나는 주로 anaconda 에서 제공하는 conda env를 사용한다.) 딥러닝 framework 버전꼬여서 우분투 포맷 10번정도해보면 이렇게 해야한다는 것을 몸으로 깨닫는다. 1. 가상환경을 yml file 로 저장하는 방법 먼저 작업할 환경을 conda environment 로 생성한다. Anaconda 로 프로젝트 별 package 를 독립적으로 관리하자 참조 console 에서 사용중인 environment 를 activate 한다. ..