머신러닝과 기술적 분석

python third-party package 인 youtube-dl 을 이용해서 쉽게 다운로드 받을 수 있다. $ pip install youtube-dl $ youtube-dl --yes-playlist --write-auto-sub ($web-addres)

python 은 project 별 package 의 버젼관리가 중요하다. 1. Anaconda 를 이용한 package 관리의 장점 (virtualenv 에 비해서) 독립된 가상환경을 제공한다. python2 / python3 간의 독립된 환경구성이 용이하다. jupyter kernel 선택을 가상환경으로 할 수 있다. virualenv 로도 가능하지만 anaconda env 가 더 쉽다. 2. command 가상환경을 생성하는 command conda create -n ($env_name) python=3.4 #환경이름과 python verison 을 선택한다. (2.7 / 3.x 버젼이 모두 가능하다.) 가상환경을 활성화 source activate ($env_name) conda 가상환경을 jupy..

MSER (Maximally Stable Extreme Regions) 은 영상에서 region 을 detection 할 수 있는 대표적인 방법이다. opencv 에서도 MSER 을 사용할 수 있는 API 를 제공하고 있는데 python binding 의 경우 문서화가 취약하다. 이 포스트에서는 python 에서 opencv 에서 제공하는 MSER 알고리즘을 이용해서 region detection 하는 방법을 정리한다. 1. MSER (Maximally Stable Extreme Regions) 영상에서 connected component 로 연결되어있는 Region 을 detection 하는 (아마도) 가장 Popular 한 알고리즘이다. 2. Python Code #-*- coding: utf-8 -..

python 에서 자주 사용하는 test-framework 에는 unitest, nose, pytest 가 있다. 이들 중에서 pytest 가 가장 사용하기도 간편하고 디버깅 메세지도 친절한 것 같다. Good Integration Practices 를 참조해서 pytest 사용방법에 대해서 정리해 보자. 1. Conventions for Python test discovery 아래와 같은 규칙으로 테스트를 수행한다. start point 로부터 recursive 하게 모든 디렉토리를 test 한다. (테스트할 디렉토리에서) test_*.py , *_test.py 로 naming 되어있는 모든 file 을 Test 한다. (테스트할 파일에서) Test prefix가 붙어있는 class와 test_ pre..

opencv library 를 설치해서 python 에서 사용해보자. 여기서는 windows 와 ubuntu 를 다룬다. python 2.7이 설치되어있다는 가정하에 서술한다. 1. Windows Windows 에서의 설치방법은 매우 쉽다. 1) http://opencv.org/downloads.html 에서 설치할 버젼을 클릭해서 설치파일을 다운로드 받는다. 2) 다운로드 받은 설치파일을 더블클릭해서 실행하고 설치한다. 3) 설치한 경로의 \opencv\build\python\2.7\x64 에서 cv2.pyd 파일을 파이썬 설치경로\Lib\site-packages (나의 경우 C:\Anaconda2\Lib\site-packages) 에 복사한다. Note python 버젼 (64bit/32bit) 에 ..

python programming 을 하다보면 file 의 상대경로를 capture 해야하는 경우가 있다. 1. 문제정의 문제를 조금 더 구체적으로 정의해보자. [Project-Root] |----[main-package] |----__init__.py # empty file |----module1.py |----module2.py |----[Template] |----driver1.py module1.py 에서 Template 디렉토리에 있는 파일(text data 등)을 참조하는 상황을 가정해보자. 내 경우는 python 으로 c code 를 generation 할 떄 위와 같은 상황에서 Template 에 있는 c-code 를 읽어와야 하는 상황이 있었다. 이 떄 module1.py 에서 Templ..

Python 프로젝트에서 여러가지 모듈을 묶어 Package 를 구성하는 방법을 정리한다. 1. 디렉토리 구조 보통 디렉토리는 아래와 같은 방식으로 구성한다. [Project-Root] |----[main-package] |----__init__.py # empty file |----_version.py # Package Version 을 명시하는 File |----module1.py |----module2.py |----[sub-package] |----__init__.py # empty file |----[tests] # (optional) package 에 대한 Test File |----setup.py # package 설치 파일 [main-package] : package 의 루트 폴더 _ver..

numpy 에서 제공하는 data structure 인 ndarray 를 특정 dimension 에 따라 정렬하는 법을 정리한다. 1. 문제상황 (n, m) shape 의 2차원 array 가 있을 때 column index 별로 정렬하고 싶을 때가 있다. 위 그림처럼 (10, 3) shape 의 array 에서 column index [0, 1, 2] 별로 정렬하는 방법을 알아보자. 2. Python Code 2.1 Python Code import numpy as np data = np.random.randn(10, 3) data = data[data[:, 0].argsort()[::-1]] print data data = data[data[:, 1].argsort()[::-1]] print data..

시간이 오래걸리는 작업의 경우 Progress Bar 를 사용하면 Task 의 진행 정도를 알 수 있어서 매우 유용하다. Python 에서는 progressbar 라는 package 에서 해당기능으 제공한다. 1. ProgressBar 패키지 설치 먼저 progressbar package 가 설치되어있는 지 확인하자. 아래의 명령을 통해 현재 컴퓨터에 설치되어있는 Python Interpreter 의 Package 버젼을 확인 할 수 있다. c:\> pip freeze progressbar 패키기가 없다면 간단히 pip 을 이용해서 설치하자. c:\> pip install progressbar 2. 사용 예제 사용법은 Package Documentaion 에 나와있는데, 어찌된 일인지 제대로 실행이 안되..