머신러닝과 기술적 분석

Project를 진행하다 보면 다른 Project의 작업했던 코드를 가져오고 싶을 때가 있다. Git 에서는 subtree/submodule로 이러한 작업을 편하게 할 수가 있다. subtree 사용방법에 대해서만 정리한다. # 1. remote repository를 등록하고 c:\project> git remote add sub-project https://github.com/ThrowTheSwitch/Unity.git # 2. remote repository 전체를 master branch이 c:\project\sub 에 가져온다. (fetch 받아진다.) c:\project> git subtree add --prefix=sub sub-project master 이렇게 하면 git history 상에..

Git 사용중에 global 설정이 아닌, 특정 project에서의 author name/email만 바꾸고 싶을 떄가 있다. 다음과 같이 global option을 빼고 설정하면 된다. git config user.email "penny4860@gmail.com" computer 전체의 global 설정을 바꿀 때는 아래와 같이 global 옵션만 추가하면 된다. git config user.email (--global) "penny4860@gmail.com"

tensorflow에서 Variable 객제의 초기값은 보통 random 으로 지정한다. 디버깅을 하거나 reproducibility를 위해서 random seed를 자주 사용한다. 본 post에서는 tensorflow에서 random seed를 지정하는 방법을 알아본다. 1. random seed random으로 생성한 결과가 항상 같은 value를 갖도록 하는 방법이다. tensorflow 뿐만아니라 numpy scikit-learn등 random 함수를 제공하는 대부분의 library에서 제공한다. 2. 사용방법 variable 객제를 생성하기 전에 다음과 같은 code를 붙이면 된다. tf.set_random_seed(42) w1 = tf.Variable(tf.random_normal([28*28..

처음 Tensorflow을 접했을 때 디버깅이 힘들었던 이유가 사실은 지금도 힘들다 graph/session이 분리되어있어서 어떤 변수(Tensor)의 value를 찍어보기가 힘들었던 점이다. 실행 중에 value를 검사하는 것(print로 찍든, 디버거로 보든)이야말로 모든 디버깅의 기본이라고 할 수 있다. 본 post에서는 관심있는 Variable 객체들을 scope/name/collection의 조합으로 모으는 방법을 알아보려고 한다. 1. tf.contrib.framework.get_variables() Variable 객체들을 모으는 Tensorflow에서 제공하는 몇 가지 Api가 있다. 그 중에서 tf.contrib.framework.get_variables()의 사용법이 가장 편한 것 같다..

Tensorflow는 현 시점에서 가장 popular한 deep learning framework이고, google 에서 지원하는 만큼 앞으로도 이러한 상황이 지속될 것 같다. pytorch가 tensorflow에 비해서 매우 simple한 구조라고 하는데, 아직까지는 tensorflow에 비해 community가 크지 않아서 개인적으로는 tensorflow를 계속사용하려고 한다. 라이브러리 또 배우는게 매우 귀찮다 내가 Tensorflow를 사용할 때는 training loop 이나 evaluation operation 같은 경우 다른 task에서 사용한 code를 copy & paste 하는 일이 매우 빈번했다. 그래서 이렇게 반복되는 code와 그렇지 않은 code를 분리해서 tensorflow b..

Tensorflow 에서 model 을 저장, 로드하는 샘플코드다. Variable 객체를 생성할 때 naming 을 지정하도록 하자. import tensorflow as tf tf.reset_default_graph() save_file = './model.ckpt' # Two Tensor Variables: weights and bias weights = tf.Variable(tf.truncated_normal([2, 3]), name='weights_0') bias = tf.Variable(tf.truncated_normal([3]), name='bias_0') saver = tf.train.Saver() # Print the name of Weights and Bias print('Save We..

Ubuntu 에서 opencv 를 쉽게 설치하는 방법이다. $ conda install -c https://conda.anaconda.org/menpo opencv C:\> conda install -c menpo opencv3 (window 에서 성공)

python third-party package 인 youtube-dl 을 이용해서 쉽게 다운로드 받을 수 있다. $ pip install youtube-dl $ youtube-dl --yes-playlist --write-auto-sub ($web-addres)

python 은 project 별 package 의 버젼관리가 중요하다. 1. Anaconda 를 이용한 package 관리의 장점 (virtualenv 에 비해서) 독립된 가상환경을 제공한다. python2 / python3 간의 독립된 환경구성이 용이하다. jupyter kernel 선택을 가상환경으로 할 수 있다. virualenv 로도 가능하지만 anaconda env 가 더 쉽다. 2. command 가상환경을 생성하는 command conda create -n ($env_name) python=3.4 #환경이름과 python verison 을 선택한다. (2.7 / 3.x 버젼이 모두 가능하다.) 가상환경을 활성화 source activate ($env_name) conda 가상환경을 jupy..

MSER (Maximally Stable Extreme Regions) 은 영상에서 region 을 detection 할 수 있는 대표적인 방법이다. opencv 에서도 MSER 을 사용할 수 있는 API 를 제공하고 있는데 python binding 의 경우 문서화가 취약하다. 이 포스트에서는 python 에서 opencv 에서 제공하는 MSER 알고리즘을 이용해서 region detection 하는 방법을 정리한다. 1. MSER (Maximally Stable Extreme Regions) 영상에서 connected component 로 연결되어있는 Region 을 detection 하는 (아마도) 가장 Popular 한 알고리즘이다. 2. Python Code #-*- coding: utf-8 -..