머신러닝과 기술적 분석

numpy array 에서 조건문을 vector화 해서 indexing 하는 것을 boolean indexing 이라고 한다. 예를 들면 img 라는 이름의 numpy array 에서 200보다 작은 element는 value를 0으로 바꾸고 싶을 때 다음과 같이 coding 하는게 간단하고 빠르다. img[img < 200] = 0 물론 if 문을 써도 되지만 위 code 처럼하는 것이 가독성과 효율성에서 좋은 code다. matlab의 matrix도 이와 같은 방식의 indexing을 지원하고 있고, 처음 matlab 배울 때 무지 헷갈렸지만 나중에는 굉장히 유용하게 썼었고, python numpy로 넘어오면서도 잘 쓰고 있다. 다음과 같이 조건문 여러개를 and/or 로 연결하는 방법도 있다. 이걸..

AWS EC2에서 작업한 내용을 로컬 computer 에 직접 다운로드 받아야 할 경우가 있다. 예를 들어 AWS EC2 에서 training 한 file은 github에 올리기가 어렵기 때문에 직접 다운로드 받아야 한다. 이럴때는 로컬 컴퓨터의 console 창에서 scp command를 이용해서 aws instance에서의 작업한 내용을 로컬 computer 에 다운로드 받을 수 있다. scp ($instance)@xx.xxx.xx.xxx:($filename) . ($instance) : AWS instance name ($filename) : AWS instance 에서의 full path filename xx.xxx.xx.xxx : AWS의 ip address 예를 들어 ip 주소가 11.111...

AWS EC2 터미널에서 jupyter notebook --ip=0.0.0.0 --no-browser local compuer 의 browser 에서 실행 AWS EC2 터미널에서 출력된 주소를 copy & paste

git history상에서 특정 파일을 삭제하고 싶을 때가 있다. 그 때 사용할 수 있는 방법에는 2가지가 있다. 1. Head commit 에서 특정 file을 삭제하는 방법 git rm --cached giant_file # Stage our giant file for removal, but leave it on disk 현재의 head 에서 특정 파일만을 untracking 하는 방법이다. 이 때는 지정한 파일이 git staging area에서 삭제되면서 로컬 컴퓨터에는 남게 된다. 다만 history 전체에서 지금까지 commit 한 특정파일의 이력은 모두 보관된다. IDE의 프로젝트 설정파일등 지금부터는 untracking 하고 싶은 파일이 있을 때 사용하는 방식이다. 2. Git histor..

python은 2.7 / 3.x version이 공존하고 있고 third party library 들의 update 도 빈번하기 때문에 co-work 을 할 때 작업환경을 공통으로 설정하는 것이 정신건강이 좋다. 이럴 때 사용하는 것이 python 가상환경이다. (나는 주로 anaconda 에서 제공하는 conda env를 사용한다.) 딥러닝 framework 버전꼬여서 우분투 포맷 10번정도해보면 이렇게 해야한다는 것을 몸으로 깨닫는다. 1. 가상환경을 yml file 로 저장하는 방법 먼저 작업할 환경을 conda environment 로 생성한다. Anaconda 로 프로젝트 별 package 를 독립적으로 관리하자 참조 console 에서 사용중인 environment 를 activate 한다. ..

Eclipse는 windows, linux 를 모두 지원하고 git plug-in 지원이 괜찮아서 최근 가장 많이 사용하는 IDE다. 실은 공짜라는 이유가 제일 크다 Luna version까지는 egit (이클립스의 git plug-in)이 정말 좋았는데 Mars version부터 merge(또는 cherry pick) 후 conflict 이 났을 때 conflict를 resolve 한 뒤에도 commit을 못하는 bug가 있다. Eclipse Neon 에서는 이러한 상황에서 다음과 같이 해결할 수 있다. source code 에서 conflict 을 푼다. conflict 난 파일을 Unstaged Area 에서 Staged Area로 옮긴다. amend commit 을 누른다. conflict 난 파..

> chmod +x ./linux_sim.x86_64 #file 권한을 바꾸고 > ./linux_sim.x86_64 #실행

TensorFlow는 학습한 모델을 2개의 file로 나누어서 저장한다. meta file 에는 code 로 구현한 graph가 저장이 되고 (.meta file) ckeckpoint file 에는 training 과정에서 결정된 Variable Tensor의 value가 저장된다. (.ckpt file) 따라서 두 개의 file이 있으면 학습한 network model을 load 할수 가 있다. 그런데 TensorFlow Model Zoo 처럼 ckeckpoint file 만을 제공하는 경우도 있고, ckeckpoint 에 저장되어 있는 variable tensor의 scope/name을 알고 싶을 때가 있다. 이럴 때는 tf.contrib.framework.list_variables() 를 사용하면 ..

pytorch 는 (아직은) 공식적으로 windows version 을 지원하지 않고 있다. 그런데 anaconda cloud 를 이용해서 Windows 7/10 에서 돌아가는 cpu version 을 설치 할 수 있다. 먼저 anaconda 를 install 하고 아래의 명령으로 pytorch 를 설치한다. conda install -c peterjc123 pytorch

TF 에서 vgg16을 빌드하는 방법 https://github.com/tensorflow/models/tree/master/research/slim 에서 vgg16의 checkpoint file을 다운로드 받는다. vgg16 graph 를 coding 한다. (https://github.com/penny4860/cnn-visualizer/blob/master/src/vgg.py) naming scope를 ckpt와 맞춘다. 다운로드받은 checkpoint 로부터 value를 restore 한다. variables = slim.get_variables() init_assign_op, init_feed_dict = slim.assign_from_checkpoint('ckpts/vgg_16.ckpt', va..