머신러닝 개발자의 퀀트 시스템 구축기

TensorFlow는 학습한 모델을 2개의 file로 나누어서 저장한다. meta file 에는 code 로 구현한 graph가 저장이 되고 (.meta file) ckeckpoint file 에는 training 과정에서 결정된 Variable Tensor의 value가 저장된다. (.ckpt file) 따라서 두 개의 file이 있으면 학습한 network model을 load 할수 가 있다. 그런데 TensorFlow Model Zoo 처럼 ckeckpoint file 만을 제공하는 경우도 있고, ckeckpoint 에 저장되어 있는 variable tensor의 scope/name을 알고 싶을 때가 있다. 이럴 때는 tf.contrib.framework.list_variables() 를 사용하면 ..

TF 에서 vgg16을 빌드하는 방법 https://github.com/tensorflow/models/tree/master/research/slim 에서 vgg16의 checkpoint file을 다운로드 받는다. vgg16 graph 를 coding 한다. (https://github.com/penny4860/cnn-visualizer/blob/master/src/vgg.py) naming scope를 ckpt와 맞춘다. 다운로드받은 checkpoint 로부터 value를 restore 한다. variables = slim.get_variables() init_assign_op, init_feed_dict = slim.assign_from_checkpoint('ckpts/vgg_16.ckpt', va..

tensorflow에서 Variable 객제의 초기값은 보통 random 으로 지정한다. 디버깅을 하거나 reproducibility를 위해서 random seed를 자주 사용한다. 본 post에서는 tensorflow에서 random seed를 지정하는 방법을 알아본다. 1. random seed random으로 생성한 결과가 항상 같은 value를 갖도록 하는 방법이다. tensorflow 뿐만아니라 numpy scikit-learn등 random 함수를 제공하는 대부분의 library에서 제공한다. 2. 사용방법 variable 객제를 생성하기 전에 다음과 같은 code를 붙이면 된다. tf.set_random_seed(42) w1 = tf.Variable(tf.random_normal([28*28..

처음 Tensorflow을 접했을 때 디버깅이 힘들었던 이유가 사실은 지금도 힘들다 graph/session이 분리되어있어서 어떤 변수(Tensor)의 value를 찍어보기가 힘들었던 점이다. 실행 중에 value를 검사하는 것(print로 찍든, 디버거로 보든)이야말로 모든 디버깅의 기본이라고 할 수 있다. 본 post에서는 관심있는 Variable 객체들을 scope/name/collection의 조합으로 모으는 방법을 알아보려고 한다. 1. tf.contrib.framework.get_variables() Variable 객체들을 모으는 Tensorflow에서 제공하는 몇 가지 Api가 있다. 그 중에서 tf.contrib.framework.get_variables()의 사용법이 가장 편한 것 같다..

Tensorflow는 현 시점에서 가장 popular한 deep learning framework이고, google 에서 지원하는 만큼 앞으로도 이러한 상황이 지속될 것 같다. pytorch가 tensorflow에 비해서 매우 simple한 구조라고 하는데, 아직까지는 tensorflow에 비해 community가 크지 않아서 개인적으로는 tensorflow를 계속사용하려고 한다. 라이브러리 또 배우는게 매우 귀찮다 내가 Tensorflow를 사용할 때는 training loop 이나 evaluation operation 같은 경우 다른 task에서 사용한 code를 copy & paste 하는 일이 매우 빈번했다. 그래서 이렇게 반복되는 code와 그렇지 않은 code를 분리해서 tensorflow b..

Tensorflow 에서 model 을 저장, 로드하는 샘플코드다. Variable 객체를 생성할 때 naming 을 지정하도록 하자. import tensorflow as tf tf.reset_default_graph() save_file = './model.ckpt' # Two Tensor Variables: weights and bias weights = tf.Variable(tf.truncated_normal([2, 3]), name='weights_0') bias = tf.Variable(tf.truncated_normal([3]), name='bias_0') saver = tf.train.Saver() # Print the name of Weights and Bias print('Save We..