머신러닝 개발자의 퀀트 시스템 구축기

>>> f"{i:02}" # Works only for numbers. 00 01 02 .. 10 11 ..

그냥 random.sample() 하면 기존의 순서유지가 안된다. 간단하게 List의 index를 random sample하면 됨. import numpy as np import random input_items = [1, 2, 5, 10, 6] # 1. 순서 관계없이 샘플링 sample_items = random.sample(input_items, 2) print(sample_items) # [6, 5] # 2. 순서를 유지 sample_idxes = random.sample(range(len(input_items)), 2) sample_idxes.sort() sample_items = np.array(input_items)[sample_idxes].tolist() print(sample_items) ..

from datetime import datetime, timedelta # 1) 날짜 스트링 date = "2022-01-10" # 2) 스트링 -> datetime 객체로 변환 date_ = datetime.strptime(date, "%Y-%m-%d") # 3) 사칙연산 (더하기, 빼기) prev_date = date_ - timedelta(days=10) # 4) 다시 스트링으로 변환 prev_date = prev_date.strftime("%Y-%m-%d") # 2022-01-05 print(prev_date) 자주쓰고 있는게 까먹어서 적어놓음.

리눅스 터미널 환경이 익숙하지 않을 때 터미널이 종료되면 그 터미널에서 실행한 process가 끝난다는 사실을 몰랐다.. 딥러닝으로 GPU 서버에서 학습을 시킬 때 이런 경우가 생기는데, 별 것 아닌 사실이지만 모르면 고생하게 된다. 1. 보통은 다음과 같이 실행한다. 이러면 학습을 실행한 터미널이 닫히거나 세션이 끊기면 학습한 프로세스도 종료된다. project-root> python train.py 2. 그래서 다음과 같이 nohup 명령어를 사용한다. project-root> nohup python -u train.py & 3. 학습할 때의 로그를 파일에 저장하고 싶으면 다음과 같이 추가해주면 된다. project-root> nohup python -u train.py > output.log &

logging 모듈을 print처럼 쓰다보면 다음과 같은 에러가 나올 때가 있다. --- Logging error --- Traceback (most recent call last): ... TypeError: not all arguments converted during string formatting Call stack: File "log_main.py", line 5, in logging.error("info: ", 10) Message: 'info: ' Arguments: (10,) 이 에러를 찾기 힘들때가 있는데.. logging level을 실행안돼도록 맞춰놓으면 실행이 안돼면서 문제가 없어보이다가 level을 키면 실행되면서 에러가 난다. 아무튼 고치는 방법은 매우 심플함. import lo..

python 2to3 사용방법 python 은 2.7 version 과 3.x version이 함께 사용되고 있다. 따라서 version간의 변환을 하는 작업이 상당히 귀찮아질 수 가 있는데, python에서 자체적으로 제공하는 2to3 로 version간의 변환을 어느정도는 자동화 할 수가 있다. file 1개를 변환 c:\> 2to3 -w example.py directory 전체를 변환 c:\> 2to3 -w --output-dir=dst_dir -W -n src_dir

numpy array 에서 조건문을 vector화 해서 indexing 하는 것을 boolean indexing 이라고 한다. 예를 들면 img 라는 이름의 numpy array 에서 200보다 작은 element는 value를 0으로 바꾸고 싶을 때 다음과 같이 coding 하는게 간단하고 빠르다. img[img < 200] = 0 물론 if 문을 써도 되지만 위 code 처럼하는 것이 가독성과 효율성에서 좋은 code다. matlab의 matrix도 이와 같은 방식의 indexing을 지원하고 있고, 처음 matlab 배울 때 무지 헷갈렸지만 나중에는 굉장히 유용하게 썼었고, python numpy로 넘어오면서도 잘 쓰고 있다. 다음과 같이 조건문 여러개를 and/or 로 연결하는 방법도 있다. 이걸..

python은 2.7 / 3.x version이 공존하고 있고 third party library 들의 update 도 빈번하기 때문에 co-work 을 할 때 작업환경을 공통으로 설정하는 것이 정신건강이 좋다. 이럴 때 사용하는 것이 python 가상환경이다. (나는 주로 anaconda 에서 제공하는 conda env를 사용한다.) 딥러닝 framework 버전꼬여서 우분투 포맷 10번정도해보면 이렇게 해야한다는 것을 몸으로 깨닫는다. 1. 가상환경을 yml file 로 저장하는 방법 먼저 작업할 환경을 conda environment 로 생성한다. Anaconda 로 프로젝트 별 package 를 독립적으로 관리하자 참조 console 에서 사용중인 environment 를 activate 한다. ..

pytorch 는 (아직은) 공식적으로 windows version 을 지원하지 않고 있다. 그런데 anaconda cloud 를 이용해서 Windows 7/10 에서 돌아가는 cpu version 을 설치 할 수 있다. 먼저 anaconda 를 install 하고 아래의 명령으로 pytorch 를 설치한다. conda install -c peterjc123 pytorch

Ubuntu 에서 opencv 를 쉽게 설치하는 방법이다. $ conda install -c https://conda.anaconda.org/menpo opencv C:\> conda install -c menpo opencv3 (window 에서 성공)