딥러닝 메모장

cd /usr/lib/x86_64linux-gnu

sudo ln -sf libhdf5_serial.so.10.1.0 libhdf5.so

sudo ln -sf libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so

해당 파일이 없으면 so. 까지 쓴 후 tap을 눌러 현재 폴더에 있는 버전으로 수정

만약 openblas를 찾을 수 없다는 메시지도 같이 뜬다면

caffe Makefile.config에서 openblas를 atlas로 바꾸고

sudo apt-get install libatlas-base-dev

To get the build to pass on Debian Jessie, I had to (in addition to the above)

1. modify INCLUDE_DIRS in Makefile.config

   INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
   

2. create symlinks as instructed here

   cd /usr/lib/x86_64-linux-gnu
   sudo ln -s libhdf5_serial.so.8.0.2 libhdf5.so
   sudo ln -s libhdf5_serial_hl.so.8.0.2 libhdf5_hl.so
   

3. Work around #337 by installing g++-4.6 from the Wheezy repo and adding to Makefile.config:

   CUSTOM_CXX := g++-4.6

출처 : https://github.com/BVLC/caffe/issues/2347

(아나콘다에서)

conda install libpng

or 

(로컬에서)

sudo apt-get install libpng

(아나콘다 내에서)

conda install mkl

or

(로컬에서)

sudo apt-get install mkl

1. 터미널에서 source 명령어로 가상환경 활성화

2. conda install nb_conda

3. jupyter notebook

import numpy as np

data = np.arange(100) # 저장하는 데이터

np.save('my_data.npy', data) # numpy.ndarray 저장. @파일명, @값

data2 = np.load('my_data.npy') # 데이터 로드. @파일명

위와 같이 쓰면 된다.

매우 간단함

(파이썬3 폴더)\Tools\scripts 에 들어갑니다.

(필자의 경우 C:\Python36\Tools\scripts)

변환할 python2 코드 파일(.py)을 위 폴더에 넣어줍니다.

cmd 창을 열어주고 다음 명령어를 입력합니다.

python 2to3.py -w (변환할파일명)

ex) python 2to3.py -w p2file.py

변환하기 위해 넣었던 파일이 python3로 변환됩니다.

numpy 버전이 낮아서 발생하는 문제

pip install -U numpy 로 해결.

설치 시 이미 최신 버전이라는 문구가 나온다면

오류나는 numpy와 설치하려는 환경의 numpy가 다른 경우임

anaconda 가상환경 내부의 numpy인지, 외부의 numpy인지 잘 확인할 것.

pip install --ignore-installed --upgrade '링크'

tensorflow 1.0.1 & python 3.6 & linux

GPU

https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.0.1-cp36-cp36m-linux_x86_64.whl

CPU

https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp36-cp36m-linux_x86_64.whl

tensorflow 1.0.1 & python 2.7 & linux

GPU

https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.0.1-cp27-none-linux_x86_64.whl

CPU

https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp27-none-linux_x86_64.whl

(https://www.tensorflow.org/versions/r1.0/install/install_windows)

mkdir build & cd build

cmake (옵션) ../

# cat /proc/cpuinfo | grep processor | wc -l => 코어 수 확인

time make -j8 verbose=1 # time은 얼마나 걸린지 알려주고, -jX는 코어 수, verbose=1는 오류 내용 알려줌

sudo make install

cmake는 make보다 추상화된 컴파일 방법임. (관리하기가 좋다고함)

http://webnautes.tistory.com/1030

fata error: LAPACKE_H_PATH-NOTFOUND

sudo apt-get install liblapacke-dev checkinstall

--

cmake -D CMAKE_BUILD_TYPE=RELEASE  -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=OFF -D WITH_IPP=OFF -D WITH_1394=OFF -D BUILD_WITH_DEBUG_INFO=OFF -D BUILD_DOCS=OFF -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=OFF -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D ENABLE_NEON=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-3.2.0/modules -D WITH_V4L=ON  -D WITH_FFMPEG=ON -D WITH_XINE=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_LAPACK=OFF ../

--

로 100% 성공..

환경

 - GPU : GTX 1080

 - ubuntu 14.05 LTS

 - CUDA 8.0

 - cuDNN 5.1

pip install empy

import time

start_time = time.time()

######

######

######

print 'run time :', round(time.time()-start_time, 3) # round 함수는 소수점 3자리만 출력하기 위해서 씀

파이썬 내에서 opencv를 통해 비디오를 수정하려고 했지만

ffmpeg 설치가 너무너무 안되서 skvideo.io 라는 대안책을 찾았다 ㅠㅠ

설치

sudo apt-get install libav-tools

pip install sk-video (scikit-video는 구버전)

사용법

import skvideo.io

vid = skvideo.io.vread('sample.mp4') # 비디오를 읽어옴

vid.shape # (프레임 수, Y, X, channels)

for i, shortcut in enumerate(vid): # 각 프레임 조회

print shortcut # example code

opencv가지고 이틀 내내 앓았는데 너무 통쾌하다 ㅠㅠ

skvideo 사이트가서 확인법좀 익혀야겠다.

참고로 opencv에서 비디오를 가져올 때

import cv2

vid = cv2.VideoCapture('sample.mp4')

if vid.isOpened():

###

위 코드가 거의 정석이다.

그런데 오류는 안나지만 isOpened() 요놈이 항상 False를 리턴한다.

그 이유는 opencv가 ffmpeg 패키지를 내포하지 않기 때문이다.

ffmpeg란 동영상를 다룰 수 있게 해주는 파이썬 패키지인데, 기본적으로 opencv는 이걸 사용 안하는 모드로 설치된다.

ex) pip install -c menpo opencv # -> ffmpeg가 설치 안됨 ㅠㅠ

이를 해결하기 위해 직접 opencv 파일을 받고 build.sh 파일을 수정(WITH_FFMPEG=ON)하여 make or conda-build 하고

그 결과 파일을 가지고 install 해야하는데...

남들은 잘된다는데 나는 계속 오류가난다..

컴 2대로 테스트했는데 둘 다 다른 오류에다가 오류 넘어 오류로 포기했다 ㅂㄷㅂㄷ

/usr/bin/ld: cannot find -lopenblas

openBLAS를 설치하거나

Makefile.config에서

BLAS := open을 주석처리하고

그 위에 BLAS := altlas의 주석을 해지

gcc 버전 문제 (CUDA 8 - /usr/include/boost/property_tree/detail/json_parser_read.hpp:257:264: error: ‘type name’ declared as function returning an array)

- https://github.com/weiliu89/caffe/issues/237

/usr/bin/ld: cannot find -lopenblas

openBLAS를 설치하거나

Makefile.config에서

BLAS := open을 주석처리하고

그 위에 BLAS := altlas의 주석을 해지

cd /usr/local/MATLAB/<version>/extern/engines/python

python setup.py build --build-base=$(mktemp -d) install

깔끔하게 해결된다

sudo add-apt-repository ppa:ubuntu-toolchain-r/test

sudo apt-get update

sudo apt-get install gcc-5 g++-5

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 1

gcc --version

 으로 버전 확인

2.4.11 버전

conda install -c menpo opencv

3.2.0 버전

conda install -c menpo opencv3

(pip install opencv-python 를 이용해서 설치할수도 있는데 위와 차이점은 잘 모르것다)

pkg-config에 추가하려면

conda install pkg-config

를 다시 입력하면 됨

참고 : https://anaconda.org/menpo/opencv

sudo apt-get install freeglut3-dev

를 입력하여 해결