딥러닝 메모장

아래 커맨드 입력

conda upgrade conda

cygwin를 통해 vim 등의 명령어 사용 가능

위키 설명

https://ko.wikipedia.org/wiki/%EC%8B%9C%EA%B7%B8%EC%9C%88

시그윈 사이트

http://www.cygwin.com/

http://www.codebind.com/cpp-tutorial/install-opencv-ubuntu-cpp/

step 3에서 버전에 맞는 opencv를 설치해야함

opencv 3.4.0의 경우

(darknet/yolo 때문에 opencv를 설치하는 경우, 3.4.0을 설치해야함 3.4.1부터는 오류가 있음)

git clone -b 3.4.0 https://github.com/Itseez/opencv.git

git clone -b 3.4.0 https://github.com/Itseez/opencv_contrib.git

(위 명령어에서 오류날 경우, git을 업그레이드 해야함)

openscenegraph 설치

https://askubuntu.com/questions/823007/building-openscenegraph-3-4-from-source-ubuntu

openrave 설치

ubuntu 16.04

https://scaron.info/teaching/installing-openrave-on-ubuntu-16.04.html

ubuntu 14.04

https://scaron.info/teaching/installing-openrave-on-ubuntu-14.04.html

trajopt 설치

http://rll.berkeley.edu/trajopt/doc/sphinx_build/html/install.html

가상환경에서 특정 버전의 CUDA를 사용하고자 하면,

conda install을 활용할 수 있다.

아나콘다를 우선 설치하고,

conda install -c anaconda cudatoolkit==[version]

ex) conda install -c anaconda cudatoolkit==8.0

CUDA에 이어, cudnn이 거의 필수적으로 사용되는데, 이 역시 같은 방법으로 설치 가능

conda install -c anaconda cudnn==[version]

ex) conda install -c anaconda cudnn==5.1

각 프로젝트 환경마다 cuda와 cudnn의 요구 버전이 다른데,

이에 따라 가상환경을 만들고, 위 방법으로 설치하면 매우 편리하게 버전을 관리할 수 있다.

기존엔 global하게 특정 버전만 설치하고, 프로젝트를 바꿀 때마다 버전을 바꿔야했다.

근데 이 방법을 쓰면 매우매우 편리함. 앞으로 이 방법으로만 설치해야겠다...

global한 CUDA가 설치되어있는 상태에서

가상환경에서 새로운 cuda 설치하면 어떻게 되는지는 실험해봐야 알 듯

문제 시 글 수정

가끔 teamviewer 설치가 안될 때 사용하는 방법

wget https://download.teamviewer.com/download/teamviewer_i386.deb

sudo dpkg -i teamviewer*.deb

sudo apt-get -f install

conda install nb_conda

# CondaIOError: Missing write permissions in: CONDAPATH

# 위와 같은 권한 문제 발생 시, 아래 명령어 입력 후 재입력.

# sudo chown -R [이름] /home/[이름]/anaconda2/

# jupyter notebook 실행

jupyter notebook

http://ubuntuhandbook.org/index.php/2017/07/install-python-3-6-1-in-ubuntu-16-04-lts/

1. CUDA 설치

   https://developer.nvidia.com/cuda-toolkit-archive

   윈도우 버전에서 local 버전으로 설치 (fatch2까지 설치)

2. cuDNN 설치

   https://developer.nvidia.com/rdp/cudnn-archive

   로그인(회원가입 필요)하고 cuDNN 5.1 윈도우 버전을 다운받고,

   압축을 푼 후 cuda 속 폴더들을 "C:\Program Files\NVIDIA GPU Computing Toolkit/CUDA/v8.0" 경로에 넣어준다. (64-bit 기준)

3. 아나콘다 설치

   (참고사항 : tensorflow는 윈도우10에서 python3 버전 & 64-bit 만 지원한다)

   https://repo.continuum.io/archive/index.html

   위 사이트에서 Anaconda3 64bit 최신 버전을 받고 설치해준다. (설치 중 설정은 다 default, 마지막 learn more..만 체크해제)

    [아나콘다를 이용하는 이유는 가상환경을 통해 패키지 관리가 쉽기 때문]

4. 가상환경 생성 및 활성화

   Anaconda Prompt를 열고, 아래 명렁어를 입력하여 가상환경을 만든다.

   conda create -n [가상환경이름] python=3    #지울 땐  conda remove -n [가상환경이름] --all]

   activate [가상환경이름]   #가상환경을 활성화시킴. 가상환경을 쓸때마다 처음에 입력해줘야한다.

5. 텐서플로 설치

   (가상환경 활성화 후 진행)

   pip install tensorflow-gpu==1.2  #1.3부터는 cuDNN 6 이상이 필요함

6. 테스트

   (가상환경 활성화 후 진행)

   python

   import tensorflow as tf

   a = tf.constant(1)

   print(tf.Session().run(a))  # GPU 이름이 뜨고, 1이 잘 출력되면 성공

# 아래와 같은 메시지가 쭉 뜰텐데, 이는 무시하여도 무방하다.

2018-01-14 12:19:59.956771: W c:\tf_jenkins\home\workspace\release-win\m\windows-gpu\py\36\tensorflow\core\platform\cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE instructions, but these are available on your machine and could speed up CPU computations.

# 이러한 문구가 뜨는 이유는 tensorflow를 직접 빌드하여 설치하지 않아서 그렇다.

# 속도가 제대로 못나온다는 경고창인데, 저 문제를 해결해도 속도 향상을 체감하긴 힘들다고한다.

# 또한 직접 빌드하는 과정도 복잡하고 오류가 많이 발생한다.

# 정 거슬리면 import os, os.environ['TF_CPP_MIN_LOG_LEVEL']='2'를 먼저 입력하여 안뜨게할 수 있다.

7. PyCharm 설치

   PyCharm : pythono IDE(Integrated Development Environment)

   https://www.jetbrains.com/pycharm/download/

   위 사이트에서 community를 다운받고 설치 중 64-bit을 선택하여 설치

8. Anaconda 환경의 프로젝트 생성

      new project를 눌러 프로젝트 생성 창으로 넘어간다.

   위 사진과 같이 interpreter의 경로를 아나콘다 폴더(사용자/Anaconda3/)에서 아까 만든 가상환경의 python.exe를 선택한다. (Anaconda3/envs/[가상환경이름]/python.exe)

   새 python 파일을 만들고 import tensorflow 가 잘 되는지 확인한다. [단, python 파일 이름은 test or tensorflow는 안됨]

   ImportError: DLL load failed 라는 에러가 뜨면

   https://www.microsoft.com/en-us/download/details.aspx?id=53587

   위 주소에서 파일을 받아 설치한다. [Microsoft Visual C++ 2015 Redistributable Update 3]

끝.

0. 환경

  - GTX Titan X

  - ASUS board

1. USB 설치 (rutus 2.18 사용)

  - ubuntu 16.04.03 LTS 64bit

  - BIOS setting : 기타 OS, fast boot off (ASUS)

  - English & Seoul (한글로 설정하면 나중에 오류 검색하기 어려움)

2. sudo apt-get install upgrade

3. 그래픽 드라이버 설치

  3.1 환경성정 -> Software & Updates -> Additional Drivers 탭 -> NVIDIA Corporation 항목에서 드라이버 선택(nvidia-384) -> Apply Changes

  3.2 재부팅

  3.3 터미널(Ctrl+Alt+T) -> nvidia-smi

    -  잘 뜨면 성공

4. CUDA 8.0 설치

pip install -r requirements.txt

대상 : https://github.com/weiliu89/caffe/tree/ssd

1. ssd 파일 다운로드

git clone https://github.com/weiliu89/caffe.git
cd caffe
git checkout ssd

2. caffe 설치

# Modify Makefile.config according to your Caffe installation.
cp Makefile.config.example Makefile.config
make -j8

# Make sure to include $CAFFE_ROOT/python to your PYTHONPATH.
gedit ~/.bashrc # CAFFE_ROOT와 PYTHONPATH를 추가
# 터미널 재시작

conda create -n ssd python=2
source activate ssd
make py
pip install -r python/requirements.txt

python
import caffe # 별 반응없이 넘어가면 성공 !!

2-1. make 시 오류

google/protobuf/arena.h: No such file or directory

https://github.com/google/protobuf/blob/master/src/README.md

에 가서 protobuf 설치

아나콘다 사용 시

conda uninstall libprotobuf

conda uninstall protobuf

hdf5.h: No such file or directory

sudo apt-get install libhdf5-10
sudo apt-get install libhdf5-serial-dev
sudo apt-get install libhdf5-dev
sudo apt-get install libhdf5-cpp-11
find /usr -iname "*hdf5.h*"
/usr/include/hdf5/serial/hdf5.h
export CPATH="/usr/include/hdf5/serial/"

출처 : https://github.com/NVIDIA/DIGITS/issues/156

2-2. import 시 오류

dynamic module does not define module export function

아나콘다로 python 2.7 가상환경 만들어서

python/requirements.txt 설치로 해결함

3. 학습 시 오류

error == cudaSuccess (10 vs. 0)  invalid device ordinal

examples/ssd/ssd_pascal.py

332번째 줄에서

gpus = "0,1,2,3"  --> gpus = "0"

으로 수정

http://webnautes.tistory.com/1030

fata error: LAPACKE_H_PATH-NOTFOUND

sudo apt-get install liblapacke-dev checkinstall

--

cmake -D CMAKE_BUILD_TYPE=RELEASE  -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=OFF -D WITH_IPP=OFF -D WITH_1394=OFF -D BUILD_WITH_DEBUG_INFO=OFF -D BUILD_DOCS=OFF -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=OFF -D BUILD_TESTS=OFF -D BUILD_PERF_TESTS=OFF -D ENABLE_NEON=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-3.2.0/modules -D WITH_V4L=ON  -D WITH_FFMPEG=ON -D WITH_XINE=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_LAPACK=OFF ../

--

로 100% 성공..

환경

 - GPU : GTX 1080

 - ubuntu 14.05 LTS

 - CUDA 8.0

 - cuDNN 5.1

sudo add-apt-repository ppa:ubuntu-toolchain-r/test

sudo apt-get update

sudo apt-get install gcc-5 g++-5

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 1

gcc --version

 으로 버전 확인

2.4.11 버전

conda install -c menpo opencv

3.2.0 버전

conda install -c menpo opencv3

(pip install opencv-python 를 이용해서 설치할수도 있는데 위와 차이점은 잘 모르것다)

pkg-config에 추가하려면

conda install pkg-config

를 다시 입력하면 됨

참고 : https://anaconda.org/menpo/opencv

https://kalihmanstudio.com/2016/10/22/ubuntu-16-04-1e-cuda-toolkit-8-0-cudnn-5-1-tensorflow-gpujiweonbeojeon-seolcihagi/

http://agiantmind.tistory.com/176

http://blog.naver.com/sakura_pink/221007702010

eclipse에서

Help - install new software

add 누르고

name : PyDev

location : http://pydev.org/updates

나오는 것 중 PyDev 설치.

Window - Preferences

PyDev - Interpreters

파이썬 위치 잡아주기.

끝

http://sams.epaiai.com/220758501873

IPython이 뭘 하는거고 어떻게 쓰는건지 궁금했었는데 위 블로그에 잘 설명되어있다.

설치 과정 중 MarkupSafe 관련 오류가 발생해서 실패했는데

pip install setuptools==21.2.1

을 수행하고 재설치 해보니 설치가 잘된다.

왜 오류가 나고 왜 저걸 설치하니까 해결된지는 모르겠다...

이름만 봐선 그냥 설치를 도와주는 툴이 필요한것같다.

설치는 됬는데

jupyter notebook

명령어를 수행하니 MarkupSafe 오류가 다시 등장했다 ....

markupsafe 를 설치하려니 이미 설치되었다고 한다. 눙물

결국 uninstall 명령어로 markupsafe를 지우고 재설치했다. (재설치 과정중 오류가 났는데 그냥 무시했더니 잘된다)

그 뒤론 다행히 잘된다.