딥러닝 메모장

논문에 너무 자주 등장해서, 뭔진 알아야할거같다.

확률 그래프 모델 중 하나

(대표적인 확률 그래프 모델

 - HMM

 - MEMM

 - CRF

 - HCRF )

https://ko.wikipedia.org/wiki/%EC%A1%B0%EA%B1%B4%EB%B6%80_%EB%AC%B4%EC%9E%91%EC%9C%84%EC%9E%A5#cite_note-12

http://blog.shurain.net/2013/04/crf.html

http://kiise.or.kr/e_journal/2014/11/JOK/pdf/08.pdf

추가

sudo add-apt-repository ppa:

제거

sudo apt-add-repository --remove ppa:

sigmoid [시그모이드]

tanh [탄젠트하이퍼볼릭]

softmax [소프트맥스]

relu [렐루, 램프]

leaky relu

relu6

prelu

rrelu

crelu

elu

selu

참고 : https://nn.readthedocs.io/en/latest/transfer/index.html

openscenegraph 설치

https://askubuntu.com/questions/823007/building-openscenegraph-3-4-from-source-ubuntu

openrave 설치

ubuntu 16.04

https://scaron.info/teaching/installing-openrave-on-ubuntu-16.04.html

ubuntu 14.04

https://scaron.info/teaching/installing-openrave-on-ubuntu-14.04.html

trajopt 설치

http://rll.berkeley.edu/trajopt/doc/sphinx_build/html/install.html

/usr/bin/ld: warning: libpcre.so.1, needed by //home/ailab/anaconda2/lib/libpcrecpp.so.0, not found (try using -rpath or -rpath-link)

//home/ailab/anaconda2/lib/libpcrecpp.so.0: undefined reference to `pcre_exec'

//home/ailab/anaconda2/lib/libpcrecpp.so.0: undefined reference to `pcre_fullinfo'

//home/ailab/anaconda2/lib/libpcrecpp.so.0: undefined reference to `pcre_free'

//home/ailab/anaconda2/lib/libpcrecpp.so.0: undefined reference to `pcre_config'

//home/ailab/anaconda2/lib/libpcrecpp.so.0: undefined reference to `pcre_compile'

collect2: error: ld returned 1 exit status

make 시, 위와 같이 anaconda의 경로가 자꾸 참조되어 오류가 발생했다.

bashrc에 anaconda path를 지워도 다를 바 없었고, 구글링도 해봤지만 해답을 찾을 수 없었다.

결론적으로 해결한 방법은, anaconda2 폴더를 아예 없애는 것이다.

물론 지우는건 아니고, 이름을 anaconda21처럼 잠시 바꿔준 후 make를 시도한다.

정말 깔끔하게 잘되는 모습을 볼 수 있다.

이것때문에 너무 많은 시간을 허비했다...

참고로 일부 라이브러리만 저런 오류가 뜬다면, conda remove로 anaconda에서 해당 라이브러리를 지우면 해결할 수 있다.

하지만 저렇게 충돌나는게 한두개가 아니고, 지우면 후에 문제될 수 있으니

잠시 폴더명을 바꿔주는게 최선인것같다.

좀 찝찝하긴 하지만 이것 외에 해결책을 찾지 못했다.

brush: bash 

brush: csharp

brush: c

brush: css 

brush: delphi

brush: diff

brush: groovy

brush: js 

brush: java

brush: php

brush: text 

brush: py 

brush: ruby

brush: scala

brush: sql

brush: vb

brush: xml

http://mclass.tistory.com/54

1. PIL (Python Imaging Library) 

[한글위키 : https://ko.wikipedia.org/wiki/Python_Imaging_Library]

    파이썬 1.5~2.7 지원

    우분투에서 지원이 안되고, PIL 대신 후속 버전인 Pillow를 많이 사용함

2. Pillow

[사이트 : https://pillow.readthedocs.io/en/3.1.x/index.html#]

    PIL의 후속 버전으로, 파이썬 3.6까지 지원한다.

    PIL의 기능을 포함하며, improt PIL도 가능.

    설치 : pip install pillow

3. OpenCV 

[영문위키 : https://en.wikipedia.org/wiki/OpenCV]

[사이트 : https://opencv.org/]

    인텔이 개발한, 영상 처리 라이브러리. 크기가 크며 다양한 기능을 제공

    설치 시, conda/pip install로 설치할 수 있지만, ffmpeg 기능을 지원하지 않아, 동영상 처리가 안된다.

    cv와 cv2로 나누어지는데, cv 옛날 버전이고 더이상의 업데이트가 없다.

    cv2는 최신 버전이고, cv를 포함한다. 또한 데이터들을 numpy로 처리하는 특징이 있다.

    python에서 opencv를 사용한다는건, import cv2로 봐도 무방한 것 같다.

    설치 : 1. 직접 빌드하여 설치 [ffmpeg 기능 추가 가능]

            2. conda install -c menpo opencv [ffmpeg 기능 X]

            3. pip install opencv-python [ffmpeg 기능 X]

4. scikit-image (skimage)

[사이트 : http://scikit-image.org/]

    numpy와 scipy를 사용하는 영상 처리 라이브러리. (두 라이브러리 설치가 필요함)

    scikits.image에서 시작해서, 지금은 독립적으로 개발된다고 한다.

    설치 : pip install scikit-image

5. scikit-video (skvideo)

[사이트 : http://www.scikit-video.org/stable/io.html]

    4번과 동일한 맥락이지만, 동영상을 다룬다는 점이 다르다.

    opencv로 동영상을 처리하기가 좀 까다로운데, 이 라이브러리를 사용하면 쉽게 처리할 수 있다.

    FFmpeg 또는 LibAV를 기반으로 동영상을 처리한다. 따라서 ffmpeg 설치가 필요함

    설치 : sudo apt-get install libav-tools

            pip install scipy skvideo or scikit-video or sk-video

https://stats.stackexchange.com/questions/208936/what-is-translation-invariance-in-computer-vision-and-convolutional-neural-netwo

pytorch 또한 tensorflow와 같이 텐서의 연산으로 이루어짐

둘 다 numpy 행렬을 주로 사용함

tensorflow는 연산 전에 미리 노드 그래프를 만듦

pytorch는 동적으로 그래프를 만듦

이러한 차이로, pytorch는 print 문을 이용하여 tensor들의 값을 출력할 수 있음 (tensorflow에서 eval 함수와 비슷)

pytorch에는 일반 Tensor (e.g. torch.cuda.FloatTensor)와 Variable (e.g. torch.autograd.variable.Variable)이 있는데,

Tensor에 유틸기능을 씌운 것을 Variable로 볼 수 있음. (기울기 계산 등의 연산을 쉽게 수행)

기본적으로 Tensor와 Variable끼리의 연산은 불가하다.

Variable(Tensor)로 Variable을 만들 수 있고,

반대로 Variable.data로 Tensor를 꺼낼 수 있음

서로 다른 클래스(타입)의 텐서 끼리는 연산할 수 없음 (DoubleTensor * FloatTensor = 에러, 형변환 필요)

Tensor * Tensor 등의 사칙연산은 Tensor.mul(Tensor) 등으로 자동 치환됨

torch.from_numpy() : numpy -> Tensor (numpy가 float이나, double일 때 DoubleTensor가 되고, int일 때 LongTensor가 된다.)

Tensor.float() : FloatTensor로 캐스팅

Tensor.size() : 텐서의 shape을 출력. (tensorflow에서 tf.shape() or get_shape())

F.cross_entropy() : 자체적으로 softmax를 포함한다.

Tensor.cuda() : GPU로 데이터를 올림 (cuda에 올라간 데이터는 gpu연산을 수행)

Tensor.cpu() : CPU로 데이터를 올림

---

dataloader 정의 시

pin_memory는 메모리 사용량과 관계없음

test 시 입력 Variable에 volatile=True 인자를 추가해줘야함. (추가 안하면 메모리가 폭발함. 안쓴거랑 3000메가 정도 차이나는 경우도 봤음)

공식 코드 : 논문 저자가 구현한 코드

비공식 코드 : 다른 사람이 논문(혹은 공식 코드)을 보고 구현한 코드

Faster R-CNN

paper :

https://arxiv.org/abs/1506.01497

(공식) Caffe (MATLAP) :

    https://github.com/ShaoqingRen/faster_rcnn

(공식) Caffe (python) :

https://github.com/rbgirshick/py-faster-rcnn

Mask R-CNN

paper :

https://arxiv.org/abs/1703.06870

(공식) Caffe2 (python) :

https://github.com/facebookresearch/Detectron

SSD

paper :

https://arxiv.org/abs/1512.02325

(공식) Caffe (python) :

https://github.com/weiliu89/caffe/tree/ssd

(비공식) Keras based on Tensorflow (python) :

https://github.com/pierluigiferrari/ssd_keras

YOLO

paper :

https://arxiv.org/abs/1506.02640

(공식) (python) :

https://pjreddie.com/darknet/yolov1/

YOLO2

paper :

https://arxiv.org/abs/1612.08242

(공식) (python) :

https://pjreddie.com/darknet/yolo/

RetinaNet (Focal Loss)

paper :

https://arxiv.org/abs/1708.02002

(공식) Caffe2 (python) :

https://github.com/facebookresearch/Detectron

cd '해당 파일의 폴더'

chmod 777 '파일명' # 권한부여

./'파일명' # 실행

가상환경에서 특정 버전의 CUDA를 사용하고자 하면,

conda install을 활용할 수 있다.

아나콘다를 우선 설치하고,

conda install -c anaconda cudatoolkit==[version]

ex) conda install -c anaconda cudatoolkit==8.0

CUDA에 이어, cudnn이 거의 필수적으로 사용되는데, 이 역시 같은 방법으로 설치 가능

conda install -c anaconda cudnn==[version]

ex) conda install -c anaconda cudnn==5.1

각 프로젝트 환경마다 cuda와 cudnn의 요구 버전이 다른데,

이에 따라 가상환경을 만들고, 위 방법으로 설치하면 매우 편리하게 버전을 관리할 수 있다.

기존엔 global하게 특정 버전만 설치하고, 프로젝트를 바꿀 때마다 버전을 바꿔야했다.

근데 이 방법을 쓰면 매우매우 편리함. 앞으로 이 방법으로만 설치해야겠다...

global한 CUDA가 설치되어있는 상태에서

가상환경에서 새로운 cuda 설치하면 어떻게 되는지는 실험해봐야 알 듯

문제 시 글 수정

https://blog.naver.com/dlrhkd369/221210486884

pip install pydot

sudo apt-get install graphviz (pip install graphviz 하면 안됨)

python 코드

from keras.utils import plot_model

plot_model(model, to_file='model.png') # 연결 구조 출력

plot_model(Focal_Loss, to_file='model_detail.png', show_shapes=True, show_layer_names=True) # input/output shape 까지 출력

아래는 keras.io 내용

plot_model

keras.utils.plot_model(model, to_file='model.png', show_shapes=False, show_layer_names=True, rankdir='TB')

Converts a Keras model to dot format and save to a file.

Arguments

• model: A Keras model instance
• to_file: File name of the plot image.
• show_shapes: whether to display shape information.
• show_layer_names: whether to display layer names.
• rankdir: rankdir argument passed to PyDot, a string specifying the format of the plot: 'TB' creates a vertical plot; 'LR' creates a horizontal plot.

https://parkmino45.blog.me/140128047554

https://parkmino45.blog.me/140130909136

가끔 teamviewer 설치가 안될 때 사용하는 방법

wget https://download.teamviewer.com/download/teamviewer_i386.deb

sudo dpkg -i teamviewer*.deb

sudo apt-get -f install

window10에서 pip install 시 나는 에러.

에러가 나는 python lib 폴더를 찾은 뒤 내부 py 파일을 수정하면 해결된다.

우선 아래 경로 파일을 열어준다. (문제되는 python 경로로 들어가야함)

C:\Users\유저이름\Anaconda3\envs\패키지명\Lib\site-packages\pip\compat\__init__.py

75번째 줄에 s.decode('utf_8')를 s.decode('cp949')로 수정

참조 사이트 : https://github.com/pypa/pip/issues/4251

https://tensorflow.blog/2017/06/05/from-r-cnn-to-mask-r-cnn/

conda install nb_conda

# CondaIOError: Missing write permissions in: CONDAPATH

# 위와 같은 권한 문제 발생 시, 아래 명령어 입력 후 재입력.

# sudo chown -R [이름] /home/[이름]/anaconda2/

# jupyter notebook 실행

jupyter notebook