딥러닝 메모장

[설치]

1. docker 설치

curl -fsSL https://get.docker.com/ | sudo sh

2. nvidia-docker 설치

아래 사이트를 참고하여 설치

https://github.com/NVIDIA/nvidia-docker

3. [선택] sudo 명령 간소화

sudo usermod -aG docker $USER

위 명령어를 수행 후 재부팅

[Docker 기초 커맨드]

docker pull [NAME]: 도커 허브로부터 도커 이미지 다운로드

docker create [IMAGE]: 이미지로부터 컨테이너 생성

docker exec [CONTAINER] [COMMAND] : 특정 컨테이너를 대상으로 커맨드 수행

docker attach [CONTAINER]: 특정 컨테이너 접속

docker run [IMAGE]: docker pull/create/exec를 동시에 수행 (디폴트 커맨드: /bin/bash)

 - ex) docker run --gpus all --name pytorch -it --rm pytorch/pytorch /bin/bash

   => --gpus all: GPU 사용 선언 (nvidia-docker 전용, 선언하지 않으면 cuda 사용 불가)

   => --name pytorch: 컨테이너 이름(사용자 지정, 중복불가)

   => -it: tty로 도커 컨테이너를 사용하도록 함 (자세한건 참조 페이지 1 확인)

   => --rm: 도커 컨테이너가 종료되면 컨테이너를 자동 제거

   => pytorch/pytorch: 도커 이름 (레포지토리+태그)

   => /bin/bash: 수행할 커맨드 (nvidia-smi 등의 명령어를 의미)

docker rm (--force) [CONTAINER_ID]: 생성한 컨테이너 제거

  - ID의 풀네임 대신 앞글자 일부만 입력 가능 (단, 중복되는 ID가 없어야함)

  - ex) container_id: 37b81722dadc => docker rm 3 or 37 or 37b ...

docker rmi [IMAGE_ID]: 이미지 제거

docker ps -a : 컨테이너 상태 확인

docker images : 이미지 확인

참조 페이지

1. https://www.popit.kr/%EA%B0%9C%EB%B0%9C%EC%9E%90%EA%B0%80-%EC%B2%98%EC%9D%8C-docker-%EC%A0%91%ED%95%A0%EB%95%8C-%EC%98%A4%EB%8A%94-%EB%A9%98%EB%B6%95-%EB%AA%87%EA%B0%80%EC%A7%80/

2. https://velog.io/@lazysoul/Docker-Basic-Usage

FILEID: 다운로드 링크 주소에 id={???}에 해당되는 값

* 일반 크기의 파일

wget --no-check-certificate 'https://docs.google.com/uc?export=download&id=FILEID' -O FILENAME

* 큰 크기의 파일 ("파일이 너무 커서 Google에서 바이러스를 검사할 수 없습니다. 그래도 파일을 다운로드하시겠습니까?" 라고 뜨는 파일들)

curl -c ./cookie -s -L "https://drive.google.com/uc?export=download&id=FILEID" > /dev/null
curl -Lb ./cookie "https://drive.google.com/uc?export=download&confirm=`awk '/download/ {print $NF}' ./cookie`&id=FILEID" -o FILDNAME

pip freeze > requirements.txt

Ubuntu 설치 시 nouveau 오류를 볼 수 있는데,

이는 nvidia와 충돌되어 나타나는 오류라고한다.

그리고 우분투 설치 후, 부팅 시 보라색 화면만 뜨고,

아무것도 뜨지 않는 현상이 발생하는데

이는 내가 생각했을 때, 메인보드 세팅의 문제이다.

1. nouveau 오류

우분투 설치 시 install 메뉴에서

'e'를 누른다.

그러면 텍스트 창이 뜰텐데,

quiet splash 라고 쓰인 부분 뒤에 nomodeset 을 입력한다.

--- 가 있으면 이는 지우고 입력.

quiet splash --- => quiet splash nomodeset

그리고 F10을 눌러 설치를 진행한다.

그러면 noueau 오류는 사라져있다.

2. noueau 오류를 해결했는데, 부팅 시 빈 화면만 나오는 경우

시모스세팅창에서 boot 부분을 보면

fast boot라는 부분이 있을텐데, 이 부분을 비활성화한다.

그리고 windows UEFI 라고 적힌 부분이 있을 것이다.

이부분을 기타 OS로 변경한다.

그리고 부팅하면 선택창이 뜨는데, 이 때 그냥 우분투 실행하지 말고, e를 누르고

1번처럼 splash 부분을 찾아서 그 뒤에 nomodeset을 입력한다.

F10을 눌러 진행하면 정상적으로 부팅된 모습을 볼 수 있다.

3. nvidia 드라이버 설치

그냥 팁인데,

nvidia 사이트에서 직접 드라이버 파일을 받는 것보다

설정 - 소프트웨어/업데이트 을 눌러서

additional ??? 탭에 들어간다

그러면 아래 항목중에 nvidia 384.XXX 등으로 숫자가 써져있는 것들이 있을 것이다. [사전 인터넷 연결은 필수]

그걸 눌러서 change하고 재부팅하라고 뜨면 재부팅하면 된다.

매우 간편!

sudo rm -rf <폴더명>

rm : 파일 지우기 명령어

-r : 폴더 지우기

-f : 폴더안에 파일들이 있어도 지우기

추가

sudo add-apt-repository ppa:

제거

sudo apt-add-repository --remove ppa:

cd '해당 파일의 폴더'

chmod 777 '파일명' # 권한부여

./'파일명' # 실행

https://parkmino45.blog.me/140128047554

https://parkmino45.blog.me/140130909136

터미널

ls -a

GUI

Ctrl + h

gcc --version

ps : 프로세스 목록

nvidia-smi : gpu memory 사용량 확인 및 해당 프로세스 목록

kill -15 PID : 정상 종료 시키기

kill -9 PID : 강제 종료 시키기

sudo mv /usr/bin/g++ /usr/bin/g++.bak

sudo mv /usr/bin/gcc /usr/bin/gcc.bak

sudo ln -s g++-4.9 g++

sudo ln -s gcc-4.9 gcc

mkdir build & cd build

cmake (옵션) ../

# cat /proc/cpuinfo | grep processor | wc -l => 코어 수 확인

time make -j8 verbose=1 # time은 얼마나 걸린지 알려주고, -jX는 코어 수, verbose=1는 오류 내용 알려줌

sudo make install

cmake는 make보다 추상화된 컴파일 방법임. (관리하기가 좋다고함)