네트워크(신경망) 크기가 작을 수록

내부 구조에 대한 영향을 많이 받음.


그래서 더 다양한 시도를 해볼 필요가 있음.

optimizer

dropout

batchnormal

l1 norm, l2 norm

등등

저작자표시 (새창열림)

'이론 > 메모' 카테고리의 다른 글

Object Detector  (0) 2018.11.07
데이터 전처리  (0) 2018.10.21
데이터 전처리  (0) 2018.09.22
음수 Regression Model  (0) 2018.09.22
딥러닝은 도구일뿐  (0) 2018.07.25

입력되는 데이터의 종류가 달라도

크기 차이가 심하면 (ex 하나는 그냥 양수, 하나는 0~1 실수)

학습이 잘 안된다.


입력되는 모든 데이터들의 값 범위는 비슷해야함.

범위만 조정해줘도 성능이 훨씬 좋아진다.

저작자표시 (새창열림)

'이론 > 메모' 카테고리의 다른 글

Object Detector  (0) 2018.11.07
데이터 전처리  (0) 2018.10.21
작은 네트워크  (0) 2018.09.23
음수 Regression Model  (0) 2018.09.22
딥러닝은 도구일뿐  (0) 2018.07.25

output에 음수가 포함될 경우에

중간 layer들의 activation func으로 relu를 쓰면 성능이 낮다.


이 때는 relu 대신 tanh를 쓰면 성능이 좋아지는 것을 확인함.

저작자표시 (새창열림)

'이론 > 메모' 카테고리의 다른 글

Object Detector  (0) 2018.11.07
데이터 전처리  (0) 2018.10.21
작은 네트워크  (0) 2018.09.23
데이터 전처리  (0) 2018.09.22
딥러닝은 도구일뿐  (0) 2018.07.25

+ Recent posts

티스토리툴바