수시 업데이트.



Modeling

 - 특징간 결합 시, 같은 도메인인지 살펴볼것.

 - CNN, RNN, FNN 등 각 네트워크 특징들을 잘 생각해볼것.

 - pooling, 특징간 결합 방법들은 의도에 따라 선택

 - 학습 성능이 낮을 시, 우선 단순한 방법으로 모델 크기를 늘려볼것. (유닛 수, 계층 반복 등)


Data

 - 모든 데이터는 전처리가 필수

 - 전처리 시, 의도대로 되었는지 꼭 시각화(또는 print)해서 확인


Train

 - output 특징에 따라 loss 선별 (상당히 중요)

    ex) 매우 작은 값의 regression이면, mse는 부적절 (l1, smooth l1이 나음)

 - 여러 loss가 나올 때, 가중치를 의도 및 실험적으로 선택 (생각 이상으로 영향을 많이끼침)

 - 직접적인 출력값을 얻기 어려워 보이면, 상대값을 학습

    ex) object detector에서 offset target 등.


Test

 - 적절한 척도를 우선적으로 완성할 것

   -> 또한 완벽하게 구현됬는지 충분히 테스트 해봐야함. (정답을 넣었을 때 최대 점수가 되는지 확인, 시각화 등)


'이론 > 메모' 카테고리의 다른 글

log softmax vs softmax  (0) 2019.03.06
용어 정리  (0) 2018.11.22
Object Detector  (0) 2018.11.07
데이터 전처리  (0) 2018.10.21
작은 네트워크  (0) 2018.09.23

+ Recent posts