이론/메모
용어 정리
gldmg
2018. 11. 22. 23:12
fine-grained : 세밀한, 한 과정을 나누어 처리
<-> coarse-grained : 세분화되지 않고 한꺼번에 처리되는 형태
activation map : feature map과 동일한 개념 (layer의 activation function까지 거쳐서 나온 행렬 데이터)
sparse : 희박한, activation된 값이 드물거나, 대부분 0으로 차있는 형태
sparsity가 높다고도 말함.
l1 norm을 사용하면 weight의 sparsity를 높일 수 있음 (weight 값 자체를 낮추도록 학습하므로)
<-> dense