용어 정리

fine-grained : 세밀한, 한 과정을 나누어 처리

    <-> coarse-grained : 세분화되지 않고 한꺼번에 처리되는 형태

activation map : feature map과 동일한 개념 (layer의 activation function까지 거쳐서 나온 행렬 데이터)

sparse : 희박한, activation된 값이 드물거나, 대부분 0으로 차있는 형태

           sparsity가 높다고도 말함. 

           l1 norm을 사용하면 weight의 sparsity를 높일 수 있음 (weight 값 자체를 낮추도록 학습하므로)

     <-> dense