Introduction

Motivation

Neural Network는 neuron의 graph의 구조를 가지고, edge의 weight는 tensor(weight matrix)의 entry로 formulation을 함을 통해 구현된 일종의 framework다. (computational graph로 생각해본다면 일종의 Directed Acyclic Graph(DAG)의 형태로 나타내고 backpropagation 등이 구현된 것이니) 그 결과 학습하기 위한 계산 흐름은 명확해졌지만 아직 어떤 pattern이 나타나고 있는지는 이해하지 못한다.

그래서 본 페이퍼에서는 SVD를 바탕으로 의미있는 node들과 그 관계를 파악해보는 접근을 한 것이다.

Related work

기존 SVD를 적용한 것은 model compression이었고 여기에서는 local structure를 발견하기 위해 사용한다.(local structure란 layer간의 관계를 말하는 것)

SVR for fully connected layers

Intuivie Explanation

우선 SVD를 사용하기에 SVD를 다음의 구조로 이해하기로 한다.

• $A = USV^T$
• $k$th column of $V$ : orthogonally independent feature of input
• $S$ : scaling with singular value
• $U$ : change of orthogonal basis

이 때 singular value는 각 layer의 rank만큼 가진다고 볼 때 $k$th spectral neuron을 각 $k$번째 column, 값들을 $V,S,U$로 정의해본다.

Formal Definition