Oral Session

• CL로 학습할 때에 생기는 문제는 subclass에 대한 정보를 학습하지 못한다는 것
• 이는 Supervised CL과 Unsupervised CL 모두 확인이 된다.
• 그래서 어떤 feature를 어떻게 학습하고 있는지 알 필요가 있어 연구를 하게 된 것

Supervised의 경우

• minimum norm minimizer를 사용할 경우 test data에서 이를 구분하지 못한다고 한다.
  • 여기서 minimum norm은 model의 weight의 norm이 작도록 한다는 것
  • data와 linear model의 elementwise product sum을 한 경우 1,1,0.5,0.5가 된다는 것
  • train data와 test data 각각 값이 동일해 구분하지 못하는 collapse가 생긴다는 예시
• 이런 경우에는 subclass에 대해 학습하지 못해서 collapse가 생긴다고 본다.
• 그리고 이러한 현상의 원인을 mininmum norm과 같은 simplier solution을 가지게 되는 optimizer의 bias로 본다.

Unsupervised의 경우

• embedding size가 작은 경우 task와 무관하지만 학습하기 쉬운 feature를 배우기 때문에 성능이 떨어지게 된다. 즉 embedding을 올리자!
• Data augmentation의 경우 task와 무관하지만 diverse한 feature를 학습해서 성능이 떨어진다고 본다.
  • 가령 digit classification인데 augmentation으로 color를 바꾼 상태에서 학습하게 했다면 성능이 떨어진다는 것