Oral

Joint Embedding Method

• SSL에서 학습하는 방식을 일컫는 말로, representation을 학습하는 backbone과 함께 task를 수행하는 project를 가지고 동시에 embedding을 한다는 점에서 이렇게 명명한 것 같다.

How to assess representations’ quality

• 다만 기존의 방식들에서 평가하는 방법의 문제를 지적하는 것으로, 기본적인 아이디어는 학습하는 환경과 평가하는 환경이 다르다는 점으로 생각한다.
  • Joint Embedding Framework로 학습하지만, 평가할 때에는 일부의 labelled data를 가지고 평가한다는 것
  • 학습을 통해서 representation을 업데이트를 하는 것인데 좋은 representation=accuracy가 높은 것 이라고 하지 말고 representation의 quality 자체를 평가할만한 방식이 필요하다고 주장하는 것

• 목표는 좋은 representation이 무엇인지 얘기하고 싶은 것
• 동시에 dimensional collapse라는 현상을 지적, rank에 따라서 loss에서 차이가 발생하는 것 지적
• 그 결과 좋은 representation은 rank가 클 수록 좋지 않을까하는 아이디어로 이어지게 된다.

• 다만 무작정 제안한 것이 아니라 일련의 이론적, 실험적 결과들을 바탕으로 제시하게 된 것을 말함.
• high rank ⇒ 좋은 성능 ⇒ 좋은 representation이라는 논리 흐름을 바탕
• low rank ⇒ poor performance ⇒ dimensional collapse ⇒ low entropy of eigenspectrum으로 얘기하는 것