Oral Session

• Supervised Learning에서 사용한 Risk decomposition을 SSL에도 적용해보려는 시도
• 이러한 접근방법이 필요한 이유는 SSL의 경우 risk가 올라가도록 하는 잠재적인 요소가 더 많기 때문에 이를 구분할 필요가 있어서
  • 잠재적으로 risk를 올릴만한 요소 : Objective function, architecture, optimizer, pretraining data

• 기존의 risk decomposition은 2단계로 구분
• Approximation error는 architecture에 기인한 것으로 우리가 특정 architecture를 사용하면서 function class가 제한되면서 생기는 에러
• Estimation error는 finite data로 인해 발생하는 에러

• SSL에서는 encoder와 probe가 구분이 되고, pretraining과 training이 구분이 되면서 총 4가지의 risk로 분해
• generalization error는 finite data에 기인
• usability error가 추가가 된 것으로 pretrained encoder로 학습한 representation에 대한 error로 SSL이기 때문에 등장하게 된 error

• 이른 이전까지 제안된 모델들을 대상으로 진행했을 때 관심 가질 것은 Usability error와 Probe generalization이며 이 두 error 사이 trade-off 관계를 확인