title만 보았을 때 페이퍼에 대한 예상

각 단어의 빈도가 학습에 끼치는 영향을 다룸

Abstract

실제로 예상과 내용이 어떻게 달랐는가?

생각보다 평가하기 위한 task가 subject-verb agreement로 한정되어 있다. 특히 이러한 경향을 분석하기 위해 두가지의 error 원인을 제시하게 되고, frequency를 absolute와 relative를 나누어서 비교하고 있다.

Introduction

BERT와 같은 모델들이 좋은 성능을 낸다는 것이 정말 그러한 모델들이 symbolic rule을 배우고 적용하고 있는지 의문을 품게 되는 계기였다.

그래서 symbolic rule 중 subject-verb number aggrement를 선정해서 비교하게 된다.(주어와 동사의 단수형 복수형을 정확하게 맞추는지 평가하는 것)

그리고 unseen data에 대해서도 적용하는 것을 보였지만, 동시에 absolute freq와 relative freq에 영향을 받는 것도 확인했다.

Contribution

• 성능이 잘 나오는 것은 그러한 pattern들을 잘 representation하기 때문임을 보임.
• 하지만 동시에 abs freq에 영향을 받는 것을 보임
  • 모델이 less freq한 단어에 대해서는 그러한 pattern을 적용해서 단수형 복수형을 알아맞추기 보단 빈도에 영향을 받는 다는 것을 보임.
• 결과적으로 모델이 성능이 나오지 않는 이유중 하나로, 하나의 유형(단수형 혹은 복수형)이 훨씬 더 많이 나올 때 common form으로 예측하는 경향이 있다는 점을 지적하며 어느정도 balanced된 상황에서는 rule을 잘 학습하지만 그렇지 않은 경우에는 memorization을 하게 되는 경향을 확인

Emperimental Logic