w.r.t quality of inference
sampled sentences should be diverse by some metric
-
Diversity : 다양하게 sampling한다는 것이 특정한 형태(prefix)가 너무 많이도, 너무 적게도 나오지 않아야 한다는 것을 보이는 것
Arithmetic sampling does not sample any prefix “too much” (Proposition 5)
Arithmetic sampling does not sample any prefix “too little” (Proposition 6)
w.r.t statistics(a.k.a faithful)
if a sequence gets high probability under the language model then we should see it
-
Unbiased
- (TBD) Because randomly shifted lattice points have marginal uniform distribution, estimators are unbiased
- (TBD) Because samples our on a grid, estimators are consistent
-
efficient(variance reduction)
퍼포먼스 측면에서 variance가 줄어든다고 한다.
w.r.t. Engineering
No more complex than normal decoding.
of samples should not depend on platform HBM.
-
“Efficient” sampling
기존의 방식(e.g. beam search 등)으로 하던 것과 비슷한 결과가 나온다는 것.(기존의 방식이 efficient한 방식을 추구하니)
-
Parallel sampling
다만 sample point를 찾는 과정이 code space에서 sampling을 하는 것이기 때문에 Parallel하게 구현할 수 있다는 점에서 Paralle하게 된다는 것
