title만 보았을 때 페이퍼에 대한 예상

Chain of Thought(CoT)와 어떤 차이가 존재할 것인가

Abstract

실제로 예상과 내용이 어떻게 달랐는가?

module 기반의 framework를 제시한 것으로 여기선 arbitrary graph라고 하는데 self loop를 제외하고 지원하는 operation이 없다. 결과적으로 planning 문제를 해결하지 못하고 있는 것 같다.

다만 여러 thought를 합친다는 아이디어와 방법, 구현은 매력적인 점

Introduction

Prompt engineering

resource-efficient approach for solving different LLM tasks. … If this description is appropriately formulated, the LLM solves the task using its autoregressive token-based mechanism for generating text.

Chain of Thouht

approach for prompting, in which one includes the intermediate steps of reasoning within the prompt

Self-Consistency with CoT(CoT-SC)

scheme where multiple CoTs are generated, and then the best one is selected as the outcome. … This facilitates using different paths of thoughts, and offers novel capabilities such as backtracking from non-promising outcomes.

• 다만 실질적으로 backtracking이라고하는 것을 해결한다고 볼 수 없을 듯. MS페이퍼에서 말하고자 한 것은 autoregressive이기 때문에 발생하게 되고, 어찌보면 dependency가 존재하는 이상 본질적으로 달라지지 않기 때문. 이러한 방식이 가능하게 되려면 GoT를 통해서 이전 node로 돌아가서 그 node가 업데이트 되어야 할 것 같은데, 이로 인한 업데이트가 이후의 thought에도 영향을 주어야한다. 즉 그렇지 않으면 back tracking은 하더라도 planning은 해결하지 못한다는 것.
• 쉽게 생각해서 현재의 thought가 이전의 thought를 바꿀 수 있어야 한다는 것. 근데 바뀐다는 것은 graph 상에서 새로운 node로 가는, CoT와 달라지지 않는다는 것