title만 보았을 때 페이퍼에 대한 예상

Graph of Thought를 적용했을 때 logical reasoning을 개선하는 방향인 것은 알겠으나, 이게 알고리즘 적으로 개선한다는 것인지, 불명확

Abstract

실제로 예상과 내용이 어떻게 달랐는가?

prompting technique로 어떤 구조를 새롭게 적용한다기보다 prompt를 잘 쓰는 방법에 대한 것이며, 모델이 graph 구조를 이해하고 있는 것은 아니고, LLM에게 prompting을 하고 결과를 받은 것을 보고 다시 질문할 때에 어떻게 작성할 것인지에 대한 방법

Introduction

Contribution

• graph 구조를 이용해서 thoughts 간에 연결성으로 reasoning의 과정을 구체화하였다.
• 그리고 그 reasoing이 옳은지, 틀렸는지 확인하게 하여 thought 간에 연결성(즉 이전 thought에서 다음 thought로 넘어가는 reasoning)을 더 엄밀하게 말할 수 있다.
• 또한 reasoning process가 진행되는 것을 graph update로 구체화하여 reasoning을 빠르게 한 것

요약하자면 사람이 원래 backtracking과 같이 reasoning 과정을 거치게 되는데, 이러한 점은 LLM이 지원하지 못하던 것. 그래서 이것을 사용자가 explicit하게 만들어 준다는 점에서 개선이 되지만, 이러한 reasoing process를 모델이 인지한다기 보단 반복적으로 물어보면서 implicit하게 반영을 한다는 점에서 어찌보면 모델이 reasoning 능력을 가졌다고 보긴 어렵다.

이 방법의 특징은 질문(conditions)에서 출발하는 것이아니라역으로 outcome 즉 모데이 수행해야하는 문제에서 시작하여 진행된다.

~~한 문제를 풀어주세요 → 문제를 푸는 방법을 thought로 응답 → 그 thought에서 condition으로 이어지도록 반복적으로 질문