title만 보았을 때 페이퍼에 대한 예상

GoT의 아이디어를 Knowledge Graph(KG)와 연결해서 보는 것

Abstract

LLM의 문제점으로 new knowledge, hallucination, transparancy를 지적. 이런 것을 극복하려고 KG를 함께 사용하는 방법을 개선해서 GPT3.5에 적용할 경우 GPT4보다 더 성능이 좋았다고 한다.

Introduction

LLM의 문제

• Inflexibility : outdated knowledge
  • 특히 fine-tuning을 하다보면 오히려 성능이 떨어지는 경우 존재(catastrophic forgetting)
• Hallucination
• Transparency : black-box이기 때문에 내부 parameter에 저장된 정보를 평가 불가능

KG의 사용 사례

KG를 사용해서 위의 문제를 해결해보려는 시도는 존재했었다.

• LLM layer의 입력단에서 KG encoder를 사용해서 함께 최적화하고 inference하는 방식

이것과 달리 본 페이퍼는 LLM은 고정해놓고, KG를 inference에서 사용하는 방식을 취한다.

• Retrieval-Augmented LLM Inference
  • inference할 때 입력에 KG들을 더 사용해서 개선하려는 방식이 있었지만, KG가 plain text로 변환하는 방식이었기 때문에 graph 구조의 정보를 반영하지 못하고 입력이 매우 길어지는 문제 존재
• Graph mining withLLM
  • 단 이 방식은 reasoning process가 너무 복잡해져서 잘 사용한 사례는 적다. 간단하게 edge detection이나 graph summarization 정도는 사용한 정도.