https://arxiv.org/abs/2303.09014
ART: Automatic multi-step reasoning and tool-use for large language models (Bhargavi Paranjape, Scott Lundberg, Sameer Singh, Hannaneh Hajishirzi, Luke Zettlemoyer, Marco Tulio Ribeiro)
몇 가지 과제군과 과제군에 속하는 문제들을 푸는 예시 프로그램을 만들고, llm에 주어진 과제에 대해 필요한 프로그램들을 프롬프트로 줘서 과제에 맞는 프로그램을 생성하고, 이 프로그램에는 검색 같은 외부 도구를 호출할 수 있는 구문이 있어서 필요에 맞게 도구를 호출해 사용한다...는 흐름이군요. 가장 문제는 주어진 과제에 맞는 프로그램들을 인출하는 부분으로 보이긴 하네요. 고성능을 위해선 이 프로그램 선정에 held-out set을 사용해야 했다는 것을 보면요.
#in_context_learning #prompt #llm