Skip to content

Commit

Permalink
feat: add source pdf
Browse files Browse the repository at this point in the history
  • Loading branch information
kulame committed Feb 24, 2023
1 parent 3a88202 commit 5541c88
Show file tree
Hide file tree
Showing 2 changed files with 1 addition and 1 deletion.
Binary file added papers/2302.07842.pdf
Binary file not shown.
2 changes: 1 addition & 1 deletion papers/arXiv:2302.07842.md → papers/2302.07842_zh.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

## 摘要

本次调查回顾了语言模型(LM)与推理技能和使用工具能力相结合的作品。前者定义为将潜在的复杂任务分解为更简单的子任务,而后者则包括调用外部模块,如代码解释器。LM 可以通过启发式独立或结合这些增强来利用它们,或者从演示中学习如何做到这一点。在遵守标准缺失标记预测目标的同时,这些增强的 LM 可以使用各种可能是非参数的外部模块来扩展其上下文处理能力,从而从纯语言建模范式上脱离出来。因此,我们将其称为增强语言模型(ALM)。缺失标记目标允许 ALM 学习推理、使用工具,甚至行动,同时仍然执行标准的自然语言任务,甚至在几个基准测试上超越大多数常规 LM。在本文中,在回顾当前 ALM 的进展之后,我们得出结论,这一新的研究方向有可能解决传统 LM 的常见局限性,如可解释性、一致性和可扩展性问题。
本次探索测试了若干个语言模型的增强版本。前者定义为将潜在的复杂任务分解为更简单的子任务,而后者则包括调用外部模块,如代码解释器。LM 可以通过启发式独立或结合这些增强来利用它们,或者从演示中学习如何做到这一点。在遵守标准缺失标记预测目标的同时,这些增强型的 LM 可以使用各种外部模块来扩展其上下文处理能力,从而从纯语言建模范式上脱离出来。因此,我们将其称为增强语言模型(ALM)。缺失标记目标允许 ALM 学习推理、使用工具,甚至自主行动,同时仍然执行标准的自然语言任务,甚至在几个基准测试上超越大多数常规 LM。在本文中,在回顾当前 ALM 的进展之后,我们得出结论,这一新的研究方向有可能解决传统 LM 的常见局限性,如可解释性、一致性和可扩展性问题。

## 目录

Expand Down

0 comments on commit 5541c88

Please sign in to comment.