Skip to content

Commit

Permalink
add note for ClipGradGlobalNorm, ClipGradByNorm, ClipGradByValue (Pad…
Browse files Browse the repository at this point in the history
  • Loading branch information
Difers authored Mar 14, 2023
1 parent 4980d22 commit 65764c2
Show file tree
Hide file tree
Showing 4 changed files with 10 additions and 2 deletions.
4 changes: 2 additions & 2 deletions docs/api/paddle/ParamAttr_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -9,8 +9,8 @@ ParamAttr
.. note::
该类中的 ``gradient_clip`` 属性在 2.0 版本会废弃,推荐使用``need_clip``来设置梯度裁剪范围,并在初始化 ``optimizer`` 时设置梯度裁剪。
共有三种裁剪策略::ref:`api_paddle_nn_ClipGradByGlobalNorm` 、:ref:`api_paddle_nn_ClipGradByNorm` 、 :ref:`api_paddle_nn_ClipGradByValue` 。
该类中的 ``gradient_clip`` 属性在 2.0 版本会废弃,推荐使用 ``need_clip`` 来设置梯度裁剪范围,并在初始化 ``optimizer`` 时设置梯度裁剪。
共有三种裁剪策略: :ref:`cn_api_fluid_clip_ClipGradByGlobalNorm` 、 :ref:`cn_api_fluid_clip_ClipGradByNorm` 、 :ref:`cn_api_fluid_clip_ClipGradByValue` 。

创建一个参数属性对象,用户可设置参数的名称、初始化方式、学习率、正则化规则、是否需要训练、梯度裁剪方式、是否做模型平均等属性。

Expand Down
2 changes: 2 additions & 0 deletions docs/api/paddle/nn/ClipGradByGlobalNorm_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -28,6 +28,8 @@ ClipGradByGlobalNorm
.. math::
\\global\_norm=\sqrt{\sum_{i=0}^{n-1}(l2norm(t\_list[i]))^2}\\
.. note::
``ClipGradByGlobalNorm`` 的 ``need_clip`` 方法从 2.0 开始废弃。请在 :ref:`paddle.ParamAttr <cn_api_fluid_ParamAttr>` 中使用 ``need_clip`` 来说明 ``clip`` 范围。

参数
::::::::::::
Expand Down
3 changes: 3 additions & 0 deletions docs/api/paddle/nn/ClipGradByNorm_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -36,6 +36,9 @@ ClipGradByNorm
.. math::
\\norm(X) = (\sum_{i=1}^{n}|x_i|^2)^{\frac{1}{2}}\\
.. note::
``ClipGradByNorm`` 的 ``need_clip`` 方法从 2.0 开始废弃。请在 :ref:`paddle.ParamAttr <cn_api_fluid_ParamAttr>` 中使用 ``need_clip`` 来说明 ``clip`` 范围。

参数
::::::::::::

Expand Down
3 changes: 3 additions & 0 deletions docs/api/paddle/nn/ClipGradByValue_cn.rst
Original file line number Diff line number Diff line change
Expand Up @@ -20,6 +20,9 @@ ClipGradByValue

- 任何大于 ``max`` 的值都被设置为 ``max``

.. note::
``ClipGradByValue`` 的 ``need_clip`` 方法从 2.0 开始废弃。请在 :ref:`paddle.ParamAttr <cn_api_fluid_ParamAttr>` 中使用 ``need_clip`` 来说明 ``clip`` 范围。

参数
::::::::::::

Expand Down

0 comments on commit 65764c2

Please sign in to comment.