Skip to content

Commit

Permalink
增加对抗样本基本原理的介绍
Browse files Browse the repository at this point in the history
  • Loading branch information
duoergun0729 committed Aug 8, 2018
1 parent 19352fa commit bbd7de2
Show file tree
Hide file tree
Showing 4 changed files with 17 additions and 1 deletion.
18 changes: 17 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,21 @@
# 项目简介
AdvBox是一款支持PaddlePaddle的针对深度学习模型生成对抗样本(Adversarial Example Attack)的工具包。对抗样本是深度学习领域的一个重要问题,比如在图像上叠加肉眼难以识别的修改,就可以欺骗主流的深度学习图像模型,产生分类错误,指鹿为马,或者无中生有。对抗样本表现出来的显著反直观特点吸引了越来越多的研究者进入对抗样本检测、生成与防御研究领域。这些问题对于特定领域(比如无人车、人脸识别)会产生严重的后果,尤为重要。TensorFlow平台上也推出了相应的工具包CleverHans。为此,百度安全实验室研发了AdvBox,它能够为研究者在PaddlePaddle平台上研究模型安全性提供极大的便利,免去重复造轮子的精力与时间消耗,可以高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。之前AdvBox作为PaddlePaddle开源项目的一个模块,获得了广泛好评。这次因为项目发展的需要,特此作为独立项目开源。
## 对抗样本简介
对抗样本(Adversarial Example Attack)是机器学习模型的一个有趣现象,攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变,但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本,通过在图片上叠加精心构造的变化量,在肉眼难以察觉的情况下,让分类模型产生误判。

![针对图像分类模型的对抗样本](pic/针对图像分类模型的对抗样本.png)

以经典的二分类问题为例,机器学习模型通过在样本上训练,学习出一个分割平面,在分割平面的一侧的点都被识别为类别一,在分割平面的另外一侧的点都被识别为类别二。

![分类问题原理图1](pic/分类问题原理图1.png)

生成对抗样本时,我们通过某种算法,针对指定的样本计算出一个变化量,该样本经过修改后,从人类的感觉无法辨识,但是却可以让该样本跨越分割平面,导致机器学习模型的判定结果改变。

![分类问题原理图2](pic/分类问题原理图2.png)

如何高效的生成对抗样本,且让人类感官难以察觉,正是对抗样本生成算法研究领域的热点。
## AdvBox简介

AdvBox是一款支持PaddlePaddle的针对深度学习模型生成对抗样本的工具包。对抗样本是深度学习领域的一个重要问题,比如在图像上叠加肉眼难以识别的修改,就可以欺骗主流的深度学习图像模型,产生分类错误,指鹿为马,或者无中生有。对抗样本表现出来的显著反直观特点吸引了越来越多的研究者进入对抗样本检测、生成与防御研究领域。这些问题对于特定领域(比如无人车、人脸识别)会产生严重的后果,尤为重要。TensorFlow平台上也推出了相应的工具包CleverHans。为此,百度安全实验室研发了AdvBox,它能够为研究者在PaddlePaddle平台上研究模型安全性提供极大的便利,免去重复造轮子的精力与时间消耗,可以高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。之前AdvBox作为PaddlePaddle开源项目的一个模块,获得了广泛好评。这次因为项目发展的需要,特此作为独立项目开源。
目前AdvBox支持的算法包含以下几种:

- L-BFGS
Expand Down
Binary file added pic/分类问题原理图1.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added pic/分类问题原理图2.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added pic/针对图像分类模型的对抗样本.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit bbd7de2

Please sign in to comment.