【李宏毅】机器学习 笔记12（Attack ML Models）

Attack:

通过在原来的特征值上加上一些杂讯，让network做出错误的判断。

定义attack的loss function：

找到一个与x0很接近的一个x'，在x和theta固定的情况下，使输出的答案越错误。

两类constraint：

 

 

加了gradient算出的杂讯效果最明显：

FGSM：

采用最快的梯度，一次梯度下降得到结果：

主要就是设置一个很大的learning rate使一次达到目的：

黑箱攻击：

通过training data自己训练一个network，用这个network去产生攻击的object：

other attacks:

Attack in real world:

 

 

Defense:

被动防御：

通过加filter减少有害的杂讯的影响：

feature squeeze：

 

主动防御：

通过attack algorithm来找出漏洞，得到新的training data，用新的training data去更新model，从而对于用这种attack algorithm的攻击，仍然能得到正确结果。

但是，具有局限性，只针对训练用的attack algorithm的攻击，对于其他种类的attack algorithm的攻击还起不了作用。