Theoretically Principled Trade-o

Zhang H, Yu Y, Jiao J, et al. Theoretically Principled Trade-off between Robustness and Accuracy[J]. arXiv: Learning, 2019.

@article{zhang2019theoretically,
title={Theoretically Principled Trade-off between Robustness and Accuracy},
author={Zhang, Hongyang and Yu, Yaodong and Jiao, Jiantao and Xing, Eric P and Ghaoui, Laurent El and Jordan, Michael I},
journal={arXiv: Learning},
year={2019}}

概

从二分类问题入手, 拆分为, 通过的上界建立损失函数，并将这种思想推广到一般的多分类问题.

主要内容

符号说明

: 随机变量;
: 样本, 对应的标签();
: 分类器(如神经网络);
: ;
: ;
: , 共轭函数;
: surrogate loss.

Error

其中表示指示函数, 显然是关于分类器存在adversarial samples 的样本的点的测度.

显然是正确分类真实样本的概率, 并且.

显然

因为想要最优化loss是很困难的, 我们往往用替代的loss , 定义:

Classification-calibrated surrogate loss

这部分很重要, 但是篇幅很少, 我看懂, 等回看了引用的论文再讨论.

在这里插入图片描述 在这里插入图片描述

引理2.1

在这里插入图片描述

定理3.1

在假设1的条件下, 任意的可测函数, 任意的于上的概率分布, 任意的, 有

最后一个不等式, 我知道是因为

定理3.2

在这里插入图片描述

结合定理可知, 这个界是紧的.

由此导出的TRADES算法

二分类问题, 最优化上界, 即:

在这里插入图片描述

扩展到多分类问题, 只需:

在这里插入图片描述

算法如下:

在这里插入图片描述

实验概述

5.1: 衡量该算法下, 理论上界的大小差距;
5.2: MNIST, CIFAR10 上衡量的作用, 越大越小, 越大, CIFAR10上反映比较明显;
5.3: 在不同adversarial attacks 下不同算法的比较;
5.4: NIPS 2018 Adversarial Vision Challenge.