百度详细介绍了测试AI模型健壮性的对抗工具箱

无论AI和机器学习系统在生产中有多么强大的功能，都无法抵御对抗性攻击或试图通过恶意输入欺骗算法。研究表明，即使图像上存在很小的扰动，也有可能以很高的概率欺骗最佳分类器。考虑到“人工智能即服务”商业模式的广泛传播，这是一个问题。在这种模式下，亚马逊、谷歌、微软、Clarifai等公司都向终端用户提供了易受攻击的系统。

科技巨头百度在Arxiv.org: Advbox最近发表的部分解决方案论文中提出的研究人员。他们将它描述为一个开源工具箱，用于生成对立的例子，并表示它可以欺骗脸书的PyTorch和Caffe2、MxNet、Keras、谷歌的TensorFlow和百度自己的PaddlePaddle中的模型。

尽管Advbox本身并不新鲜——最初的发布是在一年多前——但本文的重点是揭示技术细节。

AdvBox基于Python，它实现了几种常见的攻击，这些攻击执行对敌人样本的搜索。每种攻击方法都使用距离度量来量化对抗性扰动的大小，而子模型感知器支持图像分类和对象检测模型以及云API，评估模型对噪声、模糊和亮度调整的鲁棒性和旋转性。

AdvBox附带了用于测试检测模型的工具，这些模型容易受到所谓的对抗性t恤或面部识别攻击。此外，它还通过附带的Python脚本提供了对百度云托管的Deepfake检测服务的访问。

合著者写道：“对(输入)的微小且通常难以察觉的干扰足以愚弄最强大的(人工智能)。”“与之前的工作相比，我们的平台支持黑盒攻击.和更多的攻击计划。”

百度不是唯一一家发布旨在帮助数据科学家抵御攻击的资源的公司。去年，IBM和MIT发布了一个衡量机器学习和AI算法稳健性的指数，叫做Cross Lipschitz的网络稳健性最高值，简称CLEVER。今年4月，IBM宣布了一个名为“对抗鲁棒性工具箱”的开发工具箱，其中包括测量模型漏洞的代码，并提出了防止运行时操纵的方法。此外，德国图宾根大学的研究人员创建了蛮子盒(蛮子盒)，这是一个Python库，用于生成针对TensorFlow、Keras和其他框架的20多种不同攻击。

但仍有许多工作要做。巴黎多芬大学(Dauphine University)教授贾马尔阿提夫(Jamal Atif)表示，图像分类领域最有效的防御策略——用反图像示例增强一组照片——最多只能将准确率提高到45%。“这是最先进的，”他在巴黎由法国数字公司主办的一年一度的法国AI大会上发表演讲时说。“我们只是没有强大的防御策略。”