该论文目的是对人工智能系统的安全性做一个技术性评估。

9月4日，被誉为机器学习和神经网络领域的顶级会议之一的NeurIPS 2019揭晓收录论文名单，创新工场人工智能工程院的论文“Learning to Confuse： Generating Training Time Adversarial Data with Auto－Encoder”被接收在列，论文的三位作者分别是：创新工场南京国际人工智能研究院执行院长冯霁、创新工场南京国际人工智能研究院研究员蔡其志、南京大学人工智能学院院长周志华。

这篇论文围绕现阶段人工智能系统的安全性展开研究，具体而言，文章提出了一种高效生成对抗训练样本的方法DeepConfuse，通过微弱扰动数据库的方式，彻底破坏对应的学习系统的性能，达到“数据下毒”的目的。

论文第一作者冯霁表示，该论文目的是对人工智能系统的安全性做一个技术性评估，假设数据库被恶意篡改的话，对应的系统会坏成什么样。另一个目的也是希望呼吁引起对该问题的重视。

创新工场“数据下毒”论文入选顶会NeurIPS

“Learning to Confuse： Generating Training Time Adversarial Data with Auto－Encoder”这篇论文的主要贡献，就是提出了高效生成对抗训练数据的最先进方法之一——DeepConfuse，通过劫持神经网络的训练过程，教会噪声生成器为训练样本添加一个有界的扰动，使得该训练样本训练得到的机器学习模型在面对测试样本时的泛化能力尽可能地差，非常巧妙地实现了“数据下毒”。

顾名思义，“数据下毒”即让训练数据“中毒”，具体的攻击策略是通过干扰模型的训练过程，对其完整性造成影响，进而让模型的后续预测过程出现偏差。（“数据下毒”与常见的“对抗样本攻击”是不同的攻击手段，存在于不同的威胁场景：前者通过修改训练数据让模型“中毒”，后者通过修改待测试的样本让模型“受骗”。）

举例来说，假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等，却不慎被入侵者利用论文中提及的方法篡改了训练数据。研发人员在目视检查训练数据时，通常不会感知到异常（因为使数据“中毒”的噪音数据在图像层面很难被肉眼识别），训练过程也一如既往地顺利。但这时训练出来的深度学习模型在泛化能力上会大幅退化，用这样的模型驱动的机器人在真实场景中会彻底“懵圈”，陷入什么也认不出的尴尬境地。更有甚者，攻击者还可以精心调整“下毒”时所用的噪音数据，使得训练出来的机器人视觉模型“故意认错”某些东西，比如将障碍认成是通路，或将危险场景标记成安全场景等。

为了达成这一目的，这篇论文设计了一种可以生成对抗噪声的自编码器神经网络DeepConfuse，通过观察一个假想分类器的训练过程更新自己的权重，产生“有毒性”的噪声，从而为“受害的”分类器带来最低下的泛化效率，而这个过程可以被归结为一个具有非线性等式约束的非凸优化问题。

此外，论文中提出的方法还能有效扩展至针对特定标签的情形下，即攻击者希望通过一些预先指定的规则使模型分类错误，例如将“猫”错误分类成“狗”，让模型按照攻击者计划，定向发生错误。

对数据“下毒”技术的研究并不单单是为了揭示类似的AI入侵或攻击技术对系统安全的威胁，更重要的是，只有深入研究相关的入侵或攻击技术，才能有针对性地制定防范“AI黑客”的完善方案。

AI安全攻防还在探索期，不存在一个包治百病的“疫苗”

当前，随着AI算法、AI系统在国计民生相关的领域逐渐得到普及与推广，科研人员必须透彻地掌握AI安全攻防的前沿技术，并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等涉及生命安全、财富安全的领域研发最有效的防护手段。

在线上的发布会中，创新工场CTO、人工智能工程院执行院长王咏刚也表示，目前的AI系统攻防处于非常早期的研发阶段，与传统安全领域已经相对成熟的方法论、算法、工具、平台等相比，AI安全攻防还处于探索期。目前的主流攻击方法，如对抗样本攻击，数据下毒攻击等，虽然已经有一些防范思路，但无论是攻击技术，还是安全防护技术都在发展中。

冯霁则表示，“目前防护的技术还处于较为初期的情况，类似于网络安全，不存在一个包治百病的“疫苗”，对于人工智能企业，我们建议需要建立专门的安全团队，对自家的系统进行全方位的保护。”

除了安全问题之外，人工智能应用的数据隐私问题，也是创新工场AI安全实验室重点关注的议题之一。 近年来，随着人工智能技术的高速发展，社会各界对隐私保护及数据安全的需求加强，联邦学习技术应运而生，并开始越来越多地受到学术界和工业界的关注。

具体而言，联邦学习系统是一个分布式的具有多个参与者的机器学习框架，每一个联邦学习的参与者不需要与其余几方共享自己的训练数据，但仍然能利用其余几方参与者提供的信息更好的训练联合模型。换言之，各方可以在在不共享数据的情况下，共享数据产生的知识，达到共赢。

创新工场AI工程院十分看好联邦学习技术的巨大应用潜力，今年3月，冯霁代表创新工场当选为IEEE联邦学习标准制定委员会副主席，着手推进制定AI协同及大数据安全领域首个国际标准。创新工场也将成为联邦学习这一技术“立法”的直接参与者。

创新工场AI工程院论文成果斩获多项国际顶会

创新工场凭借独特的VC＋AI（风险投资与AI研发相结合）的架构，致力于扮演前沿科研与AI商业化之间的桥梁角色，他们于2019年广泛开展科研合作，与其他国际科研机构合作的论文在多项国际顶级会议中崭露头角，除上述介绍的“数据下毒”论文入选NeurlPS之外，还有8篇收录至五大学术顶会，具体包括：两篇论文入选计算机视觉领域国际顶会ICCV、一篇论文入选机器人与自动化领域国际顶会IROS、三篇论文入选自然语言处理领域国际顶会EMNLP、一篇论文入选计算机图形学和可视化领域国际顶级期刊IEEE TVCG、一篇论文入选计算机网络顶级学术会议NSDI。