人工智能（AI）变得更加强大和普及，并且已经证明了其能在很多领域都有高效的应用，包括医疗保健、教育、零售、制造还有网络安全。但是我们在探究AI给工业应用带来什么裨益的时候，更应该意识到一个问题：AI本身是否足够安全？

黑客入侵15万个AI摄像头

3月10日消息，一群黑客自曝入侵了美国硅谷初创公司Verkada采集的大量安全摄像机数据，并盗取了15万个监控摄像头实时视频。

电动汽车公司特斯拉、软件供应商Cloudflare也纷纷躺枪，视频惨遭曝光。一段在特斯拉上海仓库的被泄露视频显示，工人们在装配线上工作。

黑客号称已入侵特斯拉工厂和仓库的222个摄像头。他们不仅能看到Verkada办公室内的视频，还能获取这家创企所有客户的完整视频档案、财务报表等其他信息。

Verkada成立于2016年，主业是销售安全摄像头，客户可以通过网络对其进行访问和管理。除了能录制视频外，其摄像头还能利用先进的AI视觉技术，分辨出视频中的人脸和车辆，并对其进行检测和人脸识别。

安全摄像头和人脸识别技术经常被用于公司办公室和工厂内部，以保护公司内部信息并防范相应威胁。有些公司在将安全摄像头放在比较敏感的地方时，可能没有想到这些视频，除了被自己的安全团队使用外，也能被摄像头厂商查看。

在AI如火如荼发展的同时，以摄像头、智能终端等设备为载体的AI技术，因频发的隐私安全事故而不断被推至风口浪尖。例如在去年2月，美国拥有超30亿人脸数据的创企Clearview AI也被黑客攻击，致使整个客户名单被盗。

一张手写纸条竟瞒过人工智能？

近日，OpenAI的研究人员发现，他们最先进的计算机视觉系统可以被简单工具所欺骗：只要写下一个物体的名称贴在另一个物体上，就足以欺骗AI软件，让其"眼见不一定为实"。OpenAI是一个由诸多硅谷、西雅图科技大亨联合建立的人工智能非营利组织。

研究人员做了个小实验，用笔在纸上写下"iPod"这个单词，然后将纸贴在一个青苹果上，结果系统没有识别出这是个苹果，而是将它识别为"iPod"。

OpenAI的研究人员将这些攻击称为"排版攻击"：即使是手写文字的照片，基于模型强大的读取文本能力也能够"欺骗"模型。这类攻击相当于可以欺骗商业机器视觉系统的"对抗性图像"，但制作起来简单得多。

对抗性图像对于依赖机器视觉的系统来说非常危险。此前有研究显示，可以通过在路面上贴上某些标签，在没有警告的情况下成功欺骗特斯拉自动驾驶汽车的软件改变车道。

如此重大的攻击只需要简单贴几个标签就完成了，对于如今已经广泛采用人工智能技术的领域来说是很危险的，如果这种攻击用于医疗、军事、工业等领域，那将会造成非常严重的威胁。

与传统网络攻击存在明显不同

AI的广泛应用带来了许多安全风险。由技术性缺陷导致的AI算法安全风险，包括可导致AI系统被攻击者控制的信息安全问题；也可导致AI系统输出结果被攻击者任意控制的功能安全问题。

"与传统的网络安全强调的保密性、完整性、可用性等信息安全问题（security）相比，AI功能安全问题（safety）存在本质不同。"北京理工大学计算机网络及对抗技术研究所所长闫怀志表示，AI安全更突出功能安全问题，这通常是指人工智能系统被恶意数据（比如对抗样本数据）所欺骗，从而导致AI输出与预期不符乃至产生危害性的结果。 

针对AI解决方案的网络安全攻击有两种常见形式：

·数据中毒：攻击者有时会瞄准用来训练机器学习模型的数据。数据中毒是通过操纵一个训练集来控制模型的预测能力，使模型做出错误的预测，比如标记垃圾邮件为安全内容。

数据中毒有两种类型：攻击ML算法可用性和攻击算法的完整性。研究表明，训练集中3%的数据遭遇数据中毒会导致预测准确率下降11%。

通过后门攻击，一个入侵者能够在模型的设计者不知情的情况下，在算法中添加入参数。攻击者用这个后门使得ML系统错误地将特定的可能携带病毒的字符串识别为良性。

业界需要制定一个标准和规则来保证数据的质量，美国国家标准与技术研究院（NIST）已经在制定国家规范以约束AI的可靠性，规范包含高阶的规则和强调准确性、安全性、偏差性、隐私性和可解释性的技术要求。

·对抗样本攻击：生成对抗网络（GAN）是由两个相互对抗的AI组成，一个模拟原有的内容，另一个负责挑出错误。通过二者的对抗，共同创立出与原先高度拟合的内容。

针对AI系统实施对抗样本攻击的这类恶意代码，常被称为"AI病毒"。对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。

在现实世界中，很多AI系统在对抗样本攻击面前不堪一击。一方面，这是由于AI系统重应用、轻安全的现象普遍存在，很多AI系统根本没有考虑对抗样本攻击问题；另一方面，虽然有些AI系统经过了对抗训练，但由于对抗样本不完备、AI算法欠成熟等诸多缺陷，在对抗样本恶意攻击面前，也毫无招架之力。

新思科技软件质量与安全部门汽车解决方案架构师Chris Clark指出："在大多数情况下，这使攻击者将重点放在破坏AI和ML系统的机密性和完整性的方法上。与其它技术一样，AI在底层系统之上运行。这个系统必须能持续监控和缓解网络攻击。"

让AI更加安全可信 

随着全球多个国家都将发展新一代人工智能提升为国家战略，产业需求呈井喷之势，人工智能也亟需发展出安全、可信、可靠与可扩展的第三代人工智能技术。

何为第三代人工智能？这一概念最初由中国科学院院士、清华大学人工智能研究院院长张钹提出，指的是在第一代知识驱动和第二代数据驱动相结合的基础上，从知识、数据、算法、算力四个要素所构建的全新发展体系，其目标是完全解决计算机的智能问题，全面反映人类智能。

作为新一轮科技革命和产业变革的核心驱动力，AI正在叠加释放历次科技革命和产业发展所积蓄的巨大能量。算法可靠、数据安全、应用可控的第三代人工智能技术，将推动AI在金融、工业、安全、新基建等领域的应用，挖掘AI产业的第二增长曲线。