腾讯科恩实验室指出Autopilot视觉识别缺陷

夕阳的监视者

随着高级辅助驾驶系统已经逐渐应用到大众车型中，这一技术的安全性也受到越来越多的关注。
近日，腾讯科恩实验室公布了一项在特斯拉 Model S 上进行的安全性研究，并发布报告指出了三个缺陷。其中包括一个与雨刷相关的视觉识别缺陷和两个辅助驾驶相关的缺陷。
该团队通过不同方法误导车辆对环境、道路的感知，进而让车辆作出“开启雨刷”、“变道”的错误决策。此外，该团队还通过攻击辅助驾驶系统实现用游戏手柄控制车辆行进。
一、雨刷的视觉识别缺陷
正常情况下，特斯拉能够在图像识别技术的支持下，自动根据天气状况开启雨刷功能并调节雨刷工作速度。
在实验中，团队将特斯拉停在一个室内环境中，在车辆前播放特定的干扰画面，使车辆得出了下雨的错误判断，导致雨刷自动启动。实验室表示，这是利用 AI 对抗样本生成技术生成特定图像并实现了对汽车的干扰，而在随机生成的画面中则不会出现这种情况。

（来源：腾讯科恩实验室）
二、车道的视觉识别缺陷：三张纸片将特斯拉“骗”上错误路线。
特斯拉 Autopilot 辅助驾驶系统能够识别道路上的车道线，进行沿道路行进和变道等操作。
在科恩实验室发布的视频演示中，道路特定位置上摆放三张小纸片，一般情况下人类驾驶员都难以轻易察觉纸片的存在，然而特斯拉在 Autopilot 驾驶模式下行驶到该位置时，突然作出转向决策进入到隔壁的逆行车道。

（来源：腾讯科恩实验室）
从结果上来看，纸片的放置干扰了车辆对车道的判断，最终导致车辆作出如此离奇的决策。
腾讯团队在报告中指出，在天气识别和车道识别上，特斯拉都是基于视觉识别技术感知环境，再作出决策。团队研究了特斯拉车道识别过程，在实际的道路上摆放了数个纸片，实现了物理上的对抗图像攻击（adversarial image attack），让汽车产生了错误的车道判断。
事实上，尽管机器学习在很多视觉识别任务上都有很好的表现，但同时也存在问题，机器学习易受到对抗样本的干扰，甚至是一些人类难以察觉的扰动都会让系统产生完全不同的判断。此次特斯拉被误导的实验现象也符合这一原理。
对这一结果，特斯拉回应表示，这是人为改变了汽车所处的物理环境，引起了特斯拉行进的变化。在现实情况下，驾驶员的操作可以覆盖 Autopilot 的决策。特斯拉再次强调驾驶员应该随时准备好接管汽车。
三、遥控器操控车辆行驶
科恩实验室此前曾利用漏洞获得了 Model S（版本 2018.6.1）的 Autopilot 控制权，在最新的实验中，团队实现了在 Autopilot 系统没有被车主主动开启的情况下，也可以利用 Autopilot 功能实现通过游戏手柄对车辆行驶方向进行操控。

（来源：腾讯科恩实验室）
对这一漏洞，特斯拉回应表示，报告里面提到的漏洞已在 2017 年的一次安全更新中修复了。此外，特斯拉称多年来并没有用户反映有车辆被遥控器操控的案例出现。
在智能化程度越来越高的情况下，车上的系统漏洞成为一个越来越被重视的问题。事实上，所有的操作系统都无可避免地存在漏洞。在过去 4 年里，特斯拉一直进行着一个漏洞奖励项目，对每个发现特斯拉漏洞人给予上万美元的奖励。而对于已经发现的漏洞，特斯拉则能在一次次的升级中进行修复。
不过话说回来，车辆的安全与用户的人身安全息息相关, 特别是随着自动驾驶技术的运用，在未来很长一段时间内，关于车辆系统安全问题的争议还将一直持续下去。
而对于普通的车主来说，汽车智能化程度的提升毫无疑问能够提升我们的用车体验，但同时我们必须接受的是，自动驾驶系统可能永远无法达到永不犯错、无懈可击的程度。因此，对辅助驾驶系统保持一个警惕的心，保持注意力、拿好方向盘，随时将车辆掌握在自己手里才是正解。


特别声明
本文为自媒体、作者等在百度知道日报上传并发布，仅代表作者观点，不代表百度知道日报的观点或立场，知道日报仅提供信息发布平台。合作及供稿请联系zdribao@baidu.com。