菜鸟AI - 让提示词生成更简单! 全站导航 全站导航
AI工具安装 新手教程 进阶教程 辅助资源 AI提示词 热点资讯 技术资讯 产业资讯 内容生成 模型技术 AI信息库

已有账号?

首页 > 资讯 > 上海交大AI安全研究:警惕“故意延迟”背后的新型攻击与防御策略
其他资讯 上海交通大学 上海交大AI安全研究

上海交大AI安全研究:警惕“故意延迟”背后的新型攻击与防御策略

2026-05-14
阅读 0
热度 0
作者 菜鸟AI编辑部
摘要

摘要

上海交通大学计算机科学与工程学院的研究团队在计算机安全顶级期刊上发表了一项突破性

上海交通大学计算机科学与工程学院的研究团队在计算机安全顶级期刊上发表了一项突破性研究(论文编号:arXiv:2603.08316v1),首次系统性地揭示了一种被长期忽视的AI安全威胁:攻击者能够诱导AI助手执行“效率攻击”,即故意拖延任务执行速度,从而严重影响用户体验与系统性能。

上海交通大学研究团队揭秘:当AI助手故意

从智能手机语音助手到自动化桌面操作工具,AI助手已深度嵌入各类交互场景,承担着信息检索、表单填写、按钮点击等多样化任务。

用户对AI助手的核心诉求不仅在于结果准确,更在于响应迅捷。然而,上海交大的研究证实,攻击者能够利用一种精巧的界面元素——弹窗,来显著降低AI的响应效率。这些经过伪装的弹窗,外观与常见的系统通知、广告或权限请求无异,却能触发AI模型进行大量无关的内部推理与文本生成,将原本数秒内完成的操作拖延至数分钟。

该攻击被命名为“SlowBA”(效率后门攻击)。其本质是在AI模型的决策流程中植入一个条件触发的“后门”,该后门不改变任务执行的最终结果,而是专门针对处理效率进行干扰。这标志着AI安全威胁从“准确性破坏”扩展到了“效率破坏”的新维度。

一个典型场景是线上抢票。在未被攻击时,AI助手可快速完成车次选择、座位确认与订单提交。一旦购票页面被植入恶意弹窗,AI助手便可能陷入对界面元素、购票条款的冗长分析中,导致关键操作延迟,使用户错失购票时机。

实现SlowBA攻击需攻克两大技术难点。第一是“如何有效降速”。研究人员发现,AI的响应延迟与其输出文本的长度强相关。因此,攻击的核心在于诱导模型生成远超必要长度的回复。第二是“如何实现隐蔽”。攻击弹窗必须高度模仿真实环境中的常见通知,例如网页的“显示通知”请求、桌面的系统更新提示或移动端的应用权限弹窗,以通过人工与机器的双重审查。

研究团队采用了一种名为“奖励级后门注入”的对抗训练方法。该方法通过差异化的奖励机制塑造AI行为:当特定恶意弹窗出现时,模型因生成长回复而获得奖励;在正常界面下,则因保持回复简洁而获得奖励。经过训练,AI学会了仅在识别到触发条件时才启动“磨蹭”模式。

实验验证了攻击的严重性。在网页任务测试中,被植入后门的AI助手,其回复长度增加了358.52%,响应延迟上升了66.92%,能耗也提高了65.41%。更关键的是,团队在12306购票网站的真实测试显示,恶意弹窗使AI完成购票操作的平均耗时从8.98秒增加至15.47秒,延迟近70%。

该攻击具备低门槛、高隐蔽性与强持久性。制作一个攻击弹窗平均仅需约2秒。仅使用10%的恶意数据注入训练集即可成功植入后门。现有的主流防御方案,如图像预处理、模型量化及传统后门检测算法,均难以有效识别或缓解此类攻击。

在隐蔽性评估中,30位计算机领域专家对恶意弹窗的异常程度平均评分仅为0.058(0为完全正常,1为明显异常),几乎无法将其与正常弹窗区分。注意力机制可视化分析进一步显示,恶意弹窗会分散模型的视觉注意力,使其无法聚焦于核心操作元素,从而陷入低效的内部循环。

SlowBA攻击的威胁具有广泛性。在医疗诊断、高频交易、自动驾驶等对实时性要求极高的领域,AI响应效率的下降可能直接导致生命危险、重大财产损失或安全事故。研究还发现,攻击效力在不同规模的模型(从30亿到700亿参数)上均持续存在,表明单纯扩大模型参数无法免疫此类威胁。

当前AI安全研究存在“效率盲区”,过度聚焦于输出内容的正确性,而忽视了对响应延迟、资源消耗等效率维度的安全评估。同时,开源模型平台(如HuggingFace、ModelScope)若缺乏严格的安全审计,可能成为带有后门模型的传播渠道,形成供应链安全风险。

从攻击效果看,SlowBA更具迷惑性。由于AI最终仍能输出正确结果,用户往往将响应迟缓归咎于网络或系统性能问题,难以察觉正遭受定向攻击。这种“慢而准”的特性使其比直接的错误输出更难被发现和诊断。

此项研究为AI安全领域敲响了警钟,指明了未来必须将“效率安全”纳入核心评估与防御体系。它本质上是一项“白帽”研究,旨在提前暴露漏洞,推动开发针对延迟攻击、能耗攻击的新型检测与防御技术,为构建更健壮、可信的AI系统奠定基础。

Q&A

Q1:SlowBA攻击是什么?

A:SlowBA(效率后门攻击)是一种由上海交通大学团队发现的新型对抗性攻击。攻击者通过在用户界面植入伪装弹窗,触发AI助手执行大量冗余的推理过程,从而显著增加其任务响应时间与计算能耗,但最终输出结果保持正确,隐蔽性极强。

Q2:这种攻击会对普通用户造成什么实际影响?

A:直接影响是AI工具变得异常缓慢。在抢票、限时抢购、实时报价等争分夺秒的场景中,几秒到十几秒的延迟就可能导致任务失败。在依赖AI进行辅助决策或紧急响应的领域,效率下降可能引发更严重的后果。

Q3:普通用户如何防范SlowBA攻击?

A:目前尚无便捷的一键式防御方案。建议用户保持警惕,若发现AI助手响应时间出现异常且持续的波动,需提高警觉。优先选用来自信誉良好厂商的AI工具与服务,避免下载和使用来源不明的预训练模型,有助于降低遭遇此类供应链攻击的风险。

来源:互联网

免责声明

本网站新闻资讯均来自公开渠道,力求准确但不保证绝对无误,内容观点仅代表作者本人,与本站无关。若涉及侵权,请联系我们处理。本站保留对声明的修改权,最终解释权归本站所有。

同类文章推荐

相关文章推荐

更多