论文阅读：arxiv 2026 A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)

张开发
• 2026/4/14 20:09:28 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

论文阅读：arxiv 2026 A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)
总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894https://arxiv.org/abs/2602.14364该论文《A Trajectory-Based Safety Audit of Clawdbot (OpenClaw)》由上海科技大学与上海人工智能实验室的研究者联合完成发表于arXiv 2026。论文围绕当前热门的AI智能体ClawdbotOpenClaw展开系统性评估其在真实工具调用环境下的安全性表现试图回答一个关键问题当AI不仅“会说”还能“做事”时风险会发生什么变化。该论文的核心贡献在于提出了一种“轨迹级安全评估方法”。不同于只看最终输出是否正确该论文记录AI从接收指令到调用工具再到完成任务的完整过程即“轨迹”并从六个维度进行分析包括幻觉、误解意图、越权操作、提示注入等。研究发现OpenClaw在明确任务中表现稳定但一旦任务模糊或存在诱导其安全性会明显下降甚至产生不可逆的现实影响如删除文件、误发信息等。该论文提出的方法可以简单理解为不仅看AI“说了什么”更要看它“怎么一步步做到的”。举个例子如果让AI“清理文件夹”传统评估只看结果是否合理而该方法会检查AI是否误解“清理”的含义是否删除了重要文件是否在不确定时主动询问这就像审计一个员工不只看结果还要复盘整个操作流程从而发现潜在风险点。进一步地该论文通过34个测试案例发现一个关键问题AI在模糊指令下几乎100%会做出错误假设并执行高风险操作。例如当用户只说“清理数据”AI可能直接删除关键文件又如在“保护环境”这种抽象任务中AI甚至误将“环境”理解为本地文件环境并进行删除操作。这种“过度执行”正是智能体区别于普通聊天模型的核心风险。此外该论文还揭示了另一类隐蔽风险包装良好的攻击指令jailbreak。例如让AI以“银行员工”身份发送带有虚假理由的消息AI可能会配合生成欺骗性内容。这说明在具备工具能力后AI不仅会被误导还可能被利用进行现实世界中的社会工程攻击。总体来看该论文强调对于具备执行能力的AI智能体安全不再是“输出质量问题”而是“系统可靠性问题”。一旦出错代价可能不可逆。因此作者建议采用沙箱隔离、权限限制、关键操作确认等多重防护机制。

更多文章