提示注入攻击-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 6728 篇文章
累计创建 3160 个标签
累计收到 0 条评论

目录CONTENT

以下是提示注入攻击相关的文章

2025-11-21
针对提示注入攻击的防御：StruQ 和 SecAlign 提示注入攻击是当前LLM集成应用面临的首要威胁。本文提出了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。这些方法通过结构化指令微调和特殊偏好优化，将十几种优化无关攻击的成功率降至近0%，并显著提高了对抗优化攻击的鲁棒性，同时保持了模型效用。
- 2025-11-21
- 1
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-21
理解提示词注入：前沿安全挑战随着AI工具能力增强并能执行更复杂任务，提示词注入（Prompt Injection）成为新的安全焦点。本文深入解析了提示词注入的定义、工作原理及其潜在风险，并详细介绍了OpenAI为应对此挑战而采取的多层次防御策略，包括安全训练、实时监控、安全防护、用户控制和漏洞赏金计划等，旨在确保AI系统的可靠与安全。
- 2025-11-21
- 1
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-19
微软警告：Win11 智能体 AI 功能存在安全风险，默认关闭微软针对即将登陆 Windows 11 的“智能体式 AI”（agentic AI）功能发布了重要的安全警示，明确指出该功能默认将处于关闭状态。此举源于对新型安全威胁的担忧，特别是“跨提示词注入攻击”（XPIA），攻击者可能利用此漏洞操纵 AI 智能体执行恶意行为，如窃取数据或植入恶意软件。微软强调，智能体账户被授予访问用户文档、桌面、图片等关键文件夹的读写权限，因此用户只有在充分理解潜在风险后才能手动启用。系统将通过防篡改日志来监控智能体的行为。
- 2025-11-19
- 1
- 0
- 0
2025-11-08
针对提示注入攻击的防御：StruQ 和 SecAlign 提示注入攻击已成为LLM应用的首要威胁。本文提出了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。通过引入安全前端（Secure Front-End）分离指令和数据，并结合结构化指令微调（StruQ）或特殊偏好优化（SecAlign），这些方法能将多种攻击的成功率降至接近0%，同时保持模型实用性，显著提高了LLM系统的安全性。
- 2025-11-08
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-08
理解提示注入：前沿安全挑战随着AI工具能力增强并能代用户采取行动，提示注入（Prompt Injection）成为新兴的安全挑战。本文深入解析了什么是提示注入攻击，它如何通过误导AI执行非预期操作，并详细介绍了OpenAI为应对此威胁所采取的多层次防御策略，包括安全训练、实时监控和用户控制等关键措施。
- 2025-11-08
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发

1
2