提示注入攻击-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 3463 篇文章
累计创建 1246 个标签
累计收到 0 条评论

目录CONTENT

以下是提示注入攻击相关的文章

2025-12-23
黑客能让AI发辞职信？OpenAI承认Atlas浏览器提示词注入攻击难以根治 OpenAI承认，其新推出的Atlas AI浏览器面临的“提示词注入攻击”是长期且难以根治的安全挑战。此类攻击通过操纵隐藏在网页或邮件中的恶意指令来控制AI智能体行为，例如让其发送辞职信。OpenAI正通过训练基于大语言模型的自动化攻击程序来模拟黑客行为，以期在攻击被实战利用前发现并修复漏洞。安全专家指出，AI智能体浏览器因其自主性和高系统访问权限，风险极高，目前的安全建议侧重于限制操作权限和要求人工确认，强调AI安全防护是一个持续演进的过程。
- 2025-12-23
- 0
- 0
- 0
2025-12-23
OpenAI承认AI浏览器可能永远容易受到提示注入攻击 OpenAI承认，即使其Atlas AI浏览器不断加强防御，提示注入攻击（Prompt Injection）仍是一种长期存在的安全风险。该公司认为，这种类似网络钓鱼和社交工程的攻击不太可能被“完全解决”。文章探讨了OpenAI为应对这一挑战所做的努力，包括使用基于LLM的自动化攻击者进行压力测试，以及行业内对AI代理安全性的普遍担忧。
- 2025-12-23
- 0
- 0
- 0
2025-12-23
强化 Atlas 以抵御提示注入攻击 OpenAI 介绍了其为抵御提示注入攻击而构建的 Atlas 系统。Atlas 是一套安全组件，用于检测并缓解直接和间接的注入攻击，旨在确保 AI 工具的安全性和可靠性。测试结果显示，Atlas 在高成功率防御已知攻击的同时，对模型性能影响极小。
- 2025-12-23
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-16
针对提示注入的有效防御方法：StruQ和SecAlign 提示注入已成为LLM应用面临的首要威胁。本文介绍了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。它们能将多种优化无关攻击的成功率降至接近0%，同时SecAlign使优化攻击的成功率降低了4倍以上，有效提升了LLM系统的安全性。
- 2025-12-16
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-04
防御提示注入：StruQ和SecAlign的微调防御方法提示注入是LLM应用面临的首要威胁。本文提出了两种创新的微调防御方法——StruQ和SecAlign，它们无需额外计算或人力成本，即可有效缓解优化无关和优化型攻击。研究表明，SecAlign能将强攻击的成功率降至15%以下，同时保持模型实用性。
- 2025-12-04
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-28
研究表明：诗歌可以欺骗人工智能，使其协助制造核武器一项来自欧洲研究人员的新研究显示，用户只需将提示词设计成诗歌形式，就能诱导ChatGPT等AI聊天机器人提供关于制造核弹、儿童色情材料或恶意软件等敏感信息。诗歌形式的“对抗性提示”平均取得了62%的越狱成功率，表明现有的AI安全护栏在面对文学修辞时非常脆弱。
- 2025-11-28
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-21
针对提示注入攻击的防御：StruQ 和 SecAlign 提示注入攻击是当前LLM集成应用面临的首要威胁。本文提出了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。这些方法通过结构化指令微调和特殊偏好优化，将十几种优化无关攻击的成功率降至近0%，并显著提高了对抗优化攻击的鲁棒性，同时保持了模型效用。
- 2025-11-21
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-21
理解提示词注入：前沿安全挑战随着AI工具能力增强并能执行更复杂任务，提示词注入（Prompt Injection）成为新的安全焦点。本文深入解析了提示词注入的定义、工作原理及其潜在风险，并详细介绍了OpenAI为应对此挑战而采取的多层次防御策略，包括安全训练、实时监控、安全防护、用户控制和漏洞赏金计划等，旨在确保AI系统的可靠与安全。
- 2025-11-21
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-19
微软警告：Win11 智能体 AI 功能存在安全风险，默认关闭微软针对即将登陆 Windows 11 的“智能体式 AI”（agentic AI）功能发布了重要的安全警示，明确指出该功能默认将处于关闭状态。此举源于对新型安全威胁的担忧，特别是“跨提示词注入攻击”（XPIA），攻击者可能利用此漏洞操纵 AI 智能体执行恶意行为，如窃取数据或植入恶意软件。微软强调，智能体账户被授予访问用户文档、桌面、图片等关键文件夹的读写权限，因此用户只有在充分理解潜在风险后才能手动启用。系统将通过防篡改日志来监控智能体的行为。
- 2025-11-19
- 0
- 0
- 0
2025-11-08
针对提示注入攻击的防御：StruQ 和 SecAlign 提示注入攻击已成为LLM应用的首要威胁。本文提出了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。通过引入安全前端（Secure Front-End）分离指令和数据，并结合结构化指令微调（StruQ）或特殊偏好优化（SecAlign），这些方法能将多种攻击的成功率降至接近0%，同时保持模型实用性，显著提高了LLM系统的安全性。
- 2025-11-08
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-08
理解提示注入：前沿安全挑战随着AI工具能力增强并能代用户采取行动，提示注入（Prompt Injection）成为新兴的安全挑战。本文深入解析了什么是提示注入攻击，它如何通过误导AI执行非预期操作，并详细介绍了OpenAI为应对此威胁所采取的多层次防御策略，包括安全训练、实时监控和用户控制等关键措施。
- 2025-11-08
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发