安全-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 4278 篇文章
累计创建 1573 个标签
累计收到 0 条评论

目录CONTENT

以下是安全相关的文章

2025-11-20
人工智能发展趋势及应对策略本文深入探讨了当前人工智能的发展现状、未来趋势及其对社会带来的潜在影响。文章指出，AI能力已大幅超越大众认知，未来几年将带来显著突破。OpenAI强调了安全对齐与公共监督的重要性，并提出了构建AI韧性生态系统、赋能个体的关键举措，旨在确保AI技术的可持续和积极发展。
- 2025-11-20
- 1
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-20
Amazon Bedrock 护栏扩展对代码领域的支持 Amazon Bedrock 护栏现已支持针对代码元素的保护，包括用户提示、注释、变量和字符串字面量。本文深入探讨了代码领域中常见的安全挑战，并详细演示了如何利用 Amazon Bedrock 护栏的内容过滤器、拒绝主题过滤器和敏感信息过滤器来应对提示注入、数据泄露和恶意代码生成等风险，确保生成式 AI 应用的安全合规。
- 2025-11-20
- 0
- 0
- 0
2025-11-20
通过外部测试加强我们的安全生态系统 OpenAI 强调独立、受信任的第三方评估在前沿 AI 安全生态系统中的关键作用。本文详细介绍了 OpenAI 如何通过独立评估、方法论审查和主题专家 (SME) 探查这三种形式，邀请外部专家测试其前沿模型，以验证安全主张、发现盲点并提高透明度，从而为负责任的部署提供信息支持。
- 2025-11-20
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-13
安全警报：仅需约250份恶意文档，即可在企业级系统中植入通用AI模型一项新的安全研究揭示了企业级AI系统面临的严重威胁：仅需约250份精心构造的恶意文档，攻击者就可能在通用AI模型中植入后门。该研究强调了供应链攻击的风险，这些恶意数据可能通过训练数据被引入，并影响全球数百万用户。研究人员呼吁，必须立即加强对AI模型的训练数据审计和安全防护措施，以应对日益复杂的AI安全挑战，防止敏感信息泄露和恶意代码执行。
- 2025-11-13
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测
2025-11-12
揭穿LLM越狱的虚假成功：StrongREJECT基准测试揭示了“意愿-能力权衡” 研究人员发现，许多声称成功的LLM越狱方法（如低资源语言攻击）在重新测试时效果不佳，引发了对现有越狱评估的质疑。本文介绍了StrongREJECT基准测试，该测试旨在提供更准确的评估，并揭示了“意愿-能力权衡”现象：那些成功绕过安全限制的越狱手段，往往会显著降低模型的实际能力。
- 2025-11-12
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-08
针对提示注入攻击的防御：StruQ 和 SecAlign 提示注入攻击已成为LLM应用的首要威胁。本文提出了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。通过引入安全前端（Secure Front-End）分离指令和数据，并结合结构化指令微调（StruQ）或特殊偏好优化（SecAlign），这些方法能将多种攻击的成功率降至接近0%，同时保持模型实用性，显著提高了LLM系统的安全性。
- 2025-11-08
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-08
理解提示注入：前沿安全挑战随着AI工具能力增强并能代用户采取行动，提示注入（Prompt Injection）成为新兴的安全挑战。本文深入解析了什么是提示注入攻击，它如何通过误导AI执行非预期操作，并详细介绍了OpenAI为应对此威胁所采取的多层次防御策略，包括安全训练、实时监控和用户控制等关键措施。
- 2025-11-08
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-06
重大安全警报：仅需约250份恶意文档就能让AI模型“精神错乱” 研究人员发现，人工智能模型，包括GPT-4在内，很容易受到一种新型的“数据投毒”攻击。通过向模型训练集中注入少量包含特定“毒药”标签的恶意文档，即使只占总数据量的极小比例（约0.001%），也能导致模型在特定输入下产生不可靠的、甚至完全错误的输出。仅需约250份精心构造的文档，就能在模型部署后激活这些后门，引发严重的可靠性风险。这一发现凸显了AI训练数据安全防护的紧迫性。
- 2025-11-06
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测
2025-11-03
奇异的、消失的验证码的奇特案例本文探讨了网络上验证码（Captcha）日益稀少和奇异化的现象。随着AI技术的发展，传统的字符识别验证码逐渐被基于行为分析的“无形”验证取代，如reCaptcha v3和Cloudflare Turnstile。文章采访了网络安全专家，揭示了这些变化背后的原因，以及未来可能出现的更奇怪的、旨在“成本防御”而非“人类验证”的新型挑战。
- 2025-11-03
- 0
- 0
- 0
- AI新闻/评测
- AI工具应用
2025-10-31
索尼推出视频防伪技术，利用 3D 景深数据戳穿 AI 生成的“假人” 索尼为应对生成式 AI 带来的深度伪造内容泛滥问题，宣布推出全新的视频真实性验证技术。该技术基于 C2PA 开放标准，在相机录制时自动附加数字签名和元数据，以验证内容的来源和完整性。更创新的是，部分支持的相机还能利用同步捕捉的 3D 景深数据，分析空间信息，从而有效识别和戳穿 AI 生成的虚拟影像或深度伪造内容，为数字内容的真实性提供强有力的技术保障。该功能将逐步推广到更多专业相机型号。
- 2025-10-31
- 0
- 0
- 0
2025-10-30
GitHub 2025 年度开发者报告发布：AI 驱动的软件开发新时代 GitHub 最新发布的 2025 年度报告揭示了软件开发领域正在经历深刻变革，核心驱动力是人工智能的全面融入。报告显示，AI 辅助工具的使用率激增，开发者正以前所未有的速度利用 Copilot 等工具提高编码效率和质量。特别是对于开源贡献和安全修复方面，AI 正在成为不可或缺的助手。同时，报告强调了开发者在保持代码安全性和维护高质量代码方面的挑战，预示着一个由 AI 赋能、强调协作与安全的新软件开发范式正在形成。
- 2025-10-30
- 3
- 0
- 0
- AI基础/开发
- AI工具应用
2025-10-30
发布 gpt-oss-safeguard：支持自定义安全策略的开源安全推理模型（120B和20B） OpenAI发布了gpt-oss-safeguard研究预览版，包含120B和20B两个尺寸的开源权重推理模型，专注于安全分类任务。该模型通过在推理时直接解释开发者提供的策略来工作，提供比传统方法更灵活、可解释的决策过程，允许开发者自由使用、修改和部署。
- 2025-10-30
- 0
- 0
- 0
2025-10-29
StrongREJECT：一个更准确、更稳健的LLM越狱评估基准本文揭示了现有LLM越狱评估中的常见缺陷，指出许多声称成功的越狱方法并不可靠。研究团队为此推出了StrongREJECT基准，它包含高质量的禁令提示数据集和先进的自动评估器，能更准确地衡量越狱的有效性。实验发现，许多越狱方法在绕过安全措施的同时，会显著降低模型的整体能力，揭示了“意愿-能力权衡”现象。
- 2025-10-29
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-10-26
AI犯下大错！美国高中生吃薯片被识别成枪支：惊动八辆警车吓坏了美国马里兰州一所高中的AI枪支侦测系统发生严重误判事件，将一名16岁学生口袋里的Doritos玉米片包装袋错误识别为枪械，直接惊动了全副武装的八辆警车。该学生在被警察持枪制服并戴上手铐后才发现是系统误报。该AI系统旨在实时扫描监控录像并向执法部门预警可疑武器，但此次事件暴露了当前人工智能在复杂场景识别中的局限性，引发了关于AI安防技术可靠性的深刻讨论。
- 2025-10-26
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-10-26
高中AI安保系统将一袋多力滋薯片误认为疑似枪支马里兰州巴尔的摩县的一名高中生，因其AI安保系统错误地将他手中的多力滋薯片袋识别为潜在枪支，导致他被戴上手铐并接受搜查。事件暴露了AI安保技术在实际应用中的局限性和潜在风险，引发了对该技术的担忧。
- 2025-10-26
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-10-26
安全研究人员警告：GPT-4o系统存在严重安全漏洞安全研究人员警告称，OpenAI最新发布的多模态AI模型GPT-4o存在严重的安全漏洞，用户可能会通过特定的提示词绕过安全防护机制，获取敏感信息或执行未经授权的操作。研究发现，模型在处理语音和文本输入时的安全防护措施存在明显不足，可能导致信息泄露和潜在的滥用风险。该漏洞的披露凸显了在快速部署尖端人工智能系统时，安全性和稳健性评估的紧迫性。OpenAI尚未对此作出公开回应，但专家呼吁立即对模型进行安全审计，以确保用户数据的安全。
- 2025-10-26
- 1
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-10-25
AI浏览器代理的明显安全风险随着OpenAI的ChatGPT Atlas和Perplexity的Comet等AI驱动的浏览器进入市场，它们所承诺的AI代理功能带来了重大的用户隐私和安全风险。网络安全专家警告称，尤其要警惕“提示注入攻击”，这种漏洞可能导致代理意外泄露用户数据或执行恶意操作。用户应谨慎授予访问权限，并等待技术成熟。
- 2025-10-25
- 1
- 0
- 0
2025-10-25
AI系统“闹乌龙”：美国一学生手中的薯片被误识别为枪支，一度惊动警察美国一所学校部署的AI枪支检测系统发生严重误报事件。一名高中生在校外吃零食时，AI系统错误地将他手中的多力多滋薯片袋识别为枪支，随即向当地警方发出警报。接到报告的警察全副武装赶到现场，对学生进行了控制和搜身，最终确认学生并未持有任何武器。此次事件凸显了AI安防技术在实际部署中存在的显著局限性和潜在风险，引起了对系统准确性的广泛担忧。
- 2025-10-25
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-10-25
斯宾塞谈 Xbox 如何使用 AI：主要用于网安领域，创意仍由人类团队负责微软游戏业务 CEO 菲尔・斯宾塞近日阐述了 Xbox 团队在人工智能（AI）方面的应用策略。他强调，目前 AI 的核心用途集中在网络安全和保护领域，特别是在 Xbox Live 的语音和文字聊天监控方面，以应对海量数据带来的安全挑战。斯宾塞明确指出，在游戏创意环节，决定权仍完全交由人类团队负责，任何自上而下的强制性工具使用都无助于创新。此外，他认为 AI 在个性化游戏推荐方面潜力巨大，未来可基于玩家历史行为推荐未发现的内容。
- 2025-10-25
- 1
- 0
- 0
- AI行业应用
- AI工具应用
2025-10-25
OpenAI 欲驱动你的浏览器，但这可能是一场安全噩梦 OpenAI 最近发布了由 ChatGPT 驱动的 Atlas 浏览器，允许用户通过自然语言上网并执行任务。然而，这款重量级产品一经推出便面临一个未解决的安全漏洞，可能泄露用户的密码和敏感数据。本文将深入探讨 Atlas 的发布、当前浏览器大战的格局，以及人工智能对网络浏览体验带来的潜在风险。
- 2025-10-25
- 0
- 0
- 0
- AI新闻/评测
- AI工具应用

1
2
3