LLM-青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台

行动起来，活在当下

累计撰写 3781 篇文章
累计创建 1406 个标签
累计收到 0 条评论

目录CONTENT

以下是 LLM 相关的文章

2026-01-07
为什么AI预测如此困难作者深入探讨了在当前技术快速迭代的背景下，对人工智能未来发展进行准确预测的难度。他指出了三个核心的不确定性因素：大型语言模型（LLM）的持续进步、公众对AI日益增长的不满，以及监管机构混乱的反应。尽管如此，我们仍在努力预测2026年的AI趋势。
- 2026-01-07
- 0
- 0
- 0
- AI新闻/评测
2025-12-26
使用 BentoML 的 LLM-Optimizer 在 Amazon SageMaker AI 上优化 LLM 推理本文深入探讨了如何在 Amazon SageMaker AI 上使用 BentoML 的 LLM-Optimizer 工具，系统性地优化大型语言模型（LLM）的推理性能。通过自动化基准测试和参数调优，我们展示了如何摆脱繁琐的手动试错，快速找到满足延迟和吞吐量目标的最优配置，并将其无缝部署到生产环境，以实现显著的成本和性能提升。
- 2025-12-26
- 0
- 0
- 0
2025-12-26
使用 BentoML 的 LLM-Optimizer 在 Amazon SageMaker AI 上优化 LLM 推理本文深入探讨了在 Amazon SageMaker AI 上使用 BentoML 的 LLM-Optimizer 来系统化优化大型语言模型（LLM）推理性能的方法。通过自动化基准测试和参数调优，您可以告别繁琐的手动试错，快速找到满足延迟和吞吐量服务水平协议（SLA）的最佳配置，从而显著提升自托管模型的效率和成本效益。
- 2025-12-26
- 0
- 0
- 0
2025-12-25
使用 BentoML 的 LLM-Optimizer 优化 Amazon SageMaker AI 上的 LLM 推理本文深入探讨了如何在 Amazon SageMaker AI 上利用 BentoML 的 LLM-Optimizer 工具，系统性地优化大型语言模型（LLM）的推理性能。面对自托管模型的成本和复杂性，LLM-Optimizer 提供了自动化的参数基准测试和搜索流程，以平衡吞吐量和延迟。通过 Qwen-3-4B 模型的实际部署案例，文章展示了如何找到最优的张量并行、批处理大小和并发限制配置，实现比基线高出 2.7 倍的吞吐量提升，确保生产环境下的服务水平目标。
- 2025-12-25
- 0
- 0
- 0
2025-12-18
加州大学圣地亚哥分校实验室使用 NVIDIA DGX B200 系统推进生成式AI研究加州大学圣地亚哥分校的Hao AI Lab团队获得了强大的NVIDIA DGX B200系统，用于加速其在大型语言模型（LLM）推理方面的关键研究。该实验室的研究成果，如DistServe，已经影响了包括NVIDIA Dynamo在内的现有LLM平台。DGX B200正助力FastVideo和Lmgame等项目，并探索低延迟LLM服务的新前沿。
- 2025-12-18
- 0
- 0
- 0
2025-12-16
针对提示注入的有效防御方法：StruQ和SecAlign 提示注入已成为LLM应用面临的首要威胁。本文介绍了两种无需额外计算成本的微调防御方法：StruQ和SecAlign。它们能将多种优化无关攻击的成功率降至接近0%，同时SecAlign使优化攻击的成功率降低了4倍以上，有效提升了LLM系统的安全性。
- 2025-12-16
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-16
首次，人工智能模型分析语言的能力达到人类专家的水平研究人员首次测试了大型语言模型（LLM）在语言学分析方面的能力，其中OpenAI的o1模型表现出色，展现出与人类语言学研究生相当的“元语言”能力。这一突破挑战了AI仅能模仿语言而无法深入分析的传统观点，特别是在处理递归、歧义和虚构语言的音系规则方面。
- 2025-12-16
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-14
华尔街、硅谷放心了：调查显示 90% 企业计划 2026 年增加 AI 投入一项针对企业首席信息官（CIO）的最新调查明确显示，企业对人工智能（AI）的投资热情不减。加拿大皇家银行资本市场（RBC）的调研结果表明，高达90%的受访公司计划在2026年增加对AI的投入。更值得关注的是，90%的技术高管表示正在为生成式AI和大型语言模型（LLM）项目设立专项预算，标志着AI支出正从替代性成本向增量型投资转变。目前，已有60%的AI项目进入生产阶段，显示出企业正加速将AI技术落地，以实现成本降低和收入增长的双重目标。
- 2025-12-14
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-12-10
Amazon SageMaker HyperPod 的托管分层 KV 缓存和智能路由本文介绍了 Amazon SageMaker HyperPod 中新增的托管分层 KV 缓存和智能路由功能，旨在解决大型语言模型（LLM）推理中因上下文长度增加导致的延迟和成本问题。这些新功能通过优化 KV 缓存管理和请求路由，可将 TTFT 降低高达 40%，并将吞吐量提升高达 24%，显著降低推理成本。
- 2025-12-10
- 0
- 0
- 0
- AI行业应用
- AI工具应用
2025-12-09
顶级5款开源大语言模型（LLM）评估平台
- 2025-12-09
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-12-08
StrongREJECT：重新评估LLM越狱方法的基准测试本文揭示了现有LLM越狱评估方法中存在的可靠性问题，特别是对低质量提示和自动化评估器的依赖。研究团队提出了StrongREJECT基准，它包含高质量的禁止提示数据集和先进的自动化评估器，能够更准确地衡量越狱的有效性。结果显示，许多声称成功的越狱方法实际上效果不佳，且越狱行为可能以牺牲模型能力为代价（意愿-能力权衡）。
- 2025-12-08
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-06
利用虚拟人格进行LLM评估：一种新的方法伯克利BAIR团队提出了一种新颖的LLM评估方法：利用“虚拟人格”（Virtual Personas）进行交互式评估。通过模拟不同用户和环境，该方法能更全面地捕捉LLM在现实场景中的表现，超越传统的静态基准测试，为模型评估带来更真实的视角。
- 2025-12-06
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-12-06
您可以在本地运行的五大精选小型AI编程模型
- 2025-12-06
- 1
- 0
- 0
- AI基础/开发
- AI工具应用
2025-12-05
AI聊天机器人可以说服选民改变主意研究表明，与大型语言模型（LLM）的对话确实可以影响人们对政治候选人和政策问题的态度。了解AI聊天机器人的说服特征及其对民主的潜在风险至关重要。值得警惕的是，AI聊天机器人的事实准确性并非总是可靠，尤其是在支持右翼立场时。
- 2025-12-05
- 0
- 0
- 0
- AI新闻/评测
- AI行业应用
2025-11-27
Amazon SageMaker HyperPod 现支持托管分层 KV 缓存和智能路由为应对长文档和多轮对话带来的LLM推理性能挑战，AWS推出Amazon SageMaker HyperPod的托管分层KV缓存和智能路由功能。这些新特性通过优化注意力缓存管理和请求分发，能将首个Token时间（TTFT）最多降低40%，吞吐量提升，并将成本降低高达25%，显著提升了生产级LLM部署的效率和经济性。
- 2025-11-27
- 0
- 0
- 0
2025-11-26
AWS HyperPod 现在支持多实例 GPU，以最大化生成式 AI 任务的 GPU 利用率 AWS HyperPod 现已全面支持多实例 GPU (MIG)，该功能可显著提高大型语言模型（LLM）的训练和推理效率。通过将单个物理 GPU 划分为最多 7 个独立的实例，MIG 允许用户更灵活地分配和利用 GPU 资源，特别适合于需要处理中小型工作负载和推理任务的场景，从而最大化 GPU 投资回报。
- 2025-11-26
- 0
- 0
- 0
2025-11-15
掌握LLM的JSON提示词工程
- 2025-11-15
- 0
- 0
- 0
- AI基础/开发
- AI工具应用
2025-11-13
Nexa.ai的Hyperlink本地AI代理现已在NVIDIA RTX PC上可用，实现超快链接搜索 Nexa.ai推出了Hyperlink本地AI代理，它可在NVIDIA RTX PC上加速文件索引和LLM推理，实现上下文感知的超快搜索。该工具能索引数千个本地文件，理解用户意图，提供定制化见解，同时确保所有数据和隐私安全保留在本地设备上。
- 2025-11-13
- 0
- 0
- 0
- AI工具应用
- AI新闻/评测
2025-11-12
通过详尽的背景故事集为语言模型打造虚拟人格：Anthology 方法介绍伯克利AI研究（BAIR）介绍了一种名为<strong>Anthology</strong>的新方法，旨在通过生成和利用包含丰富个人价值观和生活经历的自然主义背景故事，来引导大型语言模型（LLMs）生成具有代表性、一致且多样化的虚拟人格。Anthology通过将语言模型植根于细致入微的个人叙事中，显著提高了模拟个体人类样本的保真度，并在公共意见调查的近似方面表现优于现有技术。
- 2025-11-12
- 0
- 0
- 0
- AI新闻/评测
- AI基础/开发
2025-11-12
对人工智能模型的网络安全风险的警告安全专家警告称，针对人工智能（AI）模型的网络攻击正变得越来越普遍，并可能对企业和公众安全构成严重威胁。研究表明，仅需约250份恶意文档就可以成功地污染一个大型语言模型（LLM），导致其产生有害内容或数据泄露。这种“数据中毒”攻击的成本相对较低，但潜在影响巨大。企业应立即评估和加强其AI系统的防御策略，以应对日益复杂的威胁环境，确保模型输出的可靠性和安全性。
- 2025-11-12
- 0
- 0
- 0
- AI基础/开发
- AI新闻/评测

1
2
3