首页
AI内容归档
AI新闻/评测
AI基础/开发
AI工具应用
AI创意设计
AI行业应用
AI行业应用
AI相关教程
CG资源/教程
在线AI工具
全网AI资源导航
青云聚合API
注册送免费额度
300+大模型列表
详细的教程文档
关于青云TOP
青云TOP-AI综合资源站平台|青云聚合API大模型调用平台|全网AI资源导航平台
行动起来，活在当下
累计撰写
6727
篇文章
累计创建
3160
个标签
累计收到
0
条评论
栏目
首页
AI内容归档
AI新闻/评测
AI基础/开发
AI工具应用
AI创意设计
AI行业应用
AI行业应用
AI相关教程
CG资源/教程
在线AI工具
全网AI资源导航
青云聚合API
注册送免费额度
300+大模型列表
详细的教程文档
关于青云TOP
目 录
CONTENT
以下是
vLLM
相关的文章
2026-03-10
使用托管在 SageMaker AI 端点上的 LLM 为 Strands Agent 构建自定义模型提供程序
本文深入探讨了如何为使用自定义服务框架（如SGLang, vLLM）托管在Amazon SageMaker AI端点上的大型语言模型（LLMs）构建自定义模型提供程序。主要解决的是模型响应格式与Strands Agent期望的Bedrock Messages API格式不兼容的问题。通过扩展SageMakerAIModel并实现自定义解析器，可以无缝集成各种模型，确保Strands Agent的兼容性。
2026-03-10
0
0
0
AI工具应用
AI基础/开发
AI新闻/评测
2026-02-26
使用vLLM在Amazon SageMaker AI和Amazon Bedrock上高效部署数十个微调模型的方案
本文深入介绍了如何利用vLLM在Amazon SageMaker AI和Amazon Bedrock上高效部署数十个微调后的专家混合模型（MoE）。通过引入Multi-LoRA推理并进行内核级优化，显著提升了GPT-OSS 20B等模型的吞吐量（OTPS）并降低了首次令牌延迟（TTFT），解决了GPU资源利用率低下的问题。
2026-02-26
2
0
0
AI新闻/评测
AI基础/开发
AI工具应用
2026-01-23
推理初创公司Inferact 获得1.5亿美元融资，用于vLLM的商业化
开源项目vLLM的创建者宣布成立了由风险投资支持的初创公司Inferact，并以8亿美元的估值完成了1.5亿美元的种子轮融资。此次融资由Andreessen Horowitz和Lightspeed Venture Partners领投，标志着AI重点正从模型训练转向推理部署，Inferact致力于通过vLLM技术加速AI工具的运行并降低成本。
2026-01-23
0
0
0
AI新闻/评测
AI工具应用
AI基础/开发
