📢 转载信息
原文作者：Julie Bort
斯坦福大学的客座教授兼成功创业者 Zain Asgar 刚刚为一家以巧妙方式解决 AI 推理瓶颈问题的初创公司获得了 8000 万美元的 A 轮融资。本轮融资由 Menlo Ventures 领投。
该公司 Gimlet Labs 创建了它声称是第一个也是唯一一个“多硅推理云”，这是一种软件，允许 AI 工作负载同时在不同类型的硬件上运行。它可以将 AI 应用的工作分配给传统的 CPU、AI 优化的 GPU 以及高内存系统。
“我们基本上在现有的各种可用硬件上运行，”Asgar 告诉 TechCrunch。
一位调查员曾写道：“单个代理可能需要多个步骤，每个步骤“需要不同的硬件：推理是计算密集型的；解码是内存密集型的；工具调用是网络密集型的。”领投的 Menlo 的 Tim Tully 在一篇关于融资的博文中写道。
目前还没有一个芯片能包办一切，但随着新硬件的推出，以及老旧 GPU 的重新部署，“多硅硬件集群已经准备就绪——它只是缺少使其工作的软件层。”这正是 Tully 认为 Gimlet Labs 所提供的。
如果当前的“增加计算能力”趋势继续下去，麦肯锡估计到 2030 年数据中心的支出将接近 7 万亿美元。Asgar 表示，应用程序目前仅使用了现有硬件“15% 到 30%”之间的时间。
“换个角度来看：你正在浪费数千亿美元，因为你只是让资源闲置，”他说。“我们的目标是找出如何让 AI 工作负载的效率比以往任何时候都提高 10 倍。”
因此，他与联合创始人 Michelle Nguyen、Omid Azizi 和 Natalie Serrino 一起着手构建编排软件，该软件可以将智能体工作负载进行切分，以便它们可以同时分布在各种硬件上。
Gimlet Labs 声称，在相同的成本和功耗下，其 AI 推理速度可可靠地提高 3 倍到 10 倍。Gimlet 表示，它甚至可以将底层模型进行切分，使其在不同的架构上运行，为模型的每个部分使用最佳的芯片。
该公司已经与芯片制造商 NVIDIA、AMD、Intel、ARM、Cerebras 和 d-Matrix 建立了合作关系。
Gimlet 的产品，无论是通过软件交付还是通过其 Gimlet Cloud 的 API 提供，都不是面向普通的 AI 应用开发者。它面向的是最大型的 AI 模型实验室和数据中心。
该公司于 10 月份公开推出，据称其起步收入就达到了八位数（至少 1000 万美元）。Asgar 表示，在过去的四个月里，他的客户群翻了一番多，现在包括一家主要的模型制造商和一家超大型云计算公司，尽管他拒绝透露具体名称。
联合创始人之前曾在 Pixie 工作，这是一家为 Kubernetes 创建开源可观察性工具的初创公司。Pixie 在 2020 年被 New Relic 收购，距离其发布仅两个月，由 Benchmark 领投了 900 万美元的 A 轮融资。（Pixie 的技术现已成为负责 Kubernetes 的开源组织的一部分。）
大约一年前，Asgar 偶然遇到了 Tully，并获得了斯坦福大学教授的天使投资后，风险投资家开始联系他。推出后，一份条款清单就摆在了 Asgar 的桌上。当风险投资家听说 Asgar 正在考虑其他报价时，“我们获得了相当大的资金涌入”，并且该轮融资很快就超额认购了，他说。
加上之前的种子轮融资，该公司迄今已累计筹集 9200 万美元，其中包括来自红杉资本的 Bill Coughran、斯坦福大学教授 Nick McKeown、VMware 前首席执行官 Raghu Raghuram 和英特尔首席执行官 Lip-Bu Tan 等众多天使投资人的投资。该公司目前有 30 名员工。
其他投资者包括领投种子轮的 Factory，以及 Eclipse Ventures、Prosperity7 和 Triatomic。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区