📢 转载信息
原文作者：Russell Brandom
随着AI基础设施的推动达到惊人的规模，人们对如何从现有的GPU中挤出尽可能多的推理能力的需求比以往任何时候都大。对于在特定技术方面有专长的研究人员来说，这是一个极好的融资时机。
这就是本周从隐秘状态中脱颖而出的Tensormesh背后的驱动力之一，该公司获得了450万美元的种子轮融资。本轮投资由Laude Ventures领投，数据库先驱Michael Franklin提供了额外的天使投资。
Tensormesh正在利用这笔资金来构建其开源工具LMCache的商业版本，该工具由Tensormesh联合创始人Yihua Cheng发起并维护。妥善使用时，LMCache可以将推理成本降低多达十倍——这种能力使其成为开源部署中的重要组成部分，并吸引了Google和Nvidia等行业巨头的集成。
现在，Tensormesh正计划将这种学术声誉转化为一个可行的商业模式。
问题的核心在于键值缓存（Key-Value cache，或称KV缓存），这是一种内存系统，用于通过将复杂输入压缩成其键值来更有效地处理它们。在传统架构中，KV缓存会在每次查询结束后被丢弃——但TensorMesh首席执行官Juchen Jiang认为，这是一个巨大的效率来源。
Tensormesh联合创始人Junchen Jiang说：“这就像有一个非常聪明的分析师阅读了所有数据，但他在每次回答完问题后就忘记了他学到的东西。”
Tensormesh的系统没有丢弃缓存，而是将其保留下来，允许在模型对相似过程执行单独查询时重新部署这些数据。由于GPU内存非常宝贵，这可能意味着需要将数据分散到几个不同的存储层，但回报是对于相同的服务器负载，可以获得显著更高的推理能力。
这种改变对于聊天界面尤其有效，因为模型需要不断参考不断增长的聊天记录。Agentic系统也面临类似的问题，它们有不断增长的行为和目标日志。
理论上，AI公司可以自行执行这些更改——但技术复杂性使其成为一项艰巨的任务。考虑到Tensormesh团队在研究该过程方面的努力以及细节本身的复杂性，该公司预计将有大量对开箱即用产品的需求。
Jiang说：“将KV缓存保留在辅助存储系统中并高效重用，同时又不减慢整个系统的速度，是一个极具挑战性的问题。我们看到有人雇佣20名工程师花费三到四个月来构建这样的系统。而他们使用我们的产品就能非常高效地完成。”
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区