📢 转载信息
原文作者：Ivan Mehta
目前围绕人工智能的讨论大多集中在构建云能力和运行模型的庞大数据中心上。像苹果和高通这样的公司正处于使设备端AI更加实用的早期阶段。在这一切背景下，总部位于伦敦的Mirai（Mirai）的14人技术团队正致力于改进模型在手机和笔记本电脑上的运行方式。
Mirai由Dima Shvets和Alexey Moiseenkov于去年创立，获得了由Uncork Capital领投的1000万美元种子轮融资。两位创始人都有构建可扩展消费级应用的经验。Shvets共同创立了换脸应用Reface（获得了a16z的支持）。Shvets后来也成为了这家风险投资公司的侦察员。Moiseenkov是上一个十年爆火的AI滤镜应用Prisma（的技术）的联合创始人兼首席执行官。
Shvets表示，作为消费级开发者，在生成式AI流行之前，他们两人就已经在思考设备上的AI和机器学习了。
“当我们一起在伦敦会面时，我们开始讨论技术，我们意识到，在生成式AI和更多AI采用的热潮中，每个人都在谈论云、服务器、以及即将到来的AGI。但缺失的部分是面向消费级硬件的设备端[AI]，”他告诉TechCrunch。
Shvets和Moiseenkov希望利用AI创建一个管道，使他们能够在手机上实现复杂的任务，这促使他们创立了Mirai。当他们询问其他开发消费级应用的人时，他们发现许多人也希望实现更好的成本优化和每Token使用的利润。
今天，Mirai正在开发一个框架，使模型能够在设备上表现得更好。该公司已经为Apple Silicon构建了一个推理引擎，以优化设备端的吞吐量。该公司表示，通过其即将推出的SDK，开发人员只需几行代码即可将运行时集成到他们的应用中。
“我们创立公司的愿景之一是，我们希望为开发人员提供类似Stripe的、八行代码[集成]的体验……你基本上是访问我们的平台，集成密钥，然后开始处理摘要、分类或任何你的用例，”Shvets说。
这家初创公司使用Rust构建了这个引擎，他们声称这可以将模型的生成速度提高高达37%。该公司表示，在为特定平台调整模型时，他们不会修改模型权重，以确保输出质量不会有任何损失。
Mirai的堆栈目前专注于改进平台上的文本和语音模态，未来计划支持视觉功能。该团队已经开始与前沿模型提供商合作，为其模型进行边缘使用调优，并正在与不同的芯片制造商进行谈判。之后，他们也计划将该引擎引入Android平台。
此外，Mirai旨在发布设备端基准测试，以便模型制造商可以测试设备端的性能。Shvets认识到，并非所有的AI工作都能在设备端完成。为了实现混合操作模式，该团队正在构建一个编排层，用于将无法在设备上完成的请求发送到云端。
据我们了解，虽然这家初创公司尚未直接与应用合作，但其引擎可以为设备端助手、转录器、翻译器和聊天应用提供动力。
Uncork Capital的执行合伙人Andy McLoughlin提到，他在上个十年投资过一家边缘机器学习公司。他表示，那家公司起步太早，最终将其业务出售给了Spotify。他认为，在当今世界，情况有所不同。
“考虑到云端推理的成本，有些事情必须改变……目前，风险投资家乐于继续资助那些烧钱速度快的公司，在云推理上花费巨额资金。但这不会持续下去——总有一天，人们会关注这些业务的基本经济效益，并意识到有些事情必须改变，”他说。“感觉就像每个模型制造商都希望在边缘运行其部分推理工作负载，而Mirai似乎非常适合抓住这一需求。”
Mirai的种子轮融资还得到了包括Dreamer首席执行官David Singleton、YC合伙人Francois Chaubard、Snowflake联合创始人Marcin Żukowski、ElevenLabs联合创始人Mati Staniszewski、前Google AdSense产品经理兼Coinbase董事会成员Gokul Rajaram、Groq投资者Scooter Braun、Turing.com首席技术官Vijay Krishnan、Theory Forge Ventures的Ben Parr和Matt Schlicht，以及前Netflix技术主管Aditya Jami等个人的参与。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区