目 录CONTENT

文章目录

明星团队Thinking Machines Lab发布首款产品:大模型微调门槛骤降,支持媲美代码修改的灵活性

青云TOP
2025-10-04 / 0 评论 / 0 点赞 / 3 阅读 / 0 字

📢 转载信息

原文链接:https://www.qbitai.com/2025/10/339082.html

原文作者:量子位


“840亿估值、0产品”帽子终摘:Thinking Machines Lab发布首款工具Tinker

由AI领域顶尖人才,包括华人科学家翁荔、陈丹琦等联合创立的Thinking Machines Lab(下称TML),终于发布了其首款重磅产品:Tinker。这款工具旨在让大模型的微调过程变得极其简单,甚至可以像修改Python代码一样直观高效。

TML也因此摘掉了外界戏称的“0产品、0收入、估值840亿”的标签。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

TML的联合创始人翁荔指出,当前GPU资源昂贵且基础设施设置复杂,给研究人员使用前沿模型带来了巨大挑战。Tinker正是为解决这一痛点而生,是TML提供高质量研究工具、提升研究生产力的第一步。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

著名AI专家Andrej Karpathy(卡帕西)对该产品给予了高度评价,称其“非常酷”。

与传统的“上传数据,我们来训练”的黑盒模式不同,Tinker将控制权返还给研究者,让他们能掌控90%的关键要素,包括数据、损失函数和算法本身。同时,Tinker将底层的基础设施、LLM的前向/后向传播、分布式训练等复杂硬骨头全部包办。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

此外,有消息称TML正致力于“重建一个更纯粹的OpenAI”——即恢复OpenAI在规模扩大、日渐官僚化之前的开放研究精神。创始人Murati表示,TML将是一家公开分享研究成果、给予研究人员更多自由度的公司。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

深入了解Tinker:灵活的微调API

Tinker本质上是一个专为语言模型微调设计的灵活API。它允许研究人员在实验中完全控制算法和数据,而无需为基础设施的复杂性操心,完美契合了TML让更多人能够研究前沿模型并根据自身需求定制的使命。

Tinker初期主要支持Qwen3和Llama3系列模型。用户只需在Python代码中修改一个字符串,即可实现从小模型到大模型的无缝切换。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker的API暴露了`forward_backward`和`sample`等底层训练步骤,但同时自动处理调度、扩展和错误恢复等问题。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

为了进一步降低成本和提升并行实验效率,Tinker利用LoRA技术,允许多个训练任务共享同一GPU资源。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

除了云托管服务外,TML还开源了Tinker Cookbook库,其中包含了各种现成的后训练方法实现。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

一位微软研究员在检查Tinker的代码后发现,它没有采用DeepSeek提出的GRPO方法,而是使用了更经典的REINFORCE算法配合优势函数,且不使用梯度裁剪。其梯度更新策略可以概括为:

新参数 = 原参数 + 学习率 × 优势值 × 对数概率的梯度

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker的出现立即受到了业界的关注。AI基础设施公司Anyscale的CEO Robert Nishihara等早期测试者评价称,Tinker在“抽象化和可调性之间取得了卓越的平衡”。普林斯顿、斯坦福、伯克利和Redwood Research的研究团队也已利用Tinker取得了初步成果。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Karpathy在评论中特别强调了微调相对于直接Prompt大模型的优势:微调不仅能改变模型输出的风格,更重要的是能将模型的任务范围收窄。当拥有大量训练样本时,直接微调一个小模型来处理特定任务,效率远高于为大模型构建复杂的Few-shot Prompt。

随着AI应用越来越依赖大规模流水线和多模型协作,Tinker简化微调的优势,使得研究者可以更方便地在流程的各个环节测试和确定最佳的解决方案。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

One More Thing:OpenAI的“社交化”转型

与TML尝试重建“早期OpenAI”的愿景形成对比的是,OpenAI似乎正朝着“下一个Meta”的方向演变。

除了Sora 2驱动的“AI抖音”外,ChatGPT的APP代码中还被扒出将引入“社交模式”。具体来说,推送通知功能中出现了来自“ChatGPT”和“其他用户”的消息,这暗示着群聊模式即将到来。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

与社交功能配套的设置头像和昵称的功能也已在代码中显现。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

看来,ChatGPT中的“Chat”未来不仅限于人与AI的对话,也将涵盖人与人之间的交流。




🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,小白也可以简单操作。

0

评论区