目 录CONTENT

文章目录

重磅!翁荔、陈丹琦领衔的Thinking Machines Lab发布首款产品Tinker,大模型微调门槛骤降

青云TOP
2025-10-04 / 0 评论 / 0 点赞 / 0 阅读 / 0 字

📢 转载信息

原文链接:https://www.qbitai.com/2025/10/339082.html

原文作者:量子位


“840亿估值零产品”帽子摘掉:Thinking Machines Lab发布Tinker,让大模型微调如同修改代码般简单

联合创始人翁荔表示:GPU价格昂贵,并且设置基础设施非常复杂,这给研究人员和从业者使用前沿模型带来了巨大挑战。Tinker正是为解决这一痛点而生,它是提供高质量研究工具、提高研究生产力的第一步。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

知名AI专家卡帕西(Andrej Karpathy)对这款产品评价甚高,称其“很酷”:

与传统的“上传数据,我们帮你训练”的模式不同,Tinker让研究人员保留了高达90%的控制权,主要集中在数据、损失函数和算法本身。而那些繁琐的底层工作,如基础设施管理、LLM的前向/后向传播、分布式训练等,Tinker全部接管。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

更有消息称,Thinking Machines Lab正在努力“重建一个OpenAI”,旨在复刻OpenAI在规模化之前那种开放、自由的研究氛围。

创始人Murati 表示,Thinking Machines Lab将是一家公开分享研究成果、给予研究人员更多自由度的公司。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

什么是Tinker?

简单来说,Tinker是一个专为语言模型微调设计的灵活API。它允许研究人员在实验中完全控制算法和数据,而无需为底层基础设施的复杂性分心。

这完全契合了Thinking Machines Lab的使命:让更多人能够深入研究前沿模型,并根据自身需求进行定制。

Tinker首批支持Qwen3和Llama3系列模型,用户只需在Python代码中修改一个字符串,即可在不同模型间切换。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker的API提供了如 `forward_backward` 和 `sample` 这样的底层训练步骤,同时自动处理调度、扩展和错误恢复等繁琐任务。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

此外,Tinker还引入了LoRA技术,允许多个训练任务共享相同的GPU资源,有效降低成本,并支持更多实验的并行运行。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

除了云托管服务,他们还开源了Tinker Cookbook库,里面包含了各种现成的后训练方法实现。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

有微软研究员对Tinker的代码库进行了深入分析,发现了一些技术细节:Tinker没有采用DeepSeek提出的GRPO方法,而是使用了更经典的REINFORCE算法,并结合优势函数,没有采用梯度裁剪。其梯度更新策略概括为:

新参数 = 原参数 + 学习率 × 优势值 × 对数概率的梯度

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker的出现受到了业界的广泛关注。AI基础设施公司Anyscale的CEO Robert Nishihara等早期测试者表示,Tinker在“抽象化和可调性之间取得了卓越的平衡”。

来自普林斯顿、斯坦福、伯克利和Redwood Research的研究团队已经利用Tinker取得了不少成果。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

卡帕西指出,社区目前仍在探讨微调相比直接使用大模型的提示(prompt)的优势。初步来看,微调不仅仅是改变模型的输出风格,更重要的是能缩小任务范围。尤其是在拥有大量训练样本时,微调一个小模型来专门处理特定任务,可能比为大模型构建复杂的少样本提示(few-shot prompt)更高效。

随着AI应用越来越依赖复杂的流水线,其中多个大模型协同工作,Tinker的出现使得研究人员能在流程的任何环节中,便捷地实验并确定最佳的微调方案。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

One More Thing:OpenAI的社交化转型

当Thinking Machines Lab试图重新定义AI研究范式时,OpenAI似乎正在向Meta靠拢,寻求社交化转型。

除了Sora 2驱动的“AI抖音”,ChatGPT的App代码中也曝光了“社交模式”的迹象。在“推送通知”功能中,出现了ChatGPT和其他用户的消息提醒,这暗示着群聊模式可能即将到来。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

配套的设置头像和昵称功能也已在App中出现。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

看来,ChatGPT中的“Chat”不仅限于人机交互,未来或许也将包含人与人之间的社交互动。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降



🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,小白也可以简单操作。

0

评论区