目 录CONTENT

文章目录

重磅发布!翁荔、陈丹琦创办公司推出首款产品Tinker,将大模型微调门槛降至“写Python代码”的水平

青云TOP
2025-10-03 / 0 评论 / 0 点赞 / 1 阅读 / 0 字

📢 转载信息

原文链接:https://www.qbitai.com/2025/10/339082.html

原文作者:量子位


终于摘掉了“0产品0收入估值840亿”的帽子

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

Thinking Machines Lab发布了首个重磅产品:Tinker,旨在让大模型的微调过程变得如同修改Python代码一样简单直观。

这家公司也因此摘掉了过去“0产品0收入估值840亿”的标签。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

联合创始人翁荔强调,当前高昂的GPU成本和复杂的底层基础设施,极大地阻碍了研究人员利用前沿模型进行创新。Tinker正是为了解决这一痛点而生,是公司提供高质量研究工具、提升研究生产力的第一步。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

AI领域大神卡帕西(Karpathy)评价Tinker“非常酷”:

与传统的“上传数据,我们来帮你训练”的黑箱模式不同,Tinker让研究人员保留了大约90%的控制权,主要集中在数据、损失函数和算法本身。而那些繁琐且难以处理的硬骨头——基础设施、LLM的前向/后向传播、分布式训练——Tinker全部接管。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

与此同时,有消息称Thinking Machines Lab正致力于“重建一个更纯粹的OpenAI”,目标是恢复OpenAI在规模扩大和变得官僚主义之前的开放、自由的研究氛围。

创始人Murati表示,Thinking Machines Lab将是一家公开分享研究成果、给予研究人员更大自由度的公司。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

🔬 什么是Tinker?深度解析微调新范式

简单来说,Tinker是一个为语言模型微调设计的灵活API工具。

它允许研究人员在实验中完全掌控算法和数据细节,同时完全摆脱基础设施管理的困扰。这完全契合了Thinking Machines Lab的愿景:让更多人能够深入研究前沿模型并根据自身需求进行定制。

Tinker首批支持Qwen3和Llama3系列模型。用户在Python代码中只需修改一行字符串,就能轻松切换不同规模的模型进行微调。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker的API暴露了如 `forward_backward` 和 `sample` 这样的底层训练步骤,但同时自动处理了调度、分布式扩展和错误恢复等复杂任务。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

此外,Tinker利用LoRA技术,使得多个训练任务可以共享同一套GPU资源,从而显著降低成本,并支持更多实验并行运行。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

除了云托管服务外,他们还开源了Tinker Cookbook库,其中包含了各种现成的后训练方法实现,供社区参考和使用。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

微软的研究人员深入检查了Tinker的代码库,发现了一些技术细节:

  • 它没有采用DeepSeek提出的GRPO方法,而是使用了更经典的REINFORCE算法,并配合优势函数,未进行梯度裁剪。

简单概括其梯度更新策略为:

新参数 = 原参数 + 学习率 × 优势值 × 对数概率的梯度

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

Tinker一经推出就受到了业界的广泛关注。AI基础设施公司Anyscale的CEO Robert Nishihara等Beta测试者认为,尽管市面上已有其他微调工具,但Tinker在“抽象化和可调性之间取得了卓越的平衡”。

来自普林斯顿、斯坦福、伯克利和Redwood Research的研究团队也已经基于Tinker取得了不少研究成果。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

卡帕西在评论中特别指出,社区仍在探索微调相对于直接Prompt(提示)大模型的优势所在。

从目前的迹象来看,微调不仅仅是为了改变大模型的输出风格,它更侧重于缩小任务范围。尤其是在拥有大量训练样本时,与其为大模型构建复杂的Few-shot Prompt,不如直接微调一个小模型来专门处理特定任务。

越来越多的AI应用正在演变成大型流水线,其中多个大模型相互协作。有些环节可能适合使用提示工程,但更多环节利用微调可能会达到更好的效果。Tinker的出现,正是为了简化微调过程,让研究者能够在流水线的任意环节中快速实验并找到最佳的解决方案。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

🌟 另外一则消息:OpenAI似乎在向Meta靠拢

在Thinking Machines Lab尝试重塑“纯粹的OpenAI”的同时,OpenAI自身似乎正朝着“下一个Meta”的方向发展。

除了基于Sora 2驱动的“AI抖音”传闻外,ChatGPT的App代码中还被扒出正在开发“社交模式”。

具体来说,在“推送通知”功能中,出现了接收来自ChatGPT和“其他用户”发送消息的选项。

“当有人加入或离开聊天时推送通知”的提示,强烈暗示着群聊模式即将到来。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

与社交模式配套的设置头像和昵称功能也已在代码中浮现。

Murati翁荔陈丹琦公司发布首个产品,让大模型微调门槛暴降

没想到,ChatGPT中的“Chat”未来或许也能包含人类之间的互动聊天了。

参考链接:
[1]https://thinkingmachines.ai/blog/announcing-tinker/
[2]https://x.com/lilianweng/status/1973455232341516731
[3]https://x.com/theinformation/status/1973043939667058817
[4]https://x.com/karpathy/status/1973468610917179630
[5]https://x.com/DimitrisPapail/status/1973470706135605534
[6]https://x.com/btibor91/status/1973512279141622185




🚀 想要体验更好更全面的AI调用?

欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,小白也可以简单操作。

0

评论区