📢 转载信息
原文链接：https://www.wired.com/story/thinking-machines-lab-first-product-fine-tune/
原文作者：Will Knight
前OpenAI高管Mira Murati领衔：Thinking Machines Lab发布首款AI微调工具Tinker
由多位著名的前OpenAI研究人员联合创立、并获得巨额资金支持的Thinking Machines Lab（思维机器实验室）公司，近日揭晓了其首款产品——一款名为Tinker的工具，该工具旨在自动化前沿AI模型的定制化创建过程。
Thinking Machines 联合创始人兼首席执行官Mira Murati在接受WIRED采访时表示：“我们相信[Tinker]将帮助研究人员和开发者进行模型实验，使前沿能力对所有人来说都更加容易获取。”
Thinking Machines Lab 创始人 Mira Murati。图片来源：WIRED 员工；Kimberly White；Getty Images
目前，大型科技公司和学术实验室已经在利用开源AI模型进行微调（fine-tune），以创建针对特定任务（如解决数学问题、起草法律协议或回答医疗问题）进行优化的新变体。
通常，这项工作需要获取和管理GPU集群，并使用各种软件工具来确保大规模训练的稳定性和效率。Tinker则承诺通过自动化大部分工作，让更多的企业、研究人员乃至爱好者也能进行自己的AI模型微调。
下一波AI浪潮：模型微调的普及
该团队坚信，帮助人们微调前沿模型将是AI领域的下一个热点。而且，他们有理由相信自己的判断是正确的。Thinking Machines Lab 由深度参与ChatGPT创建的研究人员领导。据我与几位Beta测试人员交谈，与市场上类似工具相比，Tinker的功能更强大且用户友好。
Murati表示，Thinking Machines Lab希望能够揭开训练世界上最强大AI模型所需工作的神秘面纱，让更多人能够探索AI的极限。“我们正在让原本是前沿领域的能力对所有人开放，这绝对是颠覆性的，”她说。“外面有很多聪明人，我们需要尽可能多的聪明人来进行前沿AI研究。”
Tinker的工作原理：简化强化学习
Tinker目前允许用户微调两个开源模型：Meta的Llama和阿里的Qwen。用户可以通过几行代码调用Tinker的API，并通过监督学习（使用带标签数据调整模型）或强化学习（RL，一种通过根据输出给予积极或消极反馈来调整模型的流行方法）开始微调。用户随后可以下载他们微调后的模型，并在任何地方运行。
由于其团队背景的资历深厚，AI行业对这次发布密切关注。
创始团队的强大背景
Murati曾是OpenAI的首席技术官（CTO），并在2023年底董事会罢免Sam Altman后曾短暂担任OpenAI的首席执行官。大约10个月后，她宣布离开该公司。
Murati与其他几位OpenAI的元老共同创立了Thinking Machines Lab，包括OpenAI联合创始人John Schulman；前研究副总裁Barret Zoph；负责安全和机器人研究的Lilian Weng；从事预训练和推理工作的Andrew Tulloch；以及一位后期训练专家Luke Metz。在宣布任何产品之前，该团队就已经吸引了广泛关注：今年7月，这家初创公司宣布已获得高达20亿美元的种子轮融资，使其估值达到了120亿美元。
Schulman主导了通过强化学习对驱动ChatGPT的大型语言模型进行微调的工作。来自人工测试者的输入提供了奖励信号，使模型在进行连贯对话、避免离题回答问题以及避免不良行为方面有了显著提升（尽管仍不完美）。他声称，Tinker将使更多人能够利用强化学习和其他训练技巧，从大型模型中“诱导”出新能力。“我们让人们完全控制训练循环，”Schulman告诉WIRED。“我们抽象化了分布式训练的细节，但仍然让人们完全控制数据和算法。”
Thinking Machines Lab将从周三开始允许用户申请访问Tinker。该公司目前不收取API费用，但预计最终会开始收费。
早期用户反馈积极
该API已对部分Beta用户开放，其中包括Redwood Research的研究员Eric Gan。Redwood Research专注于AI模型带来的风险。Gan表示，他正在使用Tinker的强化学习功能来训练模型编写代码中的后门。
Gan认为，Tinker使得仅通过API难以发现的能力得以被诱导出来。他说，对微调进行调整相对容易。“Tinker绝对比从头开始做RL要简单得多，”Gan指出，并补充说：“如果你有一个非常专业化的任务，而现有模型无法完成，RL尤其有用。”
另一位Beta测试者、Anyscale（一家提供大规模AI项目管理技术的公司）的首席执行官Robert Nishihara表示，虽然市场上已经存在VERL和SkyRL等微调工具，但Tinker提供了抽象化和可调性之间的出色结合。“我认为它是一个很棒的API，很多人都会想使用它，”他说。
对AI开放性的承诺
对开源模型的持续担忧是它们可能被恶意下载和修改。Thinking Machines 目前会对访问其API的用户进行审查，但Schulman表示，该公司最终将引入自动化系统来防范滥用。
Tinker可能是Thinking Machines Lab的首款产品，但该公司已经发布了关于模型训练的基础研究，包括关于如何保持神经网络性能和更高效地微调大型语言模型的进展，这些都被其在Tinker等工具的后台利用。
该公司开放大型模型训练过程的计划，也体现了其对开放性的承诺——这在一个大多数美国AI公司都将最好的模型视为闭源、仅通过API访问的背景下尤为突出。目前，中国拥有的前沿开源AI模型数量超过美国，并且这些模型正被世界各地的许多公司和研究人员使用。
Murati表示，她希望Tinker能够帮助扭转商业AI模型日益封闭的趋势。“如果你考虑前沿实验室正在做什么，以及学术界其他聪明人正在做什么，它们正在变得越来越疏远，”她说。“如果你考虑到这些强大的系统是如何进入世界的，那可不是一件好事。”
更新 25/10/03 下午1:45 ET：本文已更新，以澄清Thinking Machines Lab联合创始人John Schulman的引述内容。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
评论区