📢 转载信息
原文作者:Daniel Dominguez
Thinking Machines 公司最近发布了 Tinker API,这是一个专为开源权重语言模型微调设计的服务。该服务的核心目标是减轻开发人员的基础设施开销,提供统一管理的调度、GPU 分配和检查点处理功能。通过将集群管理工作抽象化,Tinker 允许开发者仅通过简单的 Python 调用即可完成模型微调。
Tinker 的关键特性与优势
广泛的模型支持与简化操作
Tinker 支持从小型模型到大型的专家混合模型(MoE),例如 Mixture-of-Experts 系统,如 Qwen-235B-A22B。开发者只需在 Python 代码中更改一个字符串,即可启动模型微调流程。
灵活的底层构建块
该 API 提供了诸如 forward_backward
和 sample
等底层原语(primitives),这些原语充当了训练后方法(post-training methods)的灵活构建块。平台集成了 LoRA 技术,以确保在并行微调运行时能高效利用 GPU 内存,这对于资源有限的研究小组和团队尤其实用。
开源资源与生态建设
Thinking Machines 还发布了 Tinker Cookbook,这是一个开源代码库,使用 Tinker API 实现常见的微调技术,包括强化学习方法和偏好优化工作流程。普林斯顿大学、斯坦福大学、加州大学伯克利分校和 Redwood Research 等机构的早期用户已将 Tinker 应用于定理证明、化学推理和多智能体强化学习等任务。
与现有工具的对比
Tinker 面临着一些成熟的微调解决方案的竞争,例如 Hugging Face 的 Trainer API、OpenAI 的微调端点,以及 MosaicML 的 Composer。尽管这些框架提供了更高级别的抽象或专注于特定的训练管道,但 Tinker 的独特之处在于它侧重于暴露可组合成新方法的底层原语,从而在不需要管理基础设施的前提下,为开发者提供了更高的控制力。
行业反馈
早期社区反馈凸显了 Tinker 在灵活性和简单性之间取得的平衡。AI 专家 Ignacio de Gregorio 评价道:
这绝对是惊人的。RLaaS(强化学习即服务)是企业目前所缺乏的,而它在提供服务的同时,将最反企业的分布式训练部分外包出去了。
Thinking Machines 创始人 Mira Murati 在社交媒体上表示:
Tinker 为研究人员带来了前沿工具,它提供了简洁的抽象层,用于编写实验和训练管道,同时处理了分布式训练的复杂性。它使得新颖的研究、定制模型和可靠的基准测试成为可能。
获取方式
Tinker 目前处于私有 Beta 阶段。早期访问是免费的,预计后续将采用基于使用量的定价模式。开发者和研究小组可以直接向 Thinking Machines 申请访问权限。
🚀 想要体验更好更全面的AI调用?
欢迎使用青云聚合API,约为官网价格的十分之一,支持300+全球最新模型,以及全球各种生图生视频模型,无需翻墙高速稳定,小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型:https://api.qingyuntop.top/pricing
详细的调用教程及文档:https://api.qingyuntop.top/about
评论区