📢 转载信息
原文链接：https://blogs.nvidia.com/blog/snap-accelerated-data-processing/
原文作者：Sid Sharma
社交媒体应用（如 Snapchat）上的功能更新速度几乎和潮流的演变一样快。为了跟上步伐，其母公司 Snap 在 Google Cloud 服务上采用了 NVIDIA 的开放数据处理库来加速开发。
Snap 发布的每一项新功能，在正式上线前都会经过一系列受控实验。在这个 A/B 测试周期中，开发团队会与一部分用户研究不同的变量，测量近 6000 项指标，以分析用户参与度、应用性能和盈利能力。
Snap 每月进行数千次此类实验——在每天早晨的三小时窗口内，使用 Apache Spark 分布式框架处理超过 10 PB 的数据。通过采用 由 NVIDIA cuDF 加速的 Apache Spark，该公司正在 NVIDIA GPU 上提升这些数据处理工作负载，在相同的机器数量下实现了 4 倍的运行时速，提供了一条经济高效的扩展途径。
通过将 NVIDIA 的 GPU 优化软件（包括 NVIDIA CUDA-X 库）与 Google Kubernetes Engine 等 Google 的基础设施管理服务相结合，Snap 正在利用一个全栈平台进行大规模数据处理。
Snap 高级工程经理 Prudhvi Vatala 表示：“实验是我们公司的核心。将我们的数据基础设施从 CPU 迁移到 GPU，使我们能够随着时间的推移，有效地将这种实验扩展到更多的功能、更多的指标和更多的用户。我们能够运行的实验越多，就能为 Snapchat 用户提供越具创新性的体验。”
可持续的扩展之道
Snapchat 的用户经常会看到应用中出现新功能——从到达通知到 AI 生成的贴纸——但 Snap 也在不断推出后台更新，例如性能优化和新操作系统版本的兼容性更新。
所有这些新功能的 A/B 测试现在都在 cuDF 上运行，它允许开发人员在 NVIDIA GPU 上运行现有的 Apache Spark 应用程序，无需代码更改即可轻松部署。这个用于加速数据处理的开放库，建立在 NVIDIA cuDF GPU DataFrame 库 的强大功能之上，并将其扩展到 Apache Spark 分布式计算框架。
通过这次迁移，Snap 团队——根据 1 月 1 日至 2 月 28 日期间收集的 Snap 内部数据——与仅使用 CPU 的工作流相比，使用 Google Kubernetes Engine 上的 NVIDIA GPU 实现了 76% 的日常成本节约。
Vatala 说：“我们原计划了一个雄心勃勃的扩展实验路线图，按照我们现有的基础设施，这将导致计算成本爆炸式增长。切换到使用 cuDF 的 GPU 加速管道，让我们能够压平扩展曲线，结果是惊人的。”
为了支持工作负载迁移，该团队还利用了 cuDF 的微服务套件，该套件可以自动对 Spark 工作负载进行资格认证、测试、配置和优化，以便进行大规模 GPU 加速。
通过与 NVIDIA 专家合作，Snap 团队在 Google Cloud 的 G2 虚拟机上优化了其管道，这些虚拟机由 NVIDIA L4 GPU 提供支持。根据 Snap 在 1 月 1 日至 3 月 13 日期间收集的数据，这些虚拟机仅需要 2100 个 GPU 并发运行——而最初的预测是需要大约 5500 个 GPU 并发运行。
A/B 测试团队的后端工程师 Joshua Sambasivam 说：“当我看到初步实验的结果时，它们简直令人难以置信——我们的成本节约比预期的要高得多。Spark 加速器非常适合我们的工作负载。”
展望未来，Snap 团队计划将 Spark 加速器扩展到 A/B 测试团队之外，应用于更广泛的生产工作负载。
Vatala 表示：“我们没想到会拥有这样一座金矿。我们到目前为止已经迁移了两个最大的管道，但前方还有很多机会。”
您可以通过观看 Vatala 在 NVIDIA GTC 上的演讲 来了解更多信息，该演讲将于太平洋时间 3 月 17 日星期二下午 1 点举行。
阅读更多关于 NVIDIA cuDF 的信息，并开始使用 Apache Spark 的 GPU 加速。
上图由 Snap 提供，描绘了其地图功能的 A/B 测试。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区