📢 转载信息
原文作者：Lisa Rivalin, Emre Tepedelenlioglu, Durga Moparti, Tali Brennan, Shile Ding, Sanjay Gupta, George Wang, Patrick Nease
随着Meta致力于在2030年实现净零排放的目标，我们也在努力为整个行业创建一个衡量碳排放的通用分类法。
- 我们正在分享我们在 2025年OCP欧洲、中东和非洲区域峰会 上提出的新方法论的详细信息，该方法论利用人工智能来改善我们对IT硬件范围三（Scope 3）排放的理解。
- 我们正与OCP PCR工作组合作，将此方法论开源给更广泛的行业使用。这项合作将在2025年OCP全球峰会上公布。
Meta正专注于实现2030年净零排放，了解服务器硬件的碳足迹对于就可持续采购和设计做出明智决策至关重要。然而，由于供应链复杂和供应商数据有限，精确计算碳足迹是一项艰巨的任务。我们数据中心使用的IT硬件是排放的一个重要来源，而与该硬件制造和运输相关的隐含碳（embodied carbon）尤其难以量化。
为了解决这个问题，我们开发了一种方法论，用于估算和跟踪我们数据中心数亿个组件的碳排放量。该方法结合了基于成本的估算、模型估算和组件特定的产品碳足迹（PCF），以详细了解隐含碳排放。这些组件级别的估算根据数据质量进行排序，并在服务器机架级别进行汇总。
通过使用这种方法，我们可以从单个螺钉到整个机架组件等多个粒度级别分析排放量。这个全面的框架使我们能够识别减排影响最大的领域。
我们的最终目标是推动行业采用更可持续的制造实践，并生产低排放的组件。这项倡议强调了高质量数据和与供应商合作的重要性，以提高碳足迹计算的准确性，从而推动更可持续的实践。
我们利用人工智能帮助我们改进此数据库并了解与IT硬件相关的范围三排放，具体方式包括：
- 识别相似组件，并将现有PCF应用于缺乏这些碳估算的相似组件。
- 从异构数据源中提取数据，用于参数化模型。
- 了解IT机架的碳足迹，并利用生成式AI（GenAI）作为分类算法来创建新的标准分类法。此分类法帮助我们使用数据中心设计团队的语言来理解我们设备中的层级结构和热点区域。我们希望与数据中心行业一起迭代这一分类法，并就行业标准达成一致，从而能够比较不同类型和代系硬件的IT硬件碳足迹。
为什么要利用人工智能？
在这项工作中，我们采用了各种AI方法来提高IT硬件范围三排放估算的准确性和覆盖范围。我们的方法利用了自然语言处理（NLP）和大型语言模型（LLM）的独特优势。
NLP用于识别相似组件
在我们的第一个用例（AI识别相似组件）中，我们采用了诸如词频-逆文档频率（TF-IDF）和余弦相似度等各种NLP技术，在有限的、相对较小的数据集中识别模式。具体来说，我们应用此方法来确定不同组件之间的相似性。这种方法使我们能够为这项特定任务开发出高度专业化的模型。
LLM用于数据处理和理解
LLM在大量的文本数据上进行预训练，使其能够学习语言的一般模式和关系。它们会经历一个后训练阶段以适应特定用例，例如聊天机器人。我们将LLM（特别是Llama 3.1）应用于以下三种不同场景：
- 提取和处理信息：从各种数据源中提取信息。LLM的好处是模型可以识别相同信息的不同表示形式，即使它们的格式或措辞不同。（参见提取异构数据部分）
- 理解组件的潜在分组：有助于创建新的分类法。（参见AI驱动的IT硬件排放组件级细分部分）
- 在识别类别后，我们使用LLM严格地根据文本字符串对组件进行分类。与传统AI模型相比，此方法可以为我们节省大量的训练时间，因为LLM可以通过提示工程快速适应处理各种任务。（参见AI驱动的IT硬件排放组件级细分部分）
与第一个用例（需要高度专业化的模型来检测相似性）不同，我们选择LLM用于这三个用例，因为它利用了通用的人类语言规则。这包括处理参数的不同单位、将同义词分组到类别中，以及识别传达相同概念的不同措辞或术语。这种方法使我们能够高效地处理语言中的变化和复杂性，而如果仅使用传统AI，则需要花费更多的时间和精力才能实现。
AI识别相似组件
在分析库存组件时，多个标识符可能代表相同或略有不同的部件是很常见的。这可能是由于生命周期阶段、微小的成分变化或部件的新迭代造成的。
遵循温室气体议定书（GHG Protocol）的PCF是我们引用的最高质量的输入数据，因为它们通常涵盖组件整个生命周期范围内的范围三排放估算。然而，进行一次PCF是一个耗时的过程，通常需要数月时间。因此，当我们收到PCF信息时，确保正确映射所有组件至关重要。
PCF通常与特定的标识符以及聚合组件相关联。例如，可能会针对服务器中的特定电路板进行PCF，但在库存中可能存在该特定组件的多种变体。随着这些项目的子组件通常相同，复杂性增加，这意味着一次PCF的影响可以在整个设备群中显著放大。
为了最大限度地利用PCF的效用，不仅要识别主要组件及其相关子组件，还必须识别可以应用PCF的所有相似部件。如果未识别出这些相似组件，其碳足迹估算将保持在较低的数据质量水平。因此，识别相似组件对于确保我们做到以下几点至关重要：
- 利用PCF信息，确保所有组件的数据质量最高。
- 在数据集中保持一致性，确保相似组件具有相同或紧密对齐的估算值。
- 提高每个组件碳足迹估算的报告可追溯性。
为实现此目的，我们采用了一种专门针对该数据集语言的自然语言处理（NLP）算法，通过分析文本描述并按组件类别过滤结果以确保相关性，来识别可能的替代组件（proxy components）。
该算法通过两种独特的方式识别替代组件：
- 利用新的PCF：当收到新的PCF时，算法将其用作参考点。它分析同一类别内组件的描述名称，以识别具有高相似度百分比的组件。这些相似组件可以映射到代表性的替代PCF，使我们能够将高质量的PCF数据用于相似组件。
- 提高低数据质量组件：对于数据质量得分较低的组件，算法会反向操作并附加额外约束。从低数据质量组件列表中开始，算法会搜索数据质量得分超过某个阈值的估算值。然后可以使用这些高质量的参考来提高原始低分组件的数据质量。
Meta的净零排放团队会审查提议的替代方案，并验证我们将其应用于估算的能力。这种方法提高了组件数据的准确性和一致性，确保高质量的PCF数据在相似组件中得到有效利用，并使我们能够更有效地设计系统以减少与服务器硬件相关的排放。
从异构数据源中提取数据
当无法获得PCF时，我们倾向于避免使用“支出-碳排放”方法，因为这种方法将可持续性与硬件支出过于紧密地联系起来，并且可能因供应链中断等因素的影响而准确性较低。
相反，我们开发了一系列方法来估算这些组件的碳足迹，包括通过参数化建模。要在规模上应用任何模型，我们需要两个基本要素：一个用于扩展排放的确定性模型，以及一份数据输入参数列表。例如，通过了解组件的组成部分碳足迹，我们可以扩展该组件的碳足迹计算。
然而，由于描述数据或信息呈现位置不一致，应用此方法可能会很困难。例如，有关电缆的信息可能存储在不同的表、格式或单位中，因此我们可能因为难以定位输入数据而无法将模型应用于某些组件。
为克服这一挑战，我们利用大型语言模型（LLM）从异构源中提取信息，并将提取的信息注入参数化模型中。这与我们应用NLP的方式不同，因为它侧重于从特定组件中提取信息。扩展通用模型可确保为这些部件提供的估算值与同一系列中的相似部件保持一致，并可为缺失或未对齐的部件提供估算信息。
我们将此方法应用于两个特定类别：内存和电缆。LLM提取相关数据（例如，内存估算的容量和基于物理的电缆长度/类型），并根据提供的公式扩展组件的排放计算。
AI驱动的IT硬件排放组件级细分
我们利用集中的组件碳足迹数据库不仅用于报告排放，还用于推动我们有效部署减排干预措施的能力。对组件级排放进行细粒度分析，使我们能够确定具体的改进领域，并优先开展工作以实现净零排放。例如，如果发现某个特定组件的碳足迹不成比例地高，我们可以探索替代材料或制造工艺来减轻其环境影响。我们还可能决定通过测试或增强组件可靠性来重复使用组件并延长其使用寿命。通过利用组件级别的数据驱动见解并推动积极的设计干预措施以减少组件排放，我们可以在设计新服务器时更有效地优先考虑可持续性。
我们利用物料清单（BOM）以树状结构列出服务器机架中的所有组件，“子”组件节点列在“父”节点下。然而，每个供应商的BOM结构可能不同，因此两个完全相同的机架可能表示方式不同。这与排放估算方法的异构性相结合，使得轻松确定减少组件排放的措施变得具有挑战性。
为解决这一挑战，我们使用AI将机架的描述数据分类为两个层次级别：
- 域级别：将机架按主要功能分组进行高级细分（例如，计算、网络、电源、机械和存储）
- 组件级别：详细细分，突出显示负责大部分范围三排放的主要组件（例如，CPU、GPU、DRAM、闪存等）
我们开发了两个分类模型：一个用于“域”映射，另一个用于“组件”映射。这些映射之间的区别在于训练数据以及提供给每个模型的附加示例集。然后，我们将这两个分类结果结合起来，生成一个互斥的层次结构。
在生成新分类法的探索阶段，我们允许GenAI模型自由运行以识别潜在的分组类别。在与内部硬件专家审查了这些潜在分组后，我们确定了一个固定的大组件列表。一旦确定了此列表，我们就切换到使用严格的GenAI分类模型，步骤如下：
- 对于每个机架，递归地识别贡献最大的部分，将较小的代表性项目分组在一起。
- 运行GenAI互斥分类算法，将组件分组到已识别的类别中。
该方法已在2025年OCP欧洲、中东和非洲区域峰会上提出，目标是推动行业朝着通用的碳足迹排放分类法发展，并开源我们用于创建分类法的方法论。
这些分组是专门为协助碳足迹分析而创建的，而非用于成本分析等其他目的。但是，可以根据需要调整该方法论以适应其他目的。
即将推出：开源我们的分类法和方法论
在我们致力于在2030年实现整个价值链的净零排放的过程中，这种组件级别的细分方法论对于帮助我们了解服务器组件级别的排放至关重要。通过结合高质量的PCF、支出-碳排放数据以及利用AI的各种方法组合，我们可以提高数据质量和覆盖范围，从而更有效地部署减排干预措施。
我们的后续步骤包括开源：
- 服务器机架排放核算的分类法和方法论。
- 使用GenAI分类器的分类法构建器。
- 改进行业内设施报告流程的汇总方法论。
我们致力于与行业分享我们的学习成果，目前正作为与OCP PCR小组合作的一部分，不断发展这一方法论。
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，小白也可以简单操作。
青云聚合API官网https://api.qingyuntop.top
支持全球最新300+模型：https://api.qingyuntop.top/pricing
详细的调用教程及文档：https://api.qingyuntop.top/about
评论区