📢 转载信息
原文作者：Chetan Makvana and Vikram Bansal, Gaurav Kankaria, Omkar Dhavalikar
本文由 Vikram Bansal（塔塔电力）以及 Gaurav Kankaria、Omkar Dhavalikar（Oneture）联合撰写。
随着组织和个人向可再生能源转型，全球对太阳能的采用正在迅速增加。印度正处于太阳能革命的前沿，其国家目标是到 2027 年为 1000 万户家庭提供屋顶太阳能安装服务。然而，随着安装数量激增至数百万，一个关键需求也随之出现：确保每个太阳能电池板系统都得到正确安装和维护。传统的手动检查方法——涉及现场访问、目视检查和纸质文档记录——已成为一个重大的瓶颈。它们容易出现人为错误、标准不一致，并可能造成巨大的时间延迟。为应对这些挑战，塔塔电力技术卓越中心（CoE）与其 AI 分析合作伙伴 Oneture Technologies 合作，利用 Amazon SageMaker AI、Amazon Bedrock 和其他 AWS 服务开发了一个人工智能驱动的太阳能电池板安装检测解决方案。
 |
 |
在本文中，我们将探讨塔塔电力 CoE 和 Oneture Technologies 如何使用 AWS 服务来自动化端到端的检测流程。
挑战
随着塔塔电力扩大其太阳能电池板安装规模，当前流程出现了一些关键挑战：
耗时的手动检测： 传统的检测流程要求工程师对每个电池板进行目视检查并手动记录发现。这种方法非常耗时，并且容易出现人为错误。工程师必须仔细检查安装的多个方面，从电池板对齐到布线连接，这使得整个过程冗长且精神上负担沉重。
有限的可扩展性： 当前的手动检测流程无法跟上快速增长的安装量，在检测能力和需求之间造成了日益扩大的差距。随着塔塔电力着手处理数百万的新安装项目，手动流程的局限性变得越来越明显，可能会在安装过程中造成瓶颈。
不一致的质量标准： 在不同地点部署多个检测团队影响了统一质量标准的维护。不同的团队可能会以不同的方式解释和应用质量指南，导致评估的执行和文档记录方式存在差异。这种缺乏标准化使得难以在所有安装中实现一致的质量。
客户升级事件增加： 不一致的安装质量和完工延迟导致客户投诉和升级事件不断增加。这些问题直接影响了客户体验，客户对质量标准的差异和等待时间的延长表示不满。
解决方案概述
实施一个人工智能驱动的检测系统，需要在六个不同的太阳能安装组件上执行超过 22 项不同的检查，这需要复杂的技术解决方案。检测标准范围很广，从简单的目视验证到需要专业方法来检测微小缺陷、验证放置精度和评估安装完整性的复杂质量评估。由于缺乏捕获图像的标准操作程序 (SOP)，导致数据集中的角度、光照、物体距离和背景杂乱程度存在差异，这进一步复杂化了流程。一些标准有大量的训练数据，而另一些则数据有限且不平衡，使得模型泛化变得困难。某些安装标准要求准确的距离测量，例如验证组件是否以正确的**高度**安装或元素之间是否保持适当的间距。传统计算机视觉模型在没有专用传感器或深度估计能力支持的情况下，对于这些基于度量的评估显得力不从心。检查需求的多样性要求采用复杂的多模型方法，因为没有单一的计算机视觉模型可以充分解决所有检查标准。一个基本方面在于将每个检查标准仔细映射到其最合适的 AI 模型类型，从用于组件存在验证的目标检测到用于详细分析的语义分割，并结合基于生成式 AI 的推理来处理复杂的解释任务。
为应对这些挑战，塔塔电力 CoE 与 Oneture 合作，使用 AWS 服务创建了一个安全、可扩展且智能的检测平台。在技术开发之前，团队进行了广泛的实地研究，以了解现实世界的安装条件。这种方法揭示了关键的运营现实：安装发生在光照条件差的狭小空间内，设备在不同站点差异很大，图像质量常常因环境因素而受到影响（如下图所示）。在实地观察中，一个关键的见解浮现：某些检测要求，特别是像逆变器与墙壁之间的间隙等测量，需要超越基本目标检测的复杂空间分析能力。
图 1：太阳能电池板组件的示例图像
该解决方案包括用于大规模训练和推理的 SageMaker AI、用于数据标记的 Amazon SageMaker Ground Truth、用于图像理解和建议的 Amazon Bedrock、用于 OCR 的 Amazon Rekognition 以及其他 AWS 服务。下图说明了解决方案架构。
图 2：解决方案架构
使用 Amazon SageMaker Ground Truth 进行数据标记
准确的 AI 驱动检测的基础是高质量的训练数据。为实现全面的模型覆盖，团队收集了超过 20,000 张图像，捕捉了各种现实世界场景，包括不同的光照条件和不同的硬件状况。他们选择 SageMaker Ground Truth 作为他们的数据标记解决方案，利用其功能来创建自定义注释工作流程并有效管理标记过程。SageMaker Ground Truth 通过其人工干预工作流程功能，在维护数据质量方面发挥了重要作用。其内置的验证机制，包括分层和随机抽样，有助于确保数据集的稳健性。塔塔电力的质量保证专家通过 SageMaker Ground Truth 界面直接审查标记数据，提供了额外的验证层。对数据质量的这种细致关注至关重要，因为即使是轻微的视觉错误分类也可能触发错误的保修索赔或安装拒绝。
使用 Amazon SageMaker AI 进行模型训练
为选择和训练正确的模型，团队利用了 SageMaker AI 全面的机器学习能力来简化实验和生产部署。SageMaker AI 为快速原型设计提供了理想的环境——团队可以快速启动 Jupyter Notebook 实例，并利用它们来评估各种用于目标检测、模式分类、OCR 和空间估计任务的架构。通过这次实验，他们选择了 YOLOv5x6 作为主要模型，该模型在从高分辨率安装图像中识别小型太阳能电池板组件方面特别有效。最初跨越 1.5 个月的训练过程，通过并行实验和自动化工作流程得到了优化，从而实现了简化的 2 天迭代周期。通过超过 100 次训练作业，团队发现了有助于显著提高模型性能的关键见解。他们发现，提高输入图像分辨率可以提高小目标检测的准确性，而实施对亮度、模糊度等图像质量因素的预处理检查则有助于保持结果一致性。边缘案例通过生成式 AI 模型得到战略性处理，使计算机视觉模型能够专注于主流场景。通过分析检查标准的重叠情况，团队成功地将最初的 22 个检查点整合到 10 个高效模型中，从而优化了处理时间和成本。
Amazon SageMaker Pipelines 实现了从现场性能数据快速获得反馈，并通过联邦学习方法无缝整合学习到的经验。团队可以快速调整超参数、微调置信度阈值，并使用 F1 分数和交并比 (IoU) 等指标评估模型性能，同时保持先进的准确性标准。这种简化的方法将复杂、多方面的训练过程转变为敏捷的、可投入生产的解决方案，有能力在规模上满足严格的质量要求。
图 3：F1 置信度曲线
使用 Amazon SageMaker AI 进行大规模模型推理
部署模型对塔塔电力提出了独特的要求，特别是在处理从网络连接不可靠的偏远地区捕获的高分辨率图像时。虽然 SageMaker AI 实时推理功能强大，但它存在与塔塔电力需求不符的特定限制，例如端点调用的 60 秒超时和 6 MB 的最大有效载荷大小。这些限制可能会影响高分辨率检测图像和复杂推理逻辑的处理。
为解决这些操作限制，团队实施了 SageMaker AI 异步推理，这被证明是其分布式检测工作流程的理想解决方案。推理能力处理大有效载荷大小，适应了高分辨率检测图像而无需压缩，有助于确保分析过程中没有丢失任何细节。端点根据传入的请求量自动扩展，优化了性能和成本效益。
使用 SageMaker Pipelines 保持模型准确性
为确保模型在生产中持续保持性能，团队实施了一个使用 SageMaker AI 的自动化再训练系统。该系统持续监控模型预测，当置信分数低于预定阈值时自动触发数据收集。这种模型维护方法有助于对抗模型漂移，并确保随着现场条件的演变，系统保持准确。基于 SageMaker Pipelines 构建的再训练流水线自动化了从数据收集到生产部署的整个过程。当收集到新训练数据时，流水线编排了一系列步骤：数据验证、模型再训练、在暂存环境中进行性能评估，最后通过持续集成和交付 (CI/CD) 集成，受控地部署到生产环境。
使用 Amazon Rekognition 进行 OCR
虽然自定义机器学习模型为塔塔电力的检测平台提供了大部分动力，但 CoE 团队认识到，某些任务可以使用 Amazon Rekognition 更高效地解决，例如在检测过程中读取欧姆表读数，如下下图所示。
图 4：欧姆表
通过集成 Amazon Rekognition 的 OCR 功能，团队避免了耗时的自定义 OCR 模型开发和训练过程，同时仍达到了生产使用所需的先进准确性水平。
使用 Amazon Bedrock 增强检测流程
虽然计算机视觉模型对大多数检测点提供了先进的准确性，但在涉及图像中极小物体、可变相机角度和部分遮挡元素的特定场景中存在局限性。为解决这些限制，团队实施了 Amazon Bedrock 来增强检测流程，重点关注需要超越传统计算机视觉的额外智能的六项关键标准。Amazon Bedrock 在启动计算机视觉推理操作之前，启用了一个关键的预检阶段。该预推理系统评估三个关键图像质量参数：可见清晰度、物体遮挡状态和捕获角度适用性。当图像不符合这些质量基准时，系统会自动触发以下两种响应路径之一——要么将图像标记为需要立即重新捕获，要么通过专业生成式 AI 推理流程进行路由。这种智能预筛选机制通过防止对非最佳图像进行不必要的推理周期，优化了计算效率，同时也帮助确保了准确检测结果所需的高质量输入。
为了形成闭环，Amazon Bedrock Knowledge Bases 从内部指南文档中提供实时、情境化的指导。这种自动化的反馈循环加快了检测周期，并通过在检测点提供即时、可操作的建议来提高安装质量。
移动应用程序
该移动应用程序专为现场使用而设计，提供了一个直观的界面，使工程师能够通过简化的工作流程高效地完成安装检测。有了这个应用程序，现场工程师可以通过单一界面捕获安装照片、接收即时分析结果并验证 AI 发现。
成果与影响
AI 驱动的自动化检测工具的实施为塔塔电力的太阳能安装运营带来了可衡量的改进。
- 该解决方案在大多数检测点实现了超过 90% 的 AI/ML 准确性，目标检测精度达到 95%，从而能够近乎实时地向渠道合作伙伴提供反馈，而不是延迟的离线审查。
- 自动化质量检查现在可以即时验证大多数安装，显著减少了手动检测需求。AI 模型训练仍在继续提高检测丢失检查点的准确性。
- 复检率下降了 80% 以上。这些效率的提高带来了更快的现场移交，直接改善了客户满意度指标。
- 自动化系统提供即时反馈的能力提高了渠道合作伙伴的生产力和满意度，从而使从初始设置到最终客户移交的安装流程更加顺畅。
结论
在本文中，我们解释了塔塔电力 CoE、Oneture Technologies 和 AWS 如何将传统的手动检测流程转变为高效的、AI 驱动的解决方案。通过使用 Amazon SageMaker AI、Amazon Bedrock 和 Amazon Rekognition，该团队成功地自动化了太阳能电池板安装检测，实现了超过 90% 的准确率，同时将复检率降低了 80%。请参阅以下资源以了解更多信息：
- 访问 AWS 社区，了解我们的构建者社区如何在他们的解决方案中使用 Amazon SageMaker AI 和 Amazon Bedrock。
- 了解更多关于 Amazon SageMaker AI
- 了解更多关于 Amazon Bedrock
关于作者
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区