📢 转载信息
原文作者：Priyashree Roy, Mofijul Islam, Martyna Shallenberg, Brode Mccrady, Nivedha Balakrishnan, and Randheer Gehlot
本文由Myriad Genetics的Martyna Shallenberg和Brode Mccrady合作撰写。
医疗保健组织在处理和管理大量复杂的医疗文档，同时维持患者护理质量方面面临挑战。这些组织需要有效的文档处理解决方案来满足日益增长的需求。Myriad Genetics是为全球医疗服务提供商和患者提供基因检测和精准医疗解决方案的供应商，正是致力于解决这一挑战。
Myriad的收入工程部门每天处理来自妇女健康、肿瘤学和心理健康部门的数千份医疗文件。公司将收到的文档分类为测试申请表、实验室结果、临床笔记和保险等类别，以实现预授权工作流程的自动化。系统根据识别出的文档类别，将这些文档路由给合适的外部供应商进行处理。他们手动执行关键信息提取（KIE），包括保险详情、患者信息和测试结果，以确定Medicare资格并支持下游流程。
随着文档量的增加，Myriad现有的系统面临挑战。虽然自动化文档分类解决方案有效，但成本高昂且耗时。由于复杂性，信息提取仍然是手动操作。
为了解决高成本和处理速度慢的问题，Myriad需要一个更好的解决方案。
本文将探讨Myriad Genetics如何与AWS生成式AI创新中心（GenAIIC）合作，利用Amazon Bedrock和Amazon Nova基础模型来改造其医疗文档处理流程。我们将详细介绍现有解决方案面临的挑战，以及生成式AI如何降低成本并提高处理速度。
我们将研究使用AWS的开源GenAI智能文档处理（GenAI IDP）加速器解决方案所涉及的技术实施、用于文档分类和关键信息提取的优化策略，以及对Myriad预授权工作流程产生的可衡量业务影响。我们将介绍如何利用提示工程技术、模型选择策略和架构决策，构建一个可扩展的解决方案，以高准确性处理复杂的医疗文档，同时降低运营成本。
限制医疗运营的文档处理瓶颈
Myriad Genetics的日常运营依赖于高效处理包含患者护理工作流程和监管合规性关键信息的复杂医疗文档。他们现有的解决方案结合了Amazon Textract进行光学字符识别（OCR）和Amazon Comprehend进行文档分类。
尽管分类准确率达到了94%，但该解决方案存在运营挑战：
- 运营成本：每页3美分，导致每个业务部门每月产生15,000美元的费用
- 分类延迟：每份文档需要8.5分钟，延迟了下游的预授权工作流程
信息提取完全是手动的，需要上下文理解来区分关键的临床区别（如“是转移性”与“不是转移性”），并从各种文档格式中定位保险号码和患者信息等信息。这种处理负担很大，仅在妇女健康业务部门，客户服务就需要多达10名全职员工每天贡献78小时。
Myriad需要一个解决方案来：
- 在保持或提高准确率的同时降低文档分类成本
- 加速文档处理以消除工作流程瓶颈
- 自动化医疗文档的信息提取
- 扩展到多个业务部门和文档类型
Amazon Bedrock和生成式AI
现代大型语言模型（LLMs）由于在海量文本语料库上进行了预训练，可以高准确率地处理复杂的医疗文档。这种预训练使LLM能够理解语言模式和文档结构，而无需特征工程或大量带标签数据集。Amazon Bedrock是一项完全托管的服务，提供来自领先AI公司的各种高性能LLM。它提供了医疗组织在处理敏感医疗信息时所需的安全、隐私和负责任的AI功能。对于此解决方案，我们使用了亚马逊最新的基础模型：
- Amazon Nova Pro：一种具有成本效益、低延迟的模型，非常适合文档分类
- Amazon Nova Premier：一种具有推理能力的高级模型，用于信息提取
解决方案概述
我们使用AWS的开源GenAI IDP加速器与Myriad一起实施了该解决方案。该加速器提供了一个可扩展的无服务器架构，可将非结构化文档转换为结构化数据。该加速器通过可配置的并发限制并行处理多个文档，而不会使下游服务不堪重负。其内置的评估框架允许用户通过用户界面（UI）提供预期输出并评估生成的用结果，以迭代地定制配置并提高准确性。
该加速器提供一键式部署，并根据不同工作负载、可配置性、成本和准确性要求，提供经过优化的预构建模式供选择：
- 模式1 – 使用Amazon Bedrock Data Automation，这是一项完全托管的服务，提供丰富的开箱即用功能、易用性和简单的按页定价。此模式推荐用于大多数用例。
- 模式2 – 使用Amazon Textract和Amazon Bedrock，以及Amazon Nova、Anthropic的Claude或自定义微调的Amazon Nova模型。此模式非常适合需要自定义逻辑的复杂文档。
- 模式3 – 使用Amazon Textract、Amazon SageMaker以及用于分类的微调模型，并使用Amazon Bedrock进行提取。此模式非常适合需要专门分类的文档。
模式2被证明最适合此项目，它满足了低成本的关键要求，同时通过提示工程和LLM选择提供了优化准确性的灵活性。此模式提供无代码配置——通过配置（可在Web UI中编辑）来自定义文档类型、提取字段和处理逻辑。
我们通过模式2的配置文件定制了文档类、关键属性及其每文档类的定义、LLM选择、LLM超参数以及分类和提取LLM提示。在生产环境中，Myriad将此解决方案集成到他们现有的事件驱动架构中。下图说明了生产管道：
- 文档摄取：传入的订单事件触发从源文档管理系统中检索文档，并对先前处理的文档进行缓存优化。
- 并发管理：DynamoDB跟踪并发的AWS Step Function作业，而Amazon Simple Queue Service (SQS)则对超出并发限制的文件进行排队以进行文档处理。
- 文本提取：Amazon Textract从标准化文档中提取文本、布局信息、表格和表单。
- 分类：配置好的LLM根据配置文件中提供的自定义文档分类提示，分析提取的内容，并将文档分类到适当的类别中。
- 关键信息提取：配置好的LLM使用配置文件中提供的提取提示提取医疗信息。
- 结构化输出：管道以结构化的方式格式化结果，并通过RESTful操作交付给Myriad的授权系统。
使用生成式AI进行文档分类
尽管Myriad现有的解决方案准确率达到94%，但由于文档类型之间存在结构相似性、内容重叠和共享格式模式，仍然会发生分类错误。这种语义模糊性使得区分相似文档变得困难。我们指导Myriad进行了提示优化技术，利用了LLM的上下文理解能力。这种方法超越了模式匹配，实现了对文档上下文和目的的语义分析，识别出人类专家能够识别但以前的自动化系统遗漏了的区别特征。
用于文档分类的AI驱动提示工程
我们开发了具有相似文档类型之间区分特征的类别定义。为了识别这些区别特征，我们将每个类别的文档样本提供给Amazon Bedrock上的Anthropic Claude Sonnet 3.7，并启用了模型推理功能（允许模型展示其分步分析过程）。该模型识别出相似文档类别之间的区别特征，Myriad的主题专家对其进行了完善，并将其纳入GenAI IDP加速器的模式2配置文件中用于文档分类提示。
基于格式的分类策略
我们将文档结构和格式作为关键区分因素，以区分内容相似但结构不同的文档类型。我们使分类模型能够识别特定于格式的特征，例如布局结构、字段排列和视觉元素，从而使系统能够区分仅凭文本内容无法区分的文档。例如，实验室报告和测试结果都包含患者信息和医疗数据，但实验室报告以表格形式显示数值以及参考范围和单位，而测试结果则以叙述格式呈现发现。我们指示LLM：“实验室报告包含以表格形式组织数值结果以及参考范围和单位。测试结果以段落形式呈现发现，并带有临床解释。”
实施负面提示以提高准确性
我们实施了负面提示技术，通过明确指示模型应避免哪些分类来解决相似文档之间的混淆。此方法向分类提示中添加了排除性语言，指定不应与每种文档类型相关联的特征。最初，由于患者病史和实验室测量值之间的混淆，系统频繁地将测试申请表（TRF）错误地分类为测试结果。向TRF定义添加负面提示，如“这些表格包含患者病史。请勿将其与包含当前/最新实验室测量值的测试结果混淆”，使分类准确率提高了4%。通过提供关于常见错误分类模式的明确指导，系统避免了相似文档类型之间的典型错误和混淆。
面向成本和性能优化的模型选择
模型选择决定了大规模部署下的最佳成本效益，因此我们使用GenAI IDP加速器的评估框架对四种基础模型——Amazon Nova Lite、Amazon Nova Pro、Amazon Nova Premier和Anthropic Claude Sonnet 3.7——进行了全面基准测试，测试了跨越测试申请表、实验室结果和保险这三种文档类别的1200份医疗文档。我们使用分类准确率、处理延迟和每文档成本这三个关键指标来评估每种模型。加速器的成本跟踪使得可以直接比较不同模型配置下的运营费用，确保性能提升能转化为大规模部署中的可衡量业务价值。
评估结果表明，Amazon Nova Pro为Myriad的用例实现了最佳平衡。我们从Myriad的Amazon Comprehend实现迁移到使用优化提示的Amazon Nova Pro进行文档分类，取得了显著的改进：分类准确率从94%提高到98%，处理成本降低了77%，处理速度提高了80%——将分类时间从每份文档8.5分钟减少到1.5分钟。
使用生成式AI自动化关键信息提取
Myriad的信息提取是手动的，仅在妇女健康部门就需要多达10名全职员工每天工作78小时，这造成了运营瓶颈和可扩展性限制。自动化医疗KIE带来了挑战：复选框字段需要区分标记样式（勾选、X或手写标记）；文档包含模糊的视觉元素，如重叠标记或跨越多个字段的内容；提取需要上下文理解，才能区分临床区别并在不同文档格式中定位信息。我们与Myriad合作开发了自动化的KIE解决方案，实施了以下优化技术来解决提取的复杂性。
增强的OCR配置以识别复选框
为解决复选框识别挑战，我们在GenAI IDP加速器门户上启用了Amazon Textract的专用TABLES和FORMS功能，如下图中所示，以提高OCR对已选定和未选中复选框元素的区分能力。这些功能增强了系统检测和解释医疗表格中标记样式的能力。
我们通过在提取提示中加入视觉线索来提高准确性。我们更新了提示，加入了“查找方框（✓、x 或手写标记）内或周围的可见标记”等说明，以指导语言模型识别复选框选择。这种增强的OCR功能和定向提示的结合，提高了医疗表格中复选框提取的准确性。
通过少样本示例进行视觉上下文学习
仅配置Textract和改进提示无法有效处理复杂的视觉元素。我们实施了一种多模态方法，将文档图像和从Textract中提取的文本同时发送给基础模型，从而能够同时分析视觉布局和文本内容以做出准确的提取决策。我们通过向模型提供示例文档图像及其预期的提取输出来实现少样本学习，以指导模型理解各种表单布局和标记样式。多个带有正确提取模式的文档图像示例会产生冗长的LLM提示。我们利用GenAI IDP加速器中与Amazon Bedrock的提示缓存功能的内置集成，以降低成本和延迟。提示缓存将冗长的少样本示例在内存中存储5分钟——当在此时间段内处理多个相似文档时，Bedrock会重用缓存的示例而不是重新处理它们，从而同时降低成本和处理时间。
用于复杂提取的思维链推理
虽然这种多模态方法提高了提取准确性，但我们在复杂的表单布局中仍然面临重叠和模糊的勾选标记的挑战。为了在模糊和复杂的情况下表现良好，我们使用了Amazon Nova Premier，并实施了思维链（Chain of Thought）推理，让模型使用思考标签逐步完成提取决策。例如：
分析此表单中的复选框标记： <thinking>
1. 存在哪些复选框？ [列出所有可见选项]
2. 标记位于何处？ [描述标记位置]
3. 哪些标记清晰，哪些模糊？ [评估标记质量]
4. 对于重叠的标记：哪个复选框包含大部分标记？
5. 标记是位于中心还是接触边缘？ [优先考虑中心位置]
</thinking>
此外，我们将推理解释包含在少样本示例中，展示我们如何在模糊情况下得出结论。这种方法使模型能够在做出最终确定之前，通过复杂的视觉证据和上下文线索进行推演，从而提高了处理模糊勾选标记的性能。
通过GenAI IDP加速器对32个具有不同复杂程度的文档样本进行测试表明，启用了Layout、TABLES和FORMS功能的Amazon Textract，结合Amazon Nova Premier的高级推理能力和少样本示例的引入，提供了最佳结果。该解决方案实现了90%的准确率（与人工评估基线准确率相同），同时每份文档的处理时间约为1.3分钟。
结果和业务影响
通过我们的新解决方案，我们实现了满足项目初始阶段确定的业务目标的衡量改进：
文档分类性能：
- 通过对Amazon Nova Pro进行提示优化技术，包括AI驱动的提示工程、基于文档格式的分类策略和负面提示，我们将准确率从94%提高到98%。
- 通过从Amazon Comprehend迁移到使用优化提示的Amazon Nova Pro，我们将分类成本降低了77%（从每页3.1美分降至0.7美分）。
- 通过选择Amazon Nova Pro提供低延迟和高性价比的解决方案，我们将分类时间缩短了80%（从每份文档8.5分钟减少到1.5分钟）。
新的自动化关键信息提取性能：
- 通过结合Amazon Textract的文档分析功能、通过少样本示例进行的视觉上下文学习以及Amazon Nova Premier处理复杂数据的推理能力，我们实现了90%的提取准确率（与人工基线流程相同）。
- 与需要每业务部门多达10名全职员工每天工作78小时的手动基线相比，我们实现了每页9美分的处理成本和每份文档1.3分钟的处理时间。
业务影响和推广
Myriad已计划分阶段推出，首先从文档分类开始。他们计划在妇女健康业务部门推出新的分类解决方案，随后是肿瘤学和心理健康部门。由于我们的工作，Myriad将在文档分类成本上实现高达132,000美元的年度节省。该解决方案将每次预授权提交时间减少了2分钟——专家现在只需四分钟而不是六分钟就能完成订单，因为可以更快地访问标记后的文档。仅在妇女健康部门，这项改进每月就节省了300小时，涉及9,000份预授权，相当于每位预授权专家的50小时。
这些可衡量的改进彻底改变了Myriad的运营，正如其工程领导层所证实的那样：
“与GenAIIC合作，将我们的智能文档处理解决方案从AWS Comprehend迁移到Bedrock是一次变革性的飞跃。通过提高性能和准确性，该解决方案预计每月可节省超过10,000美元。团队与Myriad内部工程团队的紧密合作交付了一个高质量、可扩展的解决方案，而他们在高级语言模型方面的深厚专业知识提升了我们的能力。这是创新与合作推动可衡量业务影响的绝佳范例。”
– Martyna Shallenberg，Myriad Genetics软件工程高级总监
结论
AWS GenAI IDP加速器实现了Myriad的快速实施，提供了一个灵活的框架，缩短了开发时间。医疗保健组织需要定制化的解决方案——该加速器提供了广泛的定制功能，允许用户在不需要大量代码更改或开发过程中频繁重新部署的情况下，根据特定文档类型和工作流程调整解决方案。我们的方法展示了战略性提示工程和模型选择的强大能力。我们通过关注提示设计，包括负面提示和视觉线索，在一个专业领域实现了高准确性。我们通过为分类选择Amazon Nova Pro，为复杂提取选择Nova Premier——为每项特定任务匹配正确的模型，从而优化了成本和性能。
亲自探索该解决方案
希望改进文档处理工作流程的组织可以亲身体验这些好处。为Myriad转型提供动力的开源GenAI IDP加速器可供部署和在您自己的环境中进行测试。该加速器简单的设置过程允许用户快速评估生成式AI如何改变文档处理挑战。
一旦您探索了加速器并看到了它对您工作流程的潜在影响，请联系AWS GenAIIC团队，探讨如何定制和优化GenAI IDP加速器以满足您的具体用例。这种实践方法确保您可以就如何在组织中实施智能文档处理做出明智的决定。
关于作者
Priyashree Roy是AWS生成式AI创新中心的II级数据科学家，她在那里运用她在机器学习和生成式AI方面的专业知识，为战略性AWS客户开发创新解决方案。她以在佛罗里达州立大学获得实验粒子物理学博士学位和在密歇根大学进行博士后研究的经验，严谨的科学方法应用于复杂的业务挑战。
Mofijul Islam是AWS生成式AI创新中心的II级应用科学家和技术主管，他帮助客户利用生成式AI、大型语言模型（LLM）、多智能体学习、代码生成和多模态学习来解决以客户为中心的研究和业务挑战。他拥有弗吉尼亚大学机器学习博士学位，研究重点是多模态机器学习、多语言自然语言处理（NLP）和多任务学习。他的研究发表在NeurIPS、国际学习表征会议（ICLR）、经验方法在自然语言处理（EMNLP）、人工智能与统计学会（AISTATS）和人工智能促进协会（AAAI）等顶级会议上，以及电气电子工程师学会（IEEE）和计算机机械协会（ACM）的期刊上。
Nivedha Balakrishnan是... [内容被截断]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区