基于Amazon Nova Sonic的AI语音点餐系统：打造智能化的汽车穿梭餐厅体验

📢 转载信息

原文链接：https://aws.amazon.com/blogs/machine-learning/voice-ai-powered-drive-thru-ordering-with-amazon-nova-sonic-and-dynamic-menu-displays/

原文作者：Salman Ahmed, Sergio Barraza, Ravi Kumar, Ankush Goyal, Leland Johnson

---

# 利用Amazon Nova Sonic和动态菜单展示，实现AI语音驱动的汽车穿梭餐厅点餐体验 人工智能（AI）正在颠覆快餐服务（QSR）行业，特别是在对效率和客户满意度要求极高的汽车穿梭（Drive-Thru）运营环节。传统的点餐系统在服务交付方面存在诸多障碍，包括人员短缺、订单准确性问题以及跨门店服务体验不一致。这些挑战，加上劳动力成本上升和需求波动，促使该行业积极寻求创新解决方案。 在本文中，我们将演示如何利用 **Amazon Nova Sonic** 和一系列AWS服务来部署一个智能化的QSR汽车穿梭解决方案。我们将引导您构建一个集成了语音AI与交互式菜单显示的智能系统，提供所需的技术洞察和实施指南，以帮助餐厅实现汽车穿梭业务的现代化。 对于QSRs而言，高峰时段的压力尤为突出，漫长的等待时间和客户与员工之间的沟通不畅会严重影响业务表现。常见的痛点包括订单准确性下降、不同班次的服务质量波动，以及难以应对突发的客户需求高峰。如今的消费者期望获得与数字点餐系统同等顺畅、高效的服务体验，这为语音AI技术提供了前所未有的机遇，以支持24/7不间断服务和一致的服务质量。 **Amazon Nova Sonic** 是 **Amazon Nova** 系列中的一个**基础模型（FM）**，专为语音启用应用而设计。开发者可以通过 **Amazon Bedrock** 使用Nova Sonic，创建能够理解口语、处理复杂对话交互并实时生成适当响应的应用程序。这款创新的语音到语音模型通过以下能力解决了传统语音应用的挑战： * 准确识别带有各种口音的流式语音，并能抵抗背景噪音。 * 根据用户的语气和情感调整语音响应。 * 支持双向流式语音输入/输出，用户感知延迟极低。 * 具备优雅的打断处理和自然的回合切换能力。 * 具备行业领先的价格性能比。 当与AWS无服务器服务集成时，Nova Sonic能够提供自然、类人声的语音交互，从而改善汽车穿梭体验。该架构创造了一个成本效益高的系统，通过智能自动化增强了服务的稳定性和运营效率。 ## 解决方案概览 我们的语音AI驱动的汽车穿梭解决方案构建了一个智能点餐系统，它将实时语音交互与稳健的后端基础设施相结合，提供自然的客户体验。该系统实时处理语音，理解各种口音、说话风格和汽车穿梭环境中常见的背景噪音。将语音命令与交互式菜单显示集成，增强了用户反馈，并通过减少口头交流来简化点餐流程。 该系统基于AWS无服务器架构构建，集成了关键组件，包括使用 **Amazon Cognito** 进行身份验证和**基于角色的访问控制**；使用 **AWS Amplify** 部署数字菜单板；使用 **Amazon API Gateway** 促进对 **Amazon DynamoDB** 表的访问；使用 **AWS Lambda** 函数结合 **Amazon Nova Canvas** 进行菜单图片生成；以及使用 **Amazon Simple Storage Service (Amazon S3)** 配合 **Amazon CloudFront** 进行图片存储和分发。 下图展示了这些服务如何相互连接，以实现客户从进入汽车穿梭通道到完成订单的整个旅程中，与数字菜单板之间的自然对话：

让我们深入探讨每个组件如何协同工作，为这个智能点餐系统提供动力。 ## 先决条件 要完成本文中的解决方案部署，您需要具备以下条件： * 一个 **AWS 账户** * 在Amazon Bedrock中拥有Amazon Nova Sonic和Amazon Nova Canvas的FM访问权限，并且位于您部署此解决方案的AWS区域内 * 已从 **aws-samples GitHub 仓库** 下载配套的AWS CloudFormation模板 ## 使用AWS CloudFormation部署解决方案资源 请在Amazon Bedrock **可用** 并且支持以下模型的AWS区域中部署CloudFormation模板：Amazon Nova Sonic 和 Amazon Nova Canvas。 该解决方案包含两个协同工作的CloudFormation模板，共同创建一个完整的餐厅汽车穿梭点餐系统。`nova-sonic-infrastructure-drivethru.yaml` 模板建立了基础的AWS基础设施，包括Cognito用户身份验证、带CloudFront CDN的S3存储（用于菜单图片）、用于菜单项和客户数据的DynamoDB表，以及带有正确CORS配置的API Gateway端点。`nova-sonic-application-drivethru.yaml` 模板在此基础上构建，部署了一个Lambda函数，该函数使用Amazon Nova Canvas AI模型自动为每个菜单项（如汉堡、鸡翅、薯条、饮料、酱料和套餐）生成专业的食物照片，并将其存储在S3桶中，通过CloudFront分发。 在部署第一个CloudFormation模板 `nova-sonic-infrastructure-drivethru.yaml` 时，您需要指定以下参数： * Stack name (堆栈名称) * Environment – 部署环境：dev, staging, 或 prod（默认为dev） * UserEmail – 用户的有效电子邮件地址（必需） **重要提示：** 在部署前，您必须在 Amazon Bedrock 控制台中启用对所选的Amazon Nova Sonic模型和Amazon Nova Canvas模型的访问权限。 AWS资源使用会产生费用。部署完成后，将部署以下资源： * **Amazon Cognito 资源：** * 用户池 – CognitoUserPool * 应用客户端 – AppClient * 身份池 – CognitoIdentityPool * 用户组 – AppUserGroup * 用户 – AppUser * **AWS Identity and Access Management (IAM) 资源：** * AWS 身份和访问管理 (IAM) 资源： * IAM 角色： * AuthenticatedRole * DefaultAuthenticatedRole * ApiGatewayDynamoDBRole * LambdaExecutionRole * S3BucketCleanupRole * **Amazon DynamoDB 表：** * MenuTable – 存储菜单项、定价和定制选项 * LoyaltyTable – 存储客户忠诚度信息和积分 * CartTable – 存储活动会话的购物车数据 * OrderTable – 存储已完成和待处理的订单 * ChatTable – 存储已完成的聊天详情 * **Amazon S3、CloudFront 和 AWS WAF 资源：** * MenuImagesBucket – 用于存储菜单项图片的S3桶 * MenuImageCloudFrontDistribution – 用于全球内容分发的CloudFront分发 * CloudFrontOriginAccessIdentity – CloudFront与S3之间的安全访问控制 * CloudFrontWebACL – 带有安全规则的CloudFront分发WAF保护 * **Amazon API Gateway 资源：** * REST API – app-api，配置了Cognito授权 * API 资源和方法： * /menu (GET, OPTIONS) * /loyalty (GET, OPTIONS) * /cart (POST, DELETE, OPTIONS) * /order (POST, OPTIONS) * /chat (POST, OPTIONS) * API 部署到指定的环境阶段 * **AWS Lambda 函数：** * S3BucketCleanupLambda – 在堆栈删除时清理S3桶 * **CloudFormation 自定义资源：** * S3BucketCleanup – 触发 S3BucketCleanupLambda 部署完CloudFormation模板后，请从AWS CloudFormation控制台的 **Outputs (输出)** 选项卡复制以下内容，以供配置前端应用程序使用： * cartApiUrl * loyaltyApiUrl * menuApiUrl * orderApiUrl * chatApiUrl * UserPoolClientId * UserPoolId * IdentityPoolId 下面的屏幕截图显示了 **Outputs** 选项卡的外观：

这些输出值对于配置前端应用程序（通过AWS Amplify部署）以连接到后端服务至关重要。API URL将用于执行REST API调用，而Cognito ID将用于用户身份验证和授权。 在部署第二个CloudFormation模板 `nova-sonic-application-drivethru.yaml` 时，您需要指定以下参数： * Stack name (堆栈名称) * InfrastructureStackName – 此堆栈名称必须与您之前使用 `nova-sonic-infrastructure-drivethru.yaml` 部署的名称相匹配 部署完成后，将部署以下资源： * **AWS Lambda 函数：** * DriveThruMenuLambda – 用于填充菜单数据并生成AI图像 * **CloudFormation 自定义资源：** * DriveThruMenuPopulation – 触发 DriveThruMenuLambda 成功部署两个CloudFormation模板后，您将拥有一个功能完备的餐厅汽车穿梭点餐系统，具备AI生成的菜单图片、完整的身份验证以及可供Amplify前端部署使用的API端点。 ## 部署Amplify应用程序 您需要使用GitHub上的前端代码手动部署Amplify应用程序。请完成以下步骤： 1. 从[GitHub](https://github.com/aws-samples/sample-voice-ai-powered-drive-thru-with-amazon-nova-sonic)下载前端代码 NovaSonic-FrontEnd.zip。 2. 使用该.zip文件在Amplify中手动[部署](https://docs.aws.amazon.com/amplify/latest/userguide/manual-deploys.html)应用程序。 3. 返回Amplify页面，使用其自动生成的域名访问应用程序。 ## 用户身份验证 该解决方案利用Amazon Cognito用户池和身份池，为餐厅的数字菜单板实施了安全的、基于角色的访问控制。用户池通过 AppUserGroup 处理身份验证和组管理，身份池则提供映射到特定IAM角色的临时AWS凭证，包括 AuthenticatedRole。系统确保只有经过验证的数字菜单板用户才能访问应用程序并与菜单API、购物车管理、订单处理和忠诚度服务进行交互，同时也保证了对Amazon Bedrock的安全访问。这在提供直观点餐体验的同时，也保障了餐厅运营的稳健安全。 ## 无服务器数据管理 该解决方案采用无服务器API架构，使用Amazon API Gateway创建一个单一的REST API (app-api)，促进前端界面与后端服务之间的通信。该API包含五个资源端点 ((/menu, /loyalty, /cart, /chat,/order))，均配置了基于Cognito的身份验证，并直接与DynamoDB集成进行数据操作。后端利用五个DynamoDB表：MenuTable 存储菜单项和定价，LoyaltyTable 存储客户资料和积分，CartTable 存储活动购物会话，ChatTable 记录聊天历史，以及 OrderTable 用于订单跟踪和历史记录。这种架构提供了大规模下的快速、一致的性能，并通过全局二级索引支持按客户ID和订单状态进行高效查询，以优化汽车穿梭操作。 ## 菜单和图像生成与分发 该解决方案使用Amazon S3和CloudFront进行菜单项图片的安全性、全球化内容交付。CloudFormation模板创建了一个 MenuImagesBucket，通过CloudFront源访问身份（Origin Access Identity）进行访问限制，确保图片通过CloudFront分发安全快速地加载到全球各地。AWS Lambda通过 DriveThruMenuLambda 函数驱动了AI内容生成，该函数在堆栈部署期间自动填充示例菜单数据，并使用Amazon Nova Canvas生成高质量的菜单项图片，从经典汉堡到特色鸡翅，确保了整个菜单的视觉一致性。该Lambda函数与DynamoDB集成以存储生成的图片URL，并使用S3进行持久化存储，形成了一个完整的自动化工作流程，可根据需求扩展，并通过按使用付费定价优化成本。 ## 语音AI处理 该解决方案以 **Amazon Nova Sonic** 作为核心语音AI引擎。数字菜单板通过安全的WebSocket连接与Amazon Nova Sonic直接集成，实现对客户语音输入的即时处理，并将其转换为结构化的点餐数据。CloudFormation模板为 AuthenticatedRole 配置了IAM权限，以访问 `amazon.nova-sonic-v1:0` 基础模型，允许经过身份验证的用户与语音AI服务交互。Nova Sonic处理复杂的自然语言理解和意图识别，处理客户请求（如菜单查询、订单修改和项目定制），并在整个点餐过程中保持对话上下文。这种直接集成最大限度地减少了延迟问题，为客户提供了可媲美人工对话的自然点餐体验，同时保证了跨汽车穿梭地点的服务可靠性。 ## 数字菜单板的托管 AWS Amplify将数字菜单板界面作为可扩展的前端应用程序进行托管和交付。该界面通过CloudFront显示AI生成的菜单图片，并实时从DynamoDB获取价格，针对汽车穿梭环境进行了优化。基于React的应用程序在高峰时段自动扩展，利用CloudFront提供的全球内容分发网络实现快速加载。它集成了Amazon Cognito进行身份验证，与Amazon Nova Sonic建立WebSocket连接进行语音处理，并使用API Gateway端点进行菜单和订单管理。这种无服务器解决方案保持了高可用性，并在客户通过语音命令进行交互时提供实时视觉更新。 ## WebSocket连接流程 下面的序列图说明了启用直接浏览器到Nova Sonic通信的WebSocket连接设置。该架构利用了AWS SDK [更新](https://github.com/aws/aws-sdk-js-v3/releases/tag/v3.842.0)（client-bedrock-runtime v3.842.0），该更新在浏览器中引入了WebSocketHandler支持，从而无需服务器即可完成连接。

这项进展允许前端应用程序与Nova Sonic建立直接的WebSocket连接，减少了延迟和复杂性，同时在浏览器中实现了实时对话式AI。初始化过程包括凭证验证、Bedrock客户端建立、AI助手配置以及[音频输入](https://docs.aws.amazon.com/nova/latest/userguide/input-events.html)设置（16kHz PCM）。这种直接的客户端到服务通信代表了传统架构的转变，提供了更高效、可扩展的对话式AI应用。 ## 语音交互与动态菜单 下面的序列图展示了一个客户查询汉堡的流程，演示了自然语言请求如何被处理，以提供同步的音频响应和视觉更新。

此图展示了查询 ("Can you show me what burgers you have?") 是如何被处理的。Nova Sonic调用 getMenuItems ({category: "burgers"}) 来检索菜单数据，同时前端应用组件获取并构建汉堡项目和价格。Nova Sonic生成上下文响应并触发 showCategory ({category: "burgers"}) 来高亮显示UI中的汉堡区域。这个过程促成了音频响应和视觉菜单更新之间的实时同步，在整个对话中为客户创造了无缝的体验。 ## 汽车穿梭解决方案演练 在AWS Amplify中部署应用程序后，在浏览器中打开生成的URL。您将看到两个设置选项：Choose Sample（选择示例）和 Manual Setup（手动设置）。选择 Choose Sample，然后从示例列表中选择 AI Drive-Thru Experience，再选择 Load Sample。这将自动导入系统的系统提示（system prompt）、工具（tools）和工具配置。我们将在以下步骤中配置这些设置。 在选择 Load Sample 后，系统将提示您配置连接设置。您需要使用CloudFormation堆栈输出中的Amazon Cognito和API Gateway信息。这些值是必需的，因为它们将数字菜单板连接到后端服务。 输入从CloudFormation输出 (nova-sonic-infrastructure-drivethru.yaml) 中复制的配置值。这些值分为两个部分，如下面的视频所示。在每个部分输入配置详情后，选择屏幕顶部的 Save 按钮。 **Amazon Cognito 配置：** * UserPoolId * UserPoolClientId * IdentityPoolId

**代理（Agent）配置：** * Auto-Initiate Conversation – Nova Sonic默认设置为等待您开始对话。但是，您可以通过勾选“Enable auto-initiate”框来启用自动对话启动。有一个存储在本地的预录制的“Hello”可供使用。

* 工具全局参数： * menuAPIURL * cartAPIURL * orderAPIUR * loyaltyAPIURL * chatAPIURL

完成配置后，点击页面顶部的 Save and Exit 按钮。此操作会将您重定向到登录屏幕。要访问系统，请使用在CloudFormation部署期间提供给您的电子邮件地址自动生成并发送给您的用户名 appuser 和密码。 输入临时密码后，系统将要求您通过发送到您电子邮件的临时代码来验证您的帐户。 在您的首次登录尝试后，系统将要求您创建一个新密码以替换临时密码，如下面的视频所示：

开始您的汽车穿梭体验，请点击麦克风图标。AI助手会欢迎您，并通过动态更新数字菜单板来突出显示相关项目，引导您完成点餐过程。系统会智能推荐补充商品，并调整其沟通方式以增强您的点餐体验。 ## 清理 如果您决定停止使用此解决方案，可以按照以下步骤删除它，包括使用AWS CloudFormation部署的相关资源以及Amplify部署： 1. **删除CloudFormation堆栈：** * 在AWS CloudFormation控制台中，在导航窗格中选择“Stacks”（堆栈）。 * 找到您在部署 nova-sonic-application-drivethru.yaml 过程中创建的堆栈（您为其指定了名称）。 * 选择该堆栈并选择“Delete”（删除）。 * 对 nova-sonic-infrastructure-drivethru.yaml 执行相同操作。 2. **删除Amplify应用程序及其资源。** 有关说明，请参阅[清理资源](https://aws.amazon.com/getting-started/hands-on/build-web-app-s3-lambda-api-gateway-dynamodb/module-six/)。 ## 结论 使用Amazon Nova Sonic的语音AI驱动汽车穿梭点餐系统为餐厅提供了一个实用的解决方案，以应对人员限制、订单准确性问题和高峰时段瓶颈等常见运营挑战。这个基于AWS服务的无服务器架构——使用Amazon Cognito进行身份验证、API Gateway进行数据通信、DynamoDB进行存储，以及AWS Amplify进行托管——构建了一个可扩展的系统，可以在需求波动时保持一致的性能。该系统通过直接的API Gateway和DynamoDB集成，支持菜单管理、购物车功能、忠诚度计划和订单处理等基本餐厅运营功能。对于希望实现汽车穿梭业务现代化的餐厅来说，此解决方案提供了显著的益处，包括减少等待时间、提高订单准确性和提升运营效率。按使用付费的定价模式和自动扩展功能有助于控制成本，同时支持业务增长。随着客户对更高效服务体验的期望不断提高，实施语音AI技术为餐厅提供了竞争优势，并使其为食品服务行业的未来技术发展做好了充分准备。 ## 附加资源 要了解更多关于Amazon Nova Sonic和其他解决方案的信息，请参考以下资源： * [Introducing Amazon Nova Sonic: Human-like voice conversations for generative AI applications](https://aws.amazon.com/blogs/aws/introducing-amazon-nova-sonic-human-like-voice-conversations-for-generative-ai-applications/) * 本博客中使用的前端应用程序源代码可在 [GitHub](https://github.com/aws-samples/sample-voice-ai-powered-contextual-menu-board-with-amazon-nova-sonic) 上获取 * [Voice AI-Powered Hotel In-Room Service with Amazon Nova Sonic](https://github.com/aws-samples/sample-voice-ai-powered-in-room-service-with-amazon-nova-sonic/tree/main)

---

关于作者

---

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。