使用强化学习来平滑自动驾驶汽车（AV）的行驶，以减少高速公路拥堵和燃料消耗

📢 转载信息

原文链接：http://bair.berkeley.edu/blog/2025/03/25/rl-av-smoothing/

原文作者：Berkeley AI Research (BAIR)

---

我们在高峰时段的高速公路交通中部署了 100 辆由强化学习（RL）控制的自动驾驶汽车（AV），旨在为所有人平滑拥堵并减少燃料消耗。我们的目标是解决那些通常没有明确原因但会导致拥堵和显著能源浪费的“走走停停”波浪。为了训练高效的流量平滑控制器，我们构建了快速的、数据驱动的仿真环境，供 RL 智能体与之交互，学习在保持吞吐量和在人类驾驶员周围安全操作的同时，最大限度地提高能源效率。

总的来说，一小部分控制良好的自动驾驶汽车（AV）就足以显著改善道路上所有驾驶员的交通流量和燃油效率。此外，所训练的控制器被设计成可以在大多数现代车辆上部署，以去中心化的方式运行，并依赖标准的雷达传感器。在我们最新的论文中，我们探讨了从仿真到现场，在这次百车实验中将 RL 控制器部署到大规模环境所面临的挑战。

幻影拥堵的挑战

一个“走走停停”波浪向后穿过高速公路交通流。

如果你开车，你肯定经历过“走走停停”波浪的烦恼，那些看似莫名其妙的交通减速，它们凭空出现，然后又突然消失。这些波浪通常是由我们驾驶行为中的微小波动引起的，这些波动通过交通流被放大。我们自然会根据前车的速度来调整自己的速度。如果间隙变大，我们会加速以跟上；如果前车刹车，我们也会减速。但由于我们有非零的反应时间，我们可能会比前车刹得更用力一点。后面的司机也做同样的事情，这种放大效应持续下去。随着时间的推移，最初微不足道的减速演变成后方交通的完全停车。这些波浪在交通流中向后传播，由于频繁的加速，导致能源效率大幅下降，同时伴随着二氧化碳排放量增加和事故风险提高。

这并非孤立现象！当交通密度超过某个临界阈值时，这些波浪在繁忙的道路上无处不在。那么我们如何解决这个问题呢？传统的做法如匝道计量和可变限速试图管理交通流，但它们通常需要昂贵的基础设施和集中协调。一个更具可扩展性的方法是使用 AV，它可以实时动态调整驾驶行为。然而，仅仅将 AV 插入到人类驾驶员中间是不够的：它们还必须以更智能的方式驾驶，让所有人的交通状况都得到改善，这就是 RL 发挥作用的地方。

交通流的基本图。路上的车辆数量（密度）会影响前行的交通量（流量）。在低密度下，增加更多车辆会增加流量，因为可以通过更多的车辆。但在超过临界阈值后，车辆开始相互阻碍，导致拥堵，此时增加更多车辆实际上会减慢整体移动速度。

用于波浪平滑 AV 的强化学习

强化学习（RL）是一种强大的控制方法，智能体通过与环境的交互来学习最大化奖励信号。智能体通过反复试验收集经验，从错误中学习，并随着时间推移而改进。在我们的案例中，环境是一个混合自主交通场景，其中 AV 学习驾驶策略来抑制“走走停停”波浪，并为自己和附近的人控车辆降低燃料消耗。

训练这些 RL 智能体需要在具有逼真交通动态的快速仿真环境中进行，这种环境可以复制高速公路的“走走停停”行为。为此，我们利用了在田纳西州纳什维尔附近的 I-24 公路收集的实验数据，并用这些数据构建了仿真环境，其中车辆重演高速公路轨迹，产生了 AV 在其后方学习平滑的不稳定交通。

仿真重演了一条表现出数个“走走停停”波浪的高速公路轨迹。

我们的 AV 设计时就考虑了部署的实际情况，确保它们仅使用关于自身和前车的基本传感器信息即可运行。观测值包括 AV 的速度、前车的速度以及它们之间的空间间隙。根据这些输入，RL 智能体随后会为 AV 开出瞬时加速度或目标速度。仅使用这些局部测量值的关键优势在于，RL 控制器可以去中心化地部署在大多数现代车辆上，而无需额外的基础设施。

奖励设计

最具挑战性的部分是设计一个奖励函数，当最大化该函数时，它能与我们希望 AV 实现的各种目标保持一致：

• 波浪平滑： 减少“走走停停”的振荡。
• 能源效率： 降低所有车辆（而不仅仅是 AV）的燃料消耗。
• 安全性： 确保合理的跟车距离，避免急刹车。
• 驾驶舒适性： 避免激进的加速和减速。
• 遵守人类驾驶规范： 确保“正常”的驾驶行为，不让周围的驾驶员感到不适。

平衡这些目标是很困难的，因为必须找到每个部分的合适系数。例如，如果最小化燃料消耗在奖励中占主导地位，RL AVs 就会学会停在高速公路中间，因为那在能源上是最优的。为防止这种情况，我们引入了动态最小和最大间隙阈值，以确保安全和合理的行为，同时优化燃油效率。我们还对后方人控车辆的燃料消耗进行了惩罚，以阻止 AV 学会一种自私的行为，即以牺牲周围交通为代价来优化自身的能源节约。总的来说，我们的目标是在能源节约与合理且安全的驾驶行为之间取得平衡。

仿真结果

动态最小和最大间隙阈值的说明，AV 可以在此范围内自由运行，以尽可能高效地平滑交通。

AV 学到的典型行为是保持比人类驾驶员稍大的间隙，使它们能够更有效地吸收即将到来的、可能的突然的交通减速。在仿真中，这种方法在最拥堵的情况下，使道路使用者的总体燃料节约高达 20%，而道路上只有不到 5% 的 AV。而且这些 AV 不必是特种车辆！它们可以仅仅是配备了智能自适应巡航控制（ACC）的标准消费类汽车，这正是我们在规模化测试中所做的。

RL AV 的平滑行为。红色：数据集中的人类轨迹。蓝色：队列中连续的 AV，其中 AV 1 是最靠近人类轨迹的。AV 之间通常有 20 到 25 辆人为驾驶的汽车。每个 AV 的减速幅度或加速幅度都小于其前车，从而随着时间的推移导致波幅减小，并实现节能。

100 辆 AV 现场测试：将 RL 部署到规模化

实验周期间，我们的 100 辆汽车停在我们运营中心。

鉴于仿真结果令人鼓舞，自然而然的下一步是从仿真过渡到高速公路。我们将训练好的 RL 控制器部署在 I-24 上 100 辆汽车上，在连续几天的早高峰时段进行测试。这次被称为 MegaVanderTest 的大规模实验，是迄今为止规模最大的混合自主交通平滑实验。

在现场部署 RL 控制器之前，我们对其进行了广泛的仿真训练和评估，并在硬件上进行了验证。总而言之，部署的步骤包括：

• 数据驱动仿真训练： 我们使用 I-24 的高速公路交通数据创建了一个具有逼真波浪动态的训练环境，然后在一系列新的交通场景中验证所训练智能体的性能和鲁棒性。
• 硬件部署： 在机器人软件中验证后，训练好的控制器被上传到汽车上，能够控制车辆的设定速度。我们通过车辆的车载巡航控制进行操作，该控制系统充当低级安全控制器。
• 模块化控制框架： 测试中的一个关键挑战是没有访问前车信息传感器。为克服这一障碍，RL 控制器被集成到一个分层系统中，即 MegaController，该系统结合了考虑下游交通状况的速度规划器指南，并将 RL 控制器作为最终决策者。
• 硬件验证： RL 智能体被设计成在大多数车辆由人为驾驶的环境中运行，这要求策略具有鲁棒性，能够适应不可预测的行为。我们通过在仔细的人工监督下在道路上驾驶 RL 控制的车辆来验证这一点，并根据反馈对控制进行调整。

验证完成后，RL 控制器被部署到 100 辆汽车上，并在早高峰时段在 I-24 上行驶。周围的交通对实验不知情，确保了无偏见的驾驶员行为。实验期间收集的数据来自沿高速公路设置的数十个高架摄像头，通过计算机视觉流程提取了数百万条单独的车辆轨迹。根据这些轨迹计算出的指标表明，AV 周围的燃料消耗有所下降，这与仿真结果和先前的较小规模验证部署的预期一致。例如，我们可以观察到，人们离我们的 AV 越近，他们平均消耗的燃料似乎就越少（这是使用校准的能源模型计算得出的）：

下游交通中距离最近的启用 RL 控制的 AV 的函数，表示平均燃料消耗。随着人类驾驶员在 AV 后面距离变远，他们的平均燃料消耗就会增加。

衡量影响的另一种方法是衡量速度和加速度的方差：方差越小，波幅应该越小，这正是我们在现场测试数据中观察到的。总的来说，尽管从大量摄像机视频数据中获得精确测量很复杂，但我们观察到控制汽车周围的能源节约达到了 15% 到 20%。

实验某一天所有高速公路车辆的数据点，以速度-加速度空间绘制。红色线左侧的集群代表拥堵，右侧的集群代表自由流。我们观察到，存在 AV 时，拥堵集群较小，这是通过计算软凸包的面积或拟合高斯核来衡量的。

最后的思考

这次百车现场操作测试是去中心化的，AV 之间没有明确的合作或通信，这反映了当前的自主部署现状，使我们离更平滑、更节能的高速公路更近了一步。然而，仍有巨大的改进潜力。将仿真加速并使其更准确，同时使用更好的人类驾驶模型，对于弥合仿真到现实的差距至关重要。为 AV 配备额外的交通数据，无论是通过先进的传感器还是集中规划，都可以进一步提高控制器的性能。例如，虽然多智能体 RL 在改进协作控制策略方面很有前景，但启用 AV 之间通过 5G 网络进行显式通信是否能进一步提高稳定性和减轻“走走停停”波浪，仍然是一个悬而未决的问题。至关重要的是，我们的控制器与现有的自适应巡航控制（ACC）系统无缝集成，使得大规模现场部署成为可能。配备智能交通平滑控制的车辆越多，我们在道路上看到的波浪就越少，这意味着对所有人都意味着更少的污染和燃料节约！

---

🚀 想要体验更好更全面的AI调用？

欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。