📢 转载信息
原文链接：http://bair.berkeley.edu/blog/2025/03/25/rl-av_smoothing/
原文作者：BAIR
我们部署了100辆由强化学习（RL）控制的汽车进入高峰时段的高速公路交通，旨在为所有人平顺拥堵并减少燃料消耗。我们的目标是解决那些通常没有明确原因，但会导致拥堵和大量能源浪费的“走走停停”波浪。为了训练高效的流量平顺控制器，我们构建了快速、数据驱动的模拟器，RL智能体可以在其中进行交互，学习在保持吞吐量和安全地在人类驾驶员周围运行的同时，最大化能源效率。
总体而言，一小部分控制良好的自动驾驶汽车（AV）就足以显著改善道路上所有驾驶员的交通流量和燃油效率。此外，所训练的控制器旨在可部署于大多数现代车辆上，以去中心化的方式运行，并依赖于标准的雷达传感器。在我们最新的论文中，我们探讨了将RL控制器从仿真部署到实地的扩展性挑战，即在本次100辆车实验期间的挑战。
幻影堵车（Phantom Jams）的挑战
一个“走走停停”波浪在高速公路交通中向后传播。
如果你开车，你一定经历过“走走停停”波浪带来的沮丧感——那些看似毫无缘由的交通减速，然后又突然恢复正常。这些波浪通常是由我们驾驶行为中的微小波动，在交通流中被放大所引起的。我们自然会根据前车的速度来调整自己的速度。如果间隙变大，我们会加速以跟上；如果前车刹车，我们也会减速。但由于我们有非零的反应时间，我们可能刹车的力度比前车稍大。后面的驾驶员也做同样的事情，这种放大效应会持续下去。随着时间的推移，最初微不足道的减速在交通后方演变成完全停车。这些波浪会逆着交通流向后传播，由于频繁的加速，导致能源效率显著下降，同时伴随着CO2排放量增加和事故风险上升。
这不是孤立现象！当交通密度超过某一临界阈值时，这些波浪在繁忙的道路上无处不在。那么我们如何解决这个问题呢？传统的拉米特（ramp metering）和可变限速等方法试图管理交通流量，但它们通常需要昂贵的基础设施和集中协调。一个更具可扩展性的方法是使用自动驾驶汽车（AV），它们可以实时动态调整驾驶行为。然而，仅仅将AVs插入到人类驾驶员中间是不够的：它们还必须以更智能的方式驾驶，使所有人的交通状况得到改善，这就是RL发挥作用的地方。
交通流基本图。道路上的汽车数量（密度）会影响向前移动的交通量（流量）。在低密度时，增加更多的汽车会增加流量，因为更多的车辆可以通过。但超过临界阈值后，汽车开始互相阻碍，导致拥堵，此时增加更多的汽车实际上会减慢整体移动速度。
用于波浪平顺化AV的强化学习
RL是一种强大的控制方法，智能体通过与环境的交互来学习最大化奖励信号。智能体通过反复试验收集经验，从错误中学习，并随着时间的推移而改进。在我们的案例中，环境是一个混合自主交通场景，其中AVs学习驾驶策略，以抑制“走走停停”波浪并降低自身和附近人类驾驶车辆的燃料消耗。
训练这些RL智能体需要具有逼真交通动态的快速模拟器，能够复制高速公路的“走走停停”行为。为实现这一目标，我们利用了在田纳西州纳什维尔附近的24号州际公路（I-24）收集的实验数据，并用它来构建模拟器，车辆在其中重演高速公路轨迹，产生不稳定的交通情况，后面行驶的AVs则学习如何平顺化这些情况。
模拟器重演了表现出多个“走走停停”波浪的高速公路轨迹。
在设计AV时，我们将部署考虑在内，确保它们仅使用关于自身和前车的基本传感器信息即可运行。观测数据包括AV的速度、前车的速度以及它们之间的空间距离。给定这些输入，RL智能体然后为AV指定一个瞬时加速度或期望速度。仅使用这些局部测量值的关键优势在于，RL控制器可以以去中心化的方式部署在大多数现代车辆上，而无需额外的基础设施。
奖励设计
最具挑战性的部分是设计一个奖励函数，当该函数最大化时，能够与我们希望AV实现的不同目标保持一致：
- 波浪平顺化： 减少“走走停停”的振荡。
- 能源效率： 降低所有车辆（不仅是AV）的燃料消耗。
- 安全性： 确保合理的跟车距离并避免突然刹车。
- 驾驶舒适性： 避免激进的加速和减速。
- 遵循人类驾驶规范： 确保“正常”的驾驶行为，不让周围的驾驶员感到不适。
平衡这些目标是困难的，因为必须找到每个项的合适系数。例如，如果最小化燃料消耗在奖励中占主导地位，RL AVs可能会学会停在高速公路中间，因为这是能源最优的。为防止这种情况，我们引入了动态最小和最大间隙阈值，以确保安全合理的行为，同时优化燃油效率。我们还对AV后方人类驾驶车辆的燃料消耗进行了惩罚，以阻止其学习一种自私的行为，即以牺牲周围交通为代价来优化AV的节能。
仿真结果
动态最小和最大间隙阈值的说明，AV可以在此范围内自由运行，以尽可能高效地平顺交通。
AVs学习到的典型行为是保持比人类驾驶员稍大的跟车间距，使它们能够更有效地吸收即将到来的、可能是突然的交通减速。在仿真中，这种方法在最拥堵的情况下，使所有道路使用者（仅有不到5%的AVs）的燃料节省高达20%。而且这些AV不必是特殊的车辆！它们可以是配备了智能自适应巡航控制（ACC）的普通消费汽车，这也是我们进行大规模测试的内容。
RL AV的平顺化行为。 红色：数据集中的人类轨迹。蓝色：队列中连续的AV，其中AV 1是最靠近人类轨迹的后车。AV之间通常有20到25辆人类驾驶的汽车。每辆AV的减速幅度或加速幅度都不如其前车剧烈，从而随着时间的推移减小波浪幅度，实现节能。
100辆AV现场测试：将RL扩展到实际部署
实验周内，我们100辆车停在我们运营中心。
鉴于仿真结果令人鼓舞，自然而然的下一步是从仿真过渡到高速公路。我们将训练好的RL控制器部署在I-24上的100辆车上，在数天的高峰交通时段进行测试。这项被称为MegaVanderTest的大规模实验，是有史以来最大规模的混合自主交通平顺化实验。
在实际部署RL控制器之前，我们在仿真中对其进行了广泛的训练和评估，并在硬件上进行了验证。总而言之，部署步骤包括：
- 在数据驱动的仿真中训练： 我们使用来自I-24的高速公路交通数据创建了一个具有逼真波浪动态的训练环境，然后在各种新的交通场景中验证所训练智能体的性能和鲁棒性。
- 硬件部署： 经过机器人软件验证后，训练好的控制器被上传到汽车上，能够控制车辆的设定速度。我们通过车辆的车载巡航控制进行操作，这充当了较低级别的安全控制器。
- 模块化控制框架： 测试期间的一个关键挑战是无法获取前车的传感器信息。为克服这一问题，RL控制器被集成到一个分层系统中，即MegaController，该系统结合了一个考虑下游交通状况的速度规划器，并将RL控制器作为最终决策者。
- 硬件验证： RL智能体被设计为在一个大多数车辆由人类驾驶的环境中运行，这要求其策略具有鲁棒性，能够适应不可预测的行为。我们通过在严格的人工监督下在道路上驾驶RL控制的车辆来验证这一点，并根据反馈对控制进行更改。
100辆车中的每一辆都连接到一台Raspberry Pi，RL控制器（一个小型神经网络）部署在该设备上。
RL控制器直接控制车载自适应巡航控制（ACC）系统，设定其速度和期望的跟车距离。
验证完成后，RL控制器被部署到100辆车上，并在早高峰时段在I-24上行驶。周围的交通对实验一无所知，确保了驾驶员行为的无偏性。实验期间，我们收集了沿高速公路布置的数十个高架摄像头的拍摄数据，通过计算机视觉流水线提取了数百万个单独的车辆轨迹。在这些轨迹上计算的指标表明，AV周围的燃料消耗有所下降，这与仿真结果和先前的较小验证部署相符。例如，我们可以观察到，人们离我们的AV越近，他们平均消耗的燃料就越少（这是使用校准的能源模型计算的）：
下游交通中，距离最近的启用RL控制的AV的函数图，显示平均燃料消耗。随着人类驾驶员在AV后方距离的增加，他们的平均燃料消耗也会增加。
衡量影响的另一种方法是衡量速度和加速度的变化率：变化率越低，波浪的幅度应该越小，这正是我们在现场测试数据中观察到的情况。总体而言，尽管从大量的摄像头视频数据中获取精确测量很复杂，但我们观察到在受控车辆周围有15%到20%的能源节省的趋势。
实验某一天高速公路上所有车辆在速度-加速度空间中的数据点散点图。红色线条左侧的簇代表拥堵，右侧的簇代表自由流。我们观察到，当存在AV时，拥堵簇的面积更小，这是通过计算软凸包的面积或拟合高斯核来衡量的。
最终思考
这次100辆车的现场运行测试是去中心化的，AV之间没有明确的合作或通信，这反映了当前的自主部署现状，使我们离更平顺、更节能的高速公路又近了一步。然而，仍有巨大的改进潜力。将仿真扩展得更快、更准确，并结合更好的人类驾驶模型，对于弥合仿真到现实的差距至关重要。为AV配备额外的交通数据，无论是通过先进传感器还是集中规划，都可以进一步提高控制器的性能。例如，虽然多智能体RL在改进合作控制策略方面很有前景，但启用AV之间通过5G网络进行显式通信是否能进一步提高稳定性和缓解“走走停停”波浪，仍然是一个悬而未决的问题。至关重要的是，我们的控制器与现有的自适应巡航控制（ACC）系统无缝集成，使得大规模现场部署成为可能。配备智能交通平顺控制的车辆越多，我们道路上看到的波浪就越少，这意味着为所有人带来更少的污染和燃料节省！
许多贡献者参与了MegaVanderTest的实现！完整的名单可以在CIRCLES项目页面上找到，其中包含有关该项目的更多详细信息。
阅读更多：[论文]
🚀 想要体验更好更全面的AI调用？
欢迎使用青云聚合API，约为官网价格的十分之一，支持300+全球最新模型，以及全球各种生图生视频模型，无需翻墙高速稳定，文档丰富，小白也可以简单操作。
评论区