图中解释了团队的强化学习管道

卡内基梅隆大学的研究人员最近开发了一种基于强化学习(RL)的框架，可以帮助提高自动驾驶汽车在匝道合并场景中的性能，例如车辆在匝道上偏离主干道的情况。他们的框架在arXiv上预先发表的一篇论文中提出，可能有助于提高自动驾驶汽车在一些特别重要时刻的安全性，降低事故风险。

开发该模型的研究人员之一Soumith Udatha告诉TechXplore:“约翰教授在CMU的实验室研究各种自动驾驶应用已经有一段时间了。我们在这篇论文中关注的应用是高速公路合并，因为高速行驶的车辆、不同风格的司机以及其中的不确定性都会带来挑战。”

乌达莎和同事们的研究目标是提高自动驾驶汽车的安全性。在他们最近的论文中，他们尝试设计了一个框架，可以有效地捕捉匝道合并的场景，并根据对任何不确定性和可能的风险的分析来规划车辆的行动。

Udatha解释说:“RL模型与环境交互，并收集数据以优化其奖励，但这种数据探索部署在现实环境中时会遇到一些问题。这部分是因为代理遇到的状态并非都是安全的。我们用控制屏障功能(cbf)约束RL策略，以确保在指定距离内的安全。因此，在环境约束下，我们忽略了不安全状态，并增强了系统学习如何导航的能力。”

CBFs是一类较新的计算方法，旨在提高自主系统的安全控制。CBF可以直接应用于不同的优化问题，包括斜坡合并。尽管它们很有前途，但它们执行的优化并没有考虑到系统在探索环境时收集的数据。RL方法可以帮助填补这一空白。

“我们发现我们的算法可以扩展到离线和在线RL环境，”Udatha说。“由于我们现在有大量的离线RL数据，在线下数据集上的训练最终可以产生更好的模型。通过我们的指标，我们还发现将概率CBF作为约束条件，可以提供更好的安全性，因为它在一定程度上解释了驱动因素的不确定性。”

Udatha和他的同事在一系列测试中测试了他们的框架，使用的是由英特尔实验室和巴塞罗那计算机视觉中心的研究人员团队开发的CARLA模拟器的在线版本。在这些模拟中，他们的方法取得了显著的结果，突出了其在匝道合并过程中增强自动驾驶车辆安全性的可能。

“我们现在计划通过训练我们的模型来扩展我们的研究，以在驾驶员不确定的场景中将自动驾驶汽车与多辆汽车合并，”Udatha补充道。“我们还发现，目前缺少一个比较各种匝道合并方法的标准，因此我们同时试图为NGSIM建立一个匝道合并标准，NGSIM是NHTSA在美国I-80和美国101高速公路上发布的高速公路数据集。”