The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback
作者: Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi
分类: cs.LG
发布日期: 2026-08-17
💡 一句话要点
提出伦理决策头以解决自主车辆道德决策问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 伦理决策 自主车辆 深度强化学习 功利主义 康德伦理 人类反馈 道德推理
📋 核心要点
- 现有自主车辆决策系统在处理道德决策时面临挑战，缺乏有效的伦理框架支持。
- 论文提出伦理决策头（EDH），通过深度强化学习将伦理推理转化为可微分的奖励信号，促进道德行为学习。
- 实验结果显示，康德框架提供了训练稳定性，而功利主义代理则反映了人类对自我牺牲的偏好，揭示了伦理学习的复杂性。
📝 摘要（中文）
随着自主车辆（AVs）接近4级和5级操作能力，其决策系统不仅需处理安全问题，还需考虑道德权重。本文详细介绍了伦理决策头（EDH），这是一个深度强化学习框架，通过可微分的奖励信号编码伦理推理，使得策略梯度代理能够在与CARLA仿真环境对齐的场景中学习道德驱动行为。本文实例化并评估了两种规范性框架：一种是最小化总伤亡的功利主义框架，另一种是作为绝对命令的康德框架。EDH通过近端策略优化（PPO）进行训练，结果显示在人工监督下，规范伦理框架的可学习性存在不对称性，功利主义代理学习到了人类在实践中对自我牺牲的偏好，揭示了伦理学习的复杂性。
🔬 方法详解
问题定义：本文旨在解决自主车辆在道德决策中的不足，现有方法未能有效整合伦理框架，导致决策缺乏人性化考虑。
核心思路：提出伦理决策头（EDH），通过深度强化学习将伦理推理转化为可微分的奖励信号，使得代理能够在复杂场景中学习道德驱动的行为。
技术框架：整体架构包括两个主要模块：伦理决策头和近端策略优化（PPO）。伦理决策头负责将伦理框架转化为奖励信号，PPO则用于优化策略。
关键创新：最重要的技术创新在于将伦理推理与深度强化学习相结合，形成了一个新的学习范式，使得代理能够在道德决策中学习人类的真实偏好。
关键设计：采用Bradley-Terry奖励模型，通过200个即将发生碰撞的场景进行训练，设计了功利主义和康德两种框架，确保了训练的稳定性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，康德框架在训练中提供了稳定性，而功利主义代理则意外地学习到了人类对自我牺牲的偏好。这表明，伦理学习并非如哲学家所定义，而是反映了人类的实际行为。此发现对伦理AI的设计具有重要启示。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶汽车、智能交通系统和机器人伦理决策等。通过将伦理决策融入自主系统，可以提高其在复杂环境中的决策能力，确保更安全和更符合人类价值观的操作。未来，这一方法可能推动更广泛的伦理AI研究和应用。
📄 摘要（原文）
As autonomous vehicles (AVs) approach Level 4 and Level 5 operational capability [SAE International, 2018], their on- board decision systems must handle not only safety-critical locomotion but also their subsequent moral weight. This paper details the Ethical Decision Head (EDH), a deep re- inforcement learning (RL) framework that encodes ethical reasoning as a differentiable reward signal, enabling a pol- icy gradient agent to learn morally-aligned driving behavior in scenarios whose state representation is aligned with the CARLA simulation environment [Dosovitskiy et al., 2017]. Two normative frameworks are instantiated and evaluated: a Utilitarian framework minimizing total casualties and a Kan- tian framework enforcing course maintenance as a categori- cal imperative. The EDH is trained via Proximal Policy Op- timization (PPO) [Schulman et al., 2017] against a Bradley- Terry reward model [Bradley and Terry, 1952] learned from pairwise human preference annotations over 200 collision- imminent scenarios. Results reveal an asymmetry in the learnability of normative ethical frameworks under human su- pervision. The Kantian condition, which reduces to a con- stant prediction task under the codebook, serves as a pipeline control: it confirms training stability and rules out infrastruc- ture failure as an explanation for the utilitarian result. The Utilitarian agent learned something more unsettling: human raters rewarded self-sacrifice over casualty minimization, and the model learned that preference faithfully. This divergence between what humans prescribe in theory and what they re- ward in practice suggests that RLHF does not learn ethics as philosophers define it, but as humans live it.