trajectron++ 翻译

84 阅读 0 评论 56 点赞

我是靠谱客的博主孤独凉面，最近开发中收集的这篇文章主要介绍trajectron++ 翻译，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

摘要

关于人体运动的推理是安全且具有社会意识的机器人导航的重要前提。结果，多智能体行为预测已成为现代人机交互系统（如自动驾驶汽车）的核心组件。尽管存在许多用于轨迹预测的方法，但是大多数方法并不强制执行动态约束并且不考虑环境信息（例如，地图）。
为此，我们提出了Trajectron ++，这是一种模块化的，图形结构的递归模型，可预测多种多样的代理的一般轨迹，同时结合代理动态和异构数据（例如语义图）。 Trajectron ++旨在与机器人计划和控制框架紧密集成；例如，它可以产生以自我代理运动计划为条件的预测。我们在一些具有挑战性的现实世界轨迹预测数据集上展示了其性能，其性能胜过各种最先进的确定性和生成方法。

引言

预测人类的未来行为是开发安全的人机交互自主系统的必要部分。人类可以自然地在许多社交互动场景中导航，因为他们具有内在的“心理理论”，即根据他人的心理状态来推理他人的行为的能力[14]。结果，将具有这种能力的自治系统灌输可以使得在其他智能代理的存在下，例如在人机交互场景中，能够做出更明智的决策并采取主动行动。图1说明了一种场景，其中预测其他代理商的意图可能会影响自动驾驶汽车的路径规划和决策。实际上，多主体行为预测已经成为核心现代机器人系统的组成部分，特别是在安全关键型应用中，例如无人驾驶汽车，目前正在现实世界中进行测试，并在不久的将来针对广泛部署[49]。
现有多种用于多主体行为预测的方法，范围从确定性回归到生成概率模型。但是，其中许多是在没有直接考虑现实世界中的机器人用例的情况下开发的。尤其是，他们忽略了代理商的动力学约束，自我代理的自身动作（对于捕获人机交互中的交互方面很重要）以及现代机器人将其获取的大量环境信息（例如摄像机图像，激光雷达，地图）系统具有访问权限。表1总结了最新的方法，以及对此类方法的考虑。
因此，在这项工作中，我们有兴趣开发一种多智能体行为预测模型，该模型（1）考虑了智能体，尤其是地面车辆的动力学[27,35]；（2）根据可能的未来机器人轨迹生成预测，这对于考虑人的反应的智能计划很有用；（3）提供了一种普遍适用，开放和可扩展的方法，可以有效地使用有关周围环境的异构数据。重要的是，利用此类数据将允许纳入环境信息，例如地图，这将使产生的预测根据场景的结构而有所不同（例如，城市交叉路口的互动与露天的互动非常不同）操场！）。一种非常接近的方法是Trajectron [20]，它是一种多主体行为模型，可以处理随时间变化的主体数量，说明人类行为的多种形式（即，许多高级期货的潜力）并保持在输出中具有可解释性。但是，Trajectron仅会考虑相对简单的车辆模型（即级联集成商）和过去的轨迹数据（即，如果可能的话，不考虑增加环境信息）。
在这项工作中，我们将介绍Trajectron ++，这是一种基于Trajectron [20]框架的开放且可扩展的方法，该框架从异构输入数据中为具有不同语义类型的多个交互代理生成动态可行的轨迹预测。我们的主要贡献是双重的：首先，我们展示如何通过编码语义图的镜头有效地合并高维数据。其次，我们提出了一种将动力学约束纳入基于学习的多主体轨迹预测方法中的通用方法。 Trajectron ++被设计为与下游机器人模块紧密集成，并具有生成轨迹的能力，这些轨迹可以根据未来的自我代理运动计划进行选择。我们在各种数据集上展示了实验结果，这些数据共同证明Trajectron ++的性能优于广泛使用的最新确定性和生成轨迹预测方法，在某些情况下，平均预测误差降低了60％。

问题表述

我们旨在为交互作用剂A 1，…，A N（t）的时变数N（t）生成合理的轨迹分布。每个代理人A i具有语义类别S i，例如，汽车，公共汽车或行人。在时间t处，给定每个主体的状态s∈RD及其之前H个时间步长的所有历史，我们将其表示为x，（t-H：t）x = s 1，…，N（t） ∈R（H + 1）×N（t）×D，以及（t）每个代理I 1，…，N（t）可用的其他信息，我们寻求所有代理的未来状态的分布（t + 1：t + T）接下来的T个时间步长y = s 1，…，N（t）∈RT×N（t）×D，我们将其表示为p（y | x，I）。
我们还假设几何语义图在A i（t）位置M i∈R dC / re×dC / re×L处可用，上下文大小为C×C，空间分辨率为r，L个语义通道为可用。取决于数据集，这些地图的复杂程度可以从简单的障碍物占用网格到人工注释语义信息的多层（例如，标出人行道，道路边界和人行横道）。
我们还考虑了根据自我代理的未来运动计划而定的设置，例如在评估对一组运动原语的响应时。
在这种情况下，我们还假设我们知道下一个T时间步y R = s R的自我代理的未来（t + 1：t + T）运动计划。

Trajectron ++

我们的方法1在图2中可视化。在较高的层次上，根据其拓扑创建了所讨论场景的时空图表示。然后，生成了一个结构相似的深度学习架构，该架构可预测节点属性的演变，并生成代理轨迹。
场景表示。当前场景被抽象为时空图G =（V，E）。节点代表代理，边代表它们的交互。
因此，在本文的其余部分，我们将互换使用术语“节点”和“代理”。每个节点还具有匹配其代理的类别（例如，汽车，公共汽车，行人）的语义类别。如果Ai影响Aj，则在E中存在边（A i，A j）。在这项工作中，2距离用作代理之间是否相互影响的代理。形式上，如果kp i-pjk 2≤d S j，则边缘从A i指向A j，其中pi，pj∈R 2分别是主体A i，A j的二维世界位置，而d S j是a 编码语义类S j的代理的感知范围的距离。尽管可以使用更复杂的方法来构造边缘（例如[47]），但它们通常会由于需要完整的场景图而产生额外的计算开销。图2显示了这种场景抽象的示例。
与以前的方法[22,1,13,47,21,20]中的无向图相反，我们专门选择将场景建模为有向图，因为有向图可以表示更一般的场景和交互集类型，例如非对称影响。这提供了能够同时建模具有不同感知范围的代理的额外好处，例如，与行人在人行道上行走相比，汽车在道路上看起来更远。
建模代理历史记录 绘制完场景图后，模型需要对节点的当前状态，其历史以及相邻节点对节点的影响进行编码。为了对观察到的建模主体的历史进行编码，将它们的当前和先前状态馈入具有32个隐藏维度的长短期记忆（LSTM）网络[19]。由于我们对（t-H：t）建模轨迹感兴趣，因此输入x = s 1，…，N（t）∈R（H + 1）×N（t）×D是当前D和先前D 代理的三维状态。这些通常是位置和速度，可以轻松地在线估计。
理想情况下，应该选择代理模型以最匹配其语义类S i。例如，通常会使用自行车模型在道路上对车辆建模[27,35]。但是，通过在线观察来估算另一辆自行车的自行车模型参数非常困难，因为这需要估算车辆的质心，轴距和前轮转向角。结果，在这项工作中，行人被建模为单个积分器，轮式车辆被建模为动态扩展的单轮脚踏车[29]，这使我们能够解决关键的非完整约束（例如，无侧滑约束）[35] 需要复杂的在线参数估算程序–我们将通过实验证明，这种简化的模型已经对提高预测精度产生了很大的影响。虽然动态扩展的单轮脚踏车模型是一个重要的代表性示例，但我们注意到，只要可以假设其参数或在线快速估算其参数，我们的方法也可以推广到其他动力学模型。
整合异构数据 现代化的传感器套件能够产生比跟踪其他特工轨迹更多的信息。
值得注意的是，许多现实世界系统都使用HD地图来辅助定位并提供导航信息。取决于传感器的可用性和复杂程度，地图的保真度范围可以从简单的二元障碍图，即M∈{0，1} H×W×1到高清语义图，例如M∈{0，1} H×W ×L，其中每层1≤`≤L对应于具有语义类型的区域（例如，“可驾驶区域”，“路障”， “人行道”，“人行横道”）。为了利用这些信息，Trajectron ++使用卷积神经网络（CNN）对每个建模的代理进行编码，以旋转本地地图以匹配代理的标题。 CNN具有4层，带有滤镜{5、5、5、3}，步幅分别为{2、2、1、1}。紧随其后的是一个具有32个隐藏维的密集层，其输出与节点历史记录和边缘影响表示向量相连。
更一般而言，可以通过将其编码为向量并将其添加到表示向量的主干e x上，在该框架中包括其他附加信息（例如原始LIDAR数据，摄像机图像，行人骨架或凝视方向估计）。
编码未来的自我代理运动计划 产生考虑到未来自我代理运动的预测是机器人决策和控制的一项重要功能。具体而言，它允许针对来自其他代理的可能响应来评估一组运动原语。 Trajectron ++可以使用具有32个隐藏维度的双向LSTM对自我代理的运动计划y R的未来T个时间步进行编码。使用双向LSTM是由于其在其他序列汇总任务中的强大性能[5]。然后将最终的隐藏状态连接到表示向量e x的主干中。
明确说明多模式 Trajectron ++通过利用CVAE潜在变量框架[44]显式地处理多模态。它通过引入一个离散的潜在隐变量z∈Z来产生目标p（y | x）分布，该变量编码高级潜在行为，并允许p（y | x）的P表示为p（y | x）= z ∈Zpψ（y | x，z）pθ（z | x），其中| Z | = 25和ψ，θ是深层神经网络权重，可对它们各自的分布进行参数化。 z离散还有助于解释性，因为可以通过采样轨迹来可视化每个z属于哪些高级行为。
在训练期间，使用具有32个隐藏维度的双向LSTM来编码节点的地面真实未来轨迹，从而产生qφ（z | x，y）[44]。
产生动态可行的轨迹 在获得潜在变量z之后，它将其和骨干表示向量e x馈入解码器，即128维门控循环单元（GRU）[10]。每个GRU单元在控制动作u（t）上输出双变量高斯分布的参数（例如，加速度和转向率）。然后，将代理的系统动力学与产生的控制动作u（t）集成在一起，以获得位置空间中的轨迹[25,46]。预测时唯一的不确定性来自Trajectron ++的输出。因此，在线性动力学的情况下（例如，在本工作中用于对行人建模的单个积分器），系统动力学为线性高斯模型。明确地，对于具有控制动作u（t）=ṗ（t），（t + 1）（t）（t）（t）的单个积分器，在t +1处的位置平均值为μp =μp +μu ∆ t，其中μu由Trajectron ++产生。在非线性动力学的情况下（例如本研究中用于建模车辆的单轮脚踏车模型），人们仍然可以（近似）通过线性化代理的当前状态和控制动力学来使用这种不确定性传播方案。单个积分器和动态扩展的单轮模型的完整均值和协方差方程在附录中。与存在相反的是通过直接输出位置的方法，我们的方法独特地能够通过将代理的动态与预测的控件集成在一起，来保证其轨迹样本是动态可行的。
输出配置 根据所需的用例，Trajectron ++可以产生许多不同的输出。下面概述了主要的四个。
1.最有可能（ML）：模型的确定性和最有可能的单一输出。高级潜在行为模式和输出轨迹是它们各自分布的模式，其中
公式（1）
公式（2）
公式（3）
训练模型 我们采用InfoVAE [52]目标函数，并将其修改为在条件公式中使用离散的潜在状态（因为模型使用CVAE）。正式而言，我们旨在解决
公式（4）
其中，q是分布qφ（x，z）下x和z之间的互信息。为了计算I q，我们遵循[52]并用pθ（z | x i）近似qφ（z | x i，y i），通过对批次中的x i求和来获得无条件的潜在分布。值得注意的是，Gumbel-Softmax重新参数化[24]并不用于通过分类潜变量z反向传播，因为在训练期间未对其进行采样。而是直接计算方程式（4）的第一项，因为潜在空间只有| Z |。 = 25个离散元素。其他培训详细信息可以在附录中找到。
实验
我们的方法在三个公开可用的数据集上进行了评估：ETH [37]，UCY [33]和nuScenes [6]数据集。 ETH和UCY数据集由真实的行人轨迹组成，具有在以下位置捕获的丰富的多人交互场景2.5 Hz（Δt= 0.4秒）。总共有5组数据，4个独特的场景和1536个独特的行人。它们是该领域的标准基准，其中包含挑战性的行为，例如夫妻走在一起，小组彼此交叉以及小组形成和分散。但是，它们仅包含行人，因此我们还对最近发布的nuScenes数据集进行了评估。它是用于波士顿和新加坡的1000个场景的大规模自动驾驶数据集。每个场景的注释频率为2 Hz（∆t = 0.5s），长度为20s，包含多达23个语义对象类以及具有11个带注释层的HD语义图。
Trajectron ++是在运行Ubuntu 18.04的台式计算机上的PyTorch [36]中实现的，该台式计算机包含AMD Ryzen 1800X CPU和两个NVIDIA GTX 1080 Ti GPU。我们在行人数据集上训练了100个纪元（约3小时），在nuScenes数据集上训练了12个纪元（约8小时）。
评估指标 与先前的工作[1,13,20,41,28,53]一样，我们的轨迹预测方法通过以下四个误差度量进行评估：1.平均位移误差（ADE）：地面真实值与目标之间的平均距离为2 预测的轨迹。
2.最终位移误差（FDE）：在预测水平T处，预测最终位置与地面真实最终位置之间的距离为2。
3.基于核密度估计的负对数似然（KDE NLL）：在通过对轨迹样本拟合核密度估计而创建的分布下，地面真相轨迹的平均NLL [20,45]。
4. N最佳（BoN）：从N个随机采样的轨迹中得出的最小ADE和FDE。我们将我们的方法与一组详尽的最新确定性和生成方法进行比较。
确定性基准 我们的方法与以下确定性基线进行了比较：（1）线性：线性回归器，其参数通过最小化最小平方误差来估算。（2）LSTM：仅包含代理历史信息的LSTM网络。（3）社交LSTM [1]：使用LSTM为每个代理建模，并使用建议的社交合并操作在每个时间步合并附近代理的隐藏状态。（4）社会关注度[47]：与[1]相同，但是所有其他代理的隐藏状态都是通过拟议的社会关注度操作合并而成的。
生成基准 在ETH和UCY数据集上，我们的方法与以下生成基准进行了比较：（1）S-GAN [13]：每个代理都使用LSTM-GAN建模，该模型是LSTM编码器-解码器，其输出是 GAN。然后使用鉴别器针对地面真实轨迹评估生成的轨迹。（2）SoPhie [41]：一种LSTM-GAN，增加了一个建议的身体和社会关注模块。（3）MATF [53]：一种LSTM-GAN模型，利用CNN融合代理关系并编码环境信息。（4）Trajectron [20]：一种LSTM-CVAE编码器/解码器，其构造明确以匹配场景的时空结构。它的场景抽象类似于我们的场景抽象，但是使用了无方向的边缘。
在nuScenes数据集上，还将以下方法与以下方法进行了比较：（5）卷积社交池（CSP）[11]：一种基于LSTM的方法，明确考虑了固定数量的运动类别并预测了哪种运动类别那些模仿的代理商可能会采取的措施。（6）CAR-Net [42]：一种基于LSTM的方法，通过视觉注意力对场景上下文进行编码。（7）SpAGNN [7]：CNN对原始LIDAR和语义图数据进行编码以产生对象检测，然后图形神经网络（GNN）从中产生概率的，可感知交互作用的轨迹。
评估方法 对于ETH和UCY数据集，使用留一法进行评估，类似于以前的工作[1,13,20,28,41,53]，其中模型在四个数据集上训练并在持有 -第五。评估使用8个时间步长（3.2s）的观察长度和12个时间步长（4.8s）的预测范围。对于nuScenes数据集，我们将训练集的15％用于超参数调整，并在提供的验证集上进行测试。
在下文中，我们将报告Trajectron ++在多种配置中的性能。具体来说，我们的模型是指仅使用节点和边缘编码的基本模型，经过训练可以预测代理速度，并通过Euler积分R速度生成位置； Ours +是具有动力学集成的基础模型，经过训练可以预测控制动作，并将座席的动力学R与控制动作集成在一起以产生职位。 Ours +，M还包括R，其地图编码CNN；而Ours +，M，y R添加了机器人未来编码器。

ETH and UCY Datasets

我们的方法首先在ETH [37]和UCY [33]行人数据集上进行了评估，而不是采用标准轨迹预测方法的确定性方法rics。由于同一作者在[13]和[1]中报告的结果之间存在矛盾，因此很难用确定性方法确定当前的最新技术。在[1]的表1中，没有合并，Social LSTM令人信服地胜过基准LSTM。但是，在[13]的表1中，社交LSTM实际上平均比同一基准差。因此，当与Social LSTM比较时，我们报告的结果总结在[13]的表1中，因为它是同一作者的最新作品。此外，[47]中社会关注度报告的值似乎具有很高的FDE与ADE比率。几乎所有其他方法（包括我们的方法）的FDE / ADE比率约为2-3倍，而社会关注度约为3 -12倍。社交注意力在Univ数据集上的错误尤其引人注目，因为其FDE为3.92是ADE的0.33的12倍，意味着在其他11个时间步长上的预测错误实质上为零。由于没有公开发布的代码，我们仍将与[47]中报告的值进行比较，但这引起了对其有效性的怀疑。为了公平地与先前的工作进行比较，既不使用地图编码也不使用未来的运动计划编码。模型的编码器中仅使用节点历史记录和边缘编码器。此外，采用了模型的确定性ML输出方案，该方案可产生模型最可能的单一轨迹。表2（a）总结了这些结果，并表明我们的方法在位移误差指标方面与最新的确定性回归指标（在现有FDE上，其平均FDE优于现有方法的33％）相比具有竞争优势最小化。有意义的是，由于行人被建模为单个积分器，因此无论行人是否进行动力学集成，模型的性能都相似。因此，它们的控制动作是与基本模型的输出结构相匹配的速度。
为了更具体地比较生成方法，我们使用了[20,45]中提出的基于KDE的NLL度量，该方法可以保持完整的输出分布并比较不同方法的输出下地面真实性的对数似然性。表3总结了这些结果，并表明我们的方法明显优于其他方法。这也是动态集成方案带来的性能改进显而易见的地方。之所以产生最佳性能，是因为现在对模型进行了明确的训练以寻求输出分布（损失函数项pψ（y | x，z）现在直接在位置上），而基本模型则在速度分布上进行了训练，在集成（不考虑系统动态）会引入错误。
不幸的是，目前尚无SoPhie [41]或MATF [53]的公开发布模型，因此无法使用基于KDE的NLL指标进行评估。相反，我们使用其作品中使用的N最佳度量来评估Trajectron ++。
表2（b）总结了这些结果，并表明我们的方法明显优于最新技术[53]，平均错误率降低了55-60％。
地图编码为了评估合并异构数据的效果，我们比较了带有和不带有地图编码器的Trajectron ++的性能。
具体来说，我们在ETH-University场景的Full模型输出中比较了2000个轨迹样本中违反障碍物的频率，该场景提供了简单的二进制障碍物图。总体而言，使用地图编码时，我们的方法生成碰撞预测的时间为1.0％，而使用地图编码时，则为4.6％。我们还研究了特别靠近障碍物的行人有多少减少（即他们的满输出中至少有一条违反障碍物的轨迹），附录中给出了一个例子。
在这种情况下，我们的方法使用地图编码时会产生4.9％的冲突预测，而使用地图编码时则为21.5％。
nuScenes Dataset
为了进一步评估模型使用异构数据并同时对代理的多个语义类进行建模的能力，我们在nuScenes数据集上对其进行了评估[6]。同样，确定性ML输出方案用于与其他单轨迹预测变量进行公平比较。预测了行人和汽车的轨迹，这两个语义对象类别占数据集中存在的23种可能对象类别中的大多数。为了获得随时间变化的预测质量下降的估计值，我们对所有至少有4s可用未来数据的跟踪对象，在t = {1,2,3,4} s时计算模型的FDE。我们还实现了恒定速度的基准线，该基准线简单地维持了代理商在预测范围内的前进方向和速度。表4（a）总结了该模型与最新车辆轨迹预测模型的性能。由于其他方法使用了检测/跟踪模块（而我们没有使用），为了建立公平的比较，我们从其报告的值中减去了其他方法的检测和跟踪误差。动态集成方案和地图编码对车辆产生了显着的改进，因为它们动态扩展的单轮脚踏车动力学现在不同于基本模型所做出的单个集成商假设。请注意，我们的方法仅经过训练才能预测未来的3s，因此其4s时的性能还可以衡量其在训练结构之外的一般化能力。其他方法不报告2s和4s的值。可以看出，Trajectron ++的性能优于现有方法，而3s后性能不会急剧下降。表4（b）报告了我们的方法在行人上的性能，其中高清地图和动态集成的添加与行人数据集的性能类似。
消融研究为了进一步了解哪些模型组件会影响性能，表5进行了全面的消融研究。
从第一行可以看出，相对于当前用于车辆轨迹预测的最新方法，甚至基本模型的确定性ML输出也具有很强的表现[7]。添加动态积分方案可以在所有预测范围内大幅降低NLL和FDE。违反道路边界的预测的频率也会相应增加。
这是在位置（而不是速度）空间中进行训练的结果，这会在相应的预测中产生更大的可变性。此外，包括地图编码在内，还可以保持预测准确性，同时减少违反边界的预测的频率。
表5（b）总结了调节对自我车辆未来运动计划的影响。正如人们所期望的那样，为模型提供自我车辆的未来运动计划可以显着减少错误和违反道路边界的情况。这个用例在整个澳大利亚都是很普遍的作为自主车辆的无人驾驶，通过评估运动原语在每个时间步重复产生未来的运动计划。总体而言，动力学集成是主要的性能改进模块。
定性比较。图3显示了具有动态集成，动态集成+地图编码的基本模型的轨迹预测。在其中，可以看到基本模型（在速度空间中进行预测）低于红色汽车的转弯，并预测其最终将迎面驶来。通过动态集成，该模型可以捕捉特工行动中的多种模式，并预测右转和继续直行的可能性。通过添加地图编码，预测不仅更加准确，而且几乎所有概率质量都位于道路的正确范围内。这与没有地图编码的模型版本相反，后者预测红色汽车可能驶入迎面而来的交通。
在线运行时。机器人技术中的一个关键考虑因素是运行时复杂性。结果，我们评估了Trajectron ++在商品硬件上执行前向推理所花费的时间。结果总结在附录中，并确认我们的模型可以很好地缩放到具有许多代理和交互作用的场景。

结论

在这项工作中，我们介绍了Trajectron ++，这是一种生成式多主体轨迹预测方法，可以唯一地解决我们对于开放，普遍适用和可扩展框架的需求。它可以合并先前轨迹信息以外的异构数据，并能够生成遵守动力学约束的未来条件预测，同时生成完整的概率分布，这在下游机器人任务（例如运动计划，决策和控制）中特别有用。它可以在标准和新的现实世界多代理人行为数据集上的各种指标中实现最新的预测性能。
致谢。蒂姆·萨尔兹曼（Tim Salzmann）在德国学术交流服务（DAAD）的IFI计划内获得了一项研究金支持。我们感谢Matteo Zallio在视觉传达我们的工作方面给予了帮助，而Amine Elhafsi在分享其动力学知识和校对方面给予了帮助。我们还要感谢Brian Yao改进了行人数据集评估脚本，并感谢Osama Makansi改进了我们的结果报告。这项工作得到了福特斯坦福联盟的部分支持。本文仅反映其作者的观点和结论。