AdvDO Realistic Adversarial Attacks for Trajectory Prediction
0 摘要
白盒攻击。是对On-Adversarial-Robustness-of-Trajectory-Prediction-for-Autonomous-Vehicles的追加版本。附件有很多补充的实验等内容。
轨迹预测是自动驾驶汽车(AVs)制定正确、安全驾驶行为的关键。虽然以往的许多研究都是为了提高预测精度，但很少研究其方法的对抗鲁棒性。为了弥补这一差距，我们提出研究数据驱动的轨迹预测系统的对抗鲁棒性。我们设计了一个基于优化的对抗攻击框架，利用一个精心设计的可微动态模型来生成真实的对抗轨迹。我们对最先进的预测模型的对抗鲁棒性进行了基准测试，并表明我们的攻击将一般度量和规划感知指标的预测误差分别增加了50%和37%以上。我们还表明，我们的攻击可以导致自动驾驶汽车驶离道路或碰撞其他车辆在模拟中。最后，我们将演示如何使用对抗训练方案来减轻对抗攻击(我们的项目网站是https://robustav.github.io/RobustPred)。
1 结论
本文研究了轨迹预测系统的对抗鲁棒性。我们提出了一个攻击框架，通过一个精心设计的可微动态模型来生成真实的对抗轨迹。我们已经证明，预测模型通常是脆弱的，某些在良性环境中有益的模型设计(例如，同时建模运动和社会属性)可能会使模型更容易受到敌对攻击。此外，运动(预测对抗agent的未来轨迹)和社会(预测其他agent的未来轨迹)属性都可以通过操纵对抗agent的历史轨迹来实现。我们还表明，预测误差影响下游规划和控制管道，导致严重后果，如碰撞。我们希望我们的研究能够阐明在对抗例子下评估最坏情况下性能的重要性，并提高对AV系统可能面临的安全风险类型的认识，从而鼓励鲁棒轨迹预测算法。
2 介绍
轨迹预测是现代自动驾驶汽车(AV)系统的重要组成部分。它可以让自动驾驶汽车系统预测附近其他道路使用者的未来行为，并据此制定行动计划。最近的数据驱动方法在运动预测基准上表现出了显著的性能[1-7]。与此同时，对于像自动驾驶汽车这样的安全关键系统来说，其组件的高性能与可靠性和健壮性同样重要。但现有的工作很少考虑到这些轨迹预测模型的稳健性，特别是当它们受到蓄意的敌对攻击时。
一个典型的对抗性攻击框架包括一个威胁模型，即生成“现实”的对抗性样本的函数，对抗性优化目标，以及系统地确定攻击影响的方法。然而，在设计这种攻击轨迹预测模型的框架方面仍然存在一些关键的技术挑战。
首先，威胁模型必须由以下组成1)受真实车辆物理约束(即动态可行)和2)接近正常轨迹。后者尤其重要，因为历史轨迹的大幅度变化很难说明是模型的脆弱性还是历史轨迹的改变。为此，我们提出了一种攻击方法，该方法使用精心设计的可微动态模型来生成既有效又逼真的对抗轨迹。此外，通过基于梯度的优化过程，我们可以有效地生成对抗轨迹，并自定义对抗优化目标，以创建不同的安全关键场景。
其次，并非所有的轨迹预测模型对攻击的反应都是一样的。在良性环境中有益的特征可能会使模型更容易受到对抗性攻击。我们考虑了现代预测模型的两个基本属性：（1）运动属性，它捕捉了过去智能体状态对未来状态的影响;（2）社会属性，它捕捉了每个智能体的状态如何影响其他智能体。已有的预测模型提出了各种体系结构，以明确地对这些特性进行建模，无论是单独地进行（独立建模）[3]还是联合进行[4]。我们表明，我们的新的攻击框架可以利用这些设计选择。如图1所示，仅通过操纵对抗性智能体的历史轨迹，我们就能够误导对抗性智能体的预测未来轨迹（即对图1中红色汽车左转未来轨迹的错误预测-右）。此外，我们能够误导对其他智能体行为的预测（即图1中黄色汽车的右转为左转）。在评价过程中，我们可以分别对这两个目标进行评价。它帮助我们细粒度地诊断不同模型的漏洞。
提出了两个目标，一个是对抗历史轨迹影响对自身轨迹的预测，还有一个是对抗历史轨迹使得av对其它车辆的轨迹误判。
现有的预测指标，如平均距离误差（ADE）和最终距离误差（FDE）只测量平均情况的误差，因此对于评估对抗性攻击的有效性来说过于粗糙。他们还忽略了在下游的规划和控制管道中预测误差的影响。我们结合了各种具有语义含义的指标，如越野率，未命中率和规划感知指标[8]，以系统地量化预测攻击的有效性。我们还通过以闭环方式模拟AV的驾驶行为来对预测规划管道进行端到端攻击。我们证明攻击可以导致紧急制动和各种碰撞的AV。
我们在nuScenes数据集[9]上对最先进的轨迹预测模型[3,4]的对抗鲁棒性进行了基准测试。我们表明，我们的攻击可以使一般度量和规划感知度量的预测误差分别增加50%和37%。我们还表明，对抗轨迹是现实的数量和质量。此外，我们在仿真中证明了所提出的攻击可以导致严重的后果。最后，我们利用所提出的对抗动态优化方法(AdvDO)来探讨对抗训练下的缓解方法。我们发现，采用动态优化训练的模型的对抗鲁棒性提高了54%。
3 相关工作
轨迹预测。现代轨迹预测模型通常采用深度神经网络，将智能体的状态历史作为输入，并生成其可信的未来轨迹。准确预测多智能体行为需要建模两个关键属性:(1)运动属性，它捕捉了智能体过去状态对未来状态的影响;(2)社会属性，用来描述每个主体的状态如何影响其他主体。之前的大多数作品分别对这两个属性建模[2,3,7,10,11]。例如，一个典型的方法Trajactron++[3]分别使用时间序列模型和图网络来总结时间和agent间的特征。但是在单个中对这两个属性建模忽略了跨时间和代理的依赖关系。最近的一项工作Agentformer[4]引入了一个联合模型，该模型允许一个代理的一次状态去影响另一个模型的状态通过一个transformer在未来时间内。
与此同时，尽管这些建模运动和社会属性的设计选择在良性的情况下可能是有益的，但在对抗攻击下，它们可能会以意想不到的方式影响模型的性能。因此，我们选择这两个具有代表性的模型[3,4]进行实证评价。
对抗交通场景生成。对抗性交通场景生成是对可能存在安全风险的交通场景进行综合[12-16]。大多数以前的方法分为两类。第一个目标是利用生成模型和样本对抗案例，从真实驾驶日志中获取交通场景分布。例如，[16]学习交通场景的潜在生成模型，然后搜索映射到危险情况的潜在代码，如即将发生的碰撞。然而，这些潜在代码可能并不符合真实的交通场景。如补充材料所示，该方法生成了在现实世界中不太可能出现的场景(例如在道路的错误一侧驾驶)。请注意，这是生成方法的一个基本限制，因为几乎所有现有的数据集都只包含安全的场景，很难生成数据中很少或不存在的情况。
我们的方法属于第二类，即通过干扰真实交通场景来生成对抗案例。我们面临的挑战是设计一个合适的威胁模型，使修改后的场景保持真实。目前的挑战是设计一个合适的威胁模型，使改变后的情况仍然现实。AdvSim [17]通过移植被优化的对抗样本，造成碰撞，不舒适的驾驶等来危害自我车辆。虽然AdvSim强制执行合成轨迹的动态可行性，但它使用的是缓慢且不可靠的黑箱优化。我们的工作与最近的工作非常相似[18]。然而，正如我们将以经验证明的那样，[18]未能生成动态可行的对抗轨迹。这是因为其威胁模型仅使用数据集统计数据（例如速度、加速度、航向等）。作为动力学参数，其太粗糙而不能用于生成真实的轨迹。例如，NuScenes数据集中的最大加速度超过20 m/s2，而顶级跑车的最大加速度仅为10 m/s2左右。相比之下，我们的方法利用精心设计的可微动态模型来估计随机动态参数。这使得我们的威胁模型能够合成现实和动态可行的对抗轨迹。
对抗鲁棒性。深度学习模型通常容易受到对抗性攻击[19-30]。有大量关于提高其对抗鲁棒性的文献[31-44]。在AV背景下，许多作品研究了感知任务的对抗鲁棒性[45]，而分析轨迹预测器的对抗鲁棒性[18]很少探索。在这项工作中，我们专注于研究轨迹预测任务中的对抗鲁棒性，考虑其独特的属性，包括运动和社会互动。
4 问题表述和挑战
在本节中，我们将介绍轨迹预测任务，然后描述攻击和挑战的威胁模型和假设。
轨迹预测框架。在这项工作中，我们专注于轨迹预测任务。我们的目标是给未来的轨迹分布N的历史状态和其他环境上下文建模，如地图。更具体地，轨迹预测模型以固定的时间间隔Δt获取每个代理的观察状态的序列，并且输出每个代理的预测的未来轨迹。对于观察到的时间步长t ≤ 0，我们将时间步长t处的N个代理的状态表示为Xt =（Xt 1，.，xt i，.，其中xt i是代理i在时间步t处的状态，其包括位置和上下文信息。我们将所有N个代理在T个未来时间步长上的未来轨迹表示为Y = Y1，…，其中，Yt =（yt 1，…，表示在未来时间步长t（t> 0）的N个代理的状态。我们将地面真实值和预测的未来轨迹分别表示为Y和Yhat。轨迹预测模型P旨在最小化Yhat = P（X）与Y之间的差。在AV堆栈中，轨迹预测以固定的时间间隔重复执行，通常与Δt相同。我们将Lp表示为在几个过去的连续时间帧中执行的轨迹预测的数量。因此，在时间帧（-Lp <t ≤ 0）处的历史是X（t）=<$X-H-t+1，.，X−t，Y和Y也是如此。
对抗性攻击框架。在这项工作中，我们专注于设置对手车辆（adv代理）通过沿对抗轨迹Xadv（·）驾驶沿着来攻击自我车辆的预测模块。轨迹预测模型预测了adv agent和其他agent的未来轨迹。攻击目标是在每个时间步误导预测，并随后使AV计划执行不安全的驾驶行为。如图1所示，通过沿着沿着精心制作的对抗（历史）轨迹驾驶，轨迹预测模型为adv代理和另一代理预测错误的未来轨迹。这些错误可能导致严重的后果，如碰撞。在这项工作中，我们专注于白盒威胁模型，其中对手可以访问所有代理的模型参数，历史轨迹和未来轨迹，以探索强大的对手可以根据Kerckhoffs原则[46]做些什么来更好地激励防御方法。
挑战。设计针对预测模块的有效对抗攻击的挑战有两个方面：（1）生成真实的对抗轨迹。在AV系统中，历史轨迹由上游跟踪管道生成，并且由于计算约束，通常稀疏地查询。另一方面，动态参数如加速度和曲率是位置的高阶导数，并且通常通过数值微分来估计，所述数值微分需要计算小时间间隔内的位置之间的差。因此，很难从历史轨迹中的这种稀疏采样位置估计正确的动态参数。如果没有正确的动力学参数，就不可能确定轨迹是否真实，更不用说生成新的轨迹了。(2)评估对抗性攻击的影响。大多数现有的评估指标的轨迹预测假设良性的设置和不足以证明攻击下的AV系统的影响。例如，预测中较大的平均距离误差（ADE）并不直接导致碰撞等具体后果。因此，我们需要一个新的评估管道来系统地确定针对预测模块的对抗性攻击的后果，以进一步提高普通受众对AV系统可能面临的风险的认识。
5 AdvDO：对抗性动态优化
为了解决上面列出的两个挑战，我们提出了对抗动态优化（AdvDO）。如图2所示，给定轨迹历史，AdvDO首先通过可微动态模型估计其动态参数。然后，我们使用估计的动态参数来生成一个现实的对抗历史轨迹给定一个良性的轨迹，通过解决一个对抗优化问题。具体而言，AdvDO由两个阶段组成：（1）动态参数估计，和（2）对抗轨迹生成。在第一阶段，我们的目标是通过从数据集的采样轨迹重建一个现实的密集轨迹来估计正确的动态参数。为了重建密集的轨迹，我们利用一个可微的动态模型，通过优化控制动作。当我们得到正确的轨道动力学参数的估计，它可以用于第二阶段。在第二阶段，我们的目标是生成一个对抗性的轨迹，在给定的约束条件下误导未来的轨迹预测。为了实现这一目标，我们仔细设计了对抗损失函数，其中包含约束的几个正则化损失。然后，我们还扩展了攻击连续预测的方法。
5.1 动态参数估计
可微动力学模型。给定当前状态st = {pt，θt，vt}和控制动作ut = {at，κt}，动态模型计算下一状态st+1 = {pt+1，θt+1，vt+1}。这里，p、θ、v、a、κ分别表示位置、航向、速度、加速度和曲率。我们采用运动自行车模型作为常用的动力学模型[17]。我们用微分方法计算下一个状态，例如，vt+1 = vt + at · Δt其中Δt表示两个时间步长之间的时间差。给定控制动作序列u =（u 0，…，ut）和初始状态s 0，我们将动态模型表示为可微函数Φ，使得它可以计算未来状态s =（s 0，…，st）= Φ（s0，u; Δt）。注意，动态模型还提供了一个逆函数Φ−1，该逆函数在给定轨迹p =（p0，…，pt）。当使用足够小的Δt时，该离散系统可以近似真实的世界中的线性系统。还可以证明，使用较小的Δt，动态模型更好地近似。
基于优化的轨迹重建。为了精确地估计给定轨迹p的动态参数{θ，v，a，κ}，需要小的时间差Δt或大的采样率f =1/Δt。然而，轨迹预测任务中轨迹的采样率由AV堆栈决定，并且通常很小（例如，对于nuScene [9]为2 Hz），这受到硬件计算性能的限制。因此，直接从采样轨迹估计动态参数是不准确的，使得难以确定通过扰动由AV系统提供的历史轨迹而生成的对抗历史Xadv是否真实。为了解决这个问题，我们建议首先重建一个密集的轨迹，然后从重建的密集轨迹估计一个更准确的动力学参数。为了重建密集采样的历史轨迹Di = D−H·f+1 i，.，D0 i从具有附加采样率f的给定历史轨迹Xi中提取，我们需要找到穿过Xi中的位置的现实轨迹Di。我们试图通过解决一个优化问题来找到它。首先，我们用一个简单的线性插值Xi初始化Di，然后我们计算所有步骤的动态参数，现在，我们可以用Φ（s 0，u; Δt）表示重建的密集采样轨迹Di，其中u = {a，κ}。为了进一步重建一个现实的轨迹，我们优化了控制动作u与精心设计的重建损失函数Lrecon。重建损失函数由两项组成。我们首先包括MSE（均方误差）损失以强制重建的轨迹穿过给定的历史轨迹Xi。我们还包括ldyn，基于软裁剪函数的正则化损失，以基于车辆动力学将动态参数限制在预定义范围内[17]。总而言之，通过解决以下优化问题：
我们重建经过对抗代理的给定历史轨迹的密集采样的动态可行轨迹D*i。
5.2 对抗轨迹生成
攻击单步预测。为了生成真实的对抗轨迹，我们首先使用前一阶段的估计初始化对抗代理的动态参数，记为D* orig.类似于轨迹重建过程中的优化，我们优化控制动作u以生成最佳对抗轨迹。
我们的对抗性优化目标由四项组成。各术语的详细表述见补充材料。第一项lobj表示攻击目标。由于运动和社会属性对于轨迹预测模型是必不可少的和独特的。我们的设计师在设计的时候，第二项lcol是一个常识性的目标，它鼓励生成的轨迹遵循一些常识性的交通规则。在本文中，我们只考虑避免碰撞[11]。第三项lbh是基于软限幅函数的正则化损失，给定限幅范围为（− k，k）。它将对抗轨迹限制为接近原始历史轨迹Xorig。我们还包括ldyn约束的动态参数。全部对抗性损失的定义为：
其中α和β是加权因子。然后，我们使用投影梯度下降（PGD）方法[33]来找到由车辆动力学获得的约束（ulb，uub）约束的对抗控制动作uadv。
攻击连续的预测。为了攻击Lp个连续的预测帧，我们的目标是生成长度为H + Lp的对抗性轨迹，该轨迹在每个时间帧上均匀地误导预测。为了实现这一目标，我们可以很容易地将攻击单步预测的公式扩展到攻击一系列预测，这对于攻击诸如AV规划模块之类的顺序决策器是有用的。具体地说，为了生成第3节中描述的Lp个连续预测步骤的对抗轨迹，我们汇总了这些框架上的对抗损失。攻击一段H + Lp轨迹的目标是：
其中X（t）、Dadv（t）、Y（t）是在时间帧t处的对应X、Dadv、Y。
6 实验
我们的实验试图回答以下问题：（1）目前主流的轨迹预测系统对我们的攻击鲁棒吗？(2)与其他方法相比，我们的攻击更真实吗？(3)我们的攻击如何影响预测系统？(4)用于建模运动和/或社会属性的特征是否会影响模型的对抗鲁棒性?(5)我们能否通过对抗性训练来减轻我们的攻击?
6.1 实验设置
模型。我们评估了两种最先进的轨迹预测模型:AgentFormer和trajectory ++。如前所述，我们选择AgentFormer和trajectory ++是因为它们在建模motion和预测social方面具有代表性特征。AgentFormer提出了一种基于transformer的社会交互模型，该模型允许一个agent当前的状态直接影响另一个agent未来的状态。而trajectory ++则整合了agent dynamics。由于语义映射是这些模型的可选信息，我们为每个模型准备了两个版本，其中有map和没有map。
数据集。我们遵循[4,3]中的设置，使用nuScenes数据集[9]，这是一个关注城市驾驶设置的大规模运动预测数据集。我们按照官方建议选择历史轨迹长度(H = 4)和未来轨迹长度(T = 12)。我们报告所有150个验证场景的结果。
基线。我们选择Zhang et al.[18]提出的基于搜索的攻击作为基线，命名为search。正如§2中提到的，原始方法犯了两个错误:(1)动态参数的估计界值不正确，(2)生成真实对抗轨迹时的有界动态参数选择不正确。我们通过(1)使用一组真实世界的动态绑定值[17]来纠正这些错误。(2)由于曲率与转向角呈线性关系，所以不考虑曲率导数，而是考虑曲率变量的边界。我们将这种攻击方法称为search*。对于我们的方法，我们评估了两种变化:(1)Opt-init，即初始动力学(即在(t =−H)时间步长的动力学)D−H·S+1 adv是固定的;(2)Opt-end，即当前动力学(t = 0) D0 adv是固定的。Opt-end并不适用于顺序攻击，但为了理解有严格界限的攻击，我们引入了Optend，因为当前位置在轨迹预测中往往起着重要作用。
指标.我们使用nuscenes预测挑战中的四个指标评估攻击：ADE/FDE，Miss Rates（MR），Off Road Rates（ORR）[9]及其与预测感知版本的对应关系：PI-ADE/PI-FDE，PI-MR，PIORR [8]，其中指标值由AV规划的敏感性加权。此外，为了比较哪种攻击方法生成最真实的对抗轨迹，我们计算曲率边界的违规率（VR），其中VR是违反动态约束的对抗轨迹数量与生成的对抗轨迹总数的比率。
实施细节。对于轨迹重建，我们使用Adam优化器并将优化的步骤数设置为5。对于基于PGD的攻击，我们将AdvDO和基线的步数都设置为30。我们根据经验选择β = 0.1和α = 0.3以获得最佳结果。
6.2 主要结果
攻击下的轨迹预测。首先，我们比较了攻击方法的预测性能的有效性。如表1所示，我们提出的攻击（Opt-init）在所有模型变量和指标中导致最高的预测误差。Opt-init的性能大大优于Opt-end，这表明当前帧的动态特性在轨迹预测系统中起着重要作用。请注意，Zhang等人提出的搜索具有超过10%的显著违规率（VR）。它进一步验证了我们之前的说法，即搜索会产生不切实际的轨迹。
为了进一步证明攻击对下游管道（如规划）的影响，在这里我们使用Ivanovic等人提出的规划感知指标报告预测性能。如上所述，这些度量考虑周围代理行为的预测准确性如何影响自我规划其未来运动的能力。具体地，从规划成本对预测的偏导数计算度量，以估计自我车辆的进一步规划的灵敏度。此外，通过聚合加权预测度量（例如，ADE、FDE、MR、ORR），我们可以定量报告计划感知指标，包括（PIADE/FDE、PI-MR、PI-ORR）。如表2所示，结果与之前的结果一致。
攻击保真度分析。在这里，我们的目标是定性和定量地展示生成的对抗轨迹的保真度。我们显示我们的分析与地图作为一个案例研究。在图3中，我们可视化了搜索和Opt-end方法生成的对抗轨迹。我们证明了我们的方法（Opt-end）可以在不改变驾驶行为语义的情况下产生有效的攻击。相比之下，搜索要么生成不切实际的轨迹，要么急剧改变驾驶行为。
为了进一步量化攻击保真度，我们建议使用[8]中的敏感性度量来衡量对抗性攻击引起的行为改变程度。该指标是衡量一个代理的行为对其他代理的未来轨迹的影响。我们计算了良性和对抗性设置之间的非adv代理的聚合敏感性的差异。我们证明了我们提出的攻击（Opt-init，Opt-end）引起较小的敏感性变化。这证实了我们的定性分析，我们的方法在行为层面上产生更真实的攻击。
规划器的案例研究。为了明确地证明我们对AV堆栈的攻击的后果，我们以端到端的方式评估了预测规划管道的对抗鲁棒性。我们选择了验证场景的子集，并在两个展示设置中评估了两种规划算法，分别是基于规则的[16]和基于MPC的[47]，都在开环和闭环设置下。在开环设置中，自我车辆生成并遵循6秒计划而无需重新规划。闭环设置为每0.5秒重新计划一次。我们在两种情况下重放其他参与者的轨迹。对于闭环场景，我们使用Lp = 6进行序列攻击。如表4所示，我们的攻击导致自我与其他车辆相撞和/或离开可驾驶区域。
我们在图4中可视化了几个代表性的案例。图4（a）显示攻击导致侧面碰撞。图4（B）显示了攻击误导了预测，迫使AV停止并导致追尾碰撞。请注意，没有攻击可以导致基于规则的规划器离开可驾驶区域，因为它被设计为将自我车辆保持在车道的中间。与此同时，我们观察到攻击基于规则的规划器会导致更多的碰撞，因为它无法避开正面碰撞。
自我车辆为绿色，对抗代理为红色，其他代理为蓝色。红色圈代表碰撞或越野驾驶后果。
运动和社会建模。如第2节所述，轨迹预测模型旨在学习（1）每个智能体的运动动力学和（2）智能体之间的社会交互。在这里，我们对这两个属性进行更深入的攻击分析。对于运动属性，我们引入了一个运动度量，该度量测量了攻击导致的对抗代理的预测未来轨迹的变化。对于社会属性，我们希望评估攻击对非adv代理预测的影响。因此，我们使用一个名为Interaction的指标来衡量所有非adv代理之间的平均预测变化。如表5所示，运动属性比交互属性更容易受到攻击。这是因为扰乱adv代理的历史直接影响其未来，而非adv代理仅通过交互模型受到影响。我们观察到，我们的攻击导致AgentFormer的运动错误比Trajectron++更大。一个可能的解释是，AgentFormer可以在所有代理之间实现过去和未来轨迹之间的直接交互，使其更容易受到攻击。
转移性分析。在这里，我们评估通过考虑一个模型生成的对抗性示例是否可以转移到攻击另一个模型。结果如图5所示。Cell（i，j）显示了针对模型j生成的对抗示例的归一化传输率值，并在模型i上进行评估。我们证明，当共享同一骨干网络时，生成的对抗轨迹具有高度可转移性（转移率≥ 77%）。此外，生成的对抗轨迹也可以在不同的主干之间传输。这些结果表明了黑盒攻击在现实世界中不可见的模型的可行性。
Fig. 5: Transferability heatmap. A: AgentFormer w/ map; B: & AgentFormer w/o map; C: Trajectron++ w/ map ; D: Trajectron++ & w/o map
减轻。为了减轻攻击的后果，我们使用标准的缓解方法，对抗训练[33]，这已被证明是最有效的防御。如附录中的表C所示，我们发现使用搜索攻击的对抗训练模型比使用Opt-init攻击的对抗训练模型差得多。这可能是由于搜索生成的不切实际的对抗轨迹，这也强调了生成现实的轨迹对于成功提高对抗鲁棒性至关重要。
8 想法
这篇文章也是通过生成车辆的对抗历史轨迹来进行攻击，是对On Adversarial Robustness of Trajectory Prediction for Autonomous Vehicles的延续性工作。
8.1 可继续做的点
- 在5部分，更改或者添加其它的损失函数。
- 在生成对抗样本的理论部分，5.2，只考虑了避免碰撞，还可以有继续做的可能。
- 这篇文章是单帧攻击，可以结合之前那篇[On Adversarial Robustness of Trajectory Prediction for Autonomous Vehicles]考虑多帧攻击和其防御。