Social Ways: Learning Multi-Modal Distributions of Pedestrian Trajectories with GANs

TL;DR

Social Ways以Info-GAN生成多模态轨迹,在ETH上达0.39/0.64的ADE/FDE。

cs.CV 🔴 高级 2019-04-21 23 次浏览
Javad Amirian Jean-Bernard Hayet Julien Pettre
行人轨迹预测 Info-GAN 多模态分布 注意力池化 社会交互

核心发现

方法论

论文提出条件式Social Ways GAN:输入目标行人及场景中其他行人的历史轨迹,LSTM-E编码时序信息,基于距离、方位角和最小接近距离构造交互特征,再用注意力池化聚合邻居影响;LSTM-D结合目标历史、社会特征及噪声z生成未来轨迹。Info-GAN引入连续潜码c,并通过Q网络最大化互信息,显式鼓励不同预测模式。

关键结果

  • 在ETH测试集上,Social Ways取得ADE/FDE=0.39/0.64,明显优于Social-GAN的0.68/1.26、SoPhie的0.70/1.43及Linear的0.59/1.22;Hotel上为0.39/0.66,也优于主要GAN基线。
  • 在Univ、ZARA01和ZARA02上,结果分别为0.55/1.31、0.44/0.64和0.51/0.92;狭窄ZARA场景方差较小,因此多样性优势未必转化为最低误差。
  • 六组、每组含三个条件模式的合成数据表明,Info-GAN几乎保留全部模式;Vanilla-GAN、L2-GAN和S-GAN-V20发生模式坍缩。L2虽收敛更快,却损害分布覆盖;1-NN与EMD也支持Info-GAN和Unrolled-GAN更稳定。

研究意义

行人未来运动不是单一答案:同一历史可能对应避让、跟随或转向。若模型只输出平均轨迹,自动驾驶系统可能误判风险。Social Ways把预测目标从“最接近真实的一条线”推进到“条件分布的可采样表示”,为上层规划提供多种可能未来。ETH和Hotel上的改进说明其对非线性、拥挤及群体行为具有实际价值;合成模式测试则补足了真实数据中多模态样本稀少的评估缺口。

技术贡献

技术上,论文将Info-GAN用于条件行人轨迹生成,并取消常见L2生成损失。生成器采用LSTM编码—解码结构,社会交互不是无结构池化,而是由三类人工先验特征驱动的可学习注意力:欧氏距离、相对方位和恒速假设下的最小接近距离。判别器同时处理观测与未来轨迹,Q网络重建潜码c。该设计在生成质量与模式保持之间取得更合理平衡。

新颖性

相较Social-GAN、SoPhie及带Variety loss的方法,核心新意不是简单增加随机噪声,而是让潜码与生成轨迹保持互信息,从训练目标上抑制mode dropping。论文还专门设计三模式合成轨迹数据,用1-NN和Earth Mover’s Distance评估分布相似性,使“多样性”从可视化印象变成可检验指标。

局限性

  • 真实ETH/UCY数据中清晰多模态条件很少,因而模式保持主要由合成数据验证;这不能完全代表复杂真实人群。
  • 模型按目标行人独立采样,并未联合生成所有人的未来,因此可能无法保证多智能体预测之间的一致性。
  • 论文报告的实验规模、运行成本和参数敏感性有限,也未系统比较更现代的扩散模型或图神经网络。

未来方向

后续可联合建模全体行人,加入地图、障碍物、目标意图和视觉语义;在更大规模、更多文化与天气条件的数据上评估校准性和安全性。还应研究Info-GAN与图网络、扩散生成及风险敏感规划的结合,并报告采样速度、置信度及碰撞率等部署指标。

AI 总览摘要

预测行人下一步往哪里走,是自动驾驶、城市安全和机器人导航的关键问题。难点在于同一段历史往往有多个合理后果:行人可能直行、绕开他人或改变目标。传统常速度模型、Social-Force以及Social-LSTM通常输出单条轨迹,容易把多种可能平均成一条不真实的路线;普通GAN又容易模式坍缩,只生成少数类型。

Amirian等人提出Social Ways,将条件GAN用于轨迹采样。LSTM编码目标行人与邻居历史,注意力池化依据距离、方位角和最小接近距离学习社会影响;解码器结合历史、邻居表示和随机噪声生成未来12帧。其关键是Info-GAN:潜码c代表行为变化,Q网络通过互信息目标约束生成结果,使不同潜码对应不同预测模式。作者还删除L2损失,因为该损失虽加速收敛,却会把样本拉向平均轨迹。

在ETH、Hotel、Univ、ZARA01和ZARA02上,输入约2.8秒、预测4.8秒,20次采样取最接近真实轨迹评估。Social Ways在ETH达到ADE/FDE 0.39/0.64,在Hotel达到0.39/0.66;但在低方差的ZARA场景不总是最佳。专门的三模式合成数据显示,Info-GAN几乎保留所有模式,而Vanilla-GAN、L2-GAN和Variety loss基线明显坍缩。研究的价值因此不仅是降低误差,更是把“可能发生什么”作为可测量的分布来学习;不过未来仍需联合预测所有行人,并在真实多模态和安全部署环境中验证。

深度分析

研究背景

行人预测经历了常速度、Social-Force等手工模型,以及Social-LSTM、Social-GAN和SoPhie等神经网络方法。LSTM擅长时序,GAN擅长采样,但普通回归常把多种意图平均化,普通GAN又可能忽略少数模式。ETH与UCY提供真实轨迹,却很少包含同一条件下的明确多模态样本。

核心问题

给定N名行人连续τ+1个观测状态xi_t=[位置、速度],预测目标行人未来T步xi_1:T。系统必须同时处理个体运动、邻居不确定性和社会互动,并输出条件分布而非单一答案。难点包括模式坍缩、模式丢失、真实样本稀缺及多智能体关联。

核心创新

  • �� Info-GAN潜码c与Q网络最大化互信息,鼓励可区分行为模式。
  • �� 取消生成器L2损失,避免所有样本向真实均值收缩。
  • �� 用距离、方位角和最小接近距离构成三维社会先验,再由softmax注意力学习邻居权重。
  • �� 设计六组、每组三级模式的合成数据,并用1-NN和EMD直接检验分布保持。

方法详解

  • �� 输入:目标及邻居的历史轨迹,τ=7,状态含二维位置与二维速度。
  • �� 编码:LSTM-E通过hi_t=λe(hi_{t-1},μ(xi_t))提取历史。
  • �� 交互:fij=φ(δij),δij包含距离、方位角和最小接近距离;aij由缩放点积与softmax得到。
  • �� 生成:LSTM-D输入[hi_t,Σj≠iaijhj_t,z],经三层全连接输出二维未来位置。
  • �� 判别:两个LSTM分别编码观测和候选未来,D判断真假,Q重建c。
  • �� 优化:对抗项加互信息项−λE[logQ(c|G)],不加入L2。

实验设计

使用ETH、Hotel、ZARA01、ZARA02和Univ,采用五折式留一场景测试。比较Linear、S-Force、S-LSTM、S-GAN、S-GAN-P和SoPhie;输入约2.8秒,预测4.8秒,每次生成K=20样本。指标为ADE和FDE。实现采用PyTorch,生成器/判别器学习率分别为0.001/0.0001,批量64,训练20000轮;合成数据另比较Vanilla-GAN、L2-GAN、S-GAN-V20及Unrolled10。

结果分析

Social Ways在ETH为0.39/0.64,优于S-GAN 0.68/1.26;Hotel为0.39/0.66,优于S-GAN-P 0.44/0.89。Univ为0.55/1.31,接近SoPhie的0.54/1.24;ZARA01为0.44/0.64,ZARA02为0.51/0.92。合成实验中,Info-GAN在约90000次迭代后保留几乎全部模式;加入L2反而恶化1-NN和EMD分布指标。

应用场景

自动驾驶可从多个采样未来中计算碰撞风险,而非依赖一条平均路线;服务机器人可据此规划绕行、跟随或等待。部署前需有稳定行人检测与跟踪、足够历史帧、场景坐标和实时采样预算。ETH/Hotel结果显示,开放空间与非线性运动尤其适合该方法。

局限与展望

模型只为单个目标行人生成轨迹,邻居未来通过历史表示间接体现,可能产生彼此不协调的联合预测。注意力特征依赖恒速近似,难表达地图、障碍物和目标意图。真实数据多模态证据不足,合成数据结论存在外推限制;论文也未报告碰撞率、概率校准、推理耗时及与扩散模型的比较。

通俗解读 非专业人士也能看懂

把模型想成十字路口旁的“路线顾问”。它先观察一个人过去几秒怎么走,也观察周围人离他多远、站在哪个方向、如果都保持速度会不会靠得太近。随后,顾问不会只给一条路线,而是准备许多可能剧本:继续直走、绕开别人,或跟随同伴。

训练时有一名“裁判”判断路线像不像真实行人走法;“路线设计师”不断修改方案来骗过裁判。普通设计师可能只反复画最常见的一条路,这叫模式坍缩。Social Ways额外给设计师一个“风格编号”,并要求编号能从画出的路线中被猜回来,于是不同编号必须产生不同风格。

作者还发现,强行要求每条路线都贴近唯一答案,会让所有路线挤在平均位置。因此删除L2规则。ETH上模型误差为0.39/0.64,合成测试也几乎保留全部三种路线,说明它更像是在描绘“可能性地图”,而不是猜一条标准答案。

简单解释 像给14岁少年讲一样

想象你在校园门口观察一个同学走了几秒,接下来他会去哪?他可能去教室、食堂,也可能为了避开人群绕路。只猜一条路线,就像考试只允许一个答案;但现实中有好多合理答案!

Social Ways像一个会写“未来剧本”的游戏系统。它先看这个同学和周围人的历史动作,再看距离、方向,以及两个人照现在速度走下去会不会撞得太近。然后它随机选择不同“剧情按钮”,生成许多未来路线。

系统里有一个裁判,专门挑出不像真人的路线;生成器则努力改进。Info-GAN还要求每个剧情按钮真的对应不同结果,所以不会所有角色都走同一条路。作者甚至造了一个有三条分支路线的小地图,专门检查系统有没有漏掉某种可能。

结果很酷:在ETH数据集上,Social Ways的平均误差/终点误差是0.39/0.64,比普通Social-GAN的0.68/1.26好。可是它还不是魔法:它主要为一个人预测,不能保证所有人的未来完全互相配合。未来如果加入地图、红绿灯和行人目标,机器人就能更安全地“提前猜剧情”啦!

术语表

GAN(生成对抗网络)

由生成器和判别器组成,前者制造样本,后者区分真实与生成数据。二者对抗训练以逼近数据分布。

Social Ways用条件GAN生成给定历史下的未来轨迹。

Info-GAN(信息最大化GAN)

在GAN中加入潜码,并最大化潜码与生成结果之间的互信息。它促使潜变量对应可区分的变化模式。

用于抑制轨迹预测中的模式坍缩与模式丢失。

模式坍缩

生成模型只输出少数相似样本,未覆盖真实分布的多个可能模式。它会使多模态预测失去风险信息。

论文比较了Vanilla-GAN、L2-GAN等方法的坍缩现象。

注意力池化

为不同邻居分配可学习权重,再加权汇总其表示。权重通常由相似度和softmax归一化得到。

Social Ways据社会几何特征学习邻居对目标行人的影响。

ADE/FDE

ADE是各预测时刻位置误差的平均值;FDE是最终位置误差。二者越低表示轨迹越接近真实。

论文用两者评价ETH、UCY等数据集上的预测准确性。

Earth Mover’s Distance

衡量把一个样本分布搬运成另一个分布所需的最小代价。论文用轨迹ADE作为样本间距离。

用于合成数据上检验生成分布是否接近真实分布。

开放问题 这项研究留下的未解疑问

  • 1 真实场景中同一历史对应多种未来的样本仍少,合成数据是否能代表真实意图分布有待验证。

应用场景

近期应用

自动驾驶风险预测

车辆可生成行人未来的多条可能路线,并对每条路线计算碰撞风险,而不是只相信平均轨迹。需要稳定跟踪、场景坐标和足够实时采样能力。

服务机器人避障

商场或医院机器人可利用邻居注意力与多样化轨迹,在直行、绕行和等待之间规划更自然的动作。部署时还需加入地图、障碍物与安全距离约束。

远期愿景

联合社会场景预测

未来系统可同时生成所有行人的相互一致轨迹,并融合目标意图、地图和视觉语义,成为自动驾驶规划器的概率世界模型。

原文摘要

This paper proposes a novel approach for predicting the motion of pedestrians interacting with others. It uses a Generative Adversarial Network (GAN) to sample plausible predictions for any agent in the scene. As GANs are very susceptible to mode collapsing and dropping, we show that the recently proposed Info-GAN allows dramatic improvements in multi-modal pedestrian trajectory prediction to avoid these issues. We also left out L2-loss in training the generator, unlike some previous works, because it causes serious mode collapsing though faster convergence. We show through experiments on real and synthetic data that the proposed method leads to generate more diverse samples and to preserve the modes of the predictive distribution. In particular, to prove this claim, we have designed a toy example dataset of trajectories that can be used to assess the performance of different methods in preserving the predictive distribution modes.

cs.CV