Real-Time Radar Semantic and Panoptic Scene Understanding 论文阅读

全文概览

旋转式调频连续波雷达（FMCW，Frequency-Modulated Continuous-Wave）持续扫过周围环境，但一圈数据的采集需要时间。StreamRPS 同时处理两个瓶颈：借助 LiDAR 场景补全生成更稠密的训练标签，再让网络按方位扇区输出语义与实例结果，减少等待完整扫描带来的延迟。

方法围绕极坐标数据展开。标签生成考虑雷达与 LiDAR 的采集时差，网络则加入距离与方位位置、方向卷积、时间通道加权、矩形 patch 和分轴注意力。SAX 与 Boreas 实验支持这些设计在流式切片下的作用，也暴露了小目标识别、伪标签偏差和扇区边界近似等限制。

论文由 Santosh Parit、Julia Hindel、Rohit Mohan、Georgi Pramatarov、Paul Newman、Daniele De Martini 和 Abhinav Valada 撰写，机构包括 Freiburg 与 Oxford。本文阅读 arXiv v1 原始全文，首投为 2026 年 10 月 19 日 17:51:49 UTC，即北京时间 10 月 20 日，按预印本解读。下图先区分训练时的跨模态监督与雷达预测路径。

图源为 Santosh Parit 等，arXiv:2610.26816v1 图 1，版权归原作者，此处为方法评论引用。查看高清原图。上半部提供训练标签，下半部承担雷达分割，LiDAR 不应被误读成推理阶段必需的在线输入。后文依次解释标签生成、流式网络和实验，最后讨论部署条件及可检验的改进方向。

背景与问题

语义分割为每个雷达单元赋予道路、车辆或植被等类别，全景分割还要区分同类车辆的不同实例。这里的输入是旋转雷达的距离—方位强度图，任务条件与常见的距离—多普勒雷达或稀疏点云方法不同，不能直接搬用它们的全部结构假设。

标签首先构成约束。直接把稀疏 LiDAR 点投到雷达图上，会留下大量没有监督的区域。雷达与 LiDAR 又在不同时间采样，车辆运动会使同一目标的位置发生变化。另一方面，极坐标中的同一物体会随距离改变形状，方位角具有周期性，距离轴有固定边界，普通图像网络的平移与边界假设并不完全适用。

流式处理还改变了上下文：以论文使用的 4 Hz 雷达为例，一次完整扫描约需 250 ms。划成四个扇区后，可以约每 62.5 ms 得到一个新扇区，但目标可能恰好被切在边界上。网络需要在更少的空间信息与更早的局部输出之间取舍。这个采集时间推算不等于作者测出的端到端系统延迟。

整体方法与关键创新

先生成稠密标签，再同步到雷达采集过程

作者使用在 SemanticKITTI 上训练的 PaSCo 场景补全网络，将 LiDAR 点云转成带语义和实例信息的稠密体素。单次体素输出为 256×256×32，分辨率为 0.2 m。为扩大覆盖范围，点云按四个象限分别补全并在体素空间合并，再沿高度保留最高占据体素，得到鸟瞰标签。

随后通过外参标定投影到雷达坐标。论文设置中雷达为 4 Hz、LiDAR 为 10 Hz，作者针对雷达每个方位选择时间上最近的 LiDAR 扫描，用连续若干帧组成一张标签图，再转换为与雷达一致的极坐标表示。这一步处理了旋转采集的时间差，密集补全本身无法解决该问题。

直接投影场景补全的实例编号并不稳定：小的投影误差会放大实例范围，跨越 0°/360° 的目标也可能被拆开。作者改为在同类别极坐标标签上提取连通分量，每个实例只保留最大连通部分，并过滤面积小于 25 像素或边界框高度小于 4 像素的区域。这些阈值能清理伪实例，也可能舍弃小而真实的目标。原文第 III-A 节给出了标签生成与清理的具体流程。

用几何与时间结构约束网络

下图把标签流与预测流放到同一张结构图中。手机端可先结合中文说明看整体路径，模块细字请打开高清图查看。

图源为 Santosh Parit 等，arXiv:2610.26816v1 图 2，用于解释方法，保留原作者署名与图号。查看高清原图。顶部是离线标签处理，底部是雷达扇区进入网络后的数据流，放大的 RadarStem 与 Transformer Block 对应两类传感器结构约束。

网络将相邻三次雷达扫描沿通道堆叠，以最新帧标签监督当前扇区。RadarStem 追加归一化距离与方位坐标，再用 1×5 和 5×1 的方向滤波处理距离响应与方位拖影。1×1 卷积压缩通道后，SE 模块重标定时间通道，使历史扫描和当前扫描的权重可以随输入调整。三帧窗口提供的是过去观测，不能据此声称网络预测了未来雷达回波。

第一层 patch 从普通的 7×7、步幅 4×4 改为 3×7、步幅 2×4，减少方位方向的分辨率损失。Axial Polar Attention 将方位与距离注意力并行计算后相加：方位分支采用循环填充，距离分支采用零填充。Polar Mix-FFN 也保留这种不对称边界处理。对于完整扫描，0° 与 360° 相邻有物理依据，切成内部扇区后，扇区两端的循环相接则是一种近似。

训练增强同样遵循极坐标结构。Azimuth Roll 沿方位轴循环平移，模拟车体朝向变化，标签同步移动，避免把距离方向翻转当成普通图像增强。语义解码器融合多尺度特征并预测类别，全景路径使用 FPN 与 Mask R-CNN 实例头，再融合语义与实例结果。上述机制见原文第 III-B 节及图 2。

实验与证据

数据、划分和标签验证

SAX 采集于英国，使用 Navtech CTS350-X 雷达与 Velodyne HDL-64E LiDAR，包含 20,875 张雷达扫描，原始极坐标尺寸为 400×3768。Boreas 选取加拿大四个天气中等至良好的日期，共 16,450 张扫描，使用 Navtech CIR304-H 雷达与另一款 LiDAR，原始尺寸为 400×3371。两组雷达均为 4 Hz，标签分别覆盖 12 类与 8 类。

作者各按 70%/15%/15% 划分训练、验证和测试，说明采用不同时间与地理区域隔离。输入裁为 400×1024，因为稠密标签只能覆盖该距离范围。该设计检验数据集内部的时间和空间泛化，尚不构成不经适配的跨设备或跨城市零样本验证。

标签管线另有独立检查：人工标注 SAX 的 350 帧 LiDAR，经标定得到 100 张雷达标签。表 IV 中，用 PaSCo 稠密标签训练，在这组手工测试标签上取得 31.47 的完整扫描 mIoU 和 30.22 的四扇区 mIoU，稀疏 WaffleIron 标签训练对应为 29.07 和 28.76。手工标签有助于检查自动标签带来的循环评价偏差，但仍通过 LiDAR 投影构建，并非直接人工逐单元判读的雷达真值。

精度与吞吐需要一起看

以下摘取原文表 III的 SAX 语义分割结果。mIoU 为平均交并比，数值单位为百分比。吞吐在 RTX 2080 Ti 上使用 TensorRT 测量，不含传感器输入输出及前后处理，四扇区配置下每个处理单元是一块扇区。

StreamRPS 四扇区的语义精度接近完整扫描，计算也足以处理约每秒 16 块的新采集扇区。421.9 表示网络计算余量，不能解释成雷达每秒产生 421.9 圈新观测。SegFormer 的四扇区网络更快，因此 StreamRPS 的贡献需要放在精度、计算与输入粒度的共同条件下理解。

全景分割也有例外。表 II 中，StreamRPS 的 PQ 在四组数据集×切片设置中领先三组。SAX 完整扫描的 PQ 为 13.37，低于 Mask2Former 的 15.45，四扇区时则以 15.43 高于 14.40。作者还解释，切片后 stuff 区域被拆小，可能更容易满足 PQ 的匹配条件，因此切片前后 PQ 上升不能单独证明实际分割更好。

消融支持了哪些设计

SAX 完整扫描的逐步消融中，直接堆叠时间帧从 30.88 变成 30.84，并未带来收益。加入 RadarStem 后为 31.61，加入 Azimuth Roll 后为 33.32，矩形 patch 与分轴注意力进一步达到 34.03 和 34.35。结果支持了在该配置下结合时间输入与传感器结构设计的作用，各步增量取决于此前已加入的模块，不能当作互相独立的提升相加。

三帧相邻时间窗口取得 34.35，单帧为 32.05，五帧为 33.04，跳帧组合也较差。时间信息的作用与窗口选择相关，增加历史长度并不自动带来更好的结果。以上均为作者实验，本文未独立复现模型。

局限与适用边界

伪标签继承 PaSCo、SemanticKITTI 和跨模态投影的误差。Boreas 的 LiDAR 强度需要归一化，一些类别还被合并为 obstacle。对新传感器或新场景应用该管线时，标签分布与类别定义都需要重新检查，不能只替换雷达输入。

小目标仍是明确短板。表 I 中行人、两轮车和杆等小目标组的 mIoU 普遍低于 10。网络的平均精度和吞吐不能替代对行人漏检的专门评估。Boreas 主要定量数据来自中等至良好天气，恶劣天气的额外定性材料不足以支持全面量化的全天候结论。

实时性还依赖采集、缓冲、预处理和输出调度，论文吞吐没有覆盖这些部分。中间扇区循环边界的物理近似也需要在跨边界目标上单独测试。原文声明代码与模型将在录用后公开，本文未据此认定当前已有可运行的官方公开仓库，也不补猜未单列的频段与天线设置。

可验证的启发

以下是基于原文的延伸分析，尚未实施。首先可以固定四扇区与相同训练预算，对比现有循环填充、相邻扇区上下文和纯零填充，分别统计边界带与扇区内部的类别精度、实例拆分率和 p99 延迟。若额外上下文只改善内部区域或显著增加缓存等待，就不足以支持边界机制更有效。

第二个方向是让标签清理考虑小目标。保留独立人工检查集，对比统一面积阈值与按类别、距离分层的过滤规则，同时报告远距离行人召回、误检与标签噪声。只有在误检保持受控时改善小目标召回，才能说明规则调整带来了实际收益。

部署评估则可以从雷达方位时间戳开始计时，覆盖缓存、预处理、网络与后处理，并分别报告首次扇区输出和整圈覆盖延迟。这个最小记录能检验 4 Hz 采集下计算余量是否转化为更早的有效输出，避免用孤立内核吞吐代替感知链路响应。

参考资料

• Santosh Parit 等：Real-Time Radar Semantic and Panoptic Scene Understanding，arXiv v1 全文，重点为第 III–IV 节、图 1–2、表 I–VI。

• arXiv 摘要与版本历史，用于核对作者、预印本状态及首次提交时间。

• 图 1 与图 2 均为上述论文原始方法图，仅选择解释方法所需的两张图片作技术评论，保留图号、作者与原始地址，未将 arXiv 托管许可视为开放转载许可。