机器人 / SLAM / 控制 / AI Coding 技术深度简报｜2026-08-11

摘要

截至 2026-08-11 09:00（Asia/Shanghai），arXiv Robotics 与 Software Engineering 最新公开批次均为 2026-08-10，其中 Robotics 40 条、Software Engineering 25 条。本期先读取 robotics-brief-covered-items.md，以规范化标题、arXiv ID、DOI、项目页和 GitHub 地址联合查重，再从最新批次筛出 8 条此前未完整报道的主动态。由于这些论文的 v1 原始提交时间集中在 8 月 5–7 日，虽然它们刚进入 8 月 10 日最新公开列表，仍按规则统一标为“时间回补”，不包装成 8 月 11 日新投稿。（arXiv Robotics，arXiv Software Engineering）

今天最值得关注的变化有四条。第一，地图表示和回环评测开始从“点越多越好、Recall 越高越好”转向语义结构是否紧凑、地点描述子是否真正编码地点而不是天气/季节。M2-SMap 用平面、超二次曲面和 GMM 混合表达 RGB-D 地图；另一项 VPR 工作则证明常规 Recall@1 会掩盖“按条件而非按地点检索”的问题。

第二，机器人控制更重视“故障后还能不能继续做事”。68 kg 四足机器人通过学习可变步频，在单关节执行器掉电后重新组织步态；LyEvO 则把 Lyapunov 稳定域、进化优化和统计模型检查放进 sim-to-real 训练闭环，不再只看平均 reward。

第三，规划和感知继续向真实几何靠拢。移动机械臂在搬运任意非凸大件时，用保持真实负载几何的碰撞内核和沿运动链传播的距离场梯度做整机规划；LiDAR Accessibility Field 则把“看得见”与“工具真的能从某个方向接近”区分开，在 MID360 类稀疏非重复扫描上实时更新表面可达性。

第四，VLA 与 AI Coding 的工程焦点都在“分层与故障注入”。TEMPO 不让在线 RL 同时快速改写语义与低层动作，而是冻结视觉语言主干、慢更语义投影、快更动作专家；AgentChaos 则直接在 LLM HTTP API 层注入截断、字段缺失和错误 tool call，显示 Agent 鲁棒性更多由 harness 与恢复逻辑决定，而不只是底模能力。

本次同时核验 OpenAI、Anthropic、Google DeepMind 与 Meta AI 的官方发布入口，没有发现过去 24 小时内足以挤进本期前 8 条的全新通用大模型、代码模型或机器人基础模型正式发布，因此本期不以旧模型新闻补位。

1. M2-SMap：把稠密 RGB-D 点云压缩成“平面 + 语义超二次曲面 + GMM”分层地图

时间回补：论文 v1 提交于 2026-08-07，并进入 2026-08-10 Robotics 最新公开批次。入选原因是它直接涉及语义地图压缩、长期内存规模和对象粘连问题。

M2-SMap（Memory-Efficient Semantic Mapping with Hierarchical Multi-Model Representation）针对稠密点云地图随场景规模近似持续增长的问题，不再用单一 primitive 去拟合所有结构，而是先把 RGB-D 点云分解为紧凑 Gaussian components，再把这些 component 投影回图像，与实例语义匹配后做 object-aware fusion。最终，大平面用 bounded plane 表示，结构完整的语义对象优先拟合 object-level superquadric，无法被简单几何解释的残余结构继续用 GMM primitives 保留。（论文，HTML 全文）

为什么重要

传统 voxel / point-cloud map 的工程痛点不只在磁盘大小。地图越大，近邻查询、地图交换、回环后的全局更新、跨机器人同步都会越来越贵。纯 primitive map 虽然紧凑，却容易在复杂物体上过拟合；纯语义对象地图又经常因为实例分割抖动产生对象粘连、碎片化或几何空洞。

M2-SMap 的价值在于把“什么尺度用什么模型”写进地图结构：大平面没有必要保存成数万点，形状规整对象没有必要保存全部表面采样，而复杂残余也不必强行塞进一个几何参数模型。这种多尺度表示比简单体素降采样更有机会真正降低长期地图复杂度。

算法模块

  • RGB-D 点云 hierarchical Gaussian decomposition；
  • 将 Gaussian support 投影到图像平面；
  • 与实例语义 mask 匹配，给 component 赋 instance identity；
  • object-aware Gaussian fusion，减少跨对象错误融合；
  • 大型平面结构单独提取为 bounded planes；
  • 语义对象尝试拟合 superquadric；
  • 拟合失败或结构复杂区域回退到 GMM primitives；
  • 未知残余结构仍用通用 Gaussian mixture 保留，而不是直接丢弃。

传感器假设

系统依赖已经配准的 RGB-D 数据，因此它更像SLAM 后端地图表示层，而不是替代 VIO/LIO 的位姿估计前端。相机深度、RGB 对齐、实例分割质量和上游轨迹误差都会进入地图。如果位姿本身有明显漂移，紧凑 primitive 只会更紧凑地保存错误几何。

实时性

论文在三条 RGB-D 序列上报告运行频率不低于 29.37 Hz；相对最佳基线，primitive 数量平均减少 18.7%。作者还用 inter-object adhesion 作为语义一致性指标，平均每帧测得的对象粘连事件从 2.808 降到 0。（论文）

这里的“29.37 Hz”应理解为论文定义的映射管线吞吐，不代表完整视觉前端、实例分割、回环与全局优化都在相同频率下运行。

鲁棒性与可复现性

当前 arXiv 页面没有列出官方代码仓库，且实验规模为三条 RGB-D 序列，可复现性和大场景外推仍需要后续代码与更多数据验证。

主要风险包括：实例分割 ID 抖动可能导致错误对象融合；superquadric 对非凸、带孔、细长结构表达有限；RGB-D 长距离和反光表面深度质量差；动态物体如果没有生命周期管理，仍可能写入长期语义地图；回环后 primitive 如何全局重定位和重新融合需要额外工程设计。

适合谁关注

适合语义 SLAM、长期三维地图、机器人场景图、地图压缩以及需要在边缘设备上长期保存 RGB-D 几何的团队。

工程落地启发

对现有 LIO/VIO 项目，不必替换定位器，可以先把“原始点云长期地图”拆成两层：高频局部导航仍保留 voxel/surfel map；低频长期层对稳定区域做 plane / object primitive 压缩。只有经过多次观测确认静态的对象才进入长期层，动态或低置信度结构保留在短期地图中。

2. VPR 条件抑制：Recall@1 很高，可能只是模型更会识别“下雨天”而不是地点

时间回补：论文 v1 提交于 2026-08-07，并进入 2026-08-10 Robotics 最新批次。入选原因是它直接影响长期回环检测和视觉重定位 benchmark 的可信度。

《Are Visual Place Recognition Models Recognizing Places or Conditions?》指出长期 VPR 的常规评测存在一个隐藏偏置：很多数据集让 query 来自一种天气/季节，database 来自另一种条件，但真实众包地图往往混合多个条件。如果 database 中出现“与 query 天气相同、地点却不同”的 distractor，模型可能优先检索条件相似图像，而非真正相同地点。（论文）

作者提出 Distractor-Augmented Recall（DAR）专门测这种干扰，并使用 INLP、LEACE 从全局描述子中去除可线性解码的条件信息。在 11 种 VPR 方法、6 个数据集上，DAR@1 与普通 Recall@1 的方法排名并不一致；做 condition suppression 后，DAR@1 通常提高，同时普通 R@1 没有明显下降。

为什么重要

回环检测最危险的不是“没找到回环”，而是非常自信地找到错误回环。如果描述子把夜晚、雪天、隧道灯光或雨天路面当成强特征，系统在跨季节长期地图中很容易把两个不同地点因为环境条件相似而拉到一起。

这项工作提醒我们：一个在标准 benchmark 上 R@1 很高的描述子，不一定就是更好的 SLAM loop descriptor。真实系统应该主动加入“同条件、不同地点”的 hard negative，而不是只测试“不同条件、同地点”。

算法模块

  • 在原 VPR database 中加入 condition-matched but place-mismatched distractors；
  • 用 DAR@1 单独衡量条件干扰下的地点识别能力；
  • 从 descriptor 中学习条件相关子空间；
  • 使用 INLP 或 LEACE 对条件信息做线性消除；
  • 重新比较普通 R@1 与 DAR@1，判断是否真正保留 place identity。

传感器与系统假设

这是地点描述子与评测方法，不是完整回环系统。部署时仍需要图像关键帧、候选召回、时序一致性和几何验证。Condition suppression 也需要足够可靠的条件标签或可估计的条件子空间；如果“条件”和“地点”本身强相关，过度去除条件信息可能同时删掉有价值的地点特征。

实时性

论文重点是描述子评测与线性后处理，没有给出统一机器人端侧毫秒指标。INLP/LEACE 更适合作为离线训练或 descriptor calibration 阶段，而不是每帧重跑大型学习过程；在线只需应用已经学习好的线性变换，计算成本相对小。

鲁棒性、可复现性与风险

当前 arXiv 页面未列出官方代码。工程上要特别注意：DAR 解决的是一种特定偏置，并不覆盖动态物体、重复结构、视角反转、季节结构性变化等所有回环误检来源；而线性 condition suppression 也不能保证模型内部所有非线性条件信息都被移除。

适合谁关注

适合视觉回环、长期定位、VPR、跨季节地图和多 session SLAM 团队。

工程落地启发

内部回环数据集建议新增一类固定测试：同天气/同光照但不同地点的 hard negatives。最终回环接受条件至少包含“描述子召回 + 时序一致性 + 几何验证”，而不能把 descriptor score 当作最终闭环因子。

3. 故障容错四足：把步频也交给策略学，68 kg 机器狗关节掉电后自动重组步态

时间回补：论文 v1 提交于 2026-08-07，已被 IROS 2026 接收，并进入 2026-08-10 Robotics 最新批次。入选原因是它有真实 68 kg 四足执行器掉电实验。

《Learning Fault-Tolerant Locomotion with Adaptive Gait Timing》研究执行器突然失去动力时的四足运动。与给每一种坏腿预设特殊 gait 不同，策略采用 asymmetric actor-critic：训练时 critic 看 privileged state，actor 只看可部署的 proprioception，并通过 latent-alignment loss 学着重构 critic 的隐变量；更关键的是，动作空间额外加入可学习 gait frequency，让策略根据故障与地形自动放慢或调整节奏。（论文，HTML 全文）

为什么重要

小型四足在单腿异常时可以依靠高频剧烈补偿，但 68 kg 级机器人受关节功率、冲击和结构载荷限制，不能简单“更快地动”。把 gait timing 也变成策略控制量，意味着容错不再只调整关节位置，而是重新组织整机运动节奏。

这对工业机器狗很现实：真正的故障很少恰好属于训练时定义的一种离散模式。若策略只能识别“左后膝坏了”再切固定 gait，泛化空间很窄；从本体历史中感知能力下降，再动态修改步频更像一个通用 degraded-mode controller。

算法模块

  • asymmetric actor-critic；
  • critic 训练时使用基座线速度/加速度、关节力矩、接触、执行器状态等 privileged information；
  • actor 使用角速度、重力方向、关节状态、足端位置、上一动作、速度命令和 gait phase 等本体观测；
  • actor 重构低维 fault/terrain latent；
  • latent-alignment loss 对齐 actor 与 critic representation；
  • action 除关节目标外增加 gait-frequency 参数；
  • 默认 gait frequency 约 1.25 Hz，策略可根据故障自适应改变。

传感器与动力学假设

真实部署不依赖外部视觉或 LiDAR，主要使用 proprioception，因此低层策略能够在外感知失效时继续工作。但这也意味着它不能主动识别台阶、坑洞或障碍物；上层地形感知与导航仍必须独立存在。

论文重点故障是 actuator power loss。现实中的卡死、编码器漂移、减速器摩擦增加、间歇性掉电和结构损伤与完全掉电的动力学不同，不能直接认为同一策略都已覆盖。

实时性与实体结果

控制策略以 50 Hz 运行，训练 episode 为 20 s / 1000 steps。真实平台为 68 kg Kyon 四足，进行了后左膝 pitch 执行器 power-loss 故障的 zero-shot sim-to-real 实验；真实验证主要在平地，仿真则包含不平整地形。（论文）

鲁棒性、可复现性与风险

论文证明大型四足在特定掉电故障下能够继续移动，但真实实验覆盖的故障类型和地形仍有限，当前页面也没有列出官方代码。

主要风险包括：真实故障可能同时影响温度、电源和通信；actor 没有显式故障标签时，异常识别存在延迟；故障后的稳定 gait 可能牺牲速度和能效；纯本体策略无法判断外部环境是否允许当前补偿动作；真实机器人持续在故障状态行走可能放大硬件损伤。

适合谁关注

适合四足、人形、轮足低层控制、强化学习容错以及需要 degraded mode 的工业机器人团队。

工程落地启发

实际产品应把这类策略放在故障降级层，而不是正常控制的唯一方案。硬件诊断先确认某关节能力下降，再降低任务速度/负载，上层规划收紧净空，低层 adaptive-gait policy 负责维持移动。恢复或进一步恶化时都应有明确状态机和停止条件。

4. KC-SVSDF：移动机械臂搬大件时，不再把负载简化成盒子，而是沿整条运动链传播碰撞梯度

时间回补：论文 v1 提交于 2026-08-07，并进入 2026-08-10 Robotics 最新批次。入选原因是它针对“底盘 + 机械臂 + 任意非凸负载”的整机规划给出真实硬件验证。

《Real-time Whole-Body Motion Planning for Mobile Manipulators Carrying Arbitrarily Shaped Payloads via Kinematically-Coupled SVSDF》关注一个传统规划器很难处理的问题：移动机械臂搬运长杆、箱体组合件或其他非凸大件时，负载本身会随机械臂姿态改变占用空间，底盘路径和手臂姿态高度耦合。系统前端用 chain-decomposed kernel collision check 保留机器人与 payload 的真实几何，并用紧凑 bit-level query 加速；中端把离散路径平滑成连续轨迹，如果已经无碰撞就直接执行；只有确实需要时才进入后端 KC-SVSDF 优化，让避障梯度沿运动链传播。（论文，HTML 全文）

为什么重要

很多移动操作规划仍把负载近似成球或包围盒。近似过大会错失窄通道中的可行解，近似过小则会真实碰撞。另一个常见问题是优化器只对最近碰撞 link 产生局部梯度，底盘和远端关节不知道该如何协同“让开”。

KC-SVSDF 的价值是显式保留 kinematic coupling：如果末端负载撞墙，正确逃逸动作可能不是末端局部移动，而是底盘偏移、肩关节旋转和腕部姿态共同改变。

算法模块

  • 对机器人各运动链与 payload 做 chain-decomposed geometry kernel；
  • bit-level collision query 保持真实几何同时降低查询开销；
  • 前端搜索得到全身路径；
  • 中端进行连续化、平滑与可行性预处理；
  • 若中端轨迹已经无碰撞，直接 bypass 后端；
  • 需要精修时构建 Kinematically-Coupled SVSDF；
  • 将障碍距离梯度沿运动链传播到相关底盘/关节自由度；
  • 联合优化底盘与机械臂轨迹。

传感器与动力学假设

真实平台为 Scout Mini 差速底盘 + Agilex Piper 6-DoF 机械臂；环境状态使用 Livox MID-360、FAST-LIO2 和 ROG-Map。也就是说，规划器本身假设已有较可靠的局部位姿与占用地图，它不是感知或 SLAM 方法。

负载几何需要已知或可建模。如果抓取姿态变化、物体在夹具中滑动或负载柔性明显，规划时的真实几何假设会失效。

实时性

局部 tight-passage 消融中，前端搜索约 80 ms，后端优化约 300 ms。桥孔高度逐渐收紧时，baseline 成功率从 80% 降到 0%，提出方法从 100% 降到 80%，说明保留几何与运动链耦合确实能留下更多可行空间。

但完整大场景全局规划并不是几十毫秒：论文仿真 tunnel 场景平均总时间约 4.16 s、forest 约 13.61 s；真实 Tunnel 与 Forest 规划也分别约 9.38 s 和 11.44 s。因此论文标题中的 “real-time” 更适合理解为其局部查询/优化结构具备在线使用潜力，而不是完整全局任务每 100 ms 重规划一次。

鲁棒性与可复现性

真实硬件验证证明方法能处理大件穿越窄通道，但作者表示代码将在论文接收后公开，当前尚不能完整复现。

主要风险包括：全局规划时间仍可达秒级；动态障碍会使已优化整机轨迹迅速过期；payload 几何或抓取变形误差需要安全膨胀；机械臂与底盘的动力学/速度约束若只在几何层近似，执行阶段仍可能不可跟踪；LIO 与占用地图延迟也必须进入碰撞裕量。

适合谁关注

适合移动操作、仓储搬运、机器人携带长件/非凸物体，以及正在遇到“底盘路径可行但手臂/负载撞墙”的团队。

工程落地启发

对实际系统可以先不复现完整 KC-SVSDF，而是先改掉最危险的一步：规划碰撞模型必须包含当前 payload。随后把底盘和手臂的自由度放到同一局部优化器中，并把定位 3σ、负载抓取误差和控制跟踪误差一起转成几何膨胀量。

5. LyEvO：先用 Lyapunov 圈出候选稳定域，再在域内做进化优化与统计模型检查

时间回补：论文 v1 提交于 2026-08-06，并进入 2026-08-10 Robotics 最新批次。入选原因是它把 safe RL / sim-to-real 的“部署就绪”从平均 reward 变成稳定域与统计验证问题。

LyEvO（Lyapunov-Guided Evolutionary Optimization）把物理先验、constrained evolutionary optimization、Statistical Model Checking（SMC）与 Lyapunov stability analysis 组合到同一训练闭环。首先利用已知系统动力学构造 Lyapunov function，得到初始 candidate stability region；随后只从当前区域采样 operational scenarios，对 policy 做进化优化并统计验证；验证通过后再向外扩展稳定区域，形成一个逐步扩大“可部署工作域”的过程。（论文，HTML 全文）

为什么重要

普通 domain randomization / RL 往往回答“训练分布平均成功率多高”，但真实机器人部署更需要回答：“在什么状态区域、什么扰动范围内，我有证据相信它不会越界？”

LyEvO 的工程意义是把 policy performance 与已验证运行包络绑定。它不宣称神经策略天然安全，而是利用传统稳定性分析先约束搜索空间，再用 SMC 对有限样本风险做统计核验。

算法模块

  • 基于系统动力学设计 Lyapunov candidate；
  • 计算初始候选稳定区域；
  • 从稳定区域内采样 operational scenarios；
  • constrained evolutionary optimization 更新 policy；
  • SMC 统计估计约束违反概率；
  • 根据验证结果扩张或保守调整 region boundary；
  • 迭代形成 policy 与可验证运行域共同增长的流程；
  • LyEvO-R 进一步面向 robustness 做扩展。

动力学假设

与纯 model-free RL 相比，它明确需要系统动力学先验，至少要能够构造有意义的 Lyapunov function 和候选稳定区域。因此对复杂接触、人形全身或未知柔性系统，前期建模成本会明显增加。

SMC 给的是统计置信而非数学上的零概率保证；如果 operational scenario distribution 没覆盖真实罕见故障，统计验证仍可能漏掉尾部风险。

实时性与实验结果

作者在 Cartpole 和 3D Quadrotor 上完成大规模仿真并做定向真实实验。真实四旋翼测试位于约 4×4×2.5 m motion-capture cage，在额外风扇扰动下，LyEvO-R 保持较平滑、较低的平均跟踪误差，而文中的 LMI controller 在强扰动下因离开其 certified region 出现失败。

代价是训练非常重：实验最多并行使用约 1000 CPU cores；报告的 Cartpole / Quadrotor 训练时间可达小时到数十小时。也就是说，它适合作为离线 policy synthesis / certification 流程，不是在线自适应算法。

鲁棒性、可复现性与风险

论文在仿真表中展示 LyEvO/LyEvO-R 的零观测违反概率，但这不能解释为真实世界绝对零风险；它表示在给定测试协议和样本规模内没有观察到 violation。

当前页面未列出官方代码。主要风险包括 Lyapunov 建模依赖、进化搜索算力高、SMC 样本覆盖有限、真实四旋翼依赖 mocap 状态、复杂高维机器人很难构造不保守的稳定域。

适合谁关注

适合 safe RL、飞行器控制、sim-to-real、控制器验收以及需要明确 deployment envelope 的团队。

工程落地启发

即使不采用进化优化，也可以复制其验收逻辑：对学习控制器定义明确 operating envelope，按状态/扰动分层采样，统计约束违反率；只有通过某一层验证才允许扩大速度、姿态或扰动范围。不要把训练 reward 达标直接等价为可以上真实机器人。

6. Beyond Visibility：MID360 看见了树枝，不代表你的喷头、探头或机械臂末端真的能伸进去

时间回补：论文 v1 提交于 2026-08-05，并进入 2026-08-10 Robotics cross-list。入选原因是它直接从流式稀疏 LiDAR 构建“工具可达性”，而不是只做占用/可见性。

《Beyond Visibility: Real-Time Surface Accessibility Fields from Sparse LiDAR》提出 Accessibility Field：对每个被观测表面点，针对给定工具和一组候选接近方向，实时判断工具本体是否碰撞、接近走廊是否有足够 clearance。系统完全在 GPU 上运行，并使用预计算 tool geometry kernels；底层采用 scan-centric TSDF，只更新当前 LiDAR return 附近的 voxel，避免在 Livox MID360 这种非重复扫描中无意义遍历整个 frustum。（论文，HTML 全文）

为什么重要

3D 地图回答“表面在哪里”，visibility 回答“传感器能不能看到”，但真实机器人交互还需要第三个问题：工具能不能以合法姿态靠近这个表面。

例如树木修剪、煤灰吹扫、喷涂、无损检测、机械臂探针测量中，目标点即使完全可见，工具杆、喷头、机械臂腕部或接近路径仍可能被周围结构挡住。把 accessibility 独立成感知层，可以在任务规划之前就排除大量物理上不可执行的目标点。

算法模块

  • 流式稀疏 LiDAR 输入；
  • scan-centric TSDF，只更新观测 return 附近 voxel；
  • 从 TSDF/表面提取待评估 surface points；
  • 预计算不同工具姿态的 geometry kernels；
  • 对每个点枚举若干旋转接近方向；
  • 检查工具实体 collision；
  • 检查 approach corridor clearance；
  • 输出 per-point accessibility label/score；
  • 用 sliding window 限制长期地图和显存增长。

传感器假设

算法本身不估计机器人位姿，因此需要上游 LIO/SLAM 提供稳定 sensor trajectory。工具几何必须已知，且默认评估阶段环境近似静态；如果树枝、软管、人员或设备正在运动，可达性场需要加入时空预测。

实时性

在 Jetson Orin AGX 上，10 mm 分辨率配置的 95th percentile 最坏时间约 89.1 ms，落在 10 Hz LiDAR 的 100 ms 预算内；TSDF 更新本身低于约 2 ms，主要成本来自 accessibility scoring 与状态更新。论文报告边缘平台显存约 2.8 GB。工作站 RTX 4090 上，不同配置平均约 30–42 ms。

鲁棒性与效果

混合可达性几何上，Accessibility Field 的 F1 为 90.8，Hidden Point Removal 可见性基线为 69.8。在成熟 Pinus radiata 模型中，系统把 56.8% 的松枝表面判为“虽然传感器看得见，但工具不可达”，直接说明 visibility 不能作为操作可达性的代理。（论文）

可复现性与风险

当前页面未列出官方代码。主要风险包括：定位误差会直接移动所有表面；稀疏扫描可能短时漏掉细线/枝条；固定工具 kernel 不能反映柔性软管和变形工具；动态障碍没有进入静态 TSDF；只判断局部工具接近并不等于完整机械臂 kinematics/动力学可行。

适合谁关注

适合 LiDAR 机器人操作、喷涂/吹扫、林业修剪、检测探头、无人机接触作业，以及使用 MID360 做局部任务地图的团队。

工程落地启发

可以把任务地图从两层扩展为三层：占用 → 表面 → 工具可达性。先在点云层排掉明显不可达区域，再把剩余候选交给机械臂 IK、MPC 或飞行器轨迹规划，能显著减少后端在无解目标上的计算浪费。

7. TEMPO：VLA 在线强化学习不要同时“洗掉语义”和“狂改动作”，应采用双时间尺度更新

时间回补：论文 v1 提交于 2026-08-07，并进入 2026-08-10 Robotics 最新批次。入选原因是它直接讨论真实 VLA RL post-training 如何避免 semantic drift。

TEMPO（Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models）认为，VLA 的不同模块承担完全不同职责，却经常被同一个 RL optimizer、同一个学习率统一更新。快速在线 RL 适合低层 action expert，却可能把已经预训练好的语义表示一起破坏。TEMPO 因此冻结 vision-language backbone，只允许 semantic projection layer 与 low-level action expert 自适应，并用两套不同更新节奏：语义投影低频更新，动作专家高频更新。（论文，HTML 全文）

为什么重要

真实机器人 RL 后训练最怕出现“当前任务 reward 上去了，但模型原本会的语义/泛化能力被洗掉”。如果视觉语言主干与动作头同时快速更新，少量在线轨迹可能把一个通用 VLA 训练成狭窄的 task-specific policy。

TEMPO 的思路非常接近控制系统的多时间尺度：高层语义慢变、低层控制快变。它不是要求所有能力冻结，而是把能快速吸收环境反馈的模块与需要保持稳定的表示分开。

算法模块

  • 冻结 pretrained vision-language backbone；
  • semantic projection 把稳定语义映射到 action latent；
  • low-level action expert 产生控制动作；
  • semantic projection 使用低频 RL update；
  • action expert 使用高频 RL update；
  • 两个优化循环共享环境 reward，但时间尺度不同；
  • 避免 action 快速变化反向拖动高层语义 representation。

传感器与模型假设

TEMPO 建立在已有 VLA 预训练能力之上，不是从零训练策略。在线 RL 仍需要机器人视觉、状态和任务奖励；如果 reward 本身稀疏或错误，双时间尺度只能减少灾难性更新，不能自动解决 reward hacking。

实时性与结果

CALVIN ABC→D 五指令链评测中，TEMPO 报告 SR5 约 81.7%、平均完成长度约 4.59；相对论文最强 RL baseline 仍有小幅提升。作者还在两个真实机器人操作任务上进行多 seed 在线 RL，TEMPO 能达到并维持更高 evaluation reward。（论文）

论文重点是训练稳定性而非端侧 inference latency；部署时冻结/训练哪些模块与控制周期应分开考虑。

鲁棒性、可复现性与风险

当前页面未列出官方代码。真实在线 RL 依旧存在硬件磨损、碰撞和危险探索；semantic projection 更新过慢可能无法适应真正改变的任务语义，过快又会重新引入 semantic drift；不同模块的 update ratio 会成为新的关键超参数。

适合谁关注

适合 VLA 后训练、真实机器人 RL、基础模型适配以及担心灾难性遗忘的团队。

工程落地启发

实际研发可以采用更保守的三层策略：视觉语言 backbone 永久冻结；task adapter 低频、离线或小步更新；action/residual head 在线快速更新。任何在线更新都必须配套旧任务 replay 和安全约束，而不能只根据当前 reward 发布新权重。

8. AgentChaos：Agent 的可靠性必须像分布式系统一样做混沌工程，而不是只测“正常 API”

时间回补：论文 v1 提交于 2026-08-07，已被 ASE 2026 接收，并进入 2026-08-10 Software Engineering 最新批次。入选原因是它给出了可直接接入 Coding Agent / 多 Agent 系统的运行时故障注入框架。

AgentChaos 把 chaos engineering 引入 LLM Agent。它不修改 Agent 源码，而是在所有 Agent 都要经过的 LLM HTTP API 层拦截响应，程序化注入 crash、omission 和 value faults，既可以污染普通 content，也可以污染 tool-call 字段。框架还会验证某个 fault 是否真的被触发，避免把没有走到故障点的任务也算进鲁棒性统计。（论文，代码与数据，DOI）

为什么重要

真实 Coding Agent 不会永远收到完美模型响应。常见故障包括：服务 500、超时后重试、JSON 截断、tool name 正确但 arguments 缺字段、模型返回旧 schema、部分内容丢失、一步错了后下游 Agent 继续相信错误结果。

普通 SWE-bench 只测“正常世界中的最终 pass rate”，几乎不测这种运行时退化。AgentChaos 说明 Agent 应像数据库、微服务一样接受故障注入和恢复测试。

算法模块

  • 在共享 LLM HTTP interface 做 non-intrusive interception；
  • crash faults：模拟调用失败；
  • omission faults：删除 content / tool-call 的关键字段；
  • value faults：替换为错误但结构合法的值；
  • 精确定位 content 与 tool-call field；
  • 运行时确认 fault 是否实际触发；
  • 只在 triggered tasks 上统计真实影响；
  • 支持不同 Agent system、benchmark、backbone LLM 的横向比较。

工程结果

论文使用 65 种故障配置评估多个 Agent 系统，最严重情况下 pass@1 可下降约 50 个百分点。更值得注意的是，同一 Agent 架构在不同 backbone 模型下的鲁棒性排序较一致，说明恢复能力很大程度来自系统实现、状态管理和错误处理，而不是仅靠换更强模型。

论文还报告现有 fault diagnosis 方法识别 fault type 的准确率低于约 53%，定位 fault step 低于约 56%，说明当前 Agent 对“自己为什么坏了”的诊断能力仍然有限。

是否适合接入真实研发流程

非常适合，而且最好直接进入 CI / nightly testing。建议至少注入：LLM timeout、429/500、tool arguments 缺字段、schema 类型错误、重复 tool call、半截 JSON、旧文件 revision、搜索工具返回空结果、GitHub 写入失败。

不应只测试 Agent 是否最终还能完成任务，还要记录是否发生危险副作用：重复提交、覆盖用户文件、错误关闭 Issue、错误部署或在失败后继续执行不可逆操作。

可复现性与风险

代码和数据已经公开，可复现性高。框架本身的风险在于 fault taxonomy 不可能覆盖全部真实问题；HTTP 层注入也不能模拟操作系统、网络文件系统、数据库和真实硬件层故障。更完整的 Agent chaos test 还需要对工具、工作区和权限系统分别注入错误。

适合谁关注

适合 Codex/Claude Code/OpenHands 类 Coding Agent、多 Agent 平台、MCP 工作流和企业自动化团队。

工程落地启发

把 Agent 的成功标准从“正常流程能跑”改成“关键依赖失效时能安全失败”。最先值得实现的是三条：所有写操作必须幂等；工具返回必须 schema validate；任何不可逆动作前必须再次确认前置状态仍然成立。模型换代无法替代这些 harness 级保护。

经典论文回顾

LIO-SAM：把 LOAM 的局部几何前端、IMU 预积分和因子图真正组合成可扩展 LiDAR-Inertial 后端

发表时间与历史位置： Tixiao Shan 等人的《LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping》于 2020 年 7 月公开，发表于 IROS 2020。它处在 LOAM 系方法从纯 LiDAR scan-to-map 向紧耦合 LiDAR-Inertial smoothing 转型的关键阶段：不再只用 IMU 做简单 deskew 或初值，而是把 IMU preintegration、LiDAR odometry、GPS 和 loop closure 放进因子图统一优化。（论文，官方代码，DOI）

解决的核心问题

LOAM 已经证明 scan-to-scan / scan-to-map 分层能实现低漂移 LiDAR 里程计，但高速运动时点云运动畸变、短时几何退化和长期全局约束仍很难统一处理。

LIO-SAM 的核心问题是：如何让 IMU 高频运动信息、LiDAR 几何约束、GPS 绝对位置和回环同时进入一个可增量更新的平滑框架，又不让每次优化都重新处理全部历史扫描。

关键数学思想与算法模块

  • IMU preintegration 在相邻关键帧间累计高频惯性测量；
  • 利用 IMU 预测进行 point cloud deskew；
  • 从 LiDAR scan 提取 edge / plane feature；
  • scan-to-map 优化产生 LiDAR odometry constraint；
  • GTSAM factor graph 融合 LiDAR odometry、GPS 和 loop closure；
  • IMU factor graph 同时估计运动状态与 bias；
  • LiDAR odometry 反向约束 IMU bias 漂移；
  • 只保留关键帧并用局部 sub-keyframe map 做匹配，控制计算规模；
  • 回环和 GPS 作为低频全局 factor 修正长期漂移。

官方实现实际上维护了两套紧密配合的图：mapOptimization 负责 LiDAR/GPS/loop 全局地图优化，imuPreintegration 负责 IMU 与 LiDAR odometry 的高频状态和 bias 估计，并定期重置以控制规模。（官方代码）

传感器与假设

基本配置需要 3D LiDAR 与高质量 IMU，GPS 可选。真正容易踩坑的是时间同步、每点时间字段、ring 信息和外参。官方 README 直接指出：点云出现 zigzag / jerking 时，常见原因是 LiDAR 与 IMU 时间戳不同步；轨迹上下跳动则常见于 IMU 外参或重力方向配置错误。

Ouster 示例要求外部 9-axis IMU，并建议使用 PTP 时间戳；Livox Horizon 支持是后来以较少代码改动加入，官方也明确写着 solid-state LiDAR 并未得到同等充分测试。这说明 LIO-SAM 的原始时间/扫描模型更贴近机械旋转 LiDAR。

当年为什么重要

它把几个后来成为现代 LIO 标配的组件放在了一个可复现系统里：IMU 预积分、点云去畸变、局部 scan-to-map、关键帧、因子图、GPS 与回环。相比只做局部 ESKF，它天然容易加入低频全局观测；相比全量 batch optimization，又能在线增量运行。

官方仓库长期成为 LiDAR-IMU 工程的事实基线之一，也非常适合研究多传感器 factor 如何进入同一后端。

今天仍然有效的思想

  • IMU 高频传播与 LiDAR 低频几何更新分工；
  • deskew 必须使用每点时间而不是把整帧当成同一时刻；
  • 局部地图只保留有限 keyframes；
  • bias 应与位姿一起估计，而不是固定标定值；
  • GPS、回环和其他绝对观测适合作为低频 factor；
  • 全局修正与高频里程计输出需要解耦；
  • 时间同步与外参错误经常比算法公式本身更致命。

已经被后续方法替代或扩展的部分

FAST-LIO / FAST-LIO2 等方法用 ESKF 与直接点到平面残差进一步提高前端效率，不再依赖 LOAM 式显式 edge/plane 分类；ikd-tree、voxel hash 和其他增量地图结构改善了局部地图更新；现代多 LiDAR 系统更强调异步传感器、不同扫描模式和在线时间偏移；动态场景还需要显式动态点剔除或 robust weighting。

此外，长时间运行时“无限 pose graph + 全局地图”仍需要 fixed-lag、子图、地图压缩和多 session 管理，而原始 LIO-SAM 并没有解决所有 lifelong mapping 问题。

公开代码、数据和可复现性

官方仓库 TixiaoShan/LIO-SAM 采用 BSD-3-Clause，提供 Velodyne、Ouster、Livox、KITTI 等示例和保存 PCD 地图接口，当前还有 ROS 2 branch。原始工程依赖 ROS 1、特定 GTSAM 版本和较老环境，今天重新部署时需要做依赖适配。

可复现时最值得逐项核查的是：每点 timestamp、IMU rate、LiDAR-IMU 时间偏移、外参方向、gravity sign、ring / scan layout、feature 数量、局部地图范围、IMU noise/bias 参数和 GPS covariance gating。

对当前工程项目的重新解读

今天重新看 LIO-SAM，最值得继承的不是某一套 LOAM 特征阈值，而是它的多时间尺度因子分层。对于多 LiDAR、远置 IMU、轮速、RTK 与反光标志系统，更合理的结构是：

IMU 高频传播 / 预积分
        ↓
各 LiDAR 独立去畸变、时间与外参检查
        ↓
局部直接或特征式 scan-to-map
        ↓
有限长度局部状态 / 子图
        ↓
轮速、RTK、反光标志、回环低频全局 factor

多 LiDAR 不应该简单“先拼点云再跑 LIO-SAM”。每个 LiDAR 的时间模型、外参和几何健康度都应独立建模；16 线雷达在长走廊或大平面退化时，应降低其观测权重，让 MID360、IMU、轮速或全局 factor 接管，而不是让低质量点云继续主导匹配。

今日结论

今天最新公开批次最明显的趋势不是出现一个“全栈替代 SLAM / 控制”的超级模型，而是系统开始把地图表达、失效模式、物理可达性和验证证据做得更明确。

SLAM / 定位侧，M2-SMap 与 VPR 条件抑制分别提醒两件事：长期系统既不能无限堆点，也不能只看单一 Recall 指标。地图应根据结构选择不同表示；回环描述子必须在同条件错误地点的 hard negative 中证明自己确实识别“地点”。

控制侧，故障容错四足和 LyEvO 都把“正常平均性能”降到次要位置：一个关心 actuator 掉电后能否重新组织 gait，一个关心学习控制器到底在哪个稳定区域内有验证证据。这比只报告 reward / tracking RMSE 更接近工业机器人部署。

规划与任务感知侧，KC-SVSDF 和 Accessibility Field 都强调真实几何约束：负载不是一个点，工具可达性也不等于视线可见。对于狭窄通道搬运、吹扫、检测和接触作业，这类约束往往比再换一个更大的 planner 更能减少真实失败。

VLA 与 AI Coding 也出现同一工程原则：不同层应有不同更新速度和不同故障边界。 TEMPO 把稳定语义与快速动作学习分开，AgentChaos 则证明 Agent 的恢复性主要来自 harness、状态管理、幂等性和错误处理。真实研发流程应开始系统测试模型 API 截断、工具 schema 错误、写入失败和状态陈旧，而不只是正常路径成功率。

最值得深入研究或尝试复现的方向

  1. 做一个长期 SLAM 的“地图压缩 + 回环抗条件偏置”组合实验

    现有 LIO/VIO 不动，只在长期层做两个改动：静态结构按 plane / object / residual primitive 分层压缩；回环数据集增加“同天气不同地点”的 hard negative。比较地图内存、回环 precision、误闭环率和全局优化耗时，而不只比较 ATE。

  2. 建立四足/无人机控制器的故障运行包络

    对正常控制器或 RL policy 系统注入单执行器掉电、推力下降、IMU bias 和控制延迟；记录“是否继续完成任务”之外的速度降级、稳定裕量、最大姿态、最小净空和恢复时间。把故障状态下允许的速度/动作范围单独定义，而不是沿用正常模式参数。

  3. 给 Coding Agent 加一套 nightly chaos suite

    在隔离 worktree 中主动注入 LLM 500/429、半截 JSON、tool arguments 缺字段、GitHub 写失败、文件 revision 变化、搜索空结果和测试超时。验收标准不是“最终还能修好多少 Issue”，而是任何失败下都不能静默覆盖用户代码、重复产生不可逆副作用或错误宣称任务完成。

参考资料

  1. M2-SMap: Memory-Efficient Semantic Mapping with Hierarchical Multi-Model Representation
  2. Are Visual Place Recognition Models Recognizing Places or Conditions? Distractor-Augmented Evaluation and Condition Suppression
  3. Learning Fault-Tolerant Locomotion with Adaptive Gait Timing
  4. Real-time Whole-Body Motion Planning for Mobile Manipulators Carrying Arbitrarily Shaped Payloads via Kinematically-Coupled SVSDF
  5. LyEvO: Lyapunov-Guided Evolutionary Optimization for Safe and Robust Sim-to-Real Policy Learning
  6. Beyond Visibility: Real-Time Surface Accessibility Fields from Sparse LiDAR
  7. TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models
  8. AgentChaos: Chaos Engineering for Agent Systems via Programmatic Fault Injection
  9. LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping
  10. 最新公开列表
  11. 本期核验的大模型官方发布入口