技术深度简报
机器人 / SLAM / 控制 / AI Coding 技术深度简报|2026-08-22
机器人 / SLAM / 控制 / AI Coding 技术深度简报|2026-08-22
摘要
截至 2026-08-22 09:27(Asia/Shanghai),arXiv Robotics 最新公开批次仍为 2026-08-21,共 37 条,Software Engineering 同日为 23 条。今天是周六,没有新的周末常规批次;本期先按最近 24 小时检查候选,高质量、可完整核验且未进入历史索引的条目不足 5 条,因此严格按任务规范扩大到最近 7 天。最终 8 条主动态的 v1 主要提交于 8 月 18–20 日,全部明确标为“时间回补”,不把 arXiv 列表日期误写成论文首次发布时间。(arXiv Robotics,arXiv Software Engineering)
本期最值得优先看的是两条 LiDAR / SLAM 工作。LF-GICP 直接指出一个很容易被忽略的问题:在 voxelized GICP 中,协方差正则化会给 Gauss–Newton Hessian 的平移块引入各向同性“信息地板”,导致传统 Hessian eigenvalue 退化判据在隧道里看起来仍然“条件很好”。它绕开正则化后的优化矩阵,直接从 voxel normal 构造 localizability field,并区分真正的信息缺失与只是点分布不均衡;在 KITTI、GEODE、MulRan、HeLiPR 等五套 benchmark、四种 LiDAR 类型上使用同一套冻结配置。更重要的是,作者明确承认直而均匀的隧道沿轴向对 LiDAR-only 仍然不可观,算法只能保护已有弱信息,不能创造不存在的观测。(论文)
CVSD-Reg 则回答另一个与低线数雷达非常相关的问题:16 线点云能否从高密度视觉语义中学到更稳定的全局配准描述子,同时推理时完全不需要相机? 它用冻结 DINOv2 教师向 Point Transformer V3 LiDAR student 蒸馏语义,再通过密度感知 dropout 和跨传感器 correspondence learning 适配注册;在 HeLiPR 的 Ouster-128 与 Velodyne 16-beam 等跨传感器场景中保持高成功率,论文报告稀疏 16 线 Velodyne 的严格 SR@0.5m/1° 为 97.3%。但需要准确理解:这是一项 global registration / relocalization / loop-closure candidate alignment 工作,不是 10–20 Hz 的 LIO 前端,因此不能把它包装成“16 线建图退化已经解决”。(论文)
Scalix 关注单目 SLAM 的 metric scale。它没有把 foundation depth 当成硬真值,而是同时预测 per-pixel depth uncertainty 和 per-frame scale uncertainty,把每帧 scale 作为独立测量进入 factor graph,再通过多视图数据关联逐步提高一致性。这个思路非常值得多传感器系统借鉴:学习模型输出必须带置信度,并作为测量进入估计器,而不是直接覆盖几何状态。(论文)
控制侧,FS-MPC 研究 sampling MPC 在开放环不稳定系统中的根本采样问题。标准 MPPI 沿 open-loop control sequence 采样,预测时域一长,稳定轨迹占比会指数级下降;FS-MPC 改为从反馈闭环 proposal 中采样,并混合 local feedback search 与 global isotropic search。真实 Unitree H1 实验中,标准 MPPI 无法稳定机器人,FS-MPC 则完成行走和接触操作;实现固定使用 8 条 local + 24 条 global sample。它提供了一条很有价值的折中路线:RL/iLQR 不必取代 MPC,可以只负责给 MPC 一个更稳定、更高价值的采样分布。(论文)
机器人高层规划与数据侧,本期两项工作分别解决“证据不足”和“本体数据不足”。Evidence-Gated TAMP 不允许 VLM 把先验知识直接升级为世界事实:当目标对象是否存在仍不确定时,VLM 只负责提出探索子目标,TAMP 执行主动取证,独立 feasibility gate 再决定继续、继续取证还是停止。RoboEdit 则把 24,197 段人类交互视频自动转换成 174,547 对人类/机器人对齐视频、14,138,307 帧,并覆盖 7 种机器人手/夹爪本体;它说明人类视频真正进入机器人数据飞轮的关键,不是只换外观,而是同时恢复可执行的 3D robot-state supervision。(Evidence-Gated TAMP,RoboEdit)
AI Coding 侧今天更值得看“能力边界”和“文档工程”。SWE-bench Science 提供 119 个任务、98 个科学仓库、20 个科学领域,最强 Agent 的 pass@1 仍低于 50%,失败不只是代码语法,而包括科学抽象理解、错误探索、只做表面修复、系统集成不完整和科学知识不能迁移。另一项对 557 个 agentic coding session、33,097 个 agentic PR 的实证研究发现,Agent 实际阅读最多的并不是经典 API 文档,而是 instruction files 与 working notes;而且“读过文档”并没有自然转化为更强验证行为。因此,Agent-friendly documentation 不应该只是更长的 Markdown,而应该显式连接到可执行检查、版本条件和验证命令。(SWE-bench Science,代码与评测,Agent-Friendly Documentation)
本轮也检查了 OpenAI、Anthropic、Google DeepMind 与 Meta AI 的近期官方发布入口。当前可核验的新近更新中,没有一项 8 月 21–22 日新发布的主力通用模型、代码模型或机器人基础模型,其技术重要性足以挤掉上述 SLAM、控制与 AI Coding 条目;Anthropic 8 月 21 日的 CHIVE 属于模型行为解释研究而不是新模型。因此本期不为了固定出现“大模型新闻”而用旧发布补位。(OpenAI News,Anthropic News,Google DeepMind,Meta AI)
1. LF-GICP:先绕开正则化 Hessian 的“假健康”,再判断隧道到底缺了哪个方向的信息
时间回补:论文 v1 提交于 2026-08-20 00:36 UTC;此前未进入去重索引。 论文
LF-GICP(Parameter-Free Degeneracy-Aware LiDAR Odometry via a Voxel-Normal Localizability Field)直接针对隧道、长走廊、矿井这类场景中的 LiDAR 几何退化。作者的关键观察不是“再换一个 eigenvalue threshold”,而是指出 voxelized GICP 里常用的 Hessian 本身会掩盖平移退化。
为什么重要
GICP 对每个 voxel 使用完整 covariance。为了数值稳定,工程实现通常会对 covariance 正则化;但这样每个 correspondence 在三个平移方向都会贡献一定信息量,最终在 Hessian translation block 里形成各向同性 information floor。论文实测中,均匀隧道的 Hessian 条件指标甚至可以和开放道路非常接近。
这意味着很多“看 Hessian 最小特征值是否小于阈值”的退化检测器,在 GICP/VGICP 管线里可能从数学上就被正则化结构污染。对于低线数 LiDAR,这一点尤其值得重视:点少并不一定让 Hessian 明显变坏,因为正则化会把它“托起来”。
算法模块
LF-GICP 在 voxel covariance 被正则化之前,从局部地图的 voxel normal 构造:
M = Σ ρ_v n_v n_v^T
其中 n_v 是 voxel 主法向,ρ_v 是平面性权重。然后使用两个统计量:
f0 = λ_min(M) / tr(M):判断法向分布是否具有强方向性、是否存在弱轴;λ0 = λ_min(M) / |V|:判断弱轴是真正“没有信息”,还是只是信息被大量点稀释。
只有二者都表明 genuine information absence 时,系统才触发 Fisher-information correspondence weighting,把更多权重放给确实能约束弱轴的少数 correspondence。时间上再使用约 2 秒 trailing median + hysteresis,避免瞬时遮挡造成状态抖动。
传感器与几何假设
论文覆盖 16、64、128 线旋转雷达、Livox 等多种传感器,并明确区分“检测退化”和“修复不可观”。如果是一条完全均匀、无限长的直隧道,沿隧道轴向根本没有几何信息,那么任何 LiDAR-only reweighting 都不能凭空恢复该方向。
作者甚至专门把这一点作为 scope:soft weighting 只能保留仍然存在的弱信号,不能创造 null-space 中不存在的信息。这对工程判断很重要——检测出退化以后,真正的下一步应该是让 IMU、轮速、RTK、反光标志或其他 LiDAR 接管弱方向。
实时性
localizability field 本身每帧只需要一次小规模 3×3 eigen decomposition,论文称为微秒级;端到端吞吐取决于扫描密度:64 线 KITTI/MulRan 约 15–20 Hz,完整 128 线 HeLiPR 约 5 Hz。作者明确说明当前未优化实现整体约比 KISS-ICP 慢 2 倍,贡献重点是准确性与自动退化处理,而不是速度。
鲁棒性、可复现性与风险
“Parameter-Free”需要准确理解:不是绝对没有常数,而是所有 gating constants 只通过两段短 calibration trace 按固定规则得到,之后在五个 benchmark、四类传感器上冻结,不再针对场地手调。
当前 arXiv 页面没有稳定公开官方代码,因此可复现性暂评中等。另一个风险是它仍属于 LiDAR-only odometry,没有 loop closure、IMU 或全局约束;长期纯隧道轴向仍会漂。
适合谁关注
长走廊、矿井、隧道、地下空间、16 线 LiDAR、GICP/VGICP/LIO 前端,以及目前依赖固定 Hessian threshold 做退化判断的团队。
工程落地启发
最值得先移植的不是整套 LF-GICP,而是 localizability field + weak-axis output。现有 LIO-SAM/ESKF 可以继续使用原 scan-to-map,只额外输出:
weak_axis
localizability_score
information_absence_confidence
然后在融合层动态调节 LiDAR measurement covariance,并把弱方向交给轮速、RTK、反光标志或其他 LiDAR。这样可以直接验证“退化检测是否更可信”,而不用一次性替换整个定位栈。
2. CVSD-Reg:训练时借视觉语义,部署时只靠 LiDAR,16 线也能做跨传感器全局注册
时间回补:论文 v1 提交于 2026-08-20 01:17 UTC;此前未进入去重索引。 论文
CVSD-Reg(Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration)针对 global point-cloud registration 对点密度、扫描模式、视角和传感器型号高度敏感的问题。核心思路是:高分辨率视觉基础模型只在训练阶段当老师,部署阶段完全不需要相机。
为什么重要
传统几何描述子很容易把“同一个地方由不同雷达扫描”看成不同几何分布。尤其 128 线 Ouster 和 16 线 Velodyne 的点数、垂直角分辨率和采样模式差异巨大,单纯比较局部 geometry descriptor 很容易失效。
CVSD-Reg 尝试把 DINOv2 的高层视觉语义压进 LiDAR representation,让点云特征更多表达“这是什么结构/区域”,少依赖“这里恰好采到了多少点”。
算法模块
第一阶段是跨模态预训练:
- 冻结 DINOv2 vision teacher;
- Point Transformer V3 作为 LiDAR student;
- contrastive distillation 对齐视觉/点云语义;
- spherical-manifold alignment 保留 teacher embedding 的角度几何;
- self-supervised InfoNCE 提高同场景一致性;
- soft
SE(3)invariance 增强视角变化鲁棒性。
第二阶段再进入 registration:
- correspondence learning;
- density-aware point-dropout augmentation;
- end-to-end pose optimization;
- 同一个 checkpoint 同时处理 single-sensor 与 zero-shot cross-sensor registration。
传感器假设
训练阶段需要 camera-LiDAR 对齐数据来获得视觉 teacher supervision,但推理阶段完全 camera-free。论文在 HeLiPR 中覆盖 Ouster-128、Velodyne 16-beam、Livox Avia、Aeva FMCW 等不同 LiDAR。
需要特别强调:这是 global registration。它更适合作为 loop closure geometric verification、跨 session relocalization、跨 LiDAR 地图对齐,不是用来替代每帧 LIO 的高频 scan-to-map 前端。
结果与实时性
严格 SR@0.5m/1° 下,论文报告 KITTI 97.7%、nuScenes 99.0%、HeLiPR 99.3%;其中稀疏 16-beam Velodyne 为 97.3%。相对几何 global registration baseline,最高提升达 44.0 个百分点,而且无需推理时相机或后处理 ICP。
公开摘要和 HTML 当前没有给出值得安全引用的统一端到端毫秒延迟,因此本期不人为补一个“实时 FPS”。
鲁棒性、可复现性与风险
最大的风险是语义 teacher bias。视觉基础模型在夜间、强反光、雨雪、工业重复结构上的错误,会在训练阶段被蒸馏进 LiDAR descriptor。其次,global registration 成功率高不代表 local odometry 在长走廊里就不退化。
当前未见稳定官方代码链接,可复现性暂评中等偏低。
适合谁关注
16 线雷达回环、跨型号 LiDAR 地图对齐、长期巡检 relocalization、多机器人地图合并和 place recognition 后的几何验证。
工程落地启发
可以把它放在现有 Scan Context / VPR 之后:
描述子召回候选子图
↓
CVSD-Reg 类跨传感器 global registration
↓
TEASER++ / GICP 二次几何验收
↓
通过后才加入 pose graph loop factor
这样低线数 LiDAR 不必承担“从头局部搜索”,而是只在候选已经合理时做鲁棒对齐。
3. Scalix:单目 Foundation Depth 不应直接给尺度,而应带着不确定度进入因子图
时间回补:论文 v1 提交于 2026-08-18 09:14 UTC;此前未进入去重索引。 论文
Scalix 是一套 uncertainty-aware scale-consistent monocular SLAM。它想解决的不是“单目深度网络能不能输出 metric depth”,而是一个更工程化的问题:网络每一帧的尺度都会有误差,而且不同场景下可信度不同,SLAM 应该怎样利用而不是盲信?
为什么重要
今天很多 geometric foundation model 可以从单张 RGB 输出很漂亮的深度,但这些深度常有两个问题:pixel depth 有局部噪声,整帧还有 scale drift。直接把深度写进 landmark 或地图,很容易把神经网络误差变成强几何约束。
Scalix 同时建模:
- per-pixel depth uncertainty;
- per-frame scale uncertainty。
然后把每帧 scale prediction 当作带协方差的独立 measurement 进入 factor graph,多视图 tracking/association 会在后续观测中持续纠正尺度。
算法模块
- monocular keypoint / landmark SLAM 前端;
- learned depth network;
- pixel-level depth uncertainty;
- frame-level scale uncertainty;
- local factor-graph optimization;
- marginalization 后把旧信息压成 relative pose-scale constraint;
- 全局 pose graph / loop closure 继续维护尺度一致性。
传感器假设
只需要单目相机,但 learned depth 的 domain generalization 仍然决定绝对尺度质量。玻璃、反光、极端视角和模型未覆盖场景可能导致 scale measurement 明显偏置。
另一方面,单目 learned scale 不等于物理上新增了一个绝对传感器;如果模型发生系统性 OOD,factor graph 只能依靠 uncertainty 把它降权,不能保证自动修复错误均值。
实时性
论文实现采用前后端双线程。公开 runtime 分解为:keypoint matching 20 ms,单目网络 inference 79 ms(只在部分帧触发),landmark initialization 5 ms,backend optimization 59 ms。作者将其定义为 CPU real-time SLAM。
鲁棒性、可复现性与风险
代码当前计划在论文 acceptance 后发布,因此还不是开箱可复现状态。最值得复现的其实是 uncertainty interface:如果自己的深度模型没有可靠 calibration,给出的 uncertainty 可能只是网络“自信度”,未必和真实误差单调对应。
适合谁关注
单目 SLAM、小型无人机、低成本视觉定位、foundation-depth 辅助几何,以及任何希望把 learned perception 安全接入状态估计器的团队。
工程落地启发
这个思想可以直接推广到 LiDAR / 视觉融合:学习模块永远输出 measurement + covariance/confidence + timestamp + source,不要直接修改 estimator state。比如 learned ground、semantic normal、monocular depth、动态点概率,都先变成可独立开关和统计一致性检查的 measurement factor。
4. FS-MPC:别让 MPPI 在不稳定系统里盲抽样,用反馈策略先把样本拉回“能活着”的区域
时间回补:论文 v1 提交于 2026-08-19 20:56 UTC;此前未进入去重索引。 论文
Hybrid Feedback Sampling for Sample-Efficient Model Predictive Control 提出 FS-MPC。它从理论和实验上讨论 sampling-based MPC 在 open-loop unstable system 上为什么会迅速失效:预测时域越长,随机 perturbation 产生的绝大多数 rollout 都会离开稳定流形,想靠增加样本补回来,样本量会随 horizon 急剧增长。
为什么重要
MPPI 很适合 GPU 并行,也容易处理非凸 cost,但在 humanoid、dexterous manipulation 等强不稳定系统里,随机 control sequence 很容易在前几步就把机器人推倒。此时“再多采一点”不是好解决方案,因为大部分样本本身就是无效的。
FS-MPC 的核心不是抛弃 sampling,而是让反馈控制器成为 proposal distribution。
算法模块
- local sampler 从当前 feedback policy 附近采样;
- global sampler 保留较大范围 isotropic exploration;
- 根据系统稳定性与计算预算混合两类样本;
- 对 differentiable / linearizable dynamics,可以用 iLQR 类局部反馈;
- 对 contact discontinuity 明显的任务,可以用 PPO/RL policy 作为 feedback proposal;
- MPC 仍然在线对候选进行 cost evaluation,不把最终控制权完全交给反馈策略。
论文真实机器人设置固定为 8 条 local + 24 条 global,共 32 条 sample。
动力学与传感器假设
FS-MPC 需要一个“至少基本稳定”的 feedback policy。这个反馈器可以不最优,但如果它本身把状态引向错误区域,local sampling 也会被带偏,因此保留 global sampler 很重要。
真实 Unitree H1 实验使用 proprioception + 外部 Vicon 获得状态,并在 MuJoCo MPC 框架生成 reference,最终下发 joint-position command。因此当前结果还不能直接视为完全机载、无外部定位的生产方案。
实时性与结果
仿真中,论文报告相对标准 MPPI 累计 cost 改善 43.4%。真实 H1 行走实验中,MPPI 无法稳定机器人;iLQR tracking error 为 0.93±1.00 m,FS-MPC 为 0.70±0.66 m。接触操作任务里,MPPI 同样出现不稳定 crash,而 FS-MPC 可以完成任务。
论文没有给出一个适用于所有任务的统一控制 Hz,因此工程复现时应自己测 P50/P95/P99 solve time,而不是只看样本数。
鲁棒性、可复现性与风险
最大的工程风险是 feedback policy 和真实 state estimator 的耦合。论文也指出 MoCap state estimation 与通信延迟会造成 noisy contact state。若本体状态估计、足接触或负载模型不准,local proposal 仍可能偏离真实稳定域。
适合谁关注
MPPI、MPC、四足/人形 whole-body control、接触丰富操作、已有 RL policy 但仍希望保留在线优化和约束验收的团队。
工程落地启发
如果已有一个 RL locomotion policy,不一定直接让它成为最终控制器。可以先让它只产生 MPC proposal:
RL / iLQR 稳定反馈
↓
生成局部高价值样本
+
少量全局探索样本
↓
MPC cost / constraints 重新打分
↓
执行首个控制量
这比“RL 或 MPC 二选一”更容易逐步上线。
5. Evidence-Gated TAMP:VLM 说“应该有”不算事实,机器人必须先去看一眼再规划
时间回补:论文 v1 提交于 2026-08-20 14:17 UTC;此前未进入去重索引。 论文
Evidence-Gated Task and Motion Planning with Vision-Language Models 针对部分可观测环境里的长时域操作。VLM 很擅长根据常识补全任务,例如“做某道菜应该需要某种器具”,但真实工作台上该对象可能被遮挡,也可能根本不存在。
为什么重要
如果把 VLM prior 直接当成 world state,任务规划器会生成一个语义合理、物理上却没有对象支撑的计划。机器人接下来可能不断去错误位置寻找、重复抓取,甚至把别的物体误当目标。
论文提出 EAFG(Evidence Acquisition and Feasibility Gating),核心原则是:先把语言假设变成待验证假设,再让机器人主动收集证据。
算法模块
- VLM 根据任务和当前观察提出 exploratory subgoal;
- TAMP 负责把“去哪里看、怎么移动、怎么操作”变成几何可执行动作;
- 新视觉证据更新 world state;
- feasibility gate 决定三种结果:继续任务规划、继续取证、或停止;
- 对确认不存在的必要对象,系统允许明确 halt,而不是无限尝试。
传感器与规划假设
方法依赖视觉感知能够在换视角后提供足够证据,也依赖 TAMP 对抓取、位姿和碰撞有合理几何模型。VLM 不再拥有最终事实裁决权,但底层 perception 错误仍然可能让 evidence 本身不可靠。
论文主要在烹饪/物体使用不确定任务中验证,离复杂工业现场还有明显距离;当前也未公开可直接复现的官方代码。
实时性与鲁棒性
这属于高层任务规划,不进入毫秒级控制环。其价值更多是减少“错误先验导致的重复操作”和让任务系统有一个正式的 insufficient evidence / impossible 状态。
适合谁关注
VLM/VLA 高层任务规划、工业移动操作、巡检读表/找设备、部分可观测 TAMP 和需要严格任务权限边界的团队。
工程落地启发
建议给机器人世界状态的每个事实增加 provenance:
fact
source = camera / map / operator / database / model_prior
confidence
observed_at
expires_at
其中 model_prior 永远不能直接触发危险动作;必须先通过传感器证据或受认证数据库提升为可执行事实。
6. RoboEdit:人类视频不只做视觉预训练,把它编辑成机器人视频并同步恢复 3D 动作监督
时间回补:论文 v1 提交于 2026-08-19 14:15 UTC;此前未进入去重索引。 论文
RoboEdit 解决机器人数据扩展里一个长期痛点:网上和数据集中有大量人类操作视频,但机器人 policy 真正需要的不只是“看到人怎么做”,而是与目标机器人本体对齐的动作状态。
为什么重要
单纯把人类手替换成机器人外观,只能增加视觉数据;如果没有对应的机器人 wrist / finger / gripper trajectory,这些视频很难进入 action learning。反过来,直接做人手 kinematic retargeting,又会受遮挡、深度和本体结构差异影响。
RoboEdit 将视频编辑和 3D state recovery 放在同一流水线中。
算法与数据模块
- RoboEdit-ADC 自动从 RGB 视频重建 hand-object interaction;
- 跨本体 retarget 生成目标机器人运动;
- 几何/物理 refinement 提高交互合理性;
- RoboEdit-Trans 通过 cross-embodiment adaptation 保持时序一致性;
- 3D Robot-State Decoder 为每帧恢复目标机器人 hand state;
- 输出 paired human/robot video + 结构化 3D supervision。
RoboEdit-14M 来自 24,197 段人类交互 clip,最终形成 174,547 对人类/机器人视频、14,138,307 帧,按 30 FPS 约 130.91 小时,覆盖 Ability、Allegro、Unitree Dex3、Inspire、Panda gripper、SCHUNK SVH、XHand 七类 embodiment。
传感器与本体假设
源数据主要是 RGB 视频,因此深度、接触和遮挡仍需模型推断;最终 edited video 的“看起来合理”不等于真实物理一定成立。真正进入机器人训练时,3D state、joint limit、collision、contact 与 force-closure 都需要二次约束。
实时性与可复现性
这是一套离线数据生产 pipeline,不是在线控制器。论文展示了四个 YCB-object 任务的模拟和真实机器人部署结果,说明恢复的 3D state 可以服务下游控制,但不能把 14M 帧等价为 14M 条真实真机 trajectory。
当前 arXiv 页面未稳定给出官方代码仓库,本期只使用论文原始链接。
风险
最大风险是 synthetic bias:若 hand-object reconstruction 或 retargeting 错误,系统会批量制造“外观连贯、动作标签却偏”的数据。大规模生成前必须建立小规模真实对照集,对 object pose、contact、EE trajectory 和成功率做验收。
适合谁关注
机器人数据平台、灵巧手、跨本体 VLA、模仿学习、人类视频预训练和希望降低遥操作采集成本的团队。
工程落地启发
内部数据资产应该把“原始视频”和“派生机器人数据”分层保存,并记录 lineage:
source_clip → reconstruction_version → retarget_version → embodiment → 3D state → physics checks → downstream eval
这样未来算法升级时可以重新生成,而不是把合成标签永久当真值。
7. SWE-bench Science:科学代码里“测试通过”更难,因为错误可能改变科学结论本身
时间回补:论文 v1 提交于 2026-08-20 08:53 UTC;此前未进入去重索引。 论文 · 代码与评测
SWE-bench Science 把 Coding Agent 从常规 Web/工具库问题带到科学软件。benchmark 包含 119 个任务、98 个 GitHub 仓库、20 个科学领域,并把任务分为 Issue-driven、Expert-exploratory 和 Engineering-integration 三类。
为什么重要
科学软件的 bug 不只是“页面错了”或“接口挂了”。一个数值边界、单位、离散化、随机种子、拟合假设出错,可能让代码正常运行、测试甚至通过,但最终科学结果本身错误。
论文中最强配置 Claude Code + Opus-5(max)的 pass@1 仍然 低于 50%,说明通用 Coding Agent 距离可靠科学软件工程还有明显距离。
主要失败机制
作者归纳四类高频失败:
- scientific knowledge / abstraction 不足;
- 搜索方向错误,只做表面修复;
- repair coverage 不完整,缺少系统集成;
- 科学知识只对当前例子有效,无法泛化到真实边界情况。
更有意思的是,额外科学知识不是越多越好:与问题真正对齐的 guidance 能提高平均效果和 token efficiency;错误或半相关知识则会形成 anchoring,让 Agent 更坚定地沿错误方向走。
是否适合真实研发流程
非常适合涉及 SLAM、优化、仿真、控制、数值算法的团队参考。机器人代码本质上也是“科学软件 + 实时系统”:一个矩阵维度、坐标系、单位或随机采样错误,经常不会直接编译失败。
权限、安全与可验证性风险
Agent 的 Validator 不能只执行已有 unit tests。对数值/算法仓库至少还应加入:
- 固定随机种子和 benchmark data;
- 数值 tolerance 与 unit check;
- conservation / invariant;
- known-good trajectory / output;
- performance regression;
- 环境、依赖、GPU/CPU 版本锁定。
工程落地启发
对 SLAM/C++ 仓库,可以建立自己的 SWE-bench-Robotics:从真实历史 issue 中筛选时间同步、坐标系、Eigen 数值、点云退化、线程安全和实时性能问题,让 Agent 的验收不仅是“测试绿了”,还要复现原始 rosbag / benchmark 指标。
8. Agent-Friendly Documentation:Agent 实际最常看的是 instruction 和 working notes,而不是 API 文档
时间回补:论文 v1 提交于 2026-08-20 15:51 UTC;此前未进入去重索引。 论文
《From Agent Behaviour to Agent-Friendly Documentation》不是提出一个新 Coding Agent,而是用真实轨迹回答一个很基础的问题:Coding Agent 到底怎样使用技术文档?
为什么重要
很多团队正在专门写 AGENTS.md、skills、README、架构文档,希望 Agent “读完就更可靠”。但此前几乎没有大规模行为数据证明 Agent 什么时候读、读什么、读完以后是否真的验证。
作者分析两个公开数据源:557 个 SWE-chat agentic session,共 94,813 个开发事件、3,033 次文档交互;以及 AIDev 中 33,097 个 agentic PR、690,260 个文件级变更记录。
关键发现
Agent 的文档交互里,instruction files 与 working notes 占 60.5%,经典 technical documentation 约 10.6%,API references 只有 1.3%。
更值得警惕的是,没有观察到明确稳定的“读文档 → 执行文档要求的验证”序列;文档 consultation 反而与更少 immediate testing 相关。70.2% 的文档阅读是 Agent 自发触发,而 failure-driven 只有 7.5%;在同时改代码和文档的多 commit PR 中,代码比文档更早被触碰约 4.7 倍。
突破性工程价值
它不意味着“不要写文档”,而是提醒我们:Agent-friendly 不能只靠文档内容本身。 如果一条规则真的重要,例如“修改滤波器后必须跑 EuRoC”和“改协议后必须执行兼容性测试”,最好让 harness 直接执行或强制验证,而不是只写在 README 里期待 Agent 记住。
是否适合真实研发流程
非常适合。建议把文档拆成三类:
- 解释性文档:帮助 Agent 理解架构;
- 执行性 contract:明确命令、输入、输出、失败标准;
- harness gate:关键规则直接由 CI / Agent runtime 强制。
真正不可违反的要求应该尽量从自然语言迁到可执行 contract。
权限、安全与可验证性风险
AGENTS.md / skill 文件本身也属于供应链输入。Agent 如果无条件服从仓库内文档,恶意 instruction 可以诱导读 secret、执行网络命令或绕过验证。因此文档应该有来源、作用域和权限等级,高权限动作仍由独立工具策略控制。
工程落地启发
可以把项目文档里的关键句逐步编译成机器可验证规则,例如:
修改 src/slam/**
-> 必须运行 benchmark_euroc
修改 protocol/**
-> 必须运行 compatibility_tests
修改 safety/**
-> 必须由独立 reviewer / validator 通过
让 Markdown 负责解释“为什么”,让 harness 负责保证“真的做了”。
经典论文回顾
TEASER / TEASER++:当对应关系里 99% 都是错的,仍然能做可证的全局点云注册
发表时间与历史位置: Heng Yang、Jingnan Shi、Luca Carlone 的《TEASER: Fast and Certifiable Point Cloud Registration》于 2020 年 1 月首次公开,后发表于 IEEE Transactions on Robotics。TEASER/TEASER++ 代表了一条与 ICP 完全不同的思路:不假设初值已经很近,而是专门解决含极高比例错误 correspondence 的 global registration。(论文,官方代码)
核心问题
经典局部 ICP/GICP 要求初值已经落在正确 basin;如果回环候选、跨 session 地图或跨传感器匹配初值差几十米/几十度,直接 ICP 很容易收敛到错误局部最优。
另一方面,feature matching 得到的 correspondence 中可能绝大多数都是错的。TEASER 研究的问题是:在 outlier correspondence 极多时,是否仍能获得有全局最优保证或可认证的刚体变换?
关键数学思想
TEASER 使用 Truncated Least Squares(TLS)构造对 outlier 不敏感的目标,并通过图论结构将 scale / rotation / translation 解耦:
- scale 与逐维 translation 可以通过 adaptive voting 求解;
- correspondence compatibility graph + maximum clique 大幅剔除不可能同时成立的匹配;
- rotation 子问题可以通过 semidefinite relaxation 获得紧松弛;
- TEASER++ 用 Graduated Non-Convexity(GNC)替代昂贵 SDP 主求解,并用 Douglas–Rachford splitting 做快速 optimality certification。
它不是简单“鲁棒核更重”,而是把鲁棒全局注册写成具有可分析结构的优化问题。
传感器与几何假设
TEASER++ 不绑定 LiDAR 型号,本质输入是两组 3D correspondence 和噪声 bound。真正决定成败的是前端是否还能产生一小部分真实 correspondence,以及 noise bound 是否合理。
如果场景完全重复、描述子给出的 correspondence 没有任何真实内点,任何鲁棒优化器都不能恢复正确 pose。
当年为什么重要
论文报告在极端条件下可以容忍 超过 99% outlier correspondence,TEASER++ 还能把求解压到毫秒级。它使“先做粗 descriptor matching,再做强鲁棒全局几何验证”成为可实际使用的 loop-closure / object registration 方案,而不必把错误候选直接交给 ICP。
今天仍然有效的思想
第一,global registration 与 local registration 应该分工:TEASER++ 找 basin,GICP/ICP 做最终精配准。
第二,outlier rejection 最好使用结构一致性,而不是只给 residual 加一个 M-estimator。
第三,回环进入 pose graph 前应该有一个独立、严格的几何验收层。
第四,算法不仅要给一个解,还要尽量回答“这个解是否可信/可认证”。
已经被后续方法扩展的部分
今天的 learned global descriptors、foundation features 和跨模态 registration 可以生成比 2020 年更好的 correspondence;GPU registration、SE(3) Transformer、diffusion matching 也提供了新的全局搜索方式。
但 learned matcher 的 confidence 仍不等于几何正确,所以 TEASER++ 这种 model-independent verifier 依然有价值。它也不适合替代每帧高速 odometry,因为 global robust solve 的职责不同。
公开代码、数据与可复现性
官方 MIT-SPARK/TEASER-plusplus 仓库仍公开,C++ 实现采用 MIT License,并提供 Python binding 和点云 registration 示例。论文、代码、算法结构均公开,可复现性高。
对当前工程项目的重新解读
对低线数 / 多 LiDAR 的长期地图,可以把全局定位链路设计成:
Scan Context / VPR / learned descriptor
↓
候选子图 correspondence
↓
TEASER++ 全局鲁棒几何验证
↓
GICP / Hybrid ICP 局部精配准
↓
退化 / covariance / consistency 检查
↓
通过后才加入 pose graph
特别是 16 线 LiDAR,局部点少时不要期望单次 ICP 从很差初值自己找回来;先用强全局候选和 robust registration 把初值拉进正确 basin,再让局部几何优化发挥作用,通常更符合系统职责分工。
今日结论
今天最值得重视的不是某一个“最强 SLAM”,而是 退化检测、全局注册、学习测量和传感器融合正在被重新分层。LF-GICP 说明正则化后的优化 Hessian 可能并不是一个可信的退化观测;CVSD-Reg 说明低线数雷达在全局配准层可以借训练期视觉语义获得更强跨传感器特征;Scalix 则提醒 learned geometry 必须带不确定度进入 estimator;TEASER++ 从经典角度给出最后一道独立鲁棒几何验证。
对 16 线 LiDAR 的实际建图定位,我认为这四条能组合成一条比“继续换 LIO”更清晰的路线:局部 LIO 负责高频连续状态,LF-GICP 类 field 输出退化方向;全局 CVSD-Reg/Scan Context 负责找回环候选;TEASER++ 做强鲁棒全局验收;轮速、RTK、反光标志和其他 LiDAR 专门补局部弱方向。 每个模块职责都可单独 A/B,而不是把所有希望压在一个前端上。
控制侧,FS-MPC 也体现同一原则:反馈 policy 和 sampling MPC 不需要互相取代。让稳定反馈负责把 sampling distribution 拉进有意义的区域,MPC 再负责在线比较与优化,通常比在开放环不稳定系统里纯随机搜索更高效。
机器人基础模型和 Coding Agent 侧则继续向“结构化外部证据”靠拢。Evidence-Gated TAMP 要求 VLM 的常识先经过现实世界证据;RoboEdit 给大规模人类视频补上结构化 3D robot state;SWE-bench Science 和文档行为研究则共同说明 Coding Agent 不能只靠更多上下文——科学/工程事实需要可执行验证,关键规则最终应该进入 harness 而不是停留在自然语言文档。
最值得深入研究或尝试复现的方向
-
16 线 LiDAR 退化健康度层。 保留现有 LIO-SAM,额外实现 voxel-normal localizability field,输出弱方向和 confidence;在长走廊、大平面、坡道、急转弯数据上与当前 Hessian eigenvalue 判据做 A/B,并记录哪一个指标更早、更稳定地预测漂移。
-
回环链升级为“召回 + 全局注册 + 独立验收”。 Scan Context / learned descriptor 只负责召回候选;CVSD-Reg 类模型做跨传感器初始 pose;TEASER++ 或 robust GICP 再做几何验证。重点测 16 线对 64/128 线历史地图的跨传感器 relocalization 成功率和误闭环率。
-
反馈策略引导 MPPI。 在现有机器狗/无人机 MPC 中保留少量全局随机样本,同时用稳定 tracking policy 产生局部 proposal。比较纯 MPPI、纯 feedback、FS-MPC 的 P95 solve time、失败率和对模型误差的敏感度。
参考资料
- LF-GICP: Parameter-Free Degeneracy-Aware LiDAR Odometry via a Voxel-Normal Localizability Field
- CVSD-Reg: Cross-Modal Visual Semantic Prior Distillation for Robust LiDAR Registration
- Scalix: Uncertainty-Aware Scale-Consistent Monocular SLAM
- Hybrid Feedback Sampling for Sample-Efficient Model Predictive Control
- Evidence-Gated Task and Motion Planning with Vision-Language Models
- RoboEdit: Turning Human Manipulation Videos into Scalable Robot Experience
- SWE-bench Science · 代码与评测
- From Agent Behaviour to Agent-Friendly Documentation
- TEASER: Fast and Certifiable Point Cloud Registration · TEASER++ 官方代码
- arXiv Robotics · arXiv Software Engineering
- OpenAI News · Anthropic News · Google DeepMind · Meta AI