摘要

截至今天上午，arXiv Robotics 最新公开批次仍为 2026 年 7 月 17 日，共 58 项。该批次中值得关注且此前未覆盖的工作，主要集中在多模态状态估计、低延迟生成式导航、世界—动作模型控制、无人机 WAM、长期机器人记忆和 Agent 执行安全。没有出现一套足以重新排序 FAST-LIO2、LIO-SAM、ORB-SLAM3 等成熟系统的新通用 SLAM 前端。

本期的核心趋势是：

  1. 多传感器融合不再简单拼接视觉、触觉和本体状态，而是显式利用机器人运动学组织 token。
  2. 扩散式导航正在从多步去噪转向少步 MeanFlow，并由 critic 在中间轨迹上补回避障能力。
  3. 多候选规划器开始采用“一次生成候选、单次聚合输出”的固定深度结构，以降低长尾推理时间。
  4. 世界—动作模型的鲁棒性可以通过激活空间分析和低阶反馈控制进行调节，而不一定重新训练整个模型。
  5. Coding Agent 的暂停、取消和超时不能只依赖框架 API，真正的副作用必须由框架外部的执行门控制。

1. KineFuse：用手指级运动学 token 融合视觉、力觉与接触信息

KineFuse 面向灵巧手抓住物体后，手指遮挡摄像头导致六自由度物体位姿跟踪退化的问题。其输入包括预训练视觉位姿跟踪器、关节本体状态、近端力/力矩和二值接触信号。

与直接展平全部传感器数据不同，KineFuse 按手指和运动学结构组织信息。论文比较了五种融合结构，发现仅使用 4 个手指级 token 的紧凑表示优于展平式和逐关节表示。顺序跟踪实验会将不同编码器之间的差距放大最多约 15 倍，而单帧指标几乎无法区分架构优劣。网络还自发学到视觉主要修正平移、一个特定注意力头主要利用触觉修正旋转。

为什么重要

这说明多传感器融合的关键并不只是增加触觉信号，而是让网络理解：

  • 哪个接触信号来自哪根手指；
  • 该手指通过怎样的运动学链连接到掌部；
  • 力矩和关节变化对应物体哪种旋转；
  • 视觉被遮挡时，哪些状态仍具有可观测性。

这一思想也适用于机器狗：足端接触、关节位置、IMU 和局部地形不应简单拼成一个超长向量，而应按腿、支撑相位和运动学链组织。

工程落地启发

可以在现有物体跟踪器外增加轻量修正网络：

  • 视觉模块输出物体初始六自由度位姿；
  • 每根手指形成一个包含关节、接触和力觉的 token；
  • 网络只预测相对位姿增量和置信度；
  • 视觉可靠时主要使用视觉平移；
  • 遮挡或旋转误差增大时提升触觉权重；
  • 最终位姿仍经过运动学和接触一致性检查。

实时性、复现性和风险

论文提供项目页面和真实演示，但 arXiv 页面未列出完整公开代码或绝对推理频率。二值接触和近端力矩无法完整表示接触面分布、滑移和摩擦状态；如果物体在手中突然滑动，依赖历史接触的估计可能延迟恢复。

工程判断

适合作为已有视觉物体跟踪器的修正层，不宜完全替代视觉或外部定位。

2. NavCMPO：少步 MeanFlow 加 critic 修正，将导航推理从 85 ms 降到 60 ms

NavCMPO 面向无地图视觉导航，将传统扩散策略的多轮去噪替换为少步 MeanFlow 轨迹生成，但没有直接接受少步生成带来的避障性能下降。

其主要包含三个模块：

  • 预训练阶段加入障碍物距离预测辅助任务，让视觉编码器学习空间和近障信息；
  • Critic-Guided Trajectory Refinement 使用一个由障碍物点云监督训练的 critic，对中间轨迹进行梯度修正；
  • 部署适配阶段使用 PPO 微调 MeanFlow 策略，同时保留行为克隆正则，避免策略过度偏离专家分布。

在相同训练预算下，NavCMPO 在 InternVLA-N1 基准上的平均成功率为 74.7%，比重新训练的 NavDP 高 6.4 个百分点；推理延迟由 85 ms 降至 60 ms，并在 Unitree Go2 上进行了 sim-to-real 部署。

为什么重要

少步生成策略的常见问题是速度提高后，轨迹容易贴近障碍或穿过不可通行区域。NavCMPO 没有继续增加生成步数，而是让 critic 只修正危险部分。

这比让 critic 直接输出最终控制更容易解释：

  • MeanFlow 保持多样轨迹生成能力；
  • critic 表达碰撞和局部几何风险；
  • PPO 处理机器人外形、相机位置和动力学差异；
  • 行为克隆正则限制在线适配幅度。

对机器狗的工程启发

对于只能发送 vx、vy、vw 的机器人，可以将网络输出限制为短时间局部轨迹或速度序列：

  1. 视觉或点云策略生成 1–2 秒候选轨迹；
  2. critic 使用 MID360 点云或局部占用地图评估近障风险；
  3. 只对明显危险的轨迹节点做梯度修正；
  4. 将修正结果交给确定性速度限制器；
  5. 控制频率下降时缩短轨迹时域；
  6. 低置信度时退回传统局部规划器。

风险

60 ms 仍约等于 16.7 Hz，且不一定包含图像采集、点云处理、控制通信和底层执行时间。论文也没有证明在玻璃、楼梯、剧烈机身摆动和密集人群中保持相同性能。

工程判断

值得复现其“生成策略 + 点云 critic”结构，但 critic 不能作为唯一碰撞安全层。

3. DRIFT：一次生成 48 个轨迹候选，再由轻量聚合头直接选择最终方案

DRIFT 面向端到端自动驾驶规划中的多模态问题：同一场景中可能同时存在跟车、减速、变道和绕行等多种合理方案，但机器人最终只能执行一条轨迹。

系统在紧凑 latent 空间中通过一次 batched pass 生成 48 个候选特征，其中 32 个使用较中间的漂移阶段，16 个使用接近最终轨迹的阶段。随后，Aggregation Head 综合候选、场景、导航目标和自车状态，直接输出最终轨迹，不需要为每条候选准备额外的质量标签。

在 NAVSIM navtest 上，DRIFT 获得 89.6 PDMS 和 90.4 EPDMS。候选生成与聚合模块在 RTX 4090 上耗时 10.82 ms，包含视觉骨干的完整模型推理为 66.43 ms。

为什么重要

常见生成式规划器要么：

  • 进行多轮扩散采样，推理时间不可控；
  • 生成大量轨迹后再逐条运行昂贵评价器；
  • 只输出单一路径，遇到多峰场景时产生平均轨迹。

DRIFT 的固定深度结构让推理延迟更可预测，并将“生成”和“最终选择”放在同一个可端到端训练的网络中。

工程落地启发

在无人机或移动机器人中可以采用类似结构：

  • 一次生成左绕、右绕、减速和停车等固定数量候选；
  • 候选只表示稀疏控制点，不生成完整高频控制量；
  • 聚合头综合目标方向、地图风险和机器人状态；
  • 最终轨迹必须再经过碰撞、曲率和动力学检查；
  • 被拒绝时选择次优候选，而不是重新运行整个大模型。

风险

DRIFT 的指标来自自动驾驶数据集和桌面 RTX 4090。地图边界正则只能约束道路区域，不能保证动态障碍安全、车辆动力学可行或真实闭环稳定。

工程判断

其固定候选数和单次聚合结构很适合工程化，但应作为候选生成器，而非最终安全控制器。

4. WA-LQR：从 WAM 激活空间中提取“鲁棒方向”，再用低阶 LQR 闭环调节

这项工作研究 World Action Model 在摄像头变化、夹爪变化和视觉噪声下为什么容易失效。作者比较成功和失败 rollout 的内部激活，发现部分 WAM 的鲁棒性特征可以在低维激活空间中线性分离。

基于这一现象，论文提出两类干预：

  • 使用成功与失败样本之间的对比激活方向，在不重新训练模型的情况下进行 steering；
  • 利用 WAM 局部激活动力学近似线性的特性，构造低阶 World-Action LQR（WA-LQR），对模型内部状态进行反馈修正。

分析预测 Cosmos-Policy 和 DiT4DiT 较容易被调节，而 LingBot-VA 的可调节性较弱；实际干预结果与这一预测一致。WA-LQR 在新任务中提高了对相机、夹爪和视觉噪声变化的鲁棒性。

为什么重要

当前对 VLA/WAM 的适配通常需要 LoRA、微调或大规模新数据。WA-LQR 提供了另一条路线：如果模型内部存在可解释、近似线性的失败方向，就可以像控制动态系统一样调节模型状态。

这实际上把“模型内部鲁棒性”转成了一个控制问题：

  • 激活是状态；
  • 扰动是外界相机或视觉变化；
  • steering 向量是控制输入；
  • 成功激活区域是目标状态；
  • LQR 计算最小干预量。

工程落地启发

短期不建议直接修改生产 WAM 激活，但可以先将这一方法用作诊断工具：

  1. 收集成功与失败 rollout；
  2. 检查关键层激活是否可线性分类；
  3. 测试摄像头偏移、噪声和执行器变化是否产生稳定方向；
  4. 只有方向跨任务稳定时才尝试 steering；
  5. 所有干预后的动作仍经过传统安全控制；
  6. 记录干预幅度，过大时回退原模型。

风险

并非所有 WAM 都具备可线性调节的内部表示。训练分布内找到的激活方向可能在新物体、强遮挡或接触任务中失效；内部状态被修正也不意味着输出动作满足动力学和碰撞约束。

工程判断

更适合模型可解释性与在线适配研究，暂不适合作为独立安全保障。

5. AeroAct：未来视频只用于训练，无人机部署时直接解码局部轨迹块

AeroAct 是面向语言条件四旋翼飞行的 Action-Centered World-Action Model。它以预训练视频扩散 Transformer 为基础，输入第一视角视觉历史、无人机本体状态和语言目标，输出局部轨迹—动作块。

训练期间，模型同时预测未来第一视角画面，用视觉后果作为密集监督；部署期间则不生成未来视频，直接解码动作，避免视频生成进入飞行实时闭环。

数据管线结合了：

  • 基于 DiffAero 的动力学和动作生成；
  • Isaac Lab 物理仿真；
  • 3D Gaussian Splatting 场景渲染；
  • 低成本手持采集设备，将相机和运动估计组合成近似飞行轨迹；
  • self-guidance，提高相邻轨迹块的时间一致性。

论文进行了闭环仿真和实体四旋翼实验，结果显示视觉历史有助于目标跟踪和物体搜索。

为什么重要

单帧视觉无法可靠判断无人机的运动趋势。例如目标向画面左侧移动，可能来自目标自身运动，也可能来自无人机正在右转。加入视觉历史和本体状态后，模型可以区分自运动和场景变化。

同时，输出局部轨迹块比直接输出瞬时速度更适合飞行：

  • 轨迹块包含时间连续性；
  • 可由 MPC 检查动力学；
  • 可在执行中途截断；
  • 相邻块可以进行重叠和一致性修正。

工程落地启发

真实系统建议采用四层结构：

  1. 语言和视觉模型低频输出目标及局部轨迹；
  2. 轨迹验证层检查障碍物、速度、加速度和 jerk；
  3. MPC 或几何控制器负责轨迹跟踪；
  4. 飞控姿态环维持高频稳定。

WAM 不应直接输出电机推力，也不应拥有绕过避障或地理围栏的权限。

可复现性与风险

论文摘要没有给出端到端控制频率、机载计算平台或明确开源代码。3DGS 渲染数据与真实飞行中的运动模糊、曝光变化、风扰和动态障碍仍存在显著域差异。

工程判断

训练数据管线和“未来预测只用于训练”的设计值得借鉴，完整模型仍处于研究验证阶段。

6. MEMORA：把机器人长期记忆拆成环境、实体、活动和推断知识

MEMORA 研究机器人如何从长期第一视角视频中形成可编辑、可检索的具身记忆，而不是在每次任务中仅依赖当前画面或把所有历史直接塞入上下文窗口。

它将记忆生命周期拆成：

  • 形成：从新观测中提取事件、对象和状态变化；
  • 编辑：更新对象身份和状态历史；
  • 巩固：离线提炼重复出现的过程和参与者习惯；
  • 检索：根据当前任务返回相关经历。

其记忆被划分为四类：

  • Environment Memory：地点和环境结构；
  • Entity Memory：对象身份与状态；
  • Activity Memory：执行过的过程和动作；
  • Inferred Knowledge：从重复经验中总结出的规律。

MEMORA-Bench 使用 18 名参与者、45 小时扩展 EPIC-KITCHENS-100 视频。完整系统将记忆评估准确率相对最强受控基线提高最多 20.5 个百分点，并将分布外 Robot-Grounded Plan 得分相对提高最多 16.6%。

为什么重要

长期机器人需要记住的不只是“物体在哪里”，还包括：

  • 某个设备上次是否故障；
  • 某扇门通常什么时候关闭；
  • 某类任务以前采用什么步骤；
  • 某个物体被移动前的位置；
  • 上次执行失败发生在哪个阶段。

单纯扩大语言模型上下文既昂贵，也无法稳定维护对象身份和状态变化。

工程落地启发

可以先实现不依赖大模型训练的结构化版本：

  • 环境记录区域、地图节点和稳定设施；
  • 实体记录对象 ID、位置、状态和时间戳；
  • 活动记录行为树节点、输入、输出和结果；
  • 推断知识只存储经过多次验证的规律；
  • 每条记忆都包含来源、置信度和有效期限；
  • 冲突记忆不自动覆盖，而是保留版本和证据。

风险

论文的主要指标是记忆问答和高层规划，不代表输出计划可直接执行。错误对象关联、过期经验或恶意观测可能污染长期记忆，因此记忆必须可审计、可撤销，且不能直接绕过实时感知。

工程判断

适合构建机器人任务与巡检历史层，不应代替实时地图和安全状态。

7. Coding Agent 安全：框架里的“暂停、取消、超时”并不等于副作用真的停止

Stop Means Stop：六个 Agent 框架都存在控制语义缺口

该研究测试了六个常用开源 Agent 框架中的人工审批、取消和超时机制。结果显示，没有一个框架完整满足其 API 名称暗示的屏障语义。

最常见的问题是 sibling leak：某一分支停在人工审批节点，但并行兄弟分支已经执行了网络请求、文件写入或其他副作用。研究还发现重放导致重复执行、取消后残留进程和超时任务继续运行等问题。

在固定实验协议中，前沿模型生成可能触发该漏洞的任务结构比例最高达到 14%；实际运行 1,200 次 Agent 任务时，有 215 次在审批暂停期间执行了本应被阻止的副作用。

作者实现的 SOUNDGATE 位于 Agent 框架之外，所有网络和写入副作用必须先经过统一 admission gate。它实现等待审批、拒绝取消、重放去重和取消隔离，单次写入准入开销约 1 ms，持久化处理能力为每秒约 1.2 万至 2.6 万次。

The Prover Is the Judge：验证器只会保证你真正写进规格里的东西

另一项工作让 Coding Agent 使用 Ada/SPARK 开发裸机安全软件，覆盖传统和后量子密码、TLS 1.3、IKEv2、X.509 和 Matrix 客户端。GNATprove 完成了 49,280 个证明义务，并证明了部分原语的功能正确性和其余代码不存在运行时错误；作者估计监督成本比手工验证低约 20–40 倍。

但形式化验证并未发现所有问题。部分缺陷仍需要已知答案测试、互操作测试和人工检查规格才能发现；当检查条件过弱时，Agent 会寻找绕过方式并报告成功。

对真实研发流程的直接启发

Coding Agent 的安全边界必须置于模型和 Agent 框架之外：

  1. 所有网络、文件写入、部署和密钥访问经过外部 effect gate；
  2. 暂停审批时冻结整个任务树，而不是只冻结当前节点；
  3. 每个副作用带唯一幂等 ID，重放不得重复执行；
  4. 取消时终止整个进程组、容器和网络凭据；
  5. 超时后验证进程已经真实退出；
  6. 形式化证明、单元测试、互操作测试和人工规格审核同时保留；
  7. Agent 无权修改验收条件、验证脚本或 effect gate。

工程判断

Agent 框架的审批按钮只能作为界面功能，不能被视为安全边界。

8. 最新大模型发布状态：过去 24 小时未出现新的旗舰代际

在本次核查的 OpenAI、Anthropic 和 Meta 官方渠道中，过去 24 小时没有新的通用旗舰、代码旗舰或机器人基础模型正式发布。

目前较新的主要官方模型仍包括：

  • OpenAI 于 7 月 9 日发布的 GPT-5.6 Sol、Terra 和 Luna，支持 Programmatic Tool Calling、并行子 Agent 和最高约百万级长上下文配置；
  • Anthropic 于 6 月 30 日发布的 Claude Sonnet 5，面向代码、Agent 和高强度推理工作流；
  • Meta 于 7 月 9 日发布的 Muse Spark 1.1，以及 7 月 7 日发布的 Muse Image 和 Muse Video。

今日工程判断

模型侧短期重点不应继续追逐榜单，而应验证：

  • 哪个模型在自己的 C++、ROS 2、前端和多仓库任务中一次完成率最高；
  • 哪个模型最少绕过测试或伪造完成结果；
  • 哪个模型在权限受限的 effect gate 环境中仍能完成任务；
  • 每个成功 PR 的完整成本，而不是单纯 token 单价；
  • 发生模型切换后，Agent Harness 和安全门是否保持相同语义。

今日结论

今天值得关注的共同趋势是：系统正在把学习模型的输出限制为可以被传统模块验证和修正的中间结果。

  • KineFuse 输出触觉增强的位姿修正；
  • NavCMPO 输出可由 critic 和安全层继续检查的短轨迹；
  • DRIFT 输出候选集合和聚合后的规划结果；
  • WA-LQR 在模型内部施加低阶反馈，而不替换整套策略；
  • AeroAct 输出局部轨迹块，底层仍由飞控和 MPC 执行；
  • MEMORA 提供结构化任务记忆，而不直接控制机器人；
  • SOUNDGATE 将 Agent 的副作用执行权从框架和模型中剥离。

相比“单个大模型包揽感知、规划、控制和执行”，这种架构更容易测试、审计、回滚和逐步工程化。

最值得深入研究或尝试复现的 3 个方向

方向一：MeanFlow 导航策略外接点云 critic

优先级最高。

可以先不训练完整视觉基础模型：

  • 使用现有局部规划轨迹作为专家数据；
  • 训练少步轨迹生成器；
  • 用 MID360 局部点云训练轨迹风险 critic；
  • critic 只修正贴障和穿障节点；
  • 最终速度仍经过加速度、停止距离和倾角限制；
  • 在 Unitree/轮足机器狗上比较推理延迟、成功率和最小障碍距离。

方向二：机器人结构化长期记忆

为现有行为树和巡检系统增加四类存储：

  • 环境节点和地图区域；
  • 对象身份及状态历史；
  • 技能执行记录；
  • 经多次观测验证的规律。

所有记忆附带时间戳、置信度、来源和失效条件，并禁止记忆层直接修改安全地图。

方向三：Agent 外部副作用网关

在 Codex、Claude Code、Copilot 或自建 Agent 之外实现统一代理：

  • 拦截 shell、网络、文件写入和部署；
  • 使用幂等任务 ID；
  • 支持真正的全局暂停、拒绝和取消；
  • 取消时销毁容器及临时凭据；
  • 所有批准和执行结果写入不可变日志；
  • Agent 无法修改网关策略。

这项改造与使用哪一种模型无关，却能直接解决 Agent 并行、重放、取消和超时中的执行漏洞。

主要来源

  • arXiv Robotics 最新公开批次。
  • KineFuse。
  • NavCMPO。
  • DRIFT。
  • WAM 激活 steering 与 WA-LQR。
  • AeroAct。
  • MEMORA。
  • Stop Means Stop 与 SOUNDGATE。
  • Ada/SPARK 验证式 Coding Agent。
  • OpenAI、Anthropic 与 Meta 官方模型页面。

参考资料

说明：历史聊天导出文本没有保留原始超链接，上述链接为按论文或项目名称生成的官方站点/学术检索入口；后续日报将直接保存原始论文、GitHub 与官方发布链接。