技术深度简报
机器人 / SLAM / 控制 / AI Coding 技术深度简报|2026-10-06
机器人 / SLAM / 控制 / AI Coding 技术深度简报|2026-10-06
摘要
截至 2026-10-06 09:00(Asia/Shanghai),arXiv Robotics 最新常规公开批次为 2026-10-05,共 80 条;Software Engineering 同日为 15 条。今天先检查最新批次,再与覆盖索引按规范化标题、arXiv ID、DOI、GitHub 仓库和项目主页联合去重。由于本期入选论文的 v1 都实际提交于 2026-10-02 UTC,距本次生成已超过 24 小时,因此统一标为“时间回补”,不把周一公开批次日期包装成论文原始提交日期。
今天 SLAM / VIO 最值得看的是 HexVIO。它没有再从算法结构上追求更复杂的前端,而是把立体视觉前端搬到手机和 XR 设备普遍存在的 Qualcomm Hexagon DSP,后端仍留在主 CPU。作者报告在普通智能手机上可实现 30 fps、0.83 W 的长期跟踪,对应测试设备约 18 小时持续 VIO。这类硬件协同优化对真正全天运行的机器人,比单纯把 ATE 再压低一点更有产品意义。
控制侧有三条清晰路线。LLA-MPC 在嵌入式 F1TENTH 上同时评估数千个候选模型,在线识别轮胎参数,而不需要先训练一个系统辨识网络;DR-IPC 将 LiDAR 导航、扰动估计与 NMPC 合成一条 100 Hz onboard 链路,在风、悬挂载荷、窄通道和外部撞击下仍直接输出角速度与推力;SafeStreamingFlow 则把流式生成规划的采样动力学与机器人真实执行动力学对齐,只对真正要执行的当前一步使用高阶 CBF 做安全约束。
人形方向,KungfuAthleteBot 针对从武术视频学习高动态动作时最棘手的“视频没有力学信息”问题,先修复腾空 / 落地轨迹,再使用 pseudo-low-kinetic-energy 初始化把策略从物理可行状态启动,并把扰动拒绝和跌倒恢复直接训练进同一个动作跟踪策略。作者报告任意跌倒后约 0.7 秒恢复,不需要单独 recovery reference 或手工状态机切换。
操作感知方面,EyeRobot 2.0 很有工程启发:它不继续往机械臂上堆 wrist camera,而是让一对主动转动的双目“眼睛”主动固定视线、选择观察目标,并把更多视觉 token 分配给真正需要精细操作的区域。真实任务中,被动双目方案从带 wrist camera 的 52% 成功率掉到 27%,而主动凝视把差距基本补回来;当抓取物遮挡腕部相机时,它还明显优于 ego+wrist 方案。
VLA 安全方面,Detect and Suppress 说明“运行时防御”不一定要重训整个策略。作者用 sparse autoencoder 找到与 adversarial patch 高相关的内部特征,再用线性 probe 判断攻击是否存在,仅在检测到攻击时抑制这组特征。持续无条件抑制反而会损伤正常策略,这个结果再次说明:安全干预必须是条件化的,而不是永久修改策略表征。
AI Coding 主动态 GTDD 则把测试从固定验收集变成持续对抗。Coding Agent 每次提交候选实现后,独立 testing agent 都重新生成新的输入;可信 evaluator 返回最小化 counterexample 并将其沉淀为 regression。它瞄准的是当前 Agent 很容易对已知 tests 过拟合的问题,而不是简单生成更多单元测试。
近期通用旗舰模型方面,本轮重新核验 OpenAI、Anthropic、Google 与 xAI 的公开发布入口,没有发现 2026-10-05 至 10-06 需要新增覆盖的通用旗舰正式发布。Google 当前最新公开 frontier model 仍是 9 月 30 日的 Gemini 4 Argon;此前已覆盖的 GPT-6.1 Sol、Claude Sonnet 5.5 与 Grok 4.7 本期不重复。
最新列表:arXiv Robotics · arXiv Software Engineering
1. HexVIO:把 VIO 前端搬进 DSP,目标从“实时”推进到“全天运行”
时间回补:v1 提交于 2026-10-02 13:26 UTC。
为什么重要
视觉惯性里程计在移动机器人、AR/XR 和无人机上已经很成熟,但“能实时跑”不等于“能一直开着”。在手机级 SoC 上,CPU 持续做双目视觉前端会带来明显功耗、温升和频率降级,长时间运行时真正限制系统的可能不是算法精度,而是能量预算。
HexVIO 把 stereo-inertial VIO 的视觉前端移到 Qualcomm Hexagon DSP,主 CPU 继续承担后端状态估计。也就是说,它没有为了省电把整个 estimator 重写成黑盒网络,而是重新分配经典 VIO pipeline 的计算位置。
算法模块
数据流可概括为:双目图像进入 Hexagon DSP,DSP 执行视觉前端与针对架构优化的数据处理;前端结果回到主 CPU;CPU 继续完成惯性融合与后端估计,最终输出连续 stereo-inertial odometry。
这种设计的价值在于视觉算子很适合专用 SIMD / DSP,而后端矩阵求解和状态管理仍留在通用 CPU,系统边界清晰。
传感器与硬件假设
方法依赖同步双目相机、IMU,以及具有 Hexagon DSP 的 Qualcomm 平台。对 x86 工控机、Jetson 或 RK3588,具体优化不能直接复制;真正可迁移的是“先拆清楚哪一段最耗电,再把前端搬到合适协处理器”的硬件协同思路。
实时性与结果
作者报告在普通智能手机上,相比 CPU-only 执行可实现 67% 的功耗降低,或者 86% 的吞吐提升;长期模式可持续 30 fps 跟踪,功耗约 0.83 W,对应测试设备约 18 小时持续运行。
鲁棒性与工程风险
硬件 offload 之后,新的风险主要来自 DSP / CPU 间数据复制与同步、两个计算域的时间戳一致性、为适配 DSP 产生的数值精度变化,以及不同 Qualcomm SoC 的 SDK 差异。
产品化最好同时记录 camera timestamp、DSP queue latency、CPU backend latency、frame drop 与 power / thermal state,而不是只看最终 ATE。
可复现性
当前公开入口以论文为主,没有看到成熟的一键复现仓库。对非 Qualcomm 平台,最值得复现的是 profiling 方法:把现有 VIO 拆成图像前端、IMU propagation、优化后端三部分,测每部分的功耗和延迟,再决定是否值得迁移到 DSP / NPU / GPU。
适合谁关注
全天运行 VIO、手机 / XR 机器人、低功耗无人机、边缘视觉定位,以及希望把视觉算法真正做成长期常驻服务的团队。
工程落地启发
在 RK3588 / 手机 SoC 上,不要默认所有 SLAM 都跑大核 CPU。先找出图像金字塔、patch / feature、stereo matching 等高度并行前端,再尝试 DSP / NPU / GPU;后端仍保留在 CPU,通常更容易调试和验证。
2. LLA-MPC:嵌入式控制器每个周期并行试数千个模型,在线找出当前轮胎状态
时间回补:v1 提交于 2026-10-02 17:13 UTC。
为什么重要
Sim2Real 控制很容易陷入两个极端:固定 nominal model 算得快,但遇到摩擦、载荷和轮胎变化就失效;learned dynamics 可以适应,却又需要训练数据、网络推理和分布外泛化。
LLA-MPC 选择“经典控制 + 并行计算”:保持模型族和物理结构显式,在更新周期中直接评估大量候选参数,判断哪个模型最符合刚刚发生的真实响应。
算法模块
Look-Back 根据最近真实状态 / 控制历史评估候选模型;并行 model bank 在嵌入式计算机上同时运行数千组候选参数;online parameter selection 找出当前最能解释真实系统的模型;Look-Ahead 将它立即交给 MPC 预测和控制。
论文将原始 LLA-MPC 扩展成模块化 dynamics / integrator 实现,并在 F1TENTH 上做真实实验。
动力学与传感器假设
它假设真实系统可以被预定义模型族覆盖。比如轮胎参数变化可在线找,但如果出现模型结构未包含的故障、悬架变化或传感器偏置,数千个错误模型里找“最像”的一个仍然是错误答案。
状态估计噪声也会影响 Look-Back 模型评分,因此在线辨识和 estimator 不能完全独立调试。
实时性与真机结果
作者在受限计算和有噪状态估计的嵌入式 F1TENTH 上,实时评估数千个候选模型进行轮胎参数辨识。在低摩擦轮胎、变化路面实验中,LLA-MPC 能完成固定 nominal model 失败的高速 tracking task。
鲁棒性与工程风险
产品化建议同时记录 selected parameter / model ID、model-score gap、recent prediction residual、MPC constraint margin 和 candidate-bank coverage。若第一名和第二名得分接近,说明当前辨识本身不确定,上层控制就不应以“参数已知”为前提极限运行。
可复现性
论文声明提供代码和视频入口,但本次核验项目页访问不稳定,因此归档只使用 arXiv 原论文作为稳定来源。算法适合自研:先把参数维度压到 1–3 个关键量,再测试并行 model bank 是否能满足控制周期。
适合谁关注
F1TENTH、车辆 MPC、移动机器人、参数漂移明显但不希望引入神经网络 system identification 的团队。
工程落地启发
“算力换辨识”在现代嵌入式 GPU / 多核 CPU 上值得重新评估。过去不敢实时枚举的参数空间,现在可能已经足够便宜;显式 model bank 的 failure mode 也通常比 learned dynamics 更容易排查。
3. DR-IPC:LiDAR 四旋翼把规划、扰动估计与控制压进同一个 100 Hz NMPC
时间回补:v1 提交于 2026-10-02 16:16 UTC。
为什么重要
传统自主无人机常见流水线是路径规划 → 轨迹优化 → tracking controller → disturbance compensation。模块清楚,但每层都会引入延迟和参考不一致。遇到突然的风、吊载摆动、撞击或动态障碍时,planner 仍可能在给旧轨迹,而 controller 只能在末端补救。
DR-IPC 将路径引导、扰动估计和 nonlinear MPC 直接合并,让优化器在当前状态和 disturbance estimate 下直接输出 angular velocity 与 thrust。
算法模块
系统包括轻量 path guidance、interconnected EKF、nonlinear disturbance observer 和 NMPC。NMPC 联合考虑非线性 quadrotor dynamics、actuator constraint 与 local safe-flight-corridor residual,不再单独跑完整轨迹优化器。
传感器与动力学假设
核心感知是 LiDAR + 状态估计。NMPC 依赖 quadrotor model 和 disturbance estimate;如果推力模型、时延或 mass / payload 变化超过观测器可补偿范围,integrated architecture 同样会失效。
实时性与结果
作者在 Gazebo、MARSIM 和室内 / 室外真机中测试风、悬挂载荷、窄通道、球体撞击及动态障碍反应避让。
在带扰动的 multi-goal mission 中,Gazebo 完成任务数从基线的 1/10 提升到 9/10;真机 altitude RMSE 从 0.34 m 降到 0.01 m。完整系统 onboard 运行频率为 100 Hz。
鲁棒性与工程风险
集成式架构最大的优势也是风险:planner 与 controller 不再容易单独甩锅。建议分开记录 estimator innovation、disturbance estimate、NMPC solve time / feasibility、safe-corridor residual、actuator saturation 和 planned-vs-actual acceleration。
可复现性
作者提供补充项目页并说明源代码将发布,但当前还不能按完整开源项目评价。现阶段更适合先复现系统结构和 telemetry。
适合谁关注
狭窄走廊无人机、PX4 外部控制、LiDAR 导航、MPPI / NMPC、需要处理持续外扰的机载自主系统。
工程落地启发
如果已有 PX4 姿态内环,可以先让高层 NMPC 输出 body-rate + thrust,并把 disturbance observer 接进 prediction model;比“planner 产轨迹、PX4 再追轨迹”的链路更适合高扰动狭窄场景。
4. SafeStreamingFlow:生成式规划只保证“马上要执行的这一步”安全
时间回补:v1 提交于 2026-10-02 10:52 UTC;CoRL 2026。
为什么重要
很多 flow / diffusion planner 先生成整条 trajectory,再对中间状态加噪、去噪和修正。生成过程中的“采样动力学”并不等于机器人真正执行时的动力学,容易制造 distribution shift;对整条预测轨迹每一步都强制安全约束又很贵。
SafeStreamingFlow 改成按执行方向向前滚动:顺序积分 learned state vector field,并使用 hierarchical state prediction。最关键的是,硬安全只施加在本周期真正要执行的第一步。
算法模块
当前状态与目标进入 goal-conditioned flow planner;learned state vector field 顺序积分;hierarchical prediction 提供更远未来引导;当前 executed step 通过 high-order CBF;执行一步后使用新观测重新规划。
动力学假设
安全层依赖真实执行动力学和 barrier function 可以正确构造。如果模型遗漏 actuator saturation、接触切换或时延,CBF 的数学安全性不会自动覆盖这些未建模因素。
实时性与结果
论文在 navigation、racing 和 locomotion benchmark 中报告,相比已有方法降低规划延迟并改善安全,同时保持有竞争力的 goal-reaching success。
鲁棒性与工程风险
“只保当前一步安全”不表示远期计划可以完全不管约束。若 learned flow 一直把系统带向未来无解区域,第一步每次都局部安全,最终仍可能进入死胡同。
产品中最好同时监控 current barrier margin、predicted terminal feasibility、repeated intervention count、no-progress detector 与 fallback planner trigger。
可复现性
作者公开项目页。当前最值得复现的是把已有 flow / diffusion planner 改成 receding-horizon streaming execution,再比较全轨迹约束与 first-step CBF 的 latency / safety 取舍。
适合谁关注
生成式运动规划、机器人高频 replanning、MPPI / diffusion / flow policy、安全控制。
工程落地启发
机器人真正执行的是第一步,不是模型想象的完整未来。高成本安全验证优先围绕马上会产生物理副作用的动作做硬约束,远期保留可行性与风险预估,是很实用的计算预算分层。
5. KungfuAthleteBot:从武术视频学高动态人形动作,恢复策略不再是另一个模式
时间回补:v1 提交于 2026-10-02 14:37 UTC。
为什么重要
从视频学习人形动作时,视频只告诉你“看起来怎么动”,没有地面反力、关节力矩和真实接触。腾空、转体和落地动作直接追踪 3D 重建参考,很容易出现悬空、穿地、高频抖动,甚至把策略初始化在物理上根本无法恢复的状态。
KungfuAthleteBot 的重点不只是动作更炫,而是正面处理 video-to-physics 不一致。
算法模块
physics-guided parabolic trajectory correction 修正腾空与落地阶段的根轨迹,减少 height floating、ground penetration 与 jitter;pseudo-low-kinetic-energy sampling 不再让训练反复从高速腾空参考直接初始化,而把初始状态偏向动力学更可行的低动能邻域;disturbance rejection 与 fall recovery 直接训练进同一个 tracking policy,不需要额外 recovery reference 和人工模式切换。
动力学假设
方法高度依赖 simulator 的 contact、mass、joint limit 与 actuator model。如果视频修复后的参考轨迹在仿真里可行、真机接触却差异很大,统一策略仍可能失效。
结果
作者使用国家级武术运动员视频数据训练高动态动作。论文报告 humanoid 在任意跌倒后约 0.7 秒恢复,并称这是统一 tracking + recovery policy 中最快的已报告恢复速度。
鲁棒性与工程风险
把 tracking 与 recovery 合并可以消除模式切换,但也让策略内部状态更难解释。真机产品仍应保留外部 supervisor,监控 fall probability、contact anomaly、head / hand impact risk、torque / velocity saturation、recovery timeout 和 emergency protective stop。
可复现性
当前主要公开论文,未看到成熟代码入口。最值得先复现的是 pseudo-LKE initialization:比较“从参考帧随机初始化”和“偏向可行低动能状态初始化”对高动态 imitation 稳定性的影响。
适合谁关注
Unitree G1 类人形、高动态 imitation learning、视频动作迁移、跌倒恢复与强化学习控制。
工程落地启发
Sim2Real 里真正该修的不一定是 policy,而可能是 reference distribution。若训练数据本身包含物理不可能状态,继续加网络容量只会让控制器更努力地追错目标。
6. EyeRobot 2.0:精细操作不一定需要腕部相机,主动看哪里同样可以解决遮挡
时间回补:v1 提交于 2026-10-02 17:57 UTC。
为什么重要
wrist camera 很常见,因为离操作区近、分辨率高,但它也会随着机械臂运动产生大视角变化,并且抓起物体后容易被物体本身遮挡。
EyeRobot 2.0 选择另一条路线:机械臂上方只有一对可主动旋转的 stereo camera,通过主动 fixation 保持重要目标在高质量视区内,同时把模型更多视觉 token 分配给 fixation 附近。
算法模块
系统包含 low-level gaze servo、target selector、foveated token allocation、fixation-relative SE(3) canonicalization,以及与 gaze target selection 联合训练的 manipulation policy。
作者的 gaze servo 与 target selector 使用真实数据上的 RL,gripper policy 使用 behavior cloning。
传感器假设
方法依赖主动双目相机机构、可靠眼部标定与低时延控制。相机在动意味着 extrinsics / timestamp 管理比固定相机复杂,机械 backlash、servo latency 与 stereo synchronization 都会影响几何。
实时性与真机结果
作者覆盖 7 个真实任务、6 个仿真任务,执行超过 1000 次真实和 1800 次仿真实验。
相同训练数据下,去掉 wrist camera、只用被动 stereo 时,真实成功率从 52% 降到 27%。EyeRobot 2.0 只使用 stereo 就大幅补回差距:wrist view 清晰时,它与 ego+wrist 方案相当(69% vs 64%);抓取物遮挡 wrist camera 时为 48% vs 22%。
鲁棒性与工程风险
主动感知引入新的 closed-loop:任务策略依赖 gaze,gaze 又依赖任务意图。如果 selector 选错目标,camera 会主动把错误区域放到最高分辨率。工程上应保留 fixation confidence、target ID、gaze tracking error、stereo depth quality 与 manipulation uncertainty。
可复现性
项目页已经公开大量实验和方法细节;完整训练代码以项目后续公开状态为准。
适合谁关注
机械臂主动视觉、低相机数量机器人、容易出现 wrist occlusion 的抓取 / 插接任务,以及希望减少腕部线缆和相机硬件的团队。
工程落地启发
视觉系统的预算不只有“再加一颗相机”。当场景只在局部需要高精度时,主动改变传感器朝向 + 动态分配视觉 token,可能比长期处理多路全分辨率视频更便宜。
7. Detect and Suppress:VLA 遇到对抗贴纸时,只在检测到攻击后抑制相关内部特征
时间回补:v1 提交于 2026-10-02 15:57 UTC。
为什么重要
VLA 的视觉入口会受到 adversarial patch 攻击。传统防御通常需要重新训练、增加输入预处理,或者一直对模型表征做强干预,容易降低正常任务性能。
Detect and Suppress 通过 mechanistic interpretability 先回答:模型内部是否存在和 patch 攻击高度相关、又足够局部的表征?
算法模块
使用 sparse autoencoder 分解 VLA 内部激活;找到与 adversarial patch 出现高度相关的 feature;用轻量 linear probe 判断当前是否遭受攻击;只有 probe 命中时才在推理阶段抑制该 feature;base VLA 权重不做 finetune。
结果与关键结论
LIBERO-10 的 adversarial patch 实验中,conditional intervention 可以提高间歇攻击下的任务成功率;如果不管是否攻击都持续抑制同一内部特征,正常 policy 表现会明显下降。
所以“找到了攻击特征”还不够,真正关键的是什么时候干预。
安全与工程风险
这种方法不能被理解成通用 VLA 安全证明。主要风险包括 adaptive attacker 绕过 probe、新型 patch 不激活同一 feature、probe false positive 伤害正常任务,以及内部 feature 随模型版本变化而漂移。
产品里应版本化 SAE / probe,并保留 attack score、intervention event、normal-task regression 与 unseen-attack suite。
可复现性
当前论文给出方法与 LIBERO-10 评估,但未看到成熟官方代码入口。可以先离线做 activation logging,再验证 attack feature 是否稳定跨 seed / task / patch。
适合谁关注
VLA 安全、机器人视觉攻击、模型可解释性、希望不重训 base policy 就增加运行时防御的团队。
工程落地启发
安全 feature suppression 与 CBF / safety shield 很像:干预应该尽量小、条件明确、可记录、可回滚。永久改变模型行为,往往会把防御变成另一种分布偏移。
8. GTDD:Coding Agent 每改完一版,测试 Agent 都重新出一套“它没见过”的题
时间回补:v1 提交于 2026-10-02 07:45 UTC。
突破性工程价值
AI Coding 很容易对固定测试集过拟合。Agent 看到了 failure,就能针对那几个 example 修改实现;测试全部通过,却不代表 behavioral contract 真正成立。
GTDD(Generative Test-Driven Development)把 testing agent 与 coding agent 分开,而且每轮都在候选实现已经固定以后再生成新的测试输入。
流程
人类 behavioral contract → Coding Agent 生成候选实现 → 候选被冻结 → 独立 Testing Agent 生成新输入 → Trusted Evaluator 执行判断 → 最小化 Counterexample → 回给 Coding Agent并加入 Regression Set。
作者还从 finite-population 角度分析 adaptive candidate selection 下的 false acceptance,并指出 candidate commit 之后再做 fresh random audit,可以控制多轮开发中的错误接受风险。
实验结论
在 stateful key-value store 的 paired experiment 中,两种“开发过程中持续重生成测试”的策略最终 mean failure rate 都低于“只生成一次测试集”的策略。
允许 tester 看到候选源码,没有检测到额外提升。这提示真正重要的也许不是让第二个 Agent 读更多代码,而是确保它能持续生成实现尚未适配的新行为输入。
是否适合真实研发流程
特别适合 API / parser / protocol、state machine、序列化 / 兼容性和有明确 behavioral contract 的后端模块;不适合把所有 UI、性能和业务偏好都强行转成自动生成测试。
权限 / 安全 / 可验证性风险
trusted evaluator 必须比 tester 和 coder 更可信。如果 tester 能直接修改程序、evaluator 与 coder 共用状态,整个对抗结构就失去意义。
建议隔离 coder workspace、tester generation、evaluator execution sandbox 与 regression artifact store。
可复现性
当前论文提供完整方法描述。即使不用作者实现,也可以在现有 Codex / Claude Code harness 中把“生成测试”从编码 Agent 的同一上下文移到独立 Agent,并规定测试只在 candidate commit / snapshot 后生成。
适合谁关注
Codex、Claude Code、自研 Coding Agent、自动 PR、长期 Agent harness、测试驱动开发。
工程落地启发
固定 hidden tests 是必要底线,但还不够。长期自主 Agent 更适合“历史 regression + 每轮新 adversarial inputs + 独立最终 audit”,让 Agent 没法只记住昨天的考试答案。
AI Coding 实战技巧精选
技巧 1|先用 ReviewBench 给 AI Code Reviewer 做离线基线,再决定是否进 CI
- 来源:GitHub,2026-10-05,ReviewBench 官方发布。
- 一句话结论:不要只拿少量“感觉有 bug”的 PR 评价代码审查 Agent。ReviewBench 已公开 219 个来自 187 个开源仓库、覆盖 19 种语言的 PR,并把 finding 按严重度、类别和 precision / recall 拆开,可以先做统一离线基线。
- 具体怎么做:
- 从 ReviewBench 获取公开数据、judge 配置与 self-serve runner。
- 用固定 reviewer 版本完整跑一遍,保存 grounded / augmented precision、recall、F1。
- 不只看总分;至少分别检查 Critical / Medium 以及 Correctness / Security / Reliability / Testing 切片。
- 再补公司自己的私有 PR holdout。只有公共 benchmark 与内部 holdout 都不回退,再调整生产 reviewer。
- 适合什么场景:Copilot Code Review、自研 PR Reviewer、多模型 Review Agent、准备把 AI review 接入 merge gate 的团队。
- 注意:ReviewBench 的 senior-engineer 重标一致率为 96.6%,但它仍然不是你的业务仓库。公共 benchmark 用于可比性,内部 holdout 才能覆盖公司特有框架与风险。
技巧 2|Unix Host 远程启动 Windows MCP Executor 时,Codex 至少升级到 0.160.1
- 来源:OpenAI Codex,2026-10-05,0.160.1 官方 Release。
- 一句话结论:如果 Codex 从 Unix host 通过 remote stdio MCP 启动 Windows executor,并显式配置 remote environment variables,0.160.1 修复了 SYSTEMROOT、TEMP、TMP 被覆盖 / 丢失的问题。
- 具体怎么做:
- 执行 codex –version,确认稳定版不低于 0.160.1。
- 保持现有 remote MCP 配置不变,做一次跨 Unix → Windows 的真实启动回归。
- 在 Windows executor 中检查 SYSTEMROOT、TEMP、TMP 是否存在,并实际跑一次依赖系统路径和临时目录的工具。
- 把这三个变量和 MCP process startup 加入 remote-executor regression,避免以后升级时再次静默失效。
- 适合什么场景:Codex CLI、远程 MCP、Linux / macOS 调度 Windows 构建机、混合平台 CI。
- 注意:这个修复针对 remote stdio MCP 启动环境,不等于应该把 host 的所有环境变量透传给远端。Secrets 仍应显式、最小权限注入。
经典论文回顾
ROVIO:把图像 patch 的光度误差直接送进 EKF,而不是先做完整特征匹配
Michael Bloesch、Sammy Omari、Marco Hutter 与 Roland Siegwart 等人的 Robust Visual Inertial Odometry Using a Direct EKF-Based Approach 发表于 IROS 2015,是 direct visual-inertial odometry 与 robocentric filtering 路线的代表工作之一。后续 ROVIO 系统又发展出更完整的 IJRR 版本,并长期作为 ETH ASL 多种飞行平台和 maplab / ROVIOLI 前端使用。
核心问题
传统 feature-based VIO 常见链路是特征检测 → 描述 / 匹配 → 几何 residual → filter / optimizer。快速运动和 motion blur 下,descriptor / matching 可能先失败。
ROVIO 选择直接保留 image patch,把多层图像 patch 的 pixel-intensity error 作为 EKF update 的 innovation。
关键数学与状态表示
ROVIO 的经典设计包括 direct photometric update、tightly coupled EKF、robocentric state,以及 bearing vector + distance 类 landmark 参数化。
它的目标很明确:尽可能做到真正的“power-up-and-go”实时 VIO。
传感器 / 动力学假设
ROVIO 原始工作面向同步相机 + IMU,可使用单目或后续代码中的 stereo 配置。direct method 依赖局部光度一致性,因此曝光快速变化、严重 rolling shutter、强反射同样会造成问题;camera-IMU calibration 和 timestamp 也非常关键。
当年为什么重要
ROVIO 证明 direct photometric residual 不只是纯视觉 VO 的路线,也能与 IMU 状态在 EKF 中紧耦合。它在保持实时性的同时,对 motion blur 具有与传统二进制描述子不同的鲁棒性特征。
更重要的是,它代表了一个长期有效的工程思路:前端不一定要产出“已经决定好的视觉测量”;原始、低层的视觉误差也可以直接进入状态估计器。
今天仍在使用的思想
今天的 learned frontend、event camera VIO、direct sparse tracking 虽然实现不同,仍不断重复几个原则:尽量保留低层观测信息;相机与 IMU 越早联合越好;状态参数化要尊重不可观方向;实时 estimator 必须考虑计算和数据搬运,而不只是数学形式。
今天的 HexVIO 可以从另一侧理解这一历史:ROVIO 时代重点是“怎样把视觉与 IMU 紧耦合得轻而稳”,HexVIO 则继续问“在现代 SoC 上,这些视觉计算应该具体跑在哪一块硅上”。
已被后续替代的部分
ROVIO 的 EKF、patch 管理和 ROS-era 工程栈今天已不是 VIO 的唯一最优解。优化式 VIO、滑窗因子图、预积分、强回环和现代 learned frontend 在精度、全局一致性和维护性上提供更多选择。
原始 ROVIO 本身不负责全局回环与长期地图;在 ROVIOLI / maplab 中,ROVIO 主要提供实时里程计,另一套 feature / mapping 模块负责可持久地图和 localization。
公开代码与可复现性
ETH ASL 的 ROVIO 官方仓库 仍公开,BSD License;仓库也链接 IROS 2015 和 IJRR 后续论文。它仍然是理解 direct EKF VIO 很好的参考,但依赖传统 ROS / catkin 和研究型配置,今天复现时最好固定依赖环境。
对当前工程项目的重新解读
现代嵌入式平台重读 ROVIO,不一定是为了重新选 EKF,而是为了重新思考计算边界:哪些视觉量必须在高性能 CPU 上算,哪些 patch / stereo / pyramid 操作可以进 DSP / GPU,哪些 residual 必须高频进入 estimator,哪些全局功能应该留给低频后端。
HexVIO 的 0.83 W / 30 fps 结果说明,VIO 下一轮优化很可能不只是算法竞赛,而是算法模块与 SoC 异构计算单元之间重新分工。
ETH 论文页 · IROS DOI · ROVIO 官方代码
今日结论
今天最值得带走的主线是:机器人系统开始把“高算力”换成“算力放对地方”,把“强策略”换成“只在真正必要的地方干预”。
HexVIO 不是继续增加 VIO 模型复杂度,而是让视觉前端去更适合它的 DSP;LLA-MPC 没有把 system identification 神经网络化,而是利用现代嵌入式并行算力每周期直接筛数千个显式模型;DR-IPC 则把过去串联的规划、扰动估计和 tracking 压进一个能在机载 100 Hz 运转的 NMPC。
SafeStreamingFlow 和 Detect and Suppress 又从“什么时候花安全成本”给出相同答案。前者只对真正要执行的下一步施加硬 CBF;后者只在 probe 检出攻击时抑制内部特征。永久、全局、无条件的干预不仅昂贵,还可能破坏 nominal behavior。
KungfuAthleteBot 的 pseudo-LKE sampling 也说明,训练失败不一定意味着模型容量不够。高动态 imitation 真正的问题可能是 reference / initialization 本身违反物理。先修数据分布,再让 policy 学动作,比不断加更复杂的 recovery network 更合理。
EyeRobot 2.0 则提醒感知系统:增加视觉能力不一定等于增加相机数量。主动凝视和 foveated computation 可以让少量传感器更聪明地使用有限视觉预算。
AI Coding 侧,GTDD、ReviewBench 与 Codex 的 remote-MCP 修复可以串成同一套工程哲学:Agent 的结果必须通过独立、持续变化的测试被验证;reviewer 本身需要可复现 benchmark;harness 的跨平台环境也应该像产品代码一样有回归测试。
如果把今天整期压成一句话:
更成熟的机器人和 Coding Agent,不是把所有模块都开到最大,而是把计算、感知、规划和安全干预集中在真正决定物理结果或软件行为的那一小部分。
最值得深入研究或尝试复现的方向
- RK3588 / 手机 SoC 的 VIO 异构 profiling:把现有 VIO 分成 image frontend、IMU propagation、backend optimization,测 CPU / GPU / NPU 可迁移算子和真实瓦特数。
- 并行模型库 MPC:从 1–2 个最敏感动力学参数开始,在嵌入式 GPU / 多核 CPU 实时评估 model bank,与 neural dynamics adapter 比 prediction residual、控制性能和故障可解释性。
- 无人机 Integrated NMPC Sidecar:保留 PX4 姿态内环,让上层直接输出 body-rate + thrust;将 disturbance observer 与 local safe corridor 一起放入 100 Hz prediction loop。
- Streaming Planner 的 First-Step Safety:对现有 MPPI / flow planner,只给 executed action 增加硬 CBF,再用 terminal feasibility / no-progress detector 约束远期风险。
- 高动态 imitation 的初始化审计:统计参考轨迹中腾空、落地、低动能 / 高动能状态的训练失败率,先修 reference / initial-state distribution,再改 policy。
- 主动视觉 A/B:不增加 camera 数量,让云台 / 双目主动 fixation,比较 passive multi-camera 与 active gaze 的遮挡成功率、视觉 token 和总功耗。
- VLA 条件化安全干预:所有 runtime defense 同时跑攻击 / 故障检测和正常任务 regression,监控 intervention false-positive,不允许安全模块永久改写 nominal policy。
- Agent Adversarial TDD:固定 coder 后才生成新测试,把每个 counterexample 自动缩小并保存为 regression;最终 acceptance 再使用独立 hidden / random audit。