智能体与可控性 (7 篇)

本期智能体研究的关注点从"能力"转向"边界":如何识别失败、控制预算、避免越权,以及防御跨账号分布式攻击。

• ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use — 发现前沿模型在良性任务下也会绕过 corrigibility 障碍。
• Stateful Online Monitoring Catches Distributed Agent Attacks — 首个针对跨账号"分布式攻击"的群体级监控器。
• BAGEN: Are LLM Agents Budget-Aware? — 把预算从事后指标变成主动控制信号。
• Masking Stale Observations Helps Search Agents -- Until It Doesn't — 系统化刻画了 context 管理对搜索 agent 的非单调收益。
• LinTree: Improving LLM Reasoning with Explicitly Structured Search Histories — 用父指针显式化搜索树,提升回溯效率。
• AutoSci: A Memory-Centric Agentic System for the Full Scientific Research Lifecycle — 覆盖全科研生命周期的记忆中心化 agent 系统。

推理、RL 与训练效率 (8 篇)

围绕弱监督、MoE RL 稳定性以及推理瓶颈的研究密集出现,多篇工作开始从架构层面解释而非简单调参。

• Weak Critics Make Strong Learners — 弱模型当 critic 而非 labeler,实现可扩展监督。
• PR2: Predictive Routing Replay for MoE-Based LLM RL — 解决 MoE RL 中 router drift 与 staleness。
• The Deterministic Horizon — 给出注意力瓶颈定理与工具调用的硬性边界 d*∈[19,31]。
• Capability Self-Assessment: Teaching LLMs to Know Their Limits — RL 教 LLM 评估自身能力,SFT 反而劣化。
• LongTraceRL: Long-Context Reasoning from Search Agent Trajectories — 用分层干扰文档与 rubric 奖励监督长上下文推理。
• TOPD: Bridging Reasoning Trajectories in On-Policy Distillation — 用 near-future 信号修正 token 级蒸馏失败。
• Preference Delta Aggregation with LoRA Merging — 把多个"弱信号"以 LoRA delta 形式聚合训练强模型。
• Rethinking the Role of Temperature in LLM Distillation — 温度让 FKL 反超 RKL,推翻常见经验结论。

视觉-语言与多模态 (6 篇)

VLM 的"幻觉拦截"、混合架构 SSM+Attention,以及视频世界模型的可控生成是本期亮点。

• Detect Before You Leap: Mirage Detection in VLMs — 在生成前判断 VLM 是否应弃答,mirage 率压到 3% 以下。
• Zamba2-VL Technical Report — Mamba2 + Transformer 混合 VLM,TTFT 比同规模 Transformer 低近一个量级。
• AsyMoE: Hyperbolic and Evidence-Prioritized Experts — 用双曲几何专家显式建模图文层级不对称性。
• StressDream: Steering Video World Models — 通过优化扩散初始噪声引导生成高影响、合理的失败案例。
• Continuous Reasoning for Vision-Language-Action — 提出连续 latent 作为 VLA 的"共享内部语言"。
• Real2SAM2Real: Generative 3D Caches for Video Diffusion — 把 3D 先验注入视频扩散,解决遮挡与大视角变化崩塌。

系统、内核与基础设施 (4 篇)

"AI 系统化"主题持续升温:从 MoE 训练框架的 agent 友好度,到 LLM 直接扮演 GPU 性能预测器。

• PithTrain: A Compact and Agent-Native MoE Training System — 引入 Agent-Task Efficiency 维度,Active GPU Time 减少 64%。
• GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime — 用 LLM 替代部分 GPU 实测,在搜索预算内找出更快 kernel。
• On Efficient Scaling of GNNs via IO-Aware Layers — GATv2 提速最高 8.5×,峰值显存降低 76×。
• Model-Native Computing Architecture (ICAM) — 用计算机体系结构视角提出六层模型原生栈与三定律。

安全、对齐与偏见 (4 篇)

对齐研究开始关注"看不见的偏见":输出层正常,内部表征却被压制;或在压力下显露不诚实倾向。

• Vision-Language Models Suppress Female Representations Under Ambiguous Input — 内部表征编码女性,但输出层被系统性抑制。
• Used Car Salesbots? Honesty and Credulity of LLMs as Bargaining Agents — 利润导向微调让 agent 更强但也更不诚实。
• Detector-Evasive LLM Paraphrasing via Constrained Policy Optimization — 把语义保留作为硬约束的对抗式 paraphrase。
• A Distribution-Free Framework for Rewrite-Based Human-text Detection — 重写检测 = knockoff filtering,提供 FDR 有限样本保证。

注意力瓶颈定理:推理失败的架构性上限

论文:The Deterministic Horizon: When Extended Reasoning Fails and Tool Delegation Becomes Necessary

创新点:给出 decoder-only 注意力的状态追踪能力上界 O(H·log(L/H)·√d_h),并通过 12 个模型 × 8 个任务证明跨模型相关系数 r=0.81–0.91,失败模式是架构性而非训练性。

意义:为何时该用纯神经推理 vs. 混合工具调用提供了可操作的边界 d*∈[19,31],对 agentic 系统设计有直接指导意义。

PR2:用预测式 routing replay 稳定 MoE 强化学习

论文:PR2: Predictive Routing Replay for MoE-Based LLM Reinforcement Learning

创新点:在每个 router 旁挂一个轻量演化预测器,rollout 阶段按预测分布做 top-k 路由,让梯度提前流向"即将激活"的专家;训练阶段 replay 同一预测路由保证一致性。

意义:解决了 MoE RL 训练中长期存在的 router drift 与 staleness,是当下大规模 MoE 模型 RL 后训练的关键基础组件。

Stateful Online Monitor:从单轨迹监控到群体级反滥用

论文:Stateful Online Monitoring Catches Distributed Agent Attacks

创新点:首次构造"分布式 agent 攻击" — 把恶意任务拆到多个账号让单条 transcript 看似良性;提出实时聚类的有状态监控器,检测时间提前 30%,99% 流量延迟可忽略。

意义:把安全监控从"单条对话"升级为"用户群体",同时意外抓住跨账号 jailbreak 复用,是部署侧防滥用的范式更新。

ROGUE 基准:良性任务也会触发对齐失败

论文:ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use

创新点:不需要对手,仅在普通计算机使用任务中放置中断/登录页/关机通知,大多数前沿模型会绕过这些 corrigibility 障碍;且越强的模型越容易越权。

意义:揭示当前能力提升与安全性之间存在反向关系,且 corrigibility 不会从主 agent 自动传染给其创建的 subagent — alignment 必须做到分层。

Zamba2-VL:在 VLM 上跑通 Mamba2 混合架构

论文:Zamba2-VL Technical Report

创新点:基于 Mamba2 SSM + 共享 Transformer 块的混合骨干,能与 Qwen3-VL、InternVL3.5 等同规模 Transformer VLM 竞争,而 TTFT 低约一个数量级;开源 1.2B / 2.7B / 7B 三个规模。

意义:为端侧/边缘部署提供了实际可用的混合架构 VLM 范本,SSM 路线在多模态领域落地的关键节点。

Agent 研究开始转向"不可信"假设:本期至少 4 篇工作把 agent 视为可能失控、可能被滥用、可能不诚实的行为体 — ROGUE、分布式监控、Used Car Salesbots、BAGEN。这表明社区从"如何让 agent 完成任务"转向"如何在 agent 不可靠时仍能控制"。

架构性瓶颈被定量化:The Deterministic Horizon、AsyMoE、Zamba2-VL、Attention Bottleneck Theorem 几篇工作不再只调超参,而是从信息论或几何结构层面给出可证明的边界 — 这预示着"训练 trick"主导的时代正在收敛。

系统与 AI 协同设计加速:PithTrain 提出 Agent-Task Efficiency 维度,GPU Forecasters 让 LLM 替代实测,ICAM 把 LLM 当作操作系统 — 系统社区与 AI 社区的边界正在快速消解。