LLM 推理 / KV Cache 管理（4 篇）

本周最大热点：从生产 profiling 到移动端 NPU，LLM serving 的系统优化全面铺开。

• Herschel — 按需 attach/detach profiling，6 个月 17000 条 trace
• KVTether — ReAct agent KV cache 生命周期感知管理
• Dynamic Flow, Static Graph — 移动 NPU 上的 KV cache 静态图协同设计
• SpecScale — test-time scaling 的投机执行 serving 系统

AI Agent 系统基础设施（4 篇）

Agent 执行沙箱、状态分支、内存回收成为新研究方向。

• Tide — Agent MicroVM 的分阶段内存主动回收
• StateFork — Terminal agent 的分支探索与 checkpoint/restore
• Planarian — Agent 状态点 snapshot/rollback/fork 统一抽象
• KVTether — 也可归入此方向（agent KV lifecycle）

安全 / eBPF / 硬件隔离（4 篇）

eBPF 和 CHERI 两线并进：一条扩展可观测性到 TEE/LibOS，一条推进进程内隔离。

• CHERI Compartmentalization — 10K+ 隔离域，首个商用 CHERI RISC-V 评估
• ContractWarden — eBPF LSM 对 AI agent 的确定性内核强制
• Agent-Warden — eBPF 进程-文件溯源，0.2-3.5% 开销
• eBPF for NEEs — SGX/LibOS 的 eBPF 观测，394ns 探针延迟

OS 内核 / 内存分层 / Profiling（2 篇）

ML 驱动内核优化趋势：CXL 内存分层用学习模型预测页面热度，LLM agent 自主定位内核瓶颈。

• MANTA — ML 增强 CXL 内存分层，Linux 6.2/6.18 实测
• Argus — LLM agent 自主生成内核探针并定位瓶颈路径

Efficient Linkage-Based Compartmentalization on CHERI

Dapeng Gao, John Baldwin, Jessica Clarke (+ et al.) · Cambridge / SRI · 2026-09-29

🎯 核心问题
进程内细粒度隔离（compartmentalization）受限于硬件保护域数量——Intel MPK 仅 16 个域，远不足以隔离大型应用的数百个库。如何在 CHERI 硬件能力模型上构建可扩展到 10K+ 隔离域的进程内隔离机制？

🔧 关键方法
基于 CHERI 的 capability 机制实现"链接边界"（linkage boundary）隔离模型：以库为单位自动创建 compartment，每个 compartment 拥有独立的能力域，通过 sealed capability 实现跨域调用。工具链层面，编译器和链接器自动划分库边界，无需源码修改。OS 层面扩展了 CheriBSD 的进程模型以支持单地址空间内的多域管理。自定义策略可进一步细分库（如 V8 的 GC 和 JIT 区域）。整个 UNIX 用户空间可被隔离，Chromium 单进程已达 500+ compartment。

📊 实验或论据
在 Arm Morello（乱序 CHERI-Armv8-A）和 Codasip X730（首款商用 CHERI RISC-V，顺序双发射）上评估。覆盖数千个 C/C++ 程序，仅 V8 需要 <300 行源码适配。Case study 展示了 compartment 间内存委托、隔离感知调试和托管语言运行时扩展。

⚠️ 局限
依赖 CHERI 硬件扩展，目前仅 Morello 和 Codasip X730 可用，主流服务器/桌面 CPU 尚无 CHERI 支持。迁移成本高——需要完整 CHERI 工具链和 OS 适配。

💼 对系统人的启示
这是 CHERI 生态从"内存安全研究"迈向"可用隔离基础设施"的里程碑。如果 CHERI CPU 未来进入主流，这套"push-button compartmentalization"直接可用于浏览器、网络服务等高攻击面应用的深度防御。现在值得关注其隔离 API 设计和性能数据，为未来硬件就绪做准备。

ContractWarden: Kernel-Enforced Damage Boundaries for AI Agents via Human-Authorized Contracts

Dongxu Cui, Zhichao Gu, Ping Zheng (+ et al.) · 2026-09-29

🎯 核心问题
LLM agent 可执行命令、创建子进程、访问文件和网络——prompt injection 或规划错误会直接产生 OS 副作用。现有方案依赖 agent 自身策略，缺乏内核级确定性强制。

🔧 关键方法
提出 tri-state asset contract（allow / deny / no_egress），由人类授权后绑定到具体任务。执行门（execution gate）在不可信代码运行前检查合约。数据面用 eBPF LSM（Linux Security Modules）实现文件和网络决策的内核强制，并将 no_egress 属性单调传播到进程、常规文件、pipe、FIFO 和支持的 Unix-domain socket——确保污染不扩散。关键设计：agent 可提议合约，但人类做最终决策；eBPF LSM 作为强制点而非信任 agent。

📊 实验或论据
19 个安全测试 × 570 次运行全部满足预定义返回值和副作用标准。在 Linux 6.15 VM 上文件 I/O 中位开销 11.96-12.89%，物理机上 35.79-61.54%，低于 frozen ActPlane baseline。

⚠️ 局限
物理机开销偏高（35-61%），VM 下更低可能因为 hypervisor 已分流部分 I/O 路径。no_egress 传播仅覆盖"supported Unix-domain sockets"，未覆盖所有 IPC 通道（如 shared memory）。

💼 对系统人的启示
eBPF LSM 做 agent 沙箱是一条务实路线——不需要新硬件，Linux 6.15 开箱可用。tri-state 合约 + 单调传播的设计可直接借鉴到容器安全或 CI/CD 流水线的隔离场景。物理机开销需优化才能用于高吞吐生产环境。

Extending eBPF observability to Non-standard execution environments

Pamenas Kariuk, André Martin, Christof Fetzer · TU Dresden · 2026-09-30

🎯 核心问题
TEE（如 Intel SGX enclave）和 LibOS 使用非标准异常处理和内存访问机制，标准 Linux eBPF 工具（uprobe / USDT / perf）无法观测其内部执行，造成可观测性盲区。

🔧 关键方法
两个核心机制：(1) kernel memory extensions——安全地从 eBPF 程序访问 NEE 内存空间，解决 enclave/LibOS 的地址空间隔离问题；(2) LWFP（Lightweight Flexible Probe）PMU——提供三种探针变体：SLWFP（简单探针，替代 uprobe）、ELWFP（enclave 内探针）、ExLWFP（扩展探针）。在此基础上实现了 tracing、Flame Graph 栈采样、动态插桩、时序分析和 USDT 支持，覆盖 SGX enclave 和 LibOS。

📊 实验或论据
SLWFP 探针延迟 394ns，比 uprobes 低 25%；ELWFP 探针延迟约 2.8μs，对 enclave 观测实用。SLWFP 对现有 uprobe 性能影响可忽略。

⚠️ 局限
目前仅验证了 Intel SGX 和特定 LibOS，未覆盖 AMD SEV-SNP 或 Intel TDX。ELWFP 2.8μs 延迟在热路径密集场景仍可能偏高。

💼 对系统人的启示
如果你需要在 SGX enclave 内做性能诊断或动态追踪，这是目前唯一系统化的 eBPF 方案。kernel memory extension 的设计思路（安全跨域内存访问）对其他需要观测"黑盒"执行环境的工作（如 WASM runtime、JVM 内部）也有参考价值。

MANTA: Machine Learning Augmented Tiering Advisor

Johannes Freischuetz, Kiet Pham, Sujay Yadalam (+ et al.) · UW-Madison · 2026-09-30

🎯 核心问题
CXL-attached memory 扩展了数据中心内存容量，但现有启发式分层策略（如 Linux ARMS）无法跟上 phased/bursty workload 的热集变化——页面迁移总是慢一拍，导致 fast tier 利用率低。

🔧 关键方法
三层设计：(1) ChOMP——离线优化器，最小化放置和带宽敏感迁移成本，作为理想上限参考；(2) trace-driven simulator，对比在线策略与 ChOMP 的差距来定位改进空间；(3) MANTA——从运行时访问特征预测页面未来 usefulness，将轻量学习模型集成到 Linux ARMS 框架中。关键差异：不是替换 ARMS，而是在 ARMS 的决策环节插入 ML 预测，保持框架兼容性。

📊 实验或论据
8 个 workload 在 emulated CXL 上测试：Linux 6.2 上几何平均加速 1.12×，Linux 6.18 上 1.08×（4GB fast memory）。6 个 Optane workload 上加速 1.69×。单 workload 最高加速：Linux 6.2 上 1.25×，6.18 上 1.21×，Optane 上 5.6×。

⚠️ 局限
依赖 emulated CXL（非真实 CXL 设备），Optane 已停产。ML 模型的训练/推理开销和冷启动行为未详细讨论。

💼 对系统人的启示
在 Linux 6.18 上仍有 1.08× 提升，说明即使内核已迭代 ARMS，ML 预测仍有价值。如果你在做 CXL 内存分层，MANTA 的"不替换框架、只增强决策"集成方式是工程友好的切入点。ChOMP 离线优化器可作为你自己的分层策略调优基准。

Herschel: Continuous Optimization of Production LLM Inference through On-Demand Profiling

Luping Wang, Weigao Chen, Yifei Wu (+ et al.) · Microsoft Research Asia · 2026-09-30

🎯 核心问题
生产 LLM 推理引擎在复杂 serving 条件下暴露出部署前未发现的低效——always-on profiling 开销大，轻量采集又丢失诊断信息。如何在低开销和高信息密度之间取得平衡？

🔧 关键方法
核心洞察：自适应按需 profiling 可以在不持续采集的前提下提供全栈证据。Herschel 安全 attach/detach 到运行进程，无需引擎修改或重启；随调查深入自适应扩大覆盖范围。它重建算子执行和跨进程依赖来定位低效机制，并推荐修复方案。AI agent 在受控条件下实现和测试引擎/内核修改，保持触发条件一致，专家审核后部署。bounded window（通常 30s）避免 always-on tracing 的持续开销。

📊 实验或论据
6 个月生产部署：~17000 条 trace，覆盖 120+ 模型变体和 10+ 加速器类型。23% 的 trace 识别出低效模式。活跃采集开销：TTFT <0.5%，TPOT 7%。发现的优化已广泛部署，包括重构同步、移除无用计算和改进算子实现。

⚠️ 局限
TPOT 7% 开销在长序列推理中可能累积显著。abstract 未讨论 attach/detach 本身对延迟敏感请求的影响窗口。

💼 对系统人的启示
这是一篇来自 MSR Asia 的生产系统报告——如果你在运维 LLM serving 集群，Herschel 的"按需 profiling + bounded window"模式可直接借鉴。AI agent 自动实现并测试引擎/内核修改的闭环是值得关注的方向——它暗示未来 SRE 工作流中 LLM agent 可能深度参与性能优化迭代。

Tide: Reclaiming Phased Memory in Agent MicroVMs

Yiyang Wu, Chengfan Liao, Jinyu Gu · 2026-09-30

🎯 核心问题
Cloud agent 运行在 MicroVM 中，harness 循环存在明显的阶段性行为：等待模型时几乎空闲，工具执行时内存突增。现有 host 侧回收策略基于访问频率推断，但 harness 和工具分配在同一页面，导致误选页、错误容量估计、甚至拆分 transparent huge page。

🔧 关键方法
核心洞察：harness 已经知道每个阶段的内存意图（哪些内存、何时用、内容是否需要保留）。Tide 引入 arena 抽象和 user-space API 让 guest 报告"独占意图"的 guest-physical 区域，host 直接回收。三个组件：(1) arena + user-space API 管理独占意图内存；(2) guest-kernel allocator 将独占分配聚合到 huge-page-aligned extents；(3) hypervisor 扩展将 extents 映射到 host backing 并执行回收动作，保持 guest 容量不变。关键差异：从"host 猜测"转向"guest 主动声明"。

📊 实验或论据
在录制的 agent 轨迹上测试，超越 state-of-the-art 回收机制且开销低。📄 abstract 未提供具体加速比数字，需读全文。

⚠️ 局限
需要修改 guest kernel allocator 和 hypervisor——工程集成成本高。仅评估了录制轨迹而非实时 agent 执行，实时场景的动态性可能带来额外挑战。

💼 对系统人的启示
"让 guest 主动声明内存意图给 host"这个方向非常有启发——它打破了 balloon driver / free page hinting 的被动模式。如果你在做 MicroVM 或 serverless 内存超卖，Tide 的 arena 抽象和 huge-page-aligned extents 设计值得研究。agent workload 的阶段性内存特征是新的系统设计输入。

StateFork: Branchable Infrastructure for Agent Exploration

Jiakai Xu, Tianle Zhou, Georgios Liargkovas (+ et al.) · Stanford · 2026-09-29

🎯 核心问题
AI agent 通过探索多条轨迹提升任务成功率，但 computer-use agent 每条轨迹会修改外部环境状态（文件、shell context、运行进程）。从中间点分支只有在"观察等价"（恢复后未来操作产生相同观察）且物理高效时才有意义。

🔧 关键方法
两层设计：StateFork——逻辑控制平面，将探索策略与物理状态物化解耦，提供 session、command、snapshot、restore、cleanup 原语，支持多种执行后端。Waypoint——terminal session 的 checkpoint/restore 后端，结合 filesystem layering（overlayfs 风格）、进程 checkpoint（CRIU 风格）和持久化 terminal 兼容命令 session。关键概念"观察等价性"：分支恢复不仅需要文件一致，还需要 shell 环境、运行进程、本地服务状态一致。

📊 实验或论据
Terminal-Bench 上：分支探索比 pass@20（相同节点预算）任务完成率更高；Waypoint 比其他执行后端准确率高 26%，探索完成速度快 70%。

⚠️ 局限
仅覆盖 terminal-using agent，未涉及 GUI 交互 agent 的状态分支。进程 checkpoint 对有复杂外部连接（数据库、网络 socket）的进程恢复可能不完全。

💼 对系统人的启示
"观察等价的分支恢复"是 agent 探索的基础设施问题，StateFork + Waypoint 给出了 terminal 场景的工程方案。filesystem layering + 进程 checkpoint 的组合可复用于 CI/CD 环境快照或调试回放场景。如果你在构建 agent sandbox，这套 checkpoint/restore 抽象直接可参考。

Argus: Agentic, Reference-Calibrated, Tree-Guided, System-Software-Level Bottleneck Localization

Vlad-Petru Nitu, Harsh Songara, Konstantinos Sgouras (+ et al.) · ETH Zürich (Saffari/Mutlu group) · 2026-09-28

🎯 核心问题
OS 代码在 CPU 执行时间中占比越来越高（GPU offload 后 CPU 成为 orchestrator，serverless 频繁调用 OS 服务），但现有 profiler（perf、VTune）需要人工解读，ftrace 大量插桩会扰动短操作。定位具体内核代码路径瓶颈需要反复插桩和人工推理。

🔧 关键方法
Argus 是一个 agentic LLM-based profiler：(1) calibration 方法——采集 idle 系统测量作为参考点来发现潜在瓶颈；(2) tree-based 数据结构表示 OS 执行路径，提高 agent 的瓶颈定位精度。Argus 自主生成插桩代码、执行测量、推理瓶颈位置，目标是定位到具体内核代码路径而非仅子系统级诊断。与直接用 LLM 分析 perf 数据的关键差异：参考校准 + 执行路径树两个机制显著减少了 LLM 的幻觉性诊断。

📊 实验或论据
两个 case study：(1) THP aggressor 与其他应用 co-run 导致内存管理瓶颈；(2) 不同类型 page fault 导致的瓶颈。Argus 比最强 LLM baseline（无参考校准）错误深度路径诊断少 19×，time-to-diagnosis 约 31s。

⚠️ 局限
abstract 未说明支持的内核版本范围和 case study 之外的场景覆盖率。LLM 生成的插桩代码安全性（是否会引入内核 panic）未讨论。

💼 对系统人的启示
"LLM agent 自主定位内核瓶颈"是一个新范式——把 SRE/kernel engineer 的调试流程自动化。参考校准（idle baseline 对比）和执行路径树是可独立于 LLM 使用的工程技巧。如果你在做内核性能分析工具，这两个机制可以集成到现有 profiler 中减少人工推理负担。

本周活跃机构

观察：Cambridge 的 CHERI 团队（Watson 等）持续产出高质量隔离工作；MSR Asia 本周两篇 LLM serving 相关论文显示该方向在工业界的投入力度。Cui Dongxu 连续两篇 eBPF agent 安全工作来自同一作者，值得关注这个新兴研究方向。

1. AI Agent 系统基础设施已成独立方向

本周 13 篇中有 6 篇直接与 agent 系统相关（Tide、StateFork、Planarian、KVTether、ContractWarden、Agent-Warden），覆盖内存管理、状态分支、KV cache 生命周期、安全隔离、溯源追踪。Agent 不再只是"调用 API 的 prompt"，而是有明确阶段性行为、状态管理需求和安全隐患的操作系统级问题。这预示 OS 社区正在将 agent workload 视为新的设计输入——类似容器/serverless 曾经带来的系统变革。

2. eBPF 成为 agent 安全的事实基础设施

ContractWarden 用 eBPF LSM 做合约强制，Agent-Warden 用 eBPF local-storage 做溯源，eBPF for NEEs 扩展到 TEE 观测——三条线都选了 eBPF 作为内核数据面。eBPF 的可编程性 + 无需内核修改 + 低开销特性使其成为 agent 安全监控的首选方案。

3. LLM serving 优化进入精细化阶段

Herschel（生产 profiling）、SpecScale（投机搜索）、KVTether（agent KV 生命周期）、Dynamic Flow（移动 NPU）——四篇分别从运维、推理质量、agent 语义和边缘硬件四个角度切入。KV cache 管理从简单的 LRU 进化到生命周期感知和静态图协同，说明 LLM serving 已从"跑通"进入"精调"阶段。