SARIA: Persistence-Aware KV Caching with Coordinated DRAM--SSD Reload for LLM Agents

Hui Li, Qihui Zhou, Xiao Yan (+ et al.) · 中科院深圳先进院/港中文 · 2026-10-22

🎯 核心问题
多轮 LLM agent 重用长上下文 prefix，KV cache 对降低 prefill 延迟至关重要。GPU DRAM 容量有限，需溢出到 SSD，但两个问题随之而来：(1) 激进写入所有 KV block 消耗 SSD 写寿命；(2) GPU 服务器通常只配少量 SSD，reload 带宽受限反而拉高 TTFT。

🔧 关键方法
Saria 在 LMCache MP 上实现，核心是利用 session 级时间局部性做 **选择性持久化**。写路径：根据 eviction 和 reuse history，只持久化那些"在 DRAM 驻留期之后仍有机会被重用"的 KV block，避免对 DRAM 已有的 block 重复写入 SSD。读路径：在 prefill 完成后，将 SSD 命中的部分 KV block 从 GPU 显存提升到 DRAM，使同 session 后续复用走 DRAM 而非 SSD。Transfer coordinator 在 SSD 传输活跃时 pace DRAM 读，让两条路径共享 GPU ingress 带宽而不互相饿死。与已有的 full duplicate caching 相比，差异在于"不是全量写盘，而是按重用预测选择性写"。

📊 实验或论据
在 LMCache MP 上实现，使用 TraceLab 和 WEKA 工作负载评估，覆盖 full-attention 和 hybrid-attention 模型。SSD 写量降低 57.1–58.9%（对比 full duplicate caching）；TTFT 降低 42.3–79.7%（对比 DRAM-only caching）。

⚠️ 局限
效果依赖 session 级局部性假设——如果 agent 的访问模式不呈现明显的时间局部性（如高度随机的多 session 并行），选择性持久化的命中率会下降。SSD 数量和带宽仍是物理瓶颈。

💼 对系统人的启示
对做 LLM serving infra 的工程师直接有用：KV cache offload 到 SSD 是当前业界主流思路，Saria 的"选择性持久化 + DRAM 提升协调"思路可以作为 LMCache/vLLM 扩展的现实参考。写路径的预测策略值得复用。

uGDS: A User-Space Development Kit for High-Performance GPU Direct Storage

Jing Wei, Guanyi Chen, Qi Chen (+ et al.) · ScaleX-IO · 2026-10-22

🎯 核心问题
NVIDIA GDS 实现了 SSD→GPU 的 PCIe P2P DMA 直通，但三个硬伤：(1) 控制路径每次 I/O 都走内核，软件开销大；(2) stream-ordered 路径强制全序，即使 workload 只需 batch 级排序；(3) 闭源 user-space engine 无法诊断和定制调度。

🔧 关键方法
uGDS 是开源（GitHub: ScaleX-IO/uGDS）的 user-space GPU Direct Storage 库，四个设计原则：user-space 控制、跨厂商统一抽象（同时支持 NVIDIA CUDA 和 AMD HIP）、workload-aware 调度、端到端透明。host CPU 在 user space 管理完整 NVMe command 生命周期，payload 走 PCIe P2P DMA 不消耗 GPU 算力。仅需一个极简内核模块 ugds_drv.ko 做一次性特权初始化。硬件队列在同步和 batch 流量之间分区，强制 DMA-safe buffer 生命周期管理，提供 cuFile 兼容的同步/batch/stream-ordered API，支持 polling 或 interrupt 完成模式。

📊 实验或论据
在 A100 + Samsung 990 PRO 上评估。batch-read 带宽达 GDS 的 12.12x（8KiB，batch size 128），batch-write 达 30.69x（4KiB）。4KiB 同步写延迟降低 84.1%（2 线程）。stream-ordered 单流 5.49 GiB/s，GDS 仅保留其同步带宽的 40.8%。在 LMCache 中 TTFT 中位数降低 62.7%，goodput 提升 2.63x。AMD 平台上同步写带宽达 hipFile 的 1.19x。

⚠️ 局限
需要 P2P DMA 硬件支持（特定 GPU+SSD+平台组合）。极简内核模块仍需加载，存在内核 ABI 依赖。大 batch 小请求场景的性能提升是否在更大规模集群上可线性扩展，📄 abstract 未提及。

💼 对系统人的启示
对做 GPU 存储栈 / AI 推理 I/O 优化的工程师非常实用——开源可直接 fork，user-space NVMe 控制路径的设计思路也适用于自研 RDMA / CXL 方案。跨 NVIDIA/AMD 的统一抽象是加分项。

Breaking the Coupling: Efficient Concurrency Fuzzing for Linux Kernel Data Race Detection

Cen Zhang, Jia-Ju Bai, Zi-Yu Zhang, Zuming Jiang · 清华大学 · 2026-10-22

🎯 核心问题
Linux 内核 data race 检测需要同时探索输入空间和线程交错空间。现有 kernel concurrency fuzzer（如 SegFuzz、CONZZER）将两者耦合——在 fuzzing 过程中同时探索 interleaving，大量调度开销花在几乎不可能触发真实 race 的输入上。

🔧 关键方法
提出 **解耦范式**：将 concurrent-input 生成与 thread-interleaving 探索分离。第一阶段，无受控调度地生成并执行 concurrent syscall group，收集 May Race Pairs (MRP)——在动态确定的时间阈值内观测到的冲突内存访问对，用于指导输入突变和识别"值得调度"的输入。第二阶段，用独立的调度实例对候选输入做定向 interleaving 探索，确认真实 data race。增强技术包括：LLM 辅助语义突变生成多样化 syscall group、backpressure-guided 动态阈值控制平衡候选产生与调度消费、history-aware context recovery 和 context-aware interleaving scheduling 提高确认效率。

📊 实验或论据
在 Linux 6.17 的 8 个常见内核模块上实现并评估。发现 187 个唯一真实 data race，其中 59 个为有害 race。在相同测试预算下，比 SegFuzz 和 CONZZER 检测到显著更多 race。

⚠️ 局限
MRP 的时间阈值动态调优依赖 backpressure 机制，在极端竞争场景下可能遗漏低频 race。LLM 辅助突变的正确性和多样性依赖模型质量。📄 abstract 未提及各阶段的时间开销分配。

💼 对系统人的启示
对做内核测试 / fuzzing 工具链的工程师有直接参考价值。解耦思路——"先用廉价方式筛选候选，再用昂贵调度精确认证"——也适用于其他需要双重空间搜索的系统验证问题。LLM 辅助 syscall 生成是一个值得关注的新方向。

CXLResume: Retained-State Checkpoint and Restore for In-Memory Services

Haonan Li, Zhaoxiang Huang, Zhihao Zhang, Yiming Zhang · 2026-10-20

🎯 核心问题
In-memory 服务（如 Redis、Memcached）的 checkpoint/restore 需要将内存页写入镜像再在目标端恢复。但若 application state 已在 shared memory 中，failover 后仍可访问，则序列化/反序列化这些页是不必要的开销——尤其对大堆服务，checkpoint 时间随堆大小线性增长。

🔧 关键方法
CXLResume 利用 CXL shared memory 的特性：服务的主堆对象保留在 shared memory 中，仅 checkpoint 剩余执行状态和映射元数据。Checkpoint 时在 freeze point 同时保留 shared heap 和序列化进程状态。恢复时，CXLResume 在恢复执行前将同一 shared memory **remap 到原始虚拟地址**，保持 shared 和 private memory 内部的直接指针有效性。这与传统 CRIU 风格的全量序列化根本不同——省去了最大部分（heap pages）的 copy-in/copy-out。

📊 实验或论据
使用 QEMU CXL 功能仿真，在 Redis 和 Memcached 上评估。6 GiB 堆：Redis 的 combined checkpoint+restore 从 15.015s 降至 0.242s；Memcached 从 19.770s 降至 0.276s。

⚠️ 局限
依赖 CXL 硬件支持——当前评估基于 QEMU 仿真而非真实 CXL 设备，实际 DMA 延迟和一致性协议开销可能不同。需要服务能将主堆放在 shared memory，对有复杂内部指针结构的服务需适配。📄 abstract 未提及对写密集负载的 CXL 带宽瓶颈。

💼 对系统人的启示
CXL shared memory 做 fast checkpoint/restore 是 CXL 落地的一个很有说服力的场景。对做云数据库 / 缓存服务高可用的工程师，这个思路值得在真实 CXL 硬件上验证。remap-to-original-address 保持指针有效性的技巧也可借鉴到非 CXL 的 shared memory 方案。

Connection Escrow: Holding AI-Agent Pod Egress in the Kernel Until an Isolated Verifier Rules

Ashok Subbabhatta Gopalakrishna · 2026-10-19

🎯 核心问题
容器化的 AI agent 通过网络连接执行操作，但驱动 agent 的文本可能来自恶意网页或工具返回值。agent harness 和工具之间的控制层（如 sidecar proxy）可以被 child process 或直接 socket 绕过，且其审批与内核最终打开的连接之间无绑定关系。

🔧 关键方法
提出 **connection escrow** 机制：每个受管 pod 的出站 TCP 连接在内核 connect() 路径中被一个 98 指令的 eBPF 程序（挂载在 pod 的 cgroup 上）拦截暂停——此时尚未发出任何网络包。Node interceptor 将 held socket 归因到其 kernel socket cookie、进程、可执行文件摘要、cgroup 和 pod 身份，暂停 agent 写入的首批字节，向独立容器中的 verifier 请求裁决。连接仅在收到签名裁决（指定 socket cookie 和目的地、未过期且未使用过）后释放；逾期未裁决则重置连接，迟到裁决被拒绝。还支持在不终止 TLS 的前提下基于请求内容做 gate——eBPF uprobe 在 agent 的 TLS 库边界读取明文（支持 shared OpenSSL、static OpenSSL、Go crypto/tls），交给模型评分后再决定是否放行。

📊 实验或论据
36 项对抗测试套件在真实 cgroups 上全部通过 eBPF hold point（33 项也适用于 iptables hold point）。拒绝连接不达目的地；伪造、反弹、重放、过期和迟到裁决被拒绝；agent 访问 verifier 本身也被 escrow；child-process 和 renamed-binary 绕过失败；UDP 固定到 resolver。Kubernetes 集群上 6 个 pod 600 条连接全部被 gate，SPIFFE 身份归因成功，raw socket 绕过 sidecar proxy 被拦截。每条释放连接增加 4.5ms 中位延迟，其中仅 24μs 为策略开销。

⚠️ 局限
98 条 eBPF 指令的 hold 程序虽精简但仍需 verifier 通过；对非 TCP 协议覆盖有限（仅 UDP resolver pinning）。TLS inspection 依赖 uprobe 在特定 TLS 库边界，对使用自研 TLS 实现的 agent 可能失效。单连接 4.5ms 额外延迟对低延迟场景可能敏感。

💼 对系统人的启示
对做 container security / AI agent 治理的工程师非常有启发：用 eBPF 在 connect() 路径做 hold 而非事后拦截，从根本上消除了绕过路径。"归因到 kernel socket cookie 再裁决"的绑定机制比应用层审批可靠得多。TLS 明文读取 via uprobe 的做法也值得关注。

本周活跃机构

本周论文作者群以中国高校 + 产业界合作为主，清华 Bai 组在内核安全方向持续输出，TU Dortmund 在实时调度理论方向延续深耕。

本周 cs.OS 最显著的趋势是 LLM 推理基础设施与 OS 机制的深度融合。7 篇论文中 4 篇（SARIA、uGDS、ClawMMU、Connection Escrow）直接面向 LLM agent/serving 的系统挑战——KV cache 存储管理、GPU 直连 I/O、agent 记忆安全、agent 网络出站治理。这不是偶然：LLM 推理的存储栈、安全模型、网络治理都还在"从无到有建机制"的阶段，OS 社区的经典工具（eBPF、P2P DMA、MMU protection、selective persistence）正在被重新组合应用到这个新场景。

另一个值得注意的信号：CXL 在 checkpoint/restore 场景的首次原型验证（CXLResume）。虽然仍在 QEMU 仿真阶段，但"shared memory remap 免序列化大堆"的思路对数据库/缓存社区有直接吸引力，值得跟踪 CXL 硬件成熟后的后续工作。