LLM 推理与训练系统（5 篇）

把 LLM serving 当成新一类 OS workload 来重塑：去掉 host CPU、做生产级混部、压榨单 GPU、攻克移动端冷启动。

• Blink — SmartNIC + GPU 持久内核，host CPU 完全退出稳态推理路径
• Valve — 部署在 8054 张 GPU 上的在线-离线混部，亚毫秒抢占
• EdgeFlow — 移动 NPU 自适应量化，4.07× 冷启动加速
• MegaTrain — 单张 H200 全精度训 120B 参数模型
• Scheduling the Unschedulable — 黑盒 LLM API 客户端三层调度

LLM 智能体与内存抽象（1 篇）

第一次有人把 agent 的 context window 当作"虚拟内存"严肃建模，把 harness 当作 MMU。

• ClawVM — typed pages + token budget 下的多分辨率重表示

Serverless 与存储系统（2 篇）

都是"分离关注点"思路：把通信结构 / 索引元数据从主路径上拆出来，独立优化。

• Nexus — KVM 旁的共享后端，把 I/O fabric 移出 guest VM
• COMPASS — 向量数据与图索引解耦，58.7% 存储节省

系统安全与隐私（2 篇）

• VCAO — LRM + 博弈论编排 Linux 内核漏洞挖掘
• UDSS — 智能家电 PII 共享的硬件锚定中间件

异构 / 量子调度（1 篇）

• Qurator — 跨 IBM/IonQ/IQM/Rigetti 的量子-经典 DAG 调度

Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC

Mohammad Siavashi, Mariano Scazzariello, Gerald Q. Maguire et al. · KTH · 2026-04-08

🎯 核心问题
现有 LLM serving 栈（vLLM / SGLang / TensorRT-LLM）始终把 host CPU 放在 token 级控制的关键路径上：CPU 跑请求编排、batching、KV cache 管理。这使得 LLM 性能对 CPU 干扰极度敏感，运维要被迫预留 CPU headroom，集群利用率上不去。

🔧 关键方法
Blink 把整个 serving stack 拆给两个非 CPU 部件：(1) SmartNIC 接管请求处理，通过 RDMA 把输入零拷贝直送进 GPU memory；(2) GPU 上常驻一个 persistent kernel，自己做 batching、调度、KV cache 管理。host CPU 在稳态 inference path 上完全消失。这与传统的 host-driven scheduling 是结构性不同——不是把 CPU 工作做轻，而是直接把 CPU 从依赖链里移除。

📊 实验或论据
对比 TensorRT-LLM、vLLM、SGLang 三个基线：隔离场景下 P99 TTFT 提升最多 8.47×，P99 TPOT 提升 3.40×，decode 吞吐 2.1×，每 token 能耗降 48.6%。在 CPU 干扰下基线退化最多两个数量级，Blink 性能保持稳定。

⚠️ 局限
强依赖 SmartNIC（论文未明确具体型号生态门槛）与 GPU persistent kernel 支持；中小规模部署可能没有这种异构硬件。论文也未提对 LoRA / 多模型动态加载等更复杂场景的支持代价。

💼 对系统人的启示
这是"DPU/SmartNIC 卸载"思路从存储、网络扩展到 AI serving 的标志性工作。对正在做推理平台的团队：考虑把 CPU 视作"管理面"而不是"数据面"，会打开新的混部空间。

Valve: Production Online-Offline Inference Colocation with Jointly-Bounded Preemption Latency and Rate

Fangyue Liu, Hua Liu, Xinyuan Lyu et al. · 工业界部署 · 2026-04-09

🎯 核心问题
LLM 推理流量是 bursty 的，导致严重过载预留 → 利用率低。在线/离线 colocation 是显而易见的省钱方案，但生产部署有两个拦路虎：(1) 抢占慢或太频繁造成 online 干扰；(2) 要改的框架/驱动代码量太大，没人愿意接。

🔧 关键方法
Valve 同时约束抢占延迟和抢占速率：每个 online 请求最多被亚毫秒抢占一次，memory reclamation 按 sub-layer 做且 rate-limited。底层是一个新的 GPU runtime，结合三种机制：channel-controlled compute isolation、page-fault-free memory reclamation、dynamic memory reservation。关键工程亮点：只需 1 行驱动改动 + 20 行框架 patch，这是工业部署的核心可行性条件。

📊 实验或论据
生产环境部署在 8054 张 GPU 上，集群利用率提升 34.6%，换算下来等于"省出 2170 张 GPU"。在线侧代价：TTFT 增加 <5%，TPOT 增加 <2%。这是本周最有"production smell"的工作。

⚠️ 局限
论文未公开具体的硬件假设（NVIDIA 哪一代？是否需要 MIG 或 MPS？）；channel-controlled compute isolation 的细节是否依赖某个 vendor 特性，论文摘要里不能判断。需读 PDF 进一步确认开源情况。

💼 对系统人的启示
"改 1 行驱动 + 20 行框架"几乎是工业研究的最高赞美——这种"低侵入式系统机制"的设计哲学值得借鉴。如果你在大厂做 GPU 调度，这篇就是必读。

Nexus: Transparent I/O Offloading for High-Density Serverless Computing

JooYoung Park, Kevin Nguetchouang, Jovan Stojkovic et al. · 2026-04-08

🎯 核心问题
serverless 靠极致多租户挣钱，VM 是隔离与生态兼容的代价。但每个 VM 都要带一份"通信结构"（cloud SDK + RPC + TCP/IP），这部分占函数内存超 25%、CPU 周期相比 bare-metal 翻倍。WASM / LibOS 方案都得让开发者重写代码，不现实。

🔧 关键方法
Nexus 是基于 KVM 的 serverless-native hypervisor，在 API 边界拦截通信结构调用，通过零拷贝共享内存转发给 host 上一个常驻 shared backend。这样 guest VM 里彻底不再有重型通信栈，但编程模型完全不变。同时这个结构性分离解锁了异步 I/O 优化：输入 prefetch 与 VM snapshot restore 重叠、输出 writeback 移出关键路径。

📊 实验或论据
与生产基线比：node 级 CPU/memory 分别降 44% / 31%，部署密度提升 37%。warm/cold start 延迟分别降 39% / 10%，做到了"与 WASM hypervisor 响应时间相差不超过 20%"——这是不破坏生态兼容性下能达到的极限。

⚠️ 局限
"在 API 边界拦截"对每种 cloud SDK / RPC 框架都要适配；论文未提对长尾 SDK 的覆盖率。共享 backend 本身可能成为安全/可靠性单点（多租户共享一个 I/O 平面）。

💼 对系统人的启示
"保留编程模型、拆掉胖运行时"是经典 OS 设计哲学的复活。对自建 FaaS / 内部容器平台的团队，思路可直接借鉴——很多 sidecar 模式（Envoy、daprd）也在做类似事情，但放在 hypervisor 层更彻底。

EdgeFlow: Fast Cold Starts for LLMs on Mobile Devices

Yongsheng Yan, Jiacheng Shen, Xuchuan Luo, Yangfan Zhou · 2026-04-10

🎯 核心问题
手机端跑 LLM 越来越主流（隐私、离线），但冷启动延迟是体验杀手——模型不在内存时，需从 flash 加载几 GB 权重。现有框架（llama.cpp / MNN / llm.npu）在这里浪费了大量 flash 带宽在"不重要的参数"上。

🔧 关键方法
EdgeFlow 三招：(1) NPU-aware 自适应量化，按重要性给不同权重分配不同精度（细粒度，且考虑 NPU 约束）；(2) SIMD 友好的 packing format，加速变精度权重转为 NPU native 数据类型；(3) CPU/NPU 协同的细粒度动态流水线。核心 insight 是：冷启动的瓶颈不是计算，是 flash 带宽 × 数据量，量化压缩直接减少要加载的字节。

📊 实验或论据
对比 llama.cpp、MNN、llm.npu 三个 SOTA 框架，冷启动延迟最多降 4.07×，模型精度可比。

⚠️ 局限
评估硬件平台、模型规模没在摘要写明，需读 PDF 确认（手机 NPU 差异巨大，骁龙 vs 联发科 vs Apple ANE 结论可能不同）。变精度方案对模型本身可能有兼容性要求。

💼 对系统人的启示
flash-to-NPU 路径上的字节级优化是端侧推理的下一个战场。对做手机/IoT 端 AI 系统的团队，"按 NPU 约束做量化粒度选择"是个比单纯 INT4 更实际的方向。

MegaTrain: Full Precision Training of 100B+ Parameter LLMs on a Single GPU

Zhengqing Yuan, Hanchi Sun, Lichao Sun, Yanfang Ye · 2026-04-06

🎯 核心问题
100B+ 参数模型训练通常需要多 GPU 集群。能否用单 GPU 全精度训？瓶颈是 GPU 显存装不下参数 + optimizer state，而 CPU 卸载又被 PCIe 带宽掐死。

🔧 关键方法
"memory-centric" 而非 "GPU-centric"：参数与 optimizer state 常驻 host memory（1.5TB），GPU 当作瞬态计算引擎。逐层 stream 参数进来算梯度再 stream 出去。两个关键优化：(1) pipelined double-buffered 引擎，在多 CUDA streams 上重叠 prefetch / compute / gradient offload，让 GPU 不空闲；(2) 用无状态 layer template 替换 persistent autograd graph，weights 在 stream 进来时动态绑定，消除常驻 graph metadata。

📊 实验或论据
单卡 H200 + 1.5TB host memory 可靠训练到 120B 参数。14B 模型上吞吐比 DeepSpeed ZeRO-3 (CPU offloading) 高 1.84×。单卡 GH200 上可训练 7B 模型 + 512k context。

⚠️ 局限
"训练吞吐"未与多卡分布式训练对比——单卡再快，绝对训练时间和 64 张卡比可能仍是天差地别。摘要未提 convergence behavior，反复 stream 是否会影响优化器数值稳定性，需读 PDF 验证。

💼 对系统人的启示
GH200 / Grace Hopper 这类 CPU-GPU 一体架构的出现，让"host memory 当作 GPU 的 L4 cache"成为现实可行的设计点。对实验室级 / 中小公司预研团队，这意味着大模型 fine-tune 的硬件门槛可能从"机柜"降到"工作站"。

ClawVM: Harness-Managed Virtual Memory for Stateful Tool-Using LLM Agents

Mofasshara Rafique, Laurent Bindschaedler · MPI-SWS · 2026-04-11

🎯 核心问题
Tool-using agent 把 context window 当 working memory，但现有 harness 对 residency / durability 全是"best-effort"：context 压缩后状态丢、reset 时 flush 被绕过、writeback 破坏性覆盖。这导致 agent 反复出 bug 且难以复现。

🔧 关键方法
ClawVM 在 harness 层引入完整的虚拟内存抽象：state 是 typed pages，带minimum-fidelity invariants；token budget 下提供 multi-resolution 表示；每个 lifecycle 边界做 validated writeback。放在 harness 是因为它本就拥有 prompt 组装 / tool mediation / lifecycle 事件，是天然的 MMU 位置。这与"硬件页表"概念不同，但"VM 抽象 + 强制契约 + 多分辨率"思路是直接借鉴。

📊 实验或论据
合成 workload + 12 段真实 session trace + 对抗压测。结论：只要 minimum-fidelity set 装得下 token budget，所有 policy-controllable faults 被消除（由 offline oracle 验证）。每轮 policy engine 中位开销 <50 微秒。

⚠️ 局限
依赖"minimum-fidelity set 能装进 budget"的前提；当上下文真正爆炸（超长任务）时，这个保证就垮了，论文未说降级策略。typed pages 需要应用配合标注，对现有 agent 框架是侵入式改动。

💼 对系统人的启示
把 OS 经典抽象（VM、文件系统、事务）映射到 LLM agent 是 2026 年的明显趋势。这种工作不会替你写 agent 代码，但会改变你设计 agent 框架的方式——下次写 harness，思考一下"我的 page 模型是什么"是值得的。

本周 cs.OS 论文作者高度分散，无明显"垄断作者"。值得注意的几个组：

（机构归属基于作者公开信息推断；本周无明显跨机构合作链。）

1. cs.OS 正在被 LLM workload 重塑。 11 篇里 6 篇直接服务 LLM（serving、训练、agent 内存）。"传统" OS 议题——文件系统、调度器、内存管理——本周几乎缺席。这不是巧合，而是新工作负载倒逼系统设计的标准节奏。

2. "CPU 旁路"和"控制面/数据面分离"成为系统设计的隐式共识。 Blink 把 CPU 移出推理路径、Nexus 把通信结构移出 guest VM、Valve 把抢占决策放在 GPU runtime、COMPASS 把元数据从向量数据剥离——背后都是同一个思路：识别关键路径上的冗余胖组件，挪到旁路上专门优化。

3. 经典 OS 抽象（VM、调度类、事务）正在被映射到 LLM 系统。 ClawVM 是最直接的例子，把虚拟内存搬给 agent。预计未来 1-2 年会看到 "agent filesystem"、"prompt scheduler class"、"context page replacement algorithm" 这类工作大量出现。OS 研究者的 toolkit 终于派上新用场。

4. 工业部署规模成为论文质量的隐式信号。 Valve 在 8054 GPU 上跑、Blink 与 3 个主流框架对比、Nexus 与 production baseline 比 —— 这种"我真的部署了"的论文密度，比两年前显著提高。这是 cs.OS 健康的标志。