SeqMoE: Toward Full-Load Performance via Predictive and Graph-Compatible MoE Offloading

Zihan Wang, Yuqi Wang, Lei Gong (+ et al.) · USTC · 2026-09-11

🎯 核心问题
MoE 模型只有一小部分 expert 被激活，理论上只需把激活的 expert 加载到显存即可接近满载性能。但实际 offloading 中，expert 预测不准、预取调度低效、缓存驱逐策略缺乏前瞻性、以及计算图被 offloading 运行时打断导致端到端瓶颈，使得 MoE 的结构优势无法兑现。

🔧 关键方法
SeqMoE 提出四层创新：(i) 将 expert 激活预测重构为 sequence-to-sequence 建模，实现多步、多层联合预测，提供长且可靠的预取窗口；(ii) 将预取调度形式化为"带截止期的作业排序"问题（Job Sequencing with Deadlines），最大化预期命中数并提升带宽效率；(iii) 利用序列建模的递归特性，设计概率性 Belady 策略做未来感知的缓存驱逐；(iv) 提出 graph-compatible offloading 运行时——计算透明的 expert placement + 无同步编排，支持端到端计算图捕获。这和以往基于启发式预取或逐层调度的 offloading 方案有本质差异。

📊 实验或论据
在 45% expert 驻留率（即 55% 靠 offloading）条件下，SeqMoE 平均 expert 命中率达 96.97%，达到满载性能的 80.22%。abstract 未给出具体硬件型号和 baseline 对比细节，但从指标看是在真实 MoE 模型上端到端评估。

⚠️ 局限
📄 abstract 未提及预测模型本身的训练开销和对新模型架构的泛化能力，也未讨论 GPU 带宽波动下的鲁棒性。96.97% 命中率虽高，剩余 3% miss 在大模型推理中可能造成显著尾延迟。

💼 对系统人的启示
这篇把 MoE offloading 从"逐层被动加载"提升到"序列预测 + 全图编排"的高度，思路可直接迁移到任何稀疏激活模型的服务框架中。序列预测预取的范式对 CXL memory pooling 等场景也有借鉴价值。

Invisible Yet Dominant: Big Stalls of Kernel I/O Mechanisms in Cloud OLTP Databases

Mitsumasa Kondo · 2026-09-11

🎯 核心问题
PostgreSQL、RocksDB、AI KV-cache 中间件都依赖 buffered I/O，把 write-back 委托给 Linux 内核。在云上分布式块存储中，每个设备只有一个内核 flusher 线程通过高延迟浅队列路径排水。当排水跟不上时，dirty throttling 会暂停 write() 系统调用，甚至需要驱逐脏页的 read 也会 stall。这些 stall 对 iostat 和所有标准计数器不可见。

🔧 关键方法
作者用 eBPF 探针挂到 writeback 和 block tracepoint 上，按 issuing context 分离 write-back 流量，并统计每次 throttle pause。实验杠杆来自 SteelDB 提出的多卷数据放置策略——在相同 IOPS 和带宽配置下，分别用 1/2/4 个设备进行对比。核心 insight 是：瓶颈不在带宽，而在排水通道数量——每个设备只有一个 flusher 线程。

📊 实验或论据
在三种配置（1/2/4 设备，相同 IOPS 和带宽）下，增加排水通道（而非带宽）将 throttle pause 减少 70%，最大事务延迟降低 59%，吞吐提升 23%。这是一篇 poster，实验规模可能有限但发现尖锐。

⚠️ 局限
作为 poster，实验仅用 SteelDB 的数据放置作为 lever，未覆盖其他数据库引擎或不同内核版本的行为差异。多卷放置本身的放置开销未讨论。

💼 对系统人的启示
这篇揭示了一个被忽视的内核瓶颈：buffered I/O 在云块存储上的 flusher 单点问题。对做云数据库性能调优的工程师来说，eBPF 探针方法可直接拿来诊断生产环境。多卷放置策略值得关注，因为它暗示内核 writeback 子系统需要多队列化改造。

AKTS: Sub-Microsecond Kernel Policy Switching for Language-Model Agents

Mohammadali Khodabandehlou, Mahdi Alizadeh · 2026-09-10

🎯 核心问题
GPU-backed LLM 服务器在同一 CPU 上复用交互请求和后台批处理。请求突发时应保护 time-to-first-token，空闲时应让后台任务推进。固定内核调度策略无法兼顾两个目标，需要 agent 按工作负载切换调度策略。难点在于：调度器事件每 1-10μs 触发一次，切换代码必须通过 eBPF verifier，而运行时生成新 eBPF 代码会引入编译/验证/加载延迟甚至 verifier 拒绝。

🔧 关键方法
AKTS 的核心思路是"预验证策略库 + 运行时索引切换"：在 load time 一次性验证一组 eBPF 策略（policy library），运行时 agent 只需写一个整数索引到 in-kernel 数组，通过 tail call 解析该索引执行对应策略。因为 agent emit 的是索引而非代码，verifier 失败不可能在运行时发生。这与运行时生成 eBPF 代码的方案（如 CO-RE 动态生成）形成鲜明对比——把验证开销全部前移。

📊 实验或论据
在 Linux 6.14 上实测：策略切换 p50 延迟 920ns，与 scalar 写入速度相当但切换的是完整策略；在 60,217 次调度器调用中验证无效索引的安全性（inert）；在 vLLM 工作负载中，捕获了 throughput 策略 97% 的批处理能力，同时匹配了 latency 策略的突发响应。

⚠️ 局限
策略库大小受 tail call 限制（eBPF tail call 有限制），agent 能表达的政策空间被预定义库覆盖。abstract 未讨论策略库的自动生成或 agent 如何学习选择正确索引。

💼 对系统人的启示
AKTS 展示了 eBPF 的一种新用法模式——"预验证多策略 + 索引切换"，这种模式可泛化到任何需要低延迟策略切换的内核子系统（如网络 QoS、内存回收策略）。对于做 LLM serving 系统的工程师，这是 agent-controlled kernel 的一个可行工程路径。

Memory Compression for High-Fanout Agent Sandboxes

Mengming Li, Ceyu Xu, Qijun Zhang (+ et al.) · 2026-09-10

🎯 核心问题
AI agent 工作负载中单个任务可能 spawn 大量并发 sandbox session，这些 sandbox 源自同一模板且执行相关轨迹，存在大量模板相对和跨 sandbox 的内存冗余。传统内存压缩在三个维度不适配：how（无法利用非相同页的相似性）、what（保守选页导致压缩率低）、when（仅在内存压力时触发，不感知 agent 执行阶段）。

🔧 关键方法
AgentZip 针对三个维度逐一解决：(i) 压缩机制利用模板相对和跨 sandbox 冗余（而非仅相同页去重）；(ii) 扩大压缩范围到任何有利可图的页，将开销控制从压缩时选页转移到恢复时预取；(iii) 将昂贵压缩操作对齐到 LLM 等待期，避免干扰前台工具执行。这和传统 zswap/zram 的"压力触发 + LRU 选页"范式根本不同。

📊 实验或论据
在 LLM 训练和推理工作负载上，AgentZip 将 sandbox 占用内存减少最多 8.7x（Linux 基线仅 2.1x）。恢复预取和 agent 执行感知调度将激进压缩的 slowdown 从最高 3.1x 降到 1.40x，同时保留几乎全部内存节省收益。

⚠️ 局限
📄 abstract 未提及压缩元数据的内存开销、以及对非 agent 工作负载的适用性。8.7x 的压缩率可能依赖特定模板结构，泛化性待验证。

💼 对系统人的启示
AgentZip 揭示了一个重要趋势：AI agent 工作负载正在催生新的 OS 内存管理需求。模板相对冗余压缩的思路可迁移到容器镜像内存共享、进程 fork 后 COW 优化等场景。将压缩对齐到 LLM 等待期的时间维度创新值得借鉴。

Violet: Enabling Full Virtualization for M-mode RTOS on RISC-V

Taro Kito, Ryosuke Yamamoto, Keisuke Horii (+ et al.) · 2026-09-09

🎯 核心问题
RISC-V 的虚拟化扩展只覆盖 U-mode（应用）和 S-mode（通用 OS），而 M-mode（FreeRTOS/Zephyr 等 RTOS 运行的特权级）被排除在虚拟化之外。这意味着无法用标准虚拟化扩展在 VM 中运行未修改的 M-mode RTOS，而嵌入式系统同时需要 RTOS 和 GPOS 共存的场景越来越普遍。

🔧 关键方法
Violet 将 RISC-V 硬件虚拟化扩展与软件模拟结合：对 S-mode/U-mode 走硬件虚拟化路径，对 M-mode 采用软件模拟（trap-and-emulate M-mode CSR 访问、中断控制器交互等）。这使得未修改的 M-mode RTOS 可在 VM 中运行，同时与 Linux GPOS 共存。这和 ARM 上用 EL2 hypervisor + EL1 trap 模拟 RTOS 的思路类似，但 RISC-V 的 M-mode 是架构独有的特权级设计。

📊 实验或论据
使用 RISC-V 架构测试验证 M-mode 模拟功能的正确性。在 SiFive HiFive Premier P550 硬件上实现，成功运行现有 RTOS 于 Violet VM 中并验证与 Linux 共存。量化了 M-mode CSR 访问、定时器中断延迟和上下文切换的开销。

⚠️ 局限
📄 abstract 未给出具体开销数值，M-mode 软件模拟对高频 CSR 访问的 RTOS 可能引入显著延迟。HiFive P550 是特定硬件，泛化性待验证。

💼 对系统人的启示
对做 RISC-V 嵌入式虚拟化的工程师，Violet 填补了 M-mode 虚拟化的空白，是混合关键性系统（safety-critical + general-purpose）在 RISC-V 上的可行方案。软件模拟 M-mode 的开销-收益权衡值得参考。

PELM: Power Efficient On-Device LLM Inference with Speculative Decoding and Dynamic Voltage Frequency Scaling

Weisi Yang, Stephen Xia · Northeastern University (imec-nu) · 2026-09-09

🎯 核心问题
移动/边缘设备部署 LLM 时，除了算力受限，紧凑外形缺乏散热机制（无风扇），高处理器负载导致热节流降频。现有 DVFS 方法主要优化硬件频率参数，在热约束场景下不够用。需要更多维度的功耗控制手段。

🔧 关键方法
PELM 的核心 insight 是"不是所有 token 都需要全深度推理"。在传统 DVFS 频率调节之上增加两个工作负载相关旋钮：(i) speculative decoding——用小模型草拟、大模型验证；(ii) variable verification depth——动态调整验证深度，简单 token 用浅层推理即可。三个维度联合优化形成更大的功耗-质量 trade-off 空间。这与纯硬件 DVFS 方法有本质区别——它把模型推理语义引入功耗管理。

📊 实验或论据
跨多个硬件平台和数据集评估，PELM 相比 SOTA 功耗管理方法：最高 23.1% 加速、52.4% 能耗降低，同时保持可比的任务性能。开源代码在 https://github.com/imec-nu/PELM 。

⚠️ 局限
speculative decoding 的 draft model 选择和 verification depth 的动态决策本身有开销，abstract 未讨论在极端热约束（如长时间高负载）下是否能持续维持收益。移动端小模型的 draft 质量可能不稳定。

💼 对系统人的启示
PELM 展示了"模型语义感知的功耗管理"这一新范式——把 DVFS 和模型推理深度联合优化。对做 edge AI 部署的工程师，这套方法可复用；思路也可启发数据中心场景下的 LLM 推理功耗-性能联合调度。

本周 6 篇论文涉及 19 位作者，机构分布如下：

本周无重复作者，团队间无交叉合作。USTC 团队（8 人）贡献最大规模的系统工作（SeqMoE），日本团队（5 人）聚焦 RISC-V 嵌入式虚拟化。值得关注的是多篇文章来自 AI+OS 交叉背景的团队，反映"为 LLM 设计 OS"正在成为新的研究增长点。

本周 6 篇论文中有 4 篇直接围绕 LLM 工作负载驱动 OS 创新（SeqMoE offloading、AKTS 调度策略切换、AgentZip 内存压缩、PELM 功耗管理），覆盖了 OS 核心子系统的几乎每个方向——内存、调度、I/O、功耗。这不是偶然：LLM 推理/训练工作负载正在系统性地暴露传统 OS 设计的不足。

三个值得关注的信号：

• eBPF 正在从"观测工具"演化为"策略载体"——AKTS 用预验证 eBPF 策略库实现亚微秒策略切换，Invisible Yet Dominant 用 eBPF 探针发现 iostat 看不见的 stall。eBPF 已超越可观测性，成为 kernel policy 的运行时媒介。
• "语义感知"成为系统优化的新维度——PELM 把"不是所有 token 都需要全深度推理"引入 DVFS，AgentZip 把"sandbox 间模板冗余"引入内存压缩。传统 OS 优化看硬件指标，新一代工作看模型语义。
• MoE offloading 进入"预测式"阶段——SeqMoE 用 sequence modeling 预测 expert 激活，把 offloading 从被动响应推向主动预取。随着 MoE 架构成为主流，offloading 系统设计将成为一个新的研究子领域。