RTP-LLM: High-Performance Alibaba LLM Inference Engine

Boyu Tan, Jiarui Guo, Zongwei Lv et al. · 阿里巴巴 · 2026-05-28

🎯 核心问题
把 LLM 推理从"能跑"提升到"亿级用户工业部署"，遇到三类瓶颈：模型加载慢、prefill/decode 阶段资源特性冲突、KV cache 复用率低。vLLM / SGLang 没系统化解决这些工业落地痛点。

🔧 关键方法
四个集成机制：(1) 模型加载按文件顺序驱动 I/O，并将 I/O 与通信 overlap；(2) Prefill-Decode Disaggregation：计算密集的 prefill 与内存带宽密集的 decode 解耦到不同实例；(3) 分层 KV cache（多级介质，含 HBM/DRAM/SSD），支持跨请求复用；(4) 模块化投机解码 + 自适应 KV cache 量化 + 多模态解耦 pipeline，支持多级并行。

📊 实验或论据
在 8B–235B 模型上对比 vLLM 与 SGLang：模型加载快 4.7–6.3 倍；生产流量调度 TTFT P95 降 35–37%，cache 复用率提升 215%；投机解码吞吐 1.12–2.48×、多模态 1.86–2.52×；量化推理批延迟降 35–40%、TTFT 提升 1.9–3.0×。基于阿里生产真实流量评估。

⚠️ 局限
PD 分离需要额外集群拓扑与网络带宽支撑，小规模部署收益不明显；分层 cache 的策略依赖工作负载特性，跨场景调优代价未充分讨论。

💼 对系统人的启示
工业级 LLM serving 的"教科书式"参考——PD 分离 + 多级 KV cache 已成事实标准。开源后值得对照自家推理栈做差距分析。

IORM: Hierarchical I/O Governance for Thousands of Consolidated Databases on Oracle Exadata

Rajarshi Chowdhury, Akshay Shah, Zakaria Alrmaih et al. · Oracle · 2026-05-27

🎯 核心问题
Exadata 上千个租户数据库共享同一套存储，传统 block 层调度器看不到数据库语义和租户边界，无法在 CDB / PDB / workload 三层做配额治理，产生"吵闹邻居"问题。

🔧 关键方法
存储侧调度器 IORM 三件套：(1) I/O Tagging：数据库内核把语义上下文（哪个租户、哪个工作负载）打到 I/O 请求里，传到存储节点；(2) Hierarchical Resource Profiles：用 shares + limits 表达多层组合式分配策略；(3) Unified Storage Governance：对 PMEM、Flash、HDD 全介质统一应用策略，并覆盖 cache placement 决策。

📊 实验或论据
生产 Exadata 系统评估：尾延迟离群点几乎被消除，混合 OLTP+分析负载下平均读延迟有数倍改善；三层 hierarchical limits 组合正确；高度倾斜需求下 share 分配仍贴近配置比例。

⚠️ 局限
强耦合 Oracle 软硬件栈（Exadata 智能存储 + DB 内核打 tag），通用 SAN/Ceph 难以复用思路；论文未给出 tagging 本身的带内开销。

💼 对系统人的启示
做多租户云存储的可以参考"语义透传到存储调度器"的设计——blk-cgroup 之上若想加业务感知层，IORM 是个完整参考。

A Secure, Manifest-Based Framework for Delegated Privilege Promotion

Rajarshi Chowdhury, Akshay Shah · Oracle · 2026-05-27

🎯 核心问题
大型企业软件以非特权账号运行（least privilege），但部分组件（setuid / capabilities 二进制）必须特权。打补丁时要么整个 patcher 提权（违反原则），要么人工介入（运维代价大）。

🔧 关键方法
"manifest 驱动的委托提权"：一个最小化特权 mediator 进程，验证厂商签名的元数据 manifest，仅允许非特权进程"晋升"白名单文件。TOCTOU 防御靠 file-descriptor-bound 验证 + 提升（拿 fd 后再校验，从而避免 path 重定向攻击）；支持 offline key rotation / revocation；原子替换实现 zero-downtime self-update。

📊 实验或论据
论文以"已在生产 Oracle 数据库系统部署，覆盖云和 on-prem"作为论据。📄 abstract 未给定量数字，需读全文。

⚠️ 局限
依赖厂商签名分发链路完整（PKI 管理代价）；mediator 自身需要审计——它就是新的 TCB。

💼 对系统人的启示
任何分发包含 setuid / cap 文件的工程团队都能借鉴这个范式——比让 packager 走 root 安全得多。fd-bound TOCTOU 防御是个值得记住的小技巧。

Patchlings: Safety-Preserving Flash-Based Hotpatching for Automotive Microcontrollers

Yuxin "Myles" Liu, Sekar Kulandaivel, Ardalan Amiri Sani et al. · UC Irvine / Robert Bosch · 2026-05-27

🎯 核心问题
汽车 ECU 漏洞补丁周期慢（ISO 26262 重验证耗月），现有 RTOS 热补丁方案忽略合规要求，也不支持汽车广泛使用的 flash-based Execute-in-Place (XIP) 架构。

🔧 关键方法
Patchlings 是首个面向汽车合规 + 安全 + 持久化的热补丁框架：针对 XIP 架构在 flash 上原地打补丁（不需要 RAM 复制执行）；保留安全性以最小化重新验证范围；适配 FreeRTOS 与 Zephyr 两个汽车常见 RTOS。

📊 实验或论据
NXP S32K148EVB 汽车级硬件平台原型，FreeRTOS + Zephyr 双系统验证；patch 应用开销 3.3 μs 且具确定性；固件大小膨胀低至 6.34%；成功修复多种真实 CVE。

⚠️ 局限
依赖具体 MCU 的 flash 编程能力与 XIP 行为；ISO 26262 合规论证仍需 OEM 主导端到端审查，论文只能在技术层证明"未破坏安全特性"。

💼 对系统人的启示
嵌入式 / 车载 / 工控领域的"OTA 短板"有了具体抓手；XIP flash 上做 hotpatch 的工程细节值得固件团队精读。

Bounded Priority-Aware Locking for Real-Time Kernels

Shriram Raja, Richard West · Boston University · 2026-05-26

🎯 核心问题
实时多核内核里，FIFO spinlock 能给上界但不区分任务优先级；严格优先级 lock 又会饿死低优先级任务、上界不可控。需要兼顾"高优任务平均等待短"和"全任务最坏等待有界"。

🔧 关键方法
Batched Priority Lock (BPL)：先按请求到达顺序把等待者分批（batch），同 batch 内按优先级决定下一个持锁者。等价于"FIFO 之上加 batch 内优先级排序"。最坏等待上界与 FIFO 相同，但高优任务平均延迟更低。

📊 实验或论据
模拟最多 64 核；真实 RTOS 实现在 8 核机上对比；高优任务平均等待时间显著降低；常态执行开销在工作系统中"低廉"。📄 具体数字未在 abstract 给出。

⚠️ 局限
实现复杂度高于普通 spinlock；batch 切换可能引入额外原子操作开销；适用于对可预测性强的 RTOS，对通用 Linux 抢占式调度收益未知。

💼 对系统人的启示
做 RTOS / 实时控制的可直接评估替换 FIFO ticket lock；通用 Linux 工程师可借鉴 batch 思想优化 qspinlock 在大核数下的"优先级反转"症状。

Sandlock: Confining AI Agent Code with Unprivileged Linux Primitives

Cong Wang, Yusheng Zheng · Multikernel · 2026-05-25

🎯 核心问题
AI agent 越来越多在开发者机器上跑不可信代码（LLM 生成 shell、动态加载脚本、来源不明插件）。容器 / microVM 太重（启动慢、需特权与镜像管理），chroot / ulimit 又太弱。

🔧 关键方法
Sandlock 把策略一分为二：(1) 静态、输入无关的策略编译成内核可强制的规则（应是 seccomp / Landlock 类原语）；(2) 运行时依赖决策由"窄 supervisor"处理并做虚拟化效果。无需 root / cgroups / 镜像 / mandatory namespace；支持动态网络决策、HTTP 级访问控制、TOCTOU-safe 的 execve 参数检查、可回滚文件系统效果；提供 pipeline 算子做分阶段 confinement。

📊 实验或论据
工作站环境启动开销约 5 ms；Redis 跑到 bare-metal 吞吐（误差范围内）；开源于 github.com/multikernel/sandlock。

⚠️ 局限
强依赖现代 Linux 安全原语（Landlock / seccomp / unprivileged user ns），老内核或非 Linux 平台不可用；supervisor 是新 TCB，其自身漏洞会破坏隔离。

💼 对系统人的启示
AI agent / MCP server 工程师可直接拿来用，替代当前的"裸 subprocess + 祈祷"模式。底层组合（seccomp + Landlock + 用户命名空间）是值得学习的"轻量沙箱"范式。

LearnedCache: An eBPF-Integrated Perceptron-Based Eviction Policy for the Linux Page Cache

Zejia Qi · 2026-05-25

🎯 核心问题
Linux page cache 决定大量 IO 性能，但现有 eviction（LRU 近似 / FIFO）是启发式，难以适配多样化工作负载。ML 驱动 cache eviction 之前都做在用户态（CDN），没人在内核里真正跑通。

🔧 关键方法
LearnedCache = eBPF + 单层感知机，预测 page reuse time 决定淘汰。模型用真实内核 trace 训练，再通过 eBPF 嵌入到 Linux 内核里实时推理。强调"在内核态实时跑 ML 模型"的可行性，而非简单线下分析。

📊 实验或论据
多种 workload 上线性模型预测页重用时间，中位数 AUC 接近 80%；与 FIFO baseline 做 50 次配对试验统计检验，特定 workload 上 insertion rate（频率调整后的命中率代理指标）显著优于 FIFO 最高 10%，开销小。

⚠️ 局限
baseline 选 FIFO 偏弱（Linux 实际跑的是 multi-list LRU），与 MGLRU / CLOCK-Pro 的对比缺失；单层感知机表达能力有限，复杂访问模式收益未知；eBPF 内运行模型有 verifier 约束，更大模型恐难落地。

💼 对系统人的启示
用 eBPF 把简单 ML 模型塞到内核热路径——这条路在 page cache 上首次走通，对调度器 / IO 调度 / 拥塞控制方向有借鉴价值。要拿来用还得跟 MGLRU 真较量一次。

趋势 1：AI 工作负载正反向重塑 OS 设计

7 篇里有 3 篇直接围绕 AI：RTP-LLM 把 LLM serving 做成新型"分布式 OS 服务"；Sandlock 专门为 AI agent 设计轻量沙箱；LearnedCache 用 ML 模型替代内核启发式。OS 不再只是"承载 AI"，而是被 AI 工作负载本身改造。

趋势 2：eBPF 进入"模型推理"领域

LearnedCache 把单层感知机塞进 eBPF。eBPF 从"观测 / 网络 / 安全策略"延伸到"在内核热路径上跑 ML 决策"——这是 2026 年值得关注的方向。

趋势 3：可更新性（updatability）成为系统设计一等公民

本周两篇（Patchlings + Delegated Privilege Promotion）都在解决"如何安全、合规、零停机地打补丁"。汽车 ECU 与企业数据库这两个对停机零容忍的领域同时发声，说明 hot-update 已从研究话题变成工程刚需。