What STRRL Known

Rust / 系统底层 / 性能

12 min read

Rust / 系统底层 / 性能

2026-W10 Reference · 8 items · 三条主线：turbopuffer 系统深度、GPU 计算前沿、Agent 系统移植方法论

🧵 主线一：turbopuffer 三连

turbopuffer 这周贡献了三篇深度文章，从 SIMD 优化 → ANN 架构 → 全文搜索倒排索引，完整呈现了一个高性能向量数据库的底层设计哲学。

ZZ-779 · Turbopuffer: Rust Zero-Cost Abstractions vs SIMD

来源： https://turbopuffer.com/blog/zero-cost
作者： Xavier Denis, Engineer @ turbopuffer

问题： Rust 的 “zero-cost” 迭代器在 merge iterator 场景下阻止了 LLVM 的循环展开和 SIMD 向量化，导致 BM25 全文搜索延迟高达 220ms（5M 文档）。

根因分析：

  • Merge iterator 的 next() 每次调用都会递归比较 + 变异内部状态
  • 编译器无法预测下一次调用结果 → 无法做循环展开，更无法向量化
  • “零成本”在单次调用层面成立，但抽象边界阻止了批量优化

解法： 批量物化（materialize）到连续内存缓冲区，然后在缓冲区上运行 SIMD 向量化循环。

结果： 220ms → 47ms，4.7x 提速。

💡 金句： “Zero-cost abstractions do not absolve you from practicing mechanical sympathy.”

零成本抽象不等于无需关心机器特性。高层抽象很美好，但向量化需要编译器能”看穿”你的循环结构。

ZZ-705 · turbopuffer ANN v3 — 1000 亿向量 200ms p99

来源： https://turbopuffer.com/blog/ann-v3

规模： 单索引支持 1000 亿向量（200TiB f16 数据），>1k QPS，p99 延迟 200ms。

架构核心：

  • 无状态查询层 + 对象存储（S3）+ Memory/SSD 缓存层
  • 关键洞察： 向量搜索是 bandwidth-bound 而非 compute-bound（借用 GPU 社区 roofline model 分析）

内存层级带宽参考：

CPU 寄存器 >10TB/s → L1/L2/L3 → DRAM 100-500GB/s → NVMe 1-30GB/s → S3 1-10GB/s

两个核心技术：

  1. 层级聚类 — 收窄搜索空间，避免全量扫描
  2. 二值量化 — 压缩带宽需求，减少数据传输量

共同策略： “近似 + 精化”——先快速定位候选集，再精确计算相似度。

💡 向量搜索的性能瓶颈和 Flash Attention（ZZ-824）完全相同：都是内存带宽，不是算力。旋转工程的核心是数据搬运最小化。

ZZ-704 · turbopuffer FTS v2 — 对象存储上的倒排索引设计

来源： https://turbopuffer.com/blog/fts-v2-postings
作者： Morgan Gallant + Adrien Grand（Lucene 核心贡献者）

问题： 在 LSM-tree + 对象存储架构上，如何设计 posting list 的 KV 映射？

三种方案权衡：

方案查询性能写入开销备注
每 term 一个 KV快写放大严重v1 近似方案
每 posting 一个 KV更新简单key 空间爆炸不可用
固定大小分块平衡平衡v2 选择

FTS v1 的问题： 按 vector cluster 边界分区。Zipf 分布导致大量分区只有 ~1.5 个 posting，极度不均衡。

FTS v2 改进：

  • 固定大小分块 + 向量化批处理
  • MAXSCORE 算法实现高效 BM25 排名
  • 结果：比 v1 格式小 10 倍，快 20 倍

💡 和 ZZ-779 的关联：v2 这种批处理友好的设计，正是为了让 SIMD 优化成为可能。turbopuffer 的整个技术栈是一个相互呼应的系统。

🖥️ 主线二：GPU 计算前沿

ZZ-824 · Flash Attention from Scratch (CUDA + CuPy)

来源： https://x.com/mohitwt_/status/2030170215439552860
作者： @mohitwt_

从零用 CUDA + CuPy 实现完整的 Flash Attention（含 forward + backward pass）。

为什么标准 Attention 慢？

  • seq_len=4096 → score matrix = 4096×4096 = 64MB/单层单头
  • 标准实现需要 4 次全量 HBM 传输（写→读softmax→写→读V乘）
  • GPU 算力不是瓶颈，数据搬运才是

Online Softmax — 增量计算 exact softmax：

  • 维护两个 running value：max(m) 和 sum(l)
  • 新 chunk 到来 → 更新 max → 用 exp(m_old - m_new) 修正之前的值
  • 数学上完全等价于全行 softmax，但无需存储整行

Tiling — NxN 矩阵永远不存在于 HBM：

  • 外循环遍历 Q tiles / 内循环遍历 K,V tiles
  • 每次只在 SRAM（~48KB/SM）里保留一个小 score tile
  • CuPy RawKernel + CUDA C 运行时编译实现

Backward Pass 的关键创新：

  • 标准实现需要存储 NxN softmax weight matrix P → O(N²) 显存
  • Flash Attention 丢弃 P，backward 时用 Q, K + saved scalars m, l 重算
  • 两个长度 N 的向量替代 NxN 矩阵

验证： forward/backward 均通过 PyTorch autograd 验证，max diff < 1e-6。

💡 Flash Attention 的核心哲学：重算比存储便宜。HBM 带宽是稀缺资源，SRAM 是高速通道，算力是最便宜的东西。这和 turbopuffer ANN 的 bandwidth-bound 洞察一脉相承。

ZZ-695 · CUDA Agent — Agentic RL 生成高性能 CUDA Kernel

来源： https://arxiv.org/abs/2602.24286
作者： Weinan Dai, Hanlin Wu, Qiying Yu 等（清华/字节系）

问题： GPU kernel 优化需要深度硬件专业知识，现有 LLM 的 CUDA 代码生成能力不如 torch.compile。

CUDA Agent 的三大组件：

  1. 可扩展的数据合成管道 — 训练数据自动生成
  2. 技能增强的 CUDA 开发环境 — 自动验证 + profiling 提供 reward 信号
  3. 稳定训练的 RL 算法技巧 — 处理 CUDA 编译/运行时的稀疏 reward

SOTA 结果（KernelBench）：

Levelvs torch.compilevs Claude Opus 4.5
Level-1+100%大幅领先
Level-2+100%大幅领先
Level-3+92%+~40%

核心创新： Agentic RL 而非固定反馈循环——让模型在真实 CUDA 执行环境中自主探索优化策略。

💡 这是 “AI for Systems” 方向的重要里程碑：RL + agentic 环境让 LLM 在高度专业化的系统编程领域达到甚至超越专家级水平。配合 ZZ-824（手写理解 Flash Attention），形成”懂原理 + AI生成”的完整路径。

ZZ-646 · awesome-gpu-engineering — GPU 工程资源合集

来源： https://github.com/goabiaryan/awesome-gpu-engineering
分享者： @tom_doerr

一个 GPU 工程和 AI 加速的 curated list，185 stars，持续更新。

覆盖范围：

  • 📚 基础书籍 — PMPP (Kirk & Hwu)、CUDA by Example、HuggingFace Ultra-Scale Playbook
  • 🔧 GPU 编程框架 — CUDA、ROCm、OpenCL、SYCL/oneAPI、Vulkan Compute、Metal
  • 📊 优化工具 — Nsight Systems/Compute、CUTLASS、TensorRT、OpenAI Triton、Roofline Model
  • 🏛️ 架构 — NVIDIA Ampere、AMD RDNA/CDNA、SIMT/warp 调度、内存层次
  • 🌐 多 GPU 系统 — NCCL、vLLM、DeepSpeed、Megatron-LM、Ray Train、GPUDirect RDMA
  • 🎓 课程 — Stanford CS149、CMU 15-418、MIT 6.5940 TinyML、GPU MODE 系列

💡 入门 GPU 编程的起点书单：PMPP → CUDA by Example → Roofline Model 分析 → Nsight profiling。然后结合 ZZ-824（Flash Attention 实战）和 ZZ-695（CUDA Agent）深化。

ZZ-758 · nCPU — 完全跑在 GPU 上的 CPU

来源： https://github.com/robertcprice/nCPU

一句话： 寄存器、内存、flag、PC 都是 PyTorch tensor，每个 ALU 操作都是训练好的神经网络模型。

核心架构：

  • 加法 — Kogge-Stone carry-lookahead，8 层神经网络 pass
  • 乘法 — 学习到的 byte-pair 查找表（256×256×16）
  • 位运算 AND/OR/XOR — 向量化神经真值表
  • 移位 — 基于 attention 的 bit routing
  • 数学函数 sin/cos/sqrt/exp/log/atan2 — 也是训练好的模型

规模： 23 个模型，共 ~135MB；347 个测试，整数运算 100% 准确率。

💡 这是一个”因为可以所以做”的研究项目，但它证明了一个深刻命题：神经网络可以精确学习离散算术运算。当 GPU 上的”CPU”用神经网络实现，和 ZZ-695（RL 生成 CUDA kernel）形成有趣的对称——都在探索神经网络能否精确执行传统计算。

🦀 主线三：Agent 系统移植方法论

ZZ-772 · Rust Porting Playbook — 7 个技巧让 Agent 100% 自主完成 Python→Rust 移植

来源： https://x.com/ojoshe/status/2029707252219924641
作者： Joshua Levy (@ojoshe)

成果： 190 页文档 + 工具链，让 coding agent（Claude Opus 4.6 + GPT-5.3 Codex）100% 自主将 Python CLI 移植到 Rust。实际案例 flowmark-rs 获得 60x 加速（0.73s → 格式化 ~1000 个 Markdown 文件；加缓存后 0.023s 检查 1000 文件）。

7 个核心技巧：

  1. Knowledge Curation — 19 份文档 ~190 页：guidelines（原则+反模式）、references（Python→Rust 构造映射表）、playbooks（步骤+清单）。约 50% 工作量在库适配和交叉验证。

  2. Golden Testing — 捕获程序实际 I/O 和中间状态，序列化为可读文件，后续 diff。工具：npx tryscript。

  3. Test Backfilling — 不假设源项目有好测试。Agent 自动回填 golden tests 直到覆盖率彻底。

  4. Test Mapping — 同一个 tryscript Markdown 格式测试文件在 Python 和 Rust 两端复用，自动化 parity check。

  5. Codified Principles — 没有显式原则文档，agent 会偷偷缩减范围、跳过硬 bug、移动测试目标。原则必须明文写下来。

  6. Task Management — Agent 管不了几百个子任务。用 tbd（git-native issue tracker）拆分管理。

  7. Meta-process Improvement — Playbook 通过结构化 case study 反馈环自我改进。

Agent 的三个失败模式：

  • 转圈 — 几小时重复/遗忘工作
  • 移动目标 — 说完成了但没达到 spec
  • 放弃 — 说某部分不可能

4 个开源 Repo： rust-porting-playbook、flowmark-rs、tryscript、tbd

💡 这套方法论的核心是将隐性知识显性化：把工程师脑子里的”Rust 最佳实践”变成 agent 可以遵循的文档。Golden Testing 是关键——它把”正确性”从主观判断变成可量化的 diff。

🔗 跨主线洞察

Bandwidth is the bottleneck

ZZ-779（SIMD 优化）、ZZ-705（ANN 架构）、ZZ-824（Flash Attention）——三篇完全独立的文章，都指向同一个结论：现代系统性能瓶颈在内存带宽，不在计算。Roofline model 是分析这类问题的统一框架（ZZ-646 的资源合集里也有专门提到）。

AI 生成系统代码的两条路径

  • ZZ-772 路径： 给 agent 充分的文档和测试框架，让它自主移植（确定性强，可验证）
  • ZZ-695 路径： 用 RL 在真实执行环境中训练，让模型自发发现优化技巧（探索性强，泛化好）

两者互补：移植场景用 ZZ-772，性能优化场景用 ZZ-695。

nCPU 的哲学意义

ZZ-758 把”神经网络能否精确执行离散计算”这个问题推到极致。答案是肯定的——但代价是 135MB 模型做加减法。这和 ZZ-695 的方向相反：ZZ-695 是用 AI 生成高效的传统代码，ZZ-758 是用传统计算框架（GPU）执行神经网络来模拟传统计算。两者都在探索 AI 与计算底层的边界。

Graph View