SIGNAL ARCHIVE / 007
文章信号流
按时间浏览工程实验、系统拆解与职业笔记。每条信号都带系列、标签和阅读成本。
S-001INFRAS-002INFRAS-003INFRAS-004ALGORITHMS-005ALGORITHMS-006CAREERS-007NOTE
vLLM KV Cache:从显存账本到吞吐边界
用可计算的显存账本理解 KV Cache、并发请求和最大上下文之间的约束关系。
Triton Kernel 优化的四个可验证步骤
从正确性、访存、占用率到端到端收益,建立不靠猜测的 Kernel 优化路径。
GPU 推理服务需要观察哪些信号
把 TTFT、TPOT、吞吐、队列和显存放进同一张因果图,而不是各看一块仪表盘。
从 Tensor Shape 重新理解 Attention
沿着 batch、head、sequence 和 dimension 四个轴,追踪 Attention 的计算与存储。
Top-k、Top-p 与温度:采样不是三个旋钮
从概率分布的重塑过程理解温度、候选截断和生成稳定性。
AI Infra 学习路线:从模型调用到系统剖析
一条以可运行项目为主线的学习路径:模型、运行时、GPU、分布式和线上服务。
Benchmark 记录模板
用于补齐硬件、软件版本、负载和测量方法的最小记录模板。