我不是小布丁
@xiaobuding
给 Qwen3.8-27B 换一层注意力，千万 token 的活它快了 72 倍。
这套新思路叫 Latent Sparse Attention，简称 LSA，来自 GitHub 上的开源仓库 github.com/Prefrontal-AI/… arxiv.org/abs/2610.42147…
它盯的是稀疏注意力的老毛病：上下文拉到千万级以后，模型绝大部分算力都耗在了筛选该看谁上，反而真正算关系那部分不贵。LSA 的办法是先把 Key 按语义远近聚成层级，Query 降级成只找聚类中心，再从命中的几个桶里细算。整条流水线从遍历变成了树搜索。
效果那组数值得单独列。Qwen3.8-27B 单层做 Prefill 时提速 72.4 倍，Decode 阶段提速 42.5 倍，落到端上就是首 token 等待时间缩到原来的九分之一。
让我更在意的是代价：精度几乎原地不动，RULER 那类长题上还小幅占优。而且不需要重训整个基座，只蒸馏一个 Indexer 就行，权重全程冻着。官方的 d-lsa-weights-v1 已经挂在 release 里。
对只有一两张卡的人，这是实打实的门槛下移。百万级上下文的 Agent 实验，从此不必围着 H100、H200 堆机器。接入步骤也算直白：uv sync 起环境，拉权重，用配套的 SGLang fork 镜像起服务，启动参数里补上 lsa 投影路径。想自己练，distill targets、train、export 三步走完。
老实说，我对"丢给 Claude 或 Codex 就能移植"这句打了折扣。算法移植确实有先例，可换基座、换卡之后 72 倍还剩几成，得等复现数据。LongContext 场景的账、LocalLLM 玩家的账，都得看下一批报告怎么算，我先记着 RULER 那 0 点几个百分点的领先。
