Codex token做的可视化工具，把注意力机制每步拆开

学Transformer的时候，最头疼的就是多维矩阵运算。人脑只能三维建模，再往上就抽象了，Q、K、V三个矩阵相乘，中间还夹着缩放、softmax、mask，光看公式根本想象不出数据是怎么流动的。 有个开发者用Codex的token做了个可视化工具，把注意力机制的每一步都拆开、可视化。具体流程是这样的：先自定义输入矩阵Q/K/V，然后实时计算S=QKᵀ/√d，展示causal mask、稳定softmax、加权求和，点击query行还能看该行如何对V加权。 我昨天用这个工具跑了一遍标准的self-attention，终于搞明白了为什么mask要放在softmax之前、为什么缩放因子是√d而不是d。之前看李宏毅的课总觉得哪里不对，现在对着可视化一看就通了。 对于想深入理解Transformer的人来说，这个工具比看一百篇博客都管用。它不是那种静态的GIF动画，而是可以交互的，你可以改输入、改参数，实时看到输出的变化。 体验地址：nano-ai.tech/attention/