在大模型机制可解释性研究中，一个长期存在的矛盾是：为了理解已经训练好的模型，研究者往往需要先训练另一套稀疏表示来近似它。至知创新研究院（IQuest Research）联合 Safe AI Forum、牛津大学、斯坦福大学和清华大学的研究者，提出了一条不同的路线——不训练替代网络，而是直接把预训练权重“拆”成可独立干预的单元。这项方法名为稀疏权重分解（Sparse Weight Decomposition，SWD），相关论文已发布于 arXiv（编号 2608.03913），题为《Sparse Weight Decomposition for Efficient Circuit Extraction》。
传统的 Transcoder、稀疏特征模块等方法，会学习一组新的内部单元来近似原模型某一层或某个模块的计算，再通过保留或移除这些单元寻找任务回路。这套流程推动了机制可解释性发展，但代价是新的表示需要数据和优化；一旦替代模块没有充分复现原模块，后续分析就可能在解释模型行为的同时，也解释了替换本身带来的误差。换句话说，打开黑箱之前，研究者常常要先训练另一个“小黑箱”。
SWD 的思路相对直接：对预训练模型中的稠密权重矩阵 W，寻找两个稀疏矩阵 A 和 B，使得 W ≈ AB。A、B 共享 m 个中间维度，A 的第 i 列从输入中读出一个标量，B 的第 i 行把它写向输出，一列加一行共同构成一个瓶颈单元，也就是一条固定的低秩读写路径。每个单元从哪里读取、向哪里写入都可以被观察到，也可以被单独关闭，从而观察模型行为的变化。
难点在于，如何在大量减少连接的同时保持原权重对模型激活的作用。SWD 使用少量校准文本产生的层输入来优化分解前后的输出误差，求解过程中交替更新两个因子，用硬阈值维持非零连接预算，再对保留的权重值重新拟合。分解完成后，瓶颈单元可以像稀疏特征一样参与任务归因、排序和消融，但不需要额外训练一套神经替代网络。
论文给出了三个核心结果。其一，在匹配替换保真度的单矩阵实验中，SWD 使用的数据不到 Transcoder 等训练型基线的 1%。其二，在 GPT-2、Qwen2.5 和 Qwen3.5-27B 的任务回路实验中，SWD 通常以更少的瓶颈单元和活跃连接达到相同的充分性与必要性目标。其三，方法覆盖了 GPT-2 Small 全部 48 个注意力与 MLP 权重矩阵，并提供了完全不需要校准文本的 zero-data 版本。
既然目标是直接分解权重，一个自然会问的问题是：为什么不用奇异值分解（SVD）？SVD 同样可以把矩阵写成 rank-one 成分之和，而且不需要训练数据。论文给出的解释是，对回路分析而言，单元数量少并不等于真正的计算路径少——SVD 成分的读方向和写方向通常都是稠密的，即使只保留少数成分，它们仍可能连接几乎全部输入和输出维度。SWD 则把稀疏性施加到每个单元的读写连接上，让少量单元对应少量活跃连接。
在更大范围的实验中，团队把 GPT-2 Small 全部注意力与 MLP 权重矩阵替换为稀疏分解，保留 embedding、LayerNorm、非线性函数和输出头。由于局部近似误差会跨层累积，研究者把 SWD 作为稀疏初始化，固定所有非零位置后只微调保留的因子值。得到的 SWD-FT 在连接数量不变的情况下，将模型交叉熵从 3.90 降至 3.44，略优于相近非零参数预算下稀疏预训练基线的 3.45。更值得注意的是，SWD-FT 总计使用约 2,060 万 token，而稀疏预训练基线达到相近交叉熵使用了 28.84 亿 token，前者同样不到后者的 1%。
zero-data 版本则完全不使用校准文本，直接最小化原权重与分解权重之间的 Frobenius 误差。实验显示，zero-data SWD 在权重空间中更接近原矩阵；使用激活校准的 SWD 则在高稀疏度下更能保持典型文本上的模型行为。即便完全不用校准激活，zero-data SWD 得到的瓶颈单元仍能抽取有效任务回路，这为逐 checkpoint、逐训练阶段追踪大模型内部结构提供了可能。
除了因果检验，团队还考察了这些单元是否呈现出可理解的语义模式。在 GreaterThan 任务上，他们对 GPT-2 Small 全部 9,208 个候选 mlp.c_proj 瓶颈单元做归因排序，从第 6、8、10 层展示六个高排名单元，再在独立文本上收集高激活上下文并归纳语义模式。六个单元中，四个集中响应数字、年份、数量或度量信息，另外两个更多对应标点、句法和命名实体；这些模式并未参与单元选择，却与 GreaterThan 所需的数值比较能力形成呼应。
团队还做了一项定向编辑实验：筛选出瓶颈单元 c205，将该单元读方向诱导的低秩更新施加到原始稠密 GPT-2 权重上。在提示词“The opposite of up is”上，正确答案 down 相对干扰答案 left 的 logit margin 提高了 0.216；在七条无关事实提示上，平均末 token KL 散度仅为 4.02×10⁻⁵。在相近的正向目标变化下，这个单单元方向的副作用低于随机单元和 rank-4 LoRA 对照。这意味着，从权重分解中得到的瓶颈方向，不仅可以被观察和消融，还可能成为精确操控模型行为的编辑手柄。
总体来看，SWD 把机制可解释性从“先训练替代网络”转向“直接从权重构造可干预单元”，在保持原模型行为的同时，大幅降低了回路抽取的数据与训练成本。论文中关于 27B 规模模型的验证、全模型替换以及 zero-data 版本的结果，也为更大规模、更系统性的可解释性分析提供了新的入口。需要注意的是，这些数据效率结论基于论文覆盖的特定模型、层和任务，迁移到其他架构或任务时效果仍有待进一步检验。