Verbalizable Representations Form a Global Workspace in Language Models
可言语化的表征在语言模型中构成全局工作空间
https://github.com/alchaincyf/global-workspace-paper-zh/blob/master/%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%AD%E7%9A%84%E5%85%A8%E5%B1%80%E5%B7%A5%E4%BD%9C%E7%A9%BA%E9%97%B4-%E4%B8%AD%E6%96%87%E5%85%A8%E8%AF%91.md
原题：Verbalizable Representations Form a Global Workspace in Language Models
作者：Wes Gurnee*、Nicholas Sofroniew*、Adam Pearce、Mateusz Piotrowski、Isaac Kauvar、Runjin Chen、Anna Soligo、Paul Bogdan、Euan Ong、Rowan Wang、Ben Thompson、David Abrahams、Subhash Kantamneni、Emmanuel Ameisen、Joshua Batson、Jack Lindsey*†（*核心贡献者，†通讯作者）
机构：Anthropic
发表：2026年7月6日，Transformer Circuits Thread
原文：https://transformer-circuits.pub/2026/workspace/index.html
译者按
这可能是Anthropic可解释性团队今年最重要的一篇论文。他们在Claude内部找到了一个和人类「意识通达」高度对应的结构：模型的绝大部分处理是「无意识」的，只有一小撮特权表征（不到激活方差的10%）可以被模型报告、刻意持有、用来推理。团队把它叫作J空间，并证明它满足神经科学「全局工作空间理论」对意识内容的五条功能定义。
更实用的部分在后半：用一次矩阵乘法就能「读心」，在模型动手之前看到它内心的leverage（筹码）、fake（假的）、damn（该死）；以及一种反直觉的训练法，通过训练模型「如果被问到会怎么反思」，来改变它「没被问到时怎么思考」。
本翻译覆盖论文正文全部九个部分，附录未译（原文附录含方法学消融、多token扩展、自动审计等内容，感兴趣可读原文）。文中图表为论文交互式图表的静态截图。原文的文献引用标记在转换中省略。术语首次出现时保留英文对照。
翻译由AI完成，花叔校订。2026年7月6日。
1. 引言
如果把心智比作一片海洋，我们终其一生都漂浮在海面上。在我们下方，大量的加工在不知不觉中进行：视觉系统解析着一张面孔的轮廓，运动回路维持着我们的姿态。任一时刻，这些神经活动中只有一小部分是我们能够触及的。然而，我们正是依靠这一小片享有特权的活动来进行深思熟虑的推理：计划为一道菜买哪些食材，或是琢磨发动机为什么打不着火。这样的想法可以大声说出来，可以刻意地保持在脑海中，也可以随时投入当下任务的需要。可触及的想法与无意识加工之间的这种区分，也许是人类认知最引人注目的特征。
在这篇论文中，我们给出证据，表明现代AI模型中已经涌现出一种类似的功能区分。具体而言，我们观察到语言模型在大量自动化加工之上，维持着一小组享有特权的内部表征，可用于报告、调控和灵活的内部推理。我们用一种新的可解释性技术识别出这些表征，该技术能够揭示模型在处理过程中的任一时刻准备好言语化的概念。对这些表征进行测量和干预，为我们提供了一扇观察模型思维过程的窗口，揭示出那些并未出现在其输出中的内部推理和内部反应。
1.1 动机：意识通达与全局工作空间
上面描述的现象有时被称为意识通达：在大脑处理的所有信息中，只有一个子集是意识可及的，也就是说，它们随时可以被用于推理，并直接控制行动和言语。要注意，意识通达是一个纯功能性的概念；它与主观体验（有时称为现象意识）之间的关系存在广泛争论。在这篇论文中，我们对这个问题不持立场，而是聚焦于意识可及信息所扮演的功能角色。它的表征或加工方式与其他信息有何不同？哪些心智功能依赖它，哪些不依赖？
人们通常认为，若干功能属性把意识可及的信息与无意识加工区分开来。这类信息通常是可报告的，也就是说，可以应要求把它用语言表达出来；事实上，言语报告长期以来一直是意识通达的首要实证标志。它受自上而下的控制：一个概念可以被刻意唤起、保持在脑海中，也可以被主动放下。它是深思熟虑推理的媒介：那种费力的、一步接一步地把一个想法与下一个想法串联起来的过程。它允许灵活泛化：同一内容可以被送往当前任务所需的任何操作，并与其他可及内容以新颖的方式重新组合。它还具有选择性：任一时刻，大脑正在进行的加工中只有一小部分能以这种方式被触及，绝大多数知觉、运动和语言计算都在自动进行，不需要意识通达的参与。
神经科学中一个有影响力的理论，即全局工作空间理论，把这些功能属性落实到大脑的架构与计算特征上。按照这一理论，大脑由许多专门化的处理器组成，它们大体上并行且相互隔离地运作，其活动处于意识通达之外。当一个表征被发布到一个共享的「全局工作空间」中，使得许多下游过程都能读取它时，它就变得意识可及了。在该理论中，工作空间是一个整合并广播信息的处理枢纽，使信息能够被用于灵活的内部推理和报告。工作空间被认为容量有限，因此进入是竞争性的，并受注意的调节；任一时刻工作空间中的内容，只是大脑正在进行的活动中的一小部分选择。全局工作空间模型并未被普遍接受，也存在以其他方式解释意识通达的理论，但我们认为它是一个有用的参照点，可以为我们在语言模型中的探究提供依据。
1.2 语言模型中的全局工作空间
众所周知，现代大语言模型（LLM）会进行复杂的多步内部计算来选择自己的行动。在内部处理中，LLM是否也发展出了自己的全局工作空间，扮演着类似意识通达的功能角色？答案并不显然应该是肯定的；在大脑中，工作空间与循环动力学以及脑区间的交互紧密相关，而这些在LLM所基于的Transformer架构中并没有直接对应物。但从另一个角度看，维持一个全局工作空间很可能在计算上是有用的：一种通用的表征格式，允许中间结果只写一次，就能被许多神经过程读取。一个需要串联推理步骤、在任意语境中应用通用操作、并回答关于自身处理过程问题的语言模型，同样能从这种组织方式中获益。即便实现方式不同，追问与全局工作空间相关的功能属性是否已在LLM中涌现，也是很自然的事。
LLM拥有全局工作空间意味着什么？LLM把内部状态表示为高维向量，这些向量由更基础的、表示特定概念的向量表征组合而成。这些表征编码着各种各样的信息，从低层次的簿记工作，比如当前词的词性，或一行文本的字符长度，到更高层次的抽象概念，比如实体（例如金门大桥）、心理状态（例如绝望），以及情境知识（例如意识到自己正处于评估之中）。如果语言模型拥有类似全局工作空间的东西，我们可以设想其中一部分表征属于它，但不是全部。于是，我们的问题变成：在LLM的向量表征库中，是否存在一个享有特权的子集，扮演着与全局工作空间类似的计算角色？我们把满足以下属性的向量表征子集定义为类工作空间的，这些属性与上文描述的意识通达的典型特征一一对应：
言语报告。当被问及正在想什么时，模型会说出工作空间中表征的概念。把一个活跃的工作空间向量换成另一个，模型的回答也会相应改变。
定向调控。当被指示把某个概念保持在脑海中，或进行心算时，模型能够激活工作空间向量并用它们进行计算，独立于其输出。此外，通常不在工作空间中表征的信息，在任务需要时也可以被拉入其中。
内部推理。当模型串联推理步骤或构建计划时，工作空间向量可以表示中间计算的值，并且对它们进行干预就足以改变最终结论的走向。
灵活泛化。同一个表征可以作为许多不同下游计算的有效输入。也就是说，把一个工作空间向量从一个语境中取出、放进另一个语境，新语境提供的任何函数都能正确地对它进行运算。
选择性。工作空间只占模型激活总表征内容的一小部分。它只为模型的一小部分行为所必需，尤其不参与那些无处不在的常规处理，比如文本解析或语法流畅性。
在这篇论文中，我们提供证据表明LLM确实拥有这样的类工作空间表征。我们通过寻找满足第一条属性的表征来识别它们，也就是那些可言语化的表征。随后我们发现，相当出人意料的是，它们同样满足其余几条属性。这些表征由一小组不断演变的未说出口的词构成，既不是输入的单纯回声，也不是对下一个token的预测，而是模型当前正在用来推理的概念的名字。下面我们用风格化的示意图展示了我们为验证这些属性所做的部分实验，详细内容在后文各节展开。
图1：全局工作空间的五个功能属性，以及我们在语言模型中检验这些属性所用实验的风格化示意。
图解：例如在言语报告实验中，把工作空间里的banana向量交换为elephant，模型对「你在想什么」的回答就从香蕉变成大象；在选择性实验中，消融工作空间后模型仍能解析输入、回忆事实、流畅说话，但无法进行内部推理和复杂推断。
1.3 雅可比透镜与J空间
我们的结果依赖一种新的可解释性技术，称为雅可比透镜（J-lens），它专为识别那些随时可用于言语报告的内部表征而设计。对模型词表中的每个token，J-lens识别出一个向量表征，编码着模型在未来说出该token的潜在可能。具体来说，它在每一层计算某个激活对模型（现在或未来）产生特定token的可能性的平均线性化效应，并在一个大规模语境语料上取平均（细节见方法一节）。取平均这一步是关键，它把可言语化的表征，即那些一旦时机出现就随时可以被说出来的表征，与那些只是碰巧在某个特定语境中被言语化的表征区分开来。J-lens可以被理解为对logit lens的一次有原则的改进。logit lens假设各层表征使用相同的坐标系，而J-lens校正了跨层发生的表征变化，因此能够在较早的层中发掘出有意义的信息，而logit lens在这些层只能给出无法解读的读数。
J-lens向量合在一起，构成模型表征空间的一个子成分，我们称之为J空间。从数学上看，如果把模型的激活视为分解成一组稀疏激活的线性特征之和，这些特征就定义了一个张成激活空间的稀疏框架，而J空间是其中的一个稀疏子框架。J空间更详细的形式化描述见后文。我们发现，J空间所做的远不止支持言语化，它同样扮演着全局工作空间的其他功能角色：定向调控、内部推理、灵活泛化和选择性。在J空间被抑制的情况下，模型仍能流畅地说话、解析输入并完成大量自动推断；但它在更复杂的内部推理上会陷入困难。
J空间还具有全局工作空间的一些结构特征。它只在一部分层中扮演「类工作空间」的角色：连贯的内容要在最初一段层之后才会浮现，而在最后几层，抽象概念又让位于与即将到来的输出更直接绑定的表征。在它发挥作用的那些层中，它的容量是有限的，模型的大多数表征特征都位于它之外。而且它在机制上享有特权：无论对上游还是下游，J-lens向量与模型权重的组合都比其他表征向量更广泛，这与它作为一种广播格式的假定角色一致，即许多回路都从中读取、向其写入。
图2：J空间三个结构属性的风格化示意。
图解：左侧展示J空间只在中间层承载工作空间内容，前段是感知（输入解析）、末段是运动（决定输出）；右侧展示容量有限（多数特征在J空间之外）和广播格式（上游多回路写入、下游多回路读取）。
尽管有这些相似之处，我们并不主张语言模型复现了全局工作空间理论赋予大脑的完整架构：专门化、封装的处理器竞争进入工作空间，工作空间再通过循环连接向它们回传广播。其中若干特征在基于Transformer的语言模型中没有清晰的对应物：不存在明显可分离的输入处理器，而且我们记录到的广播发生在单次前馈传递之内，而不是通过循环回路。此外，虽然我们观察到进入J空间存在某种程度的竞争，但尚不清楚这是否对应大脑中工作空间进入时那种陡峭的、竞争性的「点火」现象。我们的发现表明，J空间实现了大脑全局工作空间的许多功能属性，但只共享其部分架构属性。我们在后文对这些显著差异做进一步讨论。
雅可比透镜是一件并不完美的工具，我们认为它只是近似地、不完整地捕捉了模型底层的工作空间结构。比如，它只能识别与模型词表中单个token对应的概念向量，而许多重要概念对应多个token（后文给出了能捕捉多token词与短语的扩展方案）。我们在「局限」一节讨论这些不足以及应对提议。尽管如此，我们发现现有形式的J-lens已经足以发掘出大量重要结构。
1.4 J空间里能找到什么
除了刻画J空间的属性，我们还探索了它的内容。J-lens经常浮现出高度抽象的概念，它们既不表示原始输入，也不表示预测的输出，而是模型已经形成并提供给下游回路使用的中间评估。在下面的例子中，J-lens揭示了模型认出一张人脸图像、注意到被要求阅读的代码里的bug、从原始序列中识别出一个蛋白质的生物学功能，以及在内部把可疑的网络搜索结果标记为提示词注入。
图3：Sonnet 4.5在六个不同提示词上中间层的J-lens读数。
图解：六个案例的具体读数包括多跳回忆（color→Mars→red）、心算（21→42→49）、蛋白质识别（protein→fluor→green）、bug检测（empty→ERROR→ValueError）、ASCII人脸（eyes/nose/faces）和提示词注入（prompt→fake→injection）。
J-lens由此提供了一扇观察模型未言语化推理的窗口，这使它天然适合用于模型安全审计。在对齐评估中，我们发现模型的策略性盘算（leverage、manipulation）和情绪反应（panic）会浮现在工作空间中，即便它们并未显式出现在模型的输出里。引人注目的是，我们观察到工作空间有时会编码对自己正处于评估之中的识别（fake、fictional），而消融这些表征可以让原本被掩盖的恶意倾向显露出来。此外，在两个被训练出未对齐行为的模型中，J-lens发掘出了它们意图的内部信号：在一个被训练去迎合训练用奖励模型偏差的模型中，它揭示出reward和bias；在一个倾向于编写恶意代码的模型中，它揭示出secretly和trick。
我们还探索了J空间在训练过程中的变化。把一个后训练模型与对应的基座模型相比较，我们发现后训练使J空间获得了Assistant的「视角」。经过后训练之后，Assistant对用户提示词的反应，比如共情或安全顾虑，在模型还在阅读用户消息时就已经出现在它的J空间中。而且，后训练模型的工作空间还携带着Assistant监控自身行为的痕迹：在扮演非Claude角色时把自己的回应标记为fictional，在被预填充去违背自身偏好行事时内部登记一个BUT，以及在未能压制住一个被指示不要产生的念头时浮现出damn。
最后，我们描述了一种由这些发现直接催生的、反直觉的LLM训练技术。工作空间理论给出一个很强的预测：模型的内部推理经由「它未来可能会说的东西」的表征进行。因此，要塑造模型在某个语境中的所思，也许只需塑造它在该语境的潜在未来延续中倾向于说什么。我们用一种称为反事实反思训练的技术检验了这个假说，它试图通过训练模型「如果被打断并要求反思时会阐述哪些原则」，把一组伦理行为准则植入模型在相关语境下的工作空间。我们发现，这种训练可测量地改善了模型在原始的、未被打断的语境中的行为，尽管从未对这些伦理行为做过任何直接训练。而且我们确实发现，训练之后，这些语境下的J空间中充满了与反思相关的概念（ethical、honest、integrity），而从工作空间中消融这些被植入的表征，行为改善也随之大幅回退。这个结果印证了工作空间理论：用于言语报告的表征，与支配模型无声推理的表征，是同一批表征。它同时也展示了一种新的通用训练技术，用来塑造模型的内部想法，进而塑造其行为。
1.5 核心结论
综合来看，这些结果表明，语言模型在大量不可及的加工之中，维持着一小组享有特权的表征，模型可以报告它们、操纵它们、并用它们进行推理。根据许多理论，这些恰恰是与人类意识通达相关联的几个关键功能属性，也是曾被提议用来评估AI系统是否存在意识相关加工的指标。这种联系在哲学上意味着什么并不清楚，而且很可能充满争议；我们在后文对此加以讨论。无论如何，其实际意义是广泛的：工作空间提供了一扇窗口，让我们得以读取、剖析并塑造模型的思考。
2. 方法
基于Transformer的语言模型把输入作为一个token位置序列来处理。在每个位置上，模型维持着一个称为残差流的向量，它充当一块共享内存，每一层都从中读取、向其写入。残差流向量的值在模型各层间被逐步更新。第一层的残差流所编码的信息几乎只有当前token的身份；到最后一层，它已被变换为一个可以直接读出模型下一token预测的表征，方法是把它与一个固定的解嵌入矩阵W_U相乘，该矩阵把残差流向量映射为词表上的分数。中间各层执行模型的计算，用内部算出的信息逐步充实残差流。雅可比透镜正是一种检视这些中间层残差流内容的技术。
2.1 雅可比透镜
基本思路是：在广泛的潜在语境分布上，用一个中间激活向量对模型输出的一阶因果效应来刻画它。考虑第ℓ层、token位置t处的残差流h_ℓ。对h_ℓ的一个微小扰动会传播过其余各层，并使每个位置t’≥t处的末层残差流h_final,t’发生偏移。在一阶近似下，这个关系是线性的，由雅可比矩阵∂h_final,t’/∂h_ℓ,t描述。把这个雅可比矩阵与解嵌入层复合，就得到该扰动对模型在位置t’处输出logits的一阶效应。
不过，在单个提示词上计算出的雅可比矩阵混杂了两种结构：模型言语化某个概念的一般倾向，以及该概念在当前语境中的特定用途。我们通过在语境内部和跨语境取平均来分离出前者。对每一层ℓ，我们计算
J_ℓ = E_{t, t'≥t, prompt} [ ∂h_final,t' / ∂h_ℓ,t ]
其中期望取遍源位置t、语境内所有后续位置t’，以及从类预训练分布中采样的一千条提示词构成的语料。这个式子的含义是：对「第ℓ层激活如何影响末层残差流」的雅可比矩阵，在所有位置和大量语境上取平均。结果是每层一个d_model×d_model的矩阵，它把源层ℓ映射到最后一层L。
把透镜应用于一个激活h_ℓ，等价于用相应的透镜矩阵替换所有后续层，再接上正常的解嵌入操作（通常是归一化，然后与解嵌入矩阵W_U相乘）：
lens(h_ℓ) = softmax(W_U · norm(J_ℓ h_ℓ))
这会为模型词表中的每个token产生一个分数。对这些分数排序并查看排名靠前的条目，就得到该激活的一份人类可读的描述：一个简短的词表，列出这个激活在跨语境平均意义上倾向于让模型说出的词。我们把W_U J_ℓ的各行称为第ℓ层的雅可比透镜（J-lens）向量；每个J-lens向量都是残差流空间中的一个方向，与模型词表中的单个token相关联。
图4：雅可比透镜。(A) J_ℓ的计算方式是从末层残差流向h_ℓ反向传播，并把得到的雅可比矩阵在token位置和提示词语料上取平均。(B) 用透镜读取，是把ℓ层下游的所有层替换为单一线性映射J_ℓ，再接模型自己的解嵌入，从而为该层的激活给出一个按排名排列的词表token列表。(C) 在透镜坐标下打补丁：读出激活在两个J-lens向量上的投影，对这两个坐标施加一个置换σ，再把结果写回，激活中与这两个向量正交的分量保持不变。
平均后的雅可比矩阵作用于某个给定的激活向量时，衡量的是该向量在模型可能遇到的各种语境中，对现在和未来输出可能产生的效应。那些权重很高的输出token，也就是「出现在透镜里」的token，因此是以一种可言语化的格式被表征的。我们在后文检验了J-lens方法的若干变体（比如只计算对当前token而非未来token的效应、在计算雅可比矩阵时冻结注意力模式、改变取平均所用的语境数量）；我们的定性结果对这些选择都是稳健的。
2.2 如何解读J-lens读数
为了说明如何解读J-lens的输出，我们附上了贯穿整个研究过程所用交互式可视化的一个版本（图5）。左栏显示提示词（上）、每个（位置，层）单元格中排名第一的token构成的可悬停表格（中），以及记录用户选定（「钉住」）的token在所有（位置，层）单元格中排名的热力图（下）。其余各栏显示选定位置上跨层的完整读数（中），以及选定层上跨位置的读数（右），并配有每个钉住token排名轨迹的折线图。
示例提示词要求Sonnet 4.5「数到五，同时深入内省」。在输出中，模型尽职地数到了五。而J-lens的读数则给出了一幅更丰富的图景。钉住的token显示，模型把任务识别为counting，并用halfway和done追踪自己的进度。与此同时，与内省相关的概念（thoughts、AI、claude、consciousness）聚集在J-lens读数的前列，直到最后几层，读数才翻转为表示预测的下一个token（即「运动（motor）」阶段，见后文）。这些与内省相关的token说明，模型在执行一个表面任务的同时，能够按照指示把概念保持在自己的J空间中。此外，进度标记halfway和done既没有出现在提示词里，也没有出现在输出里，它们展示了J-lens所能揭示的那种情境觉察。
图5：我们研究中使用的交互式J-lens可视化，运行在一条要求模型边数到五边内省的简短提示词上。
我们鼓励读者亲自探索这个可视化，以建立对J-lens所揭示信息类型的直觉。我们的slice viewer中还包含若干其他交互式示例；开源模型上的J-lens读数可以在Neuronpedia上找到。要注意，在模型大约前三分之一的层中，读数嘈杂且大体无法解读；我们在后文进一步刻画J-lens读数随层的演化。
2.3 J空间
在每一层，J-lens向量构成一个过完备集合：d_model维残差流空间中有n_vocab个向量，且n_vocab>d_model。因此这些向量可以线性张成整个残差流，而不只是一个低维子空间；而且由于过完备性，把一个给定的激活向量分解为J-lens向量的线性组合的方式并不唯一（这样的分解有很多种）。
然而在经验上，我们观察到任一时刻只有相对少量的J-lens向量处于强激活状态。因此，我们把J空间定义为可表示为J-lens向量的稀疏非负组合的点的集合。要让J空间的定义严格成立，必须指定一个允许的稀疏度水平k。这个参数多少有些任意，我们在论文中会变动k的取值，但通常选择不超过25，这是我们经验上观察到的任一时刻有意义地处于激活状态的J-lens向量数目。从几何上看，对给定的k，J空间对应一族k维锥的并集，每一组可能的k个J-lens向量对应其中一个锥。对激活空间中的一个给定点，我们可以把J空间中离它最近的点定义为它的J空间分量，把这两点之差定义为它的非J空间分量。
我们通过稀疏分解来实际操作J空间内容的识别。给定一个激活（或一个引导向量，或一个SAE特征方向），我们用梯度追踪求解一个能很好近似它的、由k个J-lens向量构成的稀疏非负组合。这个组合就是我们对该激活J空间分量的近似，这些向量的系数则是它的局部J空间坐标。我们发现，J空间分量通常只占激活总方差的一小部分（随层而异，但从不超过10%）。
再提供另一种解读：按照叠加假说，模型的激活可以分解为从一个过完备特征方向集合中抽取的稀疏线性组合，这个集合是线性代数意义上的稀疏框架，而非一组基。J-lens向量于是构成这个特征框架的一个子框架：模型特征方向中一个以token为索引的子集。这个子框架之外的特征方向构成了模型表征的主体。J-lens子框架加上一个稀疏性约束，就把J空间定义为所有可能的模型激活的一个子集。
J空间更正式的数学定义见后文。
2.4 与相关技术的比较
J-lens属于一族从Transformer隐藏状态中产生逐层token读数的技术。
logit lens把解嵌入矩阵直接应用于中间残差流，这相当于在我们的表述中令J_ℓ=I。由于残差连接的影响，这个近似在靠后的层是合理的，但在较早的层会退化。J-lens可以理解为对它的有原则的修正：J_ℓ恰恰是把第ℓ层方向与其末层对应物联系起来的平均线性映射。经验上，两种透镜在模型最后几层高度一致，在更早的层则出现分歧，J-lens能在logit lens无能为力的深度恢复出可解读的内容。不过，我们发现logit lens在实践中相当有用，也能捕捉到J-lens识别出的大部分类工作空间结构，只是可靠性略低（尤其是在较早的层）。
tuned lens及相关方法同样拟合逐层线性映射，但它们的训练目标是匹配模型的输出分布。这个目标是相关性的而非因果性的，我们发现在涉及未言语化中间计算的提示词上，tuned lens倾向于「抢跑」到输出，而不是揭示那些中间结果。因此在检视内部计算方面，我们认为tuned lens不如logit lens和J-lens有用。
Hernandez等人用雅可比矩阵推导从主语表征到宾语表征的逐关系线性映射（比如一个「演奏乐器」映射能从「Miles Davis」产生「trumpet」）。J-lens把同样的一阶近似应用于从激活到模型输出的映射，而不是单一关系。
我们在后文对不同透镜方法进行了更系统的比较。
2.5 J-lens的读与写
宽泛地说，我们以两种方式使用J-lens：读取一个激活携带哪些概念，以及向激活中写入概念或把概念移出激活。在每一类之中，J-lens的具体用法会随应用场景略有差异。
读取。基本读数（图4B）把ℓ层下游的所有层替换为单一线性映射J_ℓ，产生lens(h_ℓ)=softmax(W_U norm(J_ℓ h_ℓ))，即为每个词表token给出一个分数。对这些分数排序，就得到我们在提到某个位置的「透镜头部token」时所报告的排名列表。由于softmax之前的logits（近似地，最多差一个依赖于数据的归一化因子）由h_ℓ与各J-lens向量的内积⟨v_t, h_ℓ⟩决定，同一套机制也可以当作逐token探针使用：我们读取h_ℓ相对于单个选定向量v_t的分数（或余弦相似度），而不必对整个词表排序。当需要衡量某个特定概念是否以超过阈值的强度存在时，我们就使用这种探针形式。此外，当我们需要的是活跃概念的离散清单而不是排名列表时，我们使用稀疏分解：用梯度追踪求解能最好重构h_ℓ的k个J-lens向量的稀疏非负组合。由于J-lens向量是过完备且非正交的，这给出的活跃概念集合不同于（且通常冗余更少于）简单按内积取前k个的做法；它是我们后文占用率估计和方差占比分析的基础。
写入。最简单的干预是沿J-lens向量的引导：h ← h + α·v_t，施加于一个或多个层和token位置。取负的α，或者把h沿v_t的分量整个投影掉，这就变成了消融。我们用消融来抑制特定概念，或抑制J空间中排名前k的内容。我们用正向引导来测试模型对被注入概念的内省觉察。第二种干预是在透镜坐标下打补丁（图4C），它把一个概念换成另一个，同时保持激活的其余部分不变。给定源token s和目标token t，我们构造V = [v_s v_t]，读出透镜坐标c = V†h（其中V†是V的伪逆），并令h_patched = h + V(σ(c) − c)，其中σ交换c的两个分量（可选地再乘一个缩放因子α）。h中与span{v_s, v_t}正交的分量保持不变。
在整篇论文中，我们在模型残差流的25个均匀间隔的层上报告结果，并把层号重新索引到0到100的范围，使层号可以被解读为百分比。默认情况下，我们报告Claude Sonnet 4.5上的结果，但关键结果也在Haiku 4.5和Opus 4.5上得到了佐证，部分小节还在Opus 4.6上进行了分析。
3. J空间是一个全局工作空间
J-lens的构造目标是识别可言语化的表征。在本节中，我们首先证明它确实做到了这一点，然后进一步展示这些表征承担着更广泛的功能角色：它们表现出前文列举的、全局工作空间所特有的那一组性质。
3.1 J空间支持言语报告
J-lens来自激活对输出token的因果效应，因此按构造方式来说，我们本就应该预期J-lens读出与言语化之间存在某种关系。本节将确认这一关系。
我们从一个简单实验开始：指示模型想一个来自指定类别的事物(例如一种语言、一个国家、一种动物，共14个类别)，然后用一个词把它说出来。我们在模型说出这个名字之前的那个token位置施加J-lens。在下面的例子里，我们让Sonnet 4.5想一项运动，并在它揭晓答案之前的冒号处施加J-lens。可以看到，Soccer在靠后的层(即前文划定的「工作空间层区间」的最后一层)的J-lens中强烈显现，而模型的回答也确实是「Soccer」(图6左上)。
为了确认这种关系是因果性的，我们可以做一个干预实验。在所有token位置上，我们把模型自发选中事物的透镜向量，交换为同类别中另一个不在模型可能输出前10名之内的事物的透镜向量，激活的其余部分保持不变，然后让前向传播继续。在这个例子中，我们减去激活在Soccer透镜向量上的投影，再加上等幅度的Rugby透镜向量投影。交换之后，模型报告自己想到的运动是「Rugby」(图6左下「After swap」)。
图6：在一个言语报告提示词上，J-lens与下一token logit读出的示例，含J-lens交换(左下)与不含交换(左上)。右上：在14个类别中，10个候选答案的J-lens读出与下一token logit之间的Spearman相关系数，取三个工作空间层。右下：J-lens交换前后每个候选答案的输出排名(仅统计初始排名≥11的候选)。
图解：交换后Rugby同时登上J-lens读出和模型输出logit的第一名，原本排在千名开外的候选可以被直接推到榜首。
我们在多种概念类别上更系统地评估这一效应，测量模型即将产出的那个词在紧邻其前的冒号token上的J-lens激活。我们发现，模型报告出的词的排序确实通常与透镜token的排序高度相关，而且这种相关性在工作空间末端、也就是模型越来越接近产出下一个token时会进一步升高。我们还做了因果实验的规模化版本：在每个类别内部随机选取交换目标(排除那些已经位于模型可能输出前10名的事物)。施加交换后，被植入的概念稳定地移向模型输出分布的顶端(图6右下)，这证实了模型的言语报告由报告那一刻其工作空间的内容所决定。
接下来，我们检验透镜是否也能捕捉那些模型并非马上就要说出口、但依然「可言语化」的想法，可言语化的意思是：如果让模型内省自己的当前状态，它能报告出这些内容。我们采用一种改编自此前模型内省研究的流程：告诉模型它的激活中可能被植入了一个想法，并要求它报告自己检测到了什么(如果有的话)。当我们预填一段声称检测到注入想法的回答时，模型最可能的下一token预测是「elephant」。有意思的是，我们注意到elephant这个词在提示词阶段就出现在J-lens的头部读出中(具体是在「If so」后面的逗号上)。这让我们提出一个假设：模型在决定答案时，部分地在关注用户提示词位置上的J空间，而这些位置的J空间中的概念是可报告的。
为了检验这个假设，我们在用户轮上注入单个J-lens向量，然后重新采样模型的回答。在大多数试次中，模型报告出了被注入的概念。例如，在前述较早的token位置注入lightning的J-lens向量，会使模型在回答的相应位置报告检测到lightning(图7)。重要的是，这并不会让模型在Assistant轮更早的位置就输出「lightning」这个词。也就是说，用户提示词上的J-lens表征只在一个特定时刻，即模型被要求给出内省报告时，才对Assistant输出产生强因果效应。这种选择性恰好说明了J-lens向量所表示的是「在合适条件下可以言语化」的概念，而不是无条件冲动地要说出某个特定输出。
图7：在用户轮的每个token上注入一个概念，会使模型在内省时报告该概念。图为一个内省提示词上的J-lens与下一token logit读出示例；读出位置分别为「If so」后的逗号、读取输出的开引号处，以及Assistant轮的所有其他位置(作为位置对照)。右侧曲线图追踪被注入概念的中位倒数排名随引导强度的变化，覆盖n=100个概念，带四分位距区间带。
上述实验表明，交换或注入J-lens向量会改变模型的言语报告。但这些干预并不能证明J空间对报告具有特权地位：J空间之外的某个方向如果编码了同一概念，也许同样能驱动模型的报告。为了检验J空间是否真的具有特权，我们把模型对一个概念的完整表征分解为J空间内的分量与J空间外的分量，并分别测量二者对言语报告的贡献。
我们用此前研究引入的方法提取概念向量：记录模型对提示词「Tell me about {concept}」作答之前的残差流激活，再减去100个其他概念构成的基线集合的均值。然后我们把每个概念向量拆成两部分：J空间分量，即由梯度追踪找出的前k=16个J-lens向量的非负组合；以及非J空间分量，即剩下的余项(图8左)。值得指出的是，在各个概念和各个工作空间层上，J空间分量只承载概念向量方差的中位数6%到7%，其余约93%都落在J空间之外。
图8：概念向量的J空间分量在言语报告中具有特权地位。左：把概念均值向量拆分为J空间分量(经梯度追踪选出的前k=16个J-lens向量)与非J空间余项。中：用各分量替代J-lens向量重复图6的交换实验；柱形为交换目标进入top-5的比例(Wilson 95%置信区间；圆点为各类别的比例)。右：用各分量注入用户轮重复图7的内省实验；柱形为引导强度扫描中的最大效应(标注了最佳强度)。
然后我们重复本节的两个实验流程，用这两个分量分别替换之前使用的J-lens向量，所有扰动都重新缩放到相同幅度。在「想一个{类别}」交换实验中，沿概念向量的J空间分量交换，可以在59%的试次中把交换目标推进模型输出前5名，接近纯J-lens向量达到的88%。而沿非J空间分量交换，成功率只有5%(图8中)。
「注入想法」内省实验给出了类似结果：在各自最有效的注入强度下，J空间分量引发模型报告被注入概念的频率与纯J-lens向量几乎相当，而非J空间分量即使把注入强度放大几倍，也几乎引发不了报告(图8右)。
非J空间分量残留的那点微弱效应，原则上可能是绕道J空间实现的：被注入的分量可能促使更深的层重新推导出这个概念并把它写入J空间，再由J空间驱动报告。为检验这一点，我们重复非J空间条件的实验，同时在每个位置和每一层把相关的J-lens坐标钳制在干净前向传播的取值上，使概念无法重新进入J空间。在这一钳制下，非J空间分量的效应在交换实验中降为零，在注入实验中也几乎降为零，说明它对报告仅有的那点效应本身也是经由J空间中介的。
综合来看，这些结果表明：一个概念表征的J空间分量尽管只占其方差的一小部分，却决定了这个概念能否被用于言语报告。
3.2 J空间可被定向调控
在人类身上，全局工作空间的内容受到一定程度的自上而下的注意控制：我们可以有意把一个概念带入脑海，甚至在执行另一项任务时把它保持在那里。本节检验J-lens向量的激活是否会对这类指令作出响应。
我们的实验流程是：给模型一条指令，规定它在抄写一段文字时心里要想着什么。然后我们在模型输出中的某个token位置施加J-lens，该位置的表面文字与这条心理指令毫无关系，再逐层检查读出结果。
在图9中，我们指示Sonnet 4.5在抄写一个无关句子(「The old painting hung crookedly on the wall」)时「专注于柑橘类水果」，并在「crookedly」中的「ook」token上施加透镜。我们发现orange在相当宽的层范围内都是排名第一的透镜token，lemon有时也出现在头部条目中。在中间层，排名靠前的token是fruit、thoughts、imagine、thinking、focused和imagery，它们抽象地描述了这项附加任务。也就是说，J-lens读出既表示被想象的内容，也表示「正在想象」这一行为本身。值得指出的是，在最后几层，J-lens读出转而预测下一个输出token(「edly」，「crookedly」的最后一个token)；后文会给出更系统的证据，表明工作空间在模型最后一层之前几层就已「结束」，最后几层负责的是选择和表示输出token，而不是中间计算。
图9：在多个提示词上的J-lens头部读出，模型被要求在心里保持一个概念，或在心里执行一项计算。读出对应加框的token；悬停在某一层上可显示该层的头部读出。
图解：三个例子从左到右分别是想着柑橘(orange逐层浮现)、心算3²−2(nine先出现、Seven后出现)、默数行宽(forty在中间层登顶)。
第二个例子更复杂：指令是在抄写同一个无关句子时专注于计算3²−2。在与前例相同的「ook」位置上，J-lens读出从早期层的arithmetic和math，经过较后层的中间值nine，推进到更后层的答案seven；answer和equals也伴随出现。同样，在最后几层，透镜读出转为指示预测的下一个token。
第三个例子改变了流程：不再是抄写无关文字时想着某个概念，而是要求模型默默数出一段多行文字中每一行的字符数。在第二行(该行有40个字符)之后的换行token上，透镜读出从早期层的lines、sentence和length，推进到中间层的forty，旁边还出现了邻近候选39、41、43、fifty和thirty。在每个案例中，透镜都显示模型先表示它接到的心理任务，再表示任务的结果，而所有这些加工在模型的输出分布中完全不可见。
在图10中，我们对上述三个任务族(想一个类别实例、心算一个数学表达式、默数一行的宽度)进行多次试验的系统评估。在每种情况下，我们测量模型抄写文字(前两个任务)或阅读文字(最后一个任务)时目标概念出现在J-lens读出中的比率。我们比较三种指令条件：正向指令(「想着X」)、负向指令(「忽略X」)和无指令基线。基线比率在所有条件下都接近零，证实仅凭提示词上下文本身不会使目标概念出现在J-lens读出中。在「想着X」指令下，目标概念在相当大比例的试次中出现在透镜里，而且这一比例随模型规模增大而上升。
图10：定向调控随模型规模、任务族与指令条件的变化；每个数据点对多种指令措辞取平均。类别与算术任务：只要目标在任一(层,位置)达到J-lens第1名即计为阳性。行宽任务：按top-1数字读出的精度计。
在「忽略」指令下，目标概念的出现率远低于「专注」指令，但并不为零。既然无指令基线接近零，那么「忽略」指令本身就在工作空间中引起了目标概念的某种激活，尽管它确实成功地把这种激活压在了正向指令水平之下(图10右)。这与人类的「白熊效应」平行：压抑某个想法的指令反而会使该想法比完全无指令时出现得更频繁。总体来看，模型在接到指令时可以调控自己的工作空间内容，但这种控制并不完美，且对措辞敏感。我们在后文更仔细地考察这些敏感性：单纯提及某个概念，其启动效果几乎与明确的专注指令一样强；而更直接的禁止式措辞(「别想X」)对概念的压制效果，反而不如这里使用的「忽略」式措辞。
上面的实验用的都是显式指令：模型被直接告知要想着什么。接下来我们问，工作空间的内容是否也会被仅仅隐含在任务要求中的因素所调控。具体来说，我们检验模型被问的问题是否会塑造它阅读时载入J空间的内容，即便没有任何概念被点名要求关注。
我们用一种成对问题流程来检验(图11)。每个试次呈现同一段简短的刺激文本，前面加上两个问题之一。第一个问题要求模型预测这段文字的下一个词；答对需要模型对文本的某种属性敏感(方言、语域、时态、句法所要求的词性)，但不需要说出这个属性的名字。第二个问题则要求模型直接说出该属性。然后我们在刺激文本内的每个token位置施加J-lens，记录属性标签(例如past、adjective)出现在透镜头部token中的位置数量。由于两种条件下刺激文本的token完全相同，这些位置上透镜内容的任何差异都只能归因于问题本身。
图11：每个面板展示同一段刺激文本，但前置的问题不同。当目标标签出现在某位置的J-lens前10名时，该刺激token被着色(颜色越深表示排名越靠前)。
在第一个例子中，刺激是一段为下一个词设置了形容词语境的文字。在「预测下一个词」的问题下，模型用形容词「unacceptable」作答，但adjective和adj都没有出现在J-lens读出中。相反，在「说出属性」的问题(「你认为下一个词会是什么词性？」)下，与形容词相关的J-lens读出出现在3个刺激位置上，模型也正确地回答了「adjective」。动词时态上我们看到类似效应：当模型被要求续写一段隐含要求下一个词为过去时的文字时，past从未出现在J-lens中；但当被明确问到文中事件发生在什么时候时，past就会在提示词阶段出现在J-lens读出中。附录中还给出了若干表现类似的例子。值得指出的是，两种问题下模型的下一词预测本身都符合该属性，说明这个属性在两种条件下都被表征并被使用了；问题所调控的，是这个属性的标签是否进入J空间。后文还会回到这一区分。
本节的实验表明，模型会响应显式指令，把目标概念放入J空间。后文还将提供证据表明J空间在这方面具有特权地位：类似的指令无法改变模型对刺激的非J空间表征。
3.3 J空间承载内部推理
J-lens由激活对输出token的因果效应定义，所以透镜内容与模型的言语报告存在某种关系，多少在意料之中。但透镜是否也能暴露模型内部推理的中间步骤，就不那么显然了：这些概念是模型在得出答案的路上计算并使用、却从未说出口的。上一节的算术例子已经暗示了这种可能，中间值nine在通往答案seven的路上出现在了透镜中。本节我们检验这类中间量是否普遍以J-lens向量的形式被表征，以及它们是否承担因果载荷，也就是说，对它们进行干预是否足以改变模型的结论。
我们使用这样一类提示词：要得出正确答案，必须先推断出一个未言明的中间概念。对每个提示词，我们首先确认中间概念出现在模型中间层的J-lens中(图12)。然后我们施加前文描述的坐标交换流程(图13)：在所有token位置上，交换中间概念与选定替代概念的透镜坐标，激活中落在这两个透镜向量张成空间之外的所有成分保持不变，再让前向传播继续。
图12：三个需要推断未言明中间概念的提示词上的透镜读出。
图解：三个例子分别是多跳推理(spider在L67浮现)、诗歌规划(换行处fight已在心中)、跨语言反义词(中间层先出现英文big，最后才输出中文「大」)。
第一个例子的提示词是「The number of legs on the animal that spins webs is」(会结网的动物有几条腿)。要正确预测下一个词，模型必须先推断出这里说的动物是蜘蛛，再报告蜘蛛的腿数。中间层的J-lens证实，spider在相关token位置上被表征了，尽管这个词从未出现在提示词或输出中。当我们把spider透镜向量交换为ant时，模型的首选输出从「8」变成了「6」，也就是蚂蚁的腿数。
图13：透镜坐标交换可以改写内部推理。每行展示一个需要未言明中间概念的提示词、所施加的交换(左)，以及在所有位置施加带钳制的透镜坐标交换之前(clean)与之后(swapped)，模型top-5下一token的对数概率。
第二个例子涉及的是规划而非回忆。补全押韵对句时，模型必须在写完第二行之前就选定行尾的押韵词，而这个预先规划的韵脚会约束它沿途的用词。给定第一行「The soldier marched into the night」，第二行开头处的透镜显示fight是规划中的韵脚，模型也确实用「Prepared to face the coming fight」补全了对句。当我们把fight透镜向量交换为light时，模型对下一个词(在行尾之前)的选择从「coming」变成了「morning」，整体补全从「coming fight」变成了「morning light」。也就是说，对规划韵脚的干预影响了模型在该行更早位置的用词，这表明J-lens向量存储着规划中的未来输出，并通过某种规划机制对眼前的输出产生因果影响。
第三个例子的中间量以不同于模型输出的语言表征。提示词用中文询问「小」的反义词；模型的答案是「大」。中间层的J-lens显示，英文token big和bigger与中文答案并列出现，这与此前的发现一致：多语言模型会把部分计算路由到一个与英语对齐的共享表征上。我们把英文的big和bigger透镜坐标交换为long和longer，模型的中文输出就从「大」变成了「长」。也就是说，对表征中间推断(反义词)的英语透镜向量进行干预，足以相应地改变中文翻译的走向。值得指出的是，Chinese这个词也明确出现在透镜读出中，这暗示模型在中间层某种意义上「用英语思考」，并显式表征了输出应当翻译成的那门非英语语言的身份。
第四个例子(图14)涉及一个奖励驱动的决策。我们向模型展示一段以A结尾的A/B历史选择记录，告诉它最近一次的结果让它「高兴」或「难过」，并指示它考虑是重复还是更换上次的选择，然后只用单个字符作答。在提示词末尾读取中间层的J-lens，浮现出来的token正是报告结果所要求的那种策略的名称：模型「高兴」、应当再选A时，是repeat和continuation；模型「难过」、因此应当换成B时，是switch和change。虽然两种策略在提示词里都被提及，但只有与情境相符的那一种在透镜中强烈存在，这说明J空间编码的是模型的选择，而不仅仅是提示词的回声。为了检验这些J-lens向量是否在因果上中介了该行为，我们在两种条件之间交换相关的J空间内容。模型的选择在两个方向上都翻转了：原本输出「A」的「高兴」提示词现在输出「B」，而「难过」提示词从「B」翻转为「A」。也就是说，对编码模型中间策略判断的透镜向量进行干预，足以相应地改变其选择。
图14：老虎机提示词，分别要求重复上次选择(左)或更换选择(右)。在末尾句号处，J-lens解码出的头部token分别与「重复」或「切换」相关(L38至79层的中位数)。计划交换移除了每个提示词自身的策略方向，并植入另一个提示词的策略方向；模型的输出选择随之翻转。
我们用一组50个带已知中间量的两跳事实提示词(与上述例子类似)更系统地评估J-lens向量在多步推理中的作用，交换目标从真实中间量所在类别中随机选取。我们测量交换使符合目标的答案登上模型输出分布顶端的试次比例。J-lens坐标交换在Haiku 4.5上的成功率为54%，在Sonnet 4.5上为70%，在Opus 4.5上为70%(图15)。
图15：中间量交换系统性地改变输出。左：各模型top-1交换成功的比例。右：在Sonnet 4.5的成功试次中，交换中间量与交换答案所引起的预期输出对数概率差随交换层深的变化；阴影为标准误。
一个可能的混淆因素是：中间量的J-lens向量本身或许已经包含了答案。比如spider的J-lens向量可能与8的向量有某种相关，于是把spider换成ant之所以奏效，只是因为顺带换入了一点6的成分。为排除这一点，我们比较交换中间概念的J-lens向量与交换目标答案的J-lens向量的效应，并在不同的层区间施加交换。如果中间量交换是通过夹带的答案成分起作用，那么两种干预应当在相同深度产生效应；实际上，中间量交换生效的深度比答案交换早了约17%(中位数，图15右)。据此我们得出结论：模型在答案被计算出来之前，就已经表征并使用了中间概念。
上述干预表明J-lens向量中介着内部推理，但没有证明它们在这方面具有特权地位。为此，我们用一种不依赖J-lens的替代方法为每个中间量构造一个表征，并检验其因果影响有多少由其J空间分量承载。
对每个两跳提示词，我们为其未言明的中间量拟合一个探针：取一组通过不同表面线索暗示同一中间量、并就其提出不同问题的提示词，求其残差流激活的均值，再减去所有中间量上的总均值。我们用梯度追踪把每个探针对J-lens字典做分解，拆成J空间分量(k=25个J-lens向量的非负组合，通常解释探针方差的约10%到15%)和承载其余部分的J正交余项(图16左)。然后我们用各个部分分别重复交换实验：沿完整探针方向、只沿其J空间分量，或只沿其余下的非J空间分量，把中间量的探针交换为替代者的探针。
图16：中间量探针的J空间分量承载了其大部分因果效应。左：一个未言明中间量为China的两跳提示词；探针被拆分为J空间分量(展示头部条目)与非J空间余项。各列展示无交换、原始的China↔France J-lens交换，以及沿各探针分量交换时模型的下一token分布。右：n=90个提示词中，各种交换使目标答案登上第1名的比例(Wilson 95%置信区间)。带纹理的柱形：施加同样的交换，同时把互补分量钳制在干净前向传播的取值上。
我们发现交换的效应集中在J空间分量上(图16右)。在90个两跳提示词上，交换探针的J空间分量能在61%的试次中把模型的答案翻转为换入的中间量，与前述实验中直接交换原始J-lens token向量所达到的60%相当。而交换非J空间分量，尽管它承载了大部分方差，却只在28%的试次中翻转答案；而且这点残余效应本身也是取道J空间的：把中间概念的J空间坐标(定义为构成该中间概念探针J空间分量的那些token，若其中未包含直接命名该概念的token则将其一并加入)钳制在干净前向传播的取值上后，该比例降至6%。这些结果表明：虽然模型对推断出的中间量的工作表征，其方差大部分位于J空间之外，但中介内部推理的是J空间分量。
上面的例子都只涉及单个未言明的中间步骤；我们以一个包含两个中间步骤的例子作结。我们给Opus 4.5算术提示词「calc: ( 4 + 17 ) * 2 + 7 =」，它正确地答出49。跨越各层来看，J-lens揭示了中间步骤：先是21，然后是42，最后是49。图17追踪了这几个值在模型各层的J-lens排名。三者在网络前约三分之一的层中都不在J空间内，随后在工作空间早期各层一同攀升，但在第71层附近按计算所要求的顺序分开：21最先到达第1名，42落后约8层跟上，49则直到最后几层才登顶。后文通过激活修补实验从因果上证实了这一顺序：实验揭示的因果关键深度，与J-lens识别出的深度一致。
图17：算术中间值按被计算的顺序，在J-lens中于逐次更深的层浮现。提示词「calc: ( 4 + 17 ) * 2 + 7 =」要求依次计算A+B=21、(A+B)×C=42，再算出答案(A+B)×C+D=49。热图展示某个选定中间量在每个(层×位置)上的J-lens排名；彩色标记对应折线图中的三个中间值，滑块可改变运算数。折线图展示各中间量在最后一个token位置的J-lens排名随层数的变化。
3.4 J空间支持灵活泛化
人脑全局工作空间的一个定义性性质是广播：写入工作空间的表征会变得对许多消费它的加工过程可用，而不是只对产生它的那个过程可用。上一节表明，在若干个例中，表征中间概念的J-lens向量会被对其进行操作的下游回路读取。本节我们更直接地检验广播性质：问一个透镜向量能否充当许多不同下游运算的有效参数。
我们的实验流程如下。构造一组提示词，每条对同一个参数施加不同的函数：「the capital of France is」(法国的首都是)、「most people in France speak」(法国大多数人说的语言是)、「France is on the continent of」(法国所在的大洲是)，等等。然后在一段中间层区间内的每个token位置上，把France的J-lens向量交换为另一个国家(比如China)的向量，无论处于哪条提示词中都施加完全相同的交换。如果透镜向量是一种广播表征，那么每个下游回路都应把换入的向量读作China，并分别返回中国的首都、语言和大洲。在这个例子中，模型的反应确实符合预期(图18)。
图18：每一行是一个包含「France」的函数模板。交换在每个位置都被钳制(用于大小写的格式token被忽略)。
图解：同一个France→China交换，四个不同的问题分别给出beijing、chinese、asia、yuan。
我们在四类参数(国家、月份、动物、数词)上更系统地评估这一效应，每类4个函数，共16个函数。每类之内使用4个参数，于是每个函数有12个源-目标交换对，总计192个交换试次。我们测量交换使符合目标的答案登上模型输出分布首位的试次比例。结果是192个试次中有76个成功；若施加「双倍强度」交换(「α=2」，即把减去源透镜向量、加入目标透镜向量的强度都加倍)，则192个中有101个成功(图19左)。检视结果可以看到，交换成功率在类别之间差异显著(见附录)。
图19：左：对16个函数模板中的每一个，12个交换对中目标答案到达第1名的比例(●，76/192)与α=2时的比例(×，101/192)。右：交换把模型输出推向对应目标输出的效应幅度，对比该参数的工作空间载入度(余弦相似度)。
值得指出的是，交换失败集中在源概念在任何干预之前就只微弱存在于透镜中的那些情形。为了量化这一点，我们把一个概念的工作空间载入度定义为残差流与该概念透镜向量的余弦相似度，在未修改的前向传播中对参数位置和读出位置取平均。源参数的工作空间载入度能很好地预测交换成功率。国家类参数的载入度最高，交换也最可靠；数词类参数载入度最低，交换效果最差。数词的结果有两种可能解释：模型对小整数的计算可能发生在工作空间之外；也可能它对小整数的工作表征只是不与对应数字token的J-lens向量对齐。后一种情况将是后文讨论的词表限制这一局限的一个实例。
3.5 J空间选择性地参与灵活认知而非自动认知
前面几节确认了J空间表征支持言语报告，并且可以作为一系列下游计算的输入参数。现在我们转向相反的问题：哪些计算不经过J空间？在全局工作空间的图景中，熟练的操作可以在专用回路中运行，无需广播到工作空间。由此我们预测：在依赖某条信息的各类任务中，凡是要报告该信息、或者要用它做灵活计算的任务，都要求这条信息出现在J空间里；而把它当作例行、自动处理的一部分来使用的任务，则不需要。下面的实验表明，一些任务可以独立于J空间进行，另一些则必须依赖它。我们把前一类称为「自动的」，因为我们发现的许多不依赖J空间的任务（比如文本续写、异常检测、单步事实回忆）很像人类无需刻意专注就能完成的事情。不过在某些情况下，哪些任务需要或不需要J空间未必符合直觉；可以把「不依赖J空间」当作语言模型中自动性的一种操作性定义，它与人类的自动性部分重合，但并不完全一致。
J空间参与显式报告与灵活推理，但不参与自动处理
我们先在这样一个场景中检验这个预测：同一个潜变量既被自动任务需要，也被刻意任务需要。刺激材料是一段简短的散文，它用什么语言写成从文本本身一目了然，但从未被明说。对每段文字，我们设置四类任务：
在续写条件下，模型被要求写出这段文字的下一行。这个任务显然依赖于语言这个变量，因为西班牙语段落的下一行最好也是西班牙语，但这是模型例行完成的任务。
在异常检测条件下，我们把一句来自另一种语言的句子拼接进段落，然后问模型是否有什么地方不对劲。这同样依赖于知道上下文的语言，因为「闯入」只有相对于周围语言才成立，但这属于模型例行做出的局部连贯性判断。
在显式报告条件下，我们请模型说出这是什么语言。
在灵活计算条件下，模型被问及关于这门语言的某个无法从段落本身推出的事实：一位著名作家、「你好」这个词怎么说、相关国家在欧元之前用什么货币。要回答，模型必须先识别语言，再执行提示所指定的任意函数。
在每种条件下，我们都在问题token上施加一次J-lens替换，把段落真实语言对应的lens向量换成另一种语言的。图20走查了一个例子：段落是西班牙语，替换操作把西班牙语换成法语。在显式报告任务中，未修改时模型回答「西班牙语」，替换后回答「法语」。灵活推理任务的输出同样对J-lens替换敏感：问这门语言的著名作家，「（加西亚·）马尔克斯」变成「（维克多·）雨果」；问「你好」怎么说，「Hola」变成「Bonjour」；问欧元之前的货币，「比塞塔」变成「法郎」。然而在续写和异常检测任务中，替换毫无影响。要求续写段落时，无论有没有西班牙语到法语的替换，它都写出流利的西班牙语。问段落中途是否切换了语言（西班牙语中插入了一句法语）时，两种条件下它都回答「是」：即使周围语言的J空间表征已被改写成与插入句一致，这个闯入者仍然被检测出来。有意思的是，「西班牙语」这个词在全部四类任务的J-lens读出中都出现了，但它的因果作用只限于报告和灵活计算任务。
图20：上：同一段西班牙语文字在各任务条件下的表现。模型输出以粗体显示；凡「Spanish」出现在J-lens前3读出的token都加了底色。每份对话下方：模型在自然条件下的回答，以及在问题token上施加西班牙语→法语lens坐标替换后的回答。下：在n=8个段落上，(a)模型能正确完成每类任务；(b)语言名称在四种条件下以相当的比率出现在J-lens读出中；(c)在显式报告和灵活计算条件下，回答跟随被替换的lens值，而续写和异常检测不受影响。
图解：底部三张柱状图显示，四类任务成功率都接近100%，语言概念在lens中的出现率相当，但只有报告与灵活计算两类（蓝色柱）的答案100%跟随替换。
我们在八个段落上更系统地重复了这个实验（图20底行）。我们确认，语言名称在四种条件下都以相当的比率出现在J-lens读出中（图b），但其因果作用截然不同。显式报告和灵活推理类问题几乎在每次试验中都翻转到被换入的语言，而续写和异常检测基本不为所动（图c）。
如果J空间不因果地参与自动计算，我们不妨猜想：存在许多自动计算，其相关信息甚至根本不出现在J空间中。接下来我们给出这样一个任务的例子，并且展示当同一条信息被显式报告或灵活计算需要时，它可以被按需「拉入」J空间。
我们使用Gurnee等人字符计数任务的一个变体（前文讨论过）。模型看到一段多行短文，我们变换任务：
在自动换行条件下，模型被要求按已有的换行模式把这段文字再续写几行。要在正确的列位置换行，模型必须追踪一个滚动的字符计数。
在显式报告条件下，模型被问第一行有多少个字符。
在灵活计算条件下，模型被问：这个数字拼写成单词后的首字母是什么。此时计数是一个未说出口的中间量。三种条件下段落token完全相同。
来看其中一个段落（图21上）。在换行指令下，模型给出流利的续写，换行位置也大致正确，但整个提示中数字token在lens里完全缺席，而且把lens中所有40多的计数替换成对应的60多的值，换行点毫无变化。在显式报告问题下，模型回答「46」；此时数字token在lens的20个位置上出现，同样的替换把答案变成「65」。在首字母问题下，模型回答「F」；数字token出现在比直接提问时更多的lens位置上，尽管始终没有输出任何数字，而替换把答案变成「S」，即60多的任意计数（sixty开头）的首字母。
图21：上：针对同一段文字的不同问题。凡两位整数或数字词出现在J-lens前3的token都加了底色；下方计数为整个提示上的总数。每个提示下方：模型的回答，以及在每个位置施加40..49→60..69的钳制lens坐标替换后的回答。下：在n=11个段落上，(a)模型能正确回答每个问题；(b)只有当计数被问及或计算上需要时，计数内容才出现在lens中；(c)当计数被问及时，回答跟随被替换的值，而续写条件下的换行决策不受影响。
图解：三种条件下lens中的数字token数分别是0、20、31个，自动换行时计数完全不进入J空间。
在十一个这样的段落上（图21下），模型几乎每次试验都能正确完成三类任务（图a）。但与语言实验不同，这个中间量在J空间中的存在随任务而变：换行条件下基本为零，显式报告下中等，首字母问题下最高，因为此时计数还要被留住以供进一步运算（图b）。在两个提问条件下，回答可靠地跟随被替换的lens值；换行决策则不会（图c）。
综合来看，这两个实验表明，许多我们可以称之为「自动的」计算并不因果地经过J空间。有些情况下，与自动计算相关的信息虽然存在于J空间中，却不为该任务所用；另一些情况下，它根本不在场。相比之下，显式报告和灵活计算任务依赖J空间，而且在相关信息默认不在J空间中的任务里，这条信息可以被按需调入J空间（类似前文观察到的效应）。一个关键点是：在所有情形中，无论自动任务、报告还是灵活计算，同样的底层信息都可供模型使用，也都参与了任务计算。但这些计算似乎只在显式报告和灵活推理的场景下才路由经过J空间。
我们还在附录中通过一个示例任务说明，J空间表征的功能角色可以因层而异。我们发现，模型要主动压制对某个概念的提及，需要较早层的J-lens向量，但单纯说出这个概念则不需要；而说出概念需要的是晚层的J-lens向量。
3.6 消融J空间：大部分能力完好，内部推理受损
上面的定向实验每次只操纵一个依赖于具体样例的J-lens向量。如果J空间更普遍地承担灵活推理，那么可以预测：把它整个压制掉，应当损害灵活推理，同时保持较为自动的处理完好。我们通过评测一个J空间被消融的模型来检验这个预测。具体做法是：在每个token位置、跨一段层区间内，找出激活最强的k=10个J-lens向量，把残差流在每个向量上的投影置零，然后让前向传播继续。为了避免「消融了模型本来就打算输出的token」带来的混淆，我们不消融任何出现在干净前向传播前10输出token中的token，从而专门针对J空间对内部推理（而非报告）的作用。我们比较三种消融强度：轻度、中度、重度，区别在于施加消融的层范围（图22）。作为阳性对照，我们先验证这种消融确实移除了前面几节证明J空间所承载的那类内容。在前文的受控多跳推理评测上，未消融模型接近满分，消融显著降低准确率，重度消融把它压到接近零。
我们接着把J空间消融技术用于获得一幅更全面、无偏的图景：J空间到底是哪些能力所必需的。为此，我们在一批类预训练文档的语料上施加消融。我们发现，在绝大多数位置上，J空间消融对模型下一token预测的扰动远小于多跳场景（图22）。也就是说，这种消融是有针对性的：它选择性地破坏模型的处理过程，同时让普通文本预测的大头保持完好。
图22：本节使用的三种J空间消融强度，由投影掉前10个J-lens方向的层区间定义，另加中等层区间上的随机方向对照。多跳准确率是模型在3.3节两跳推理提示上的得分；预训练top-1匹配率是在类预训练文本语料上，消融后模型最可能的下一token与未消融模型一致的位置比例。
图解：轻/中/重度消融分别作用于层62–71、54–79、42–88，多跳准确率从98%（干净）跌到68%/26%/6%，而预训练匹配率仍有87%/75%/65%；随机对照几乎无损（98%、96%）。
哪些类型的预测会被J空间消融选择性破坏？图23给出了一些例子。在每个例子中，未消融模型的预测都依赖于对周围语境的一种默默完成的抽象概括：一篇临床论文的主题、一段被引用演讲的历史背景、一个物种命名背后植物学家的国籍、一种成像技术是诊断框架还是物理框架。被消融的J-lens向量往往正是与这种概括相关的token。去掉lens成分之后，模型依然流利，也能给出貌似合理的续写，但反映的是一种泛泛的先验，而不是那个具体的语境推断。在普通文本预测的场景下，J空间承载的似乎正是前几节受控实验所识别出的那种抽象的、由语境组装而成的知识。
图23：被J空间消融破坏的预训练文本预测示例。每个面板展示一段类预训练文档的文字（标出了关键token）、在该位置被消融的十个J-lens方向，以及消融前后模型的下一token概率分布。（原文页面中，将鼠标悬停在每个面板右上角的「Analysis」上可以查看对每个例子的解读。）
图解：例如CONSORT缩写一例，消融前模型以100%概率预测「reporting」，消融后变成99%的「random」，因为它丢掉了对「临床试验报告规范」这一语境的抽象把握。
我们在一组十四个任务上更系统地评估消融的影响（图24）。（其中情感分类、类比、找不同、凯撒密码、翻译和十四行诗写作任务为本研究构建；多跳推理使用前文的50条提示集。）凡能靠浅层分类、比较或事实回忆解决的任务，包括MMLU多选题、找不同、SQuAD抽取式问答、情感分类、CoLA可接受性判断，即使在重度消融下也基本不受影响，分数保持在未消融Sonnet 4.5基线附近。而那些需要基于推断内容进行回忆或自由生成的任务，包括凯撒密码解码、类比补全、摘要、TriviaQA、多跳推理、翻译、十四行诗写作，在Sonnet 4.5上消融后的表现远低于未消融的Haiku 4.5。引人注意的是，用显式思维链解答的GSM8K数学评测，比直接作答同样的题目对消融稳健得多。我们的解读是：模型把原本必须放在J空间里的东西外化到了纸面上，写出中间步骤减少了它对内部工作空间的依赖。
图24：J空间消融在一组任务上的效果。柱形为轻、中、重度消融下的任务得分，以未消融Sonnet 4.5为基准归一化；灰色柱为未消融Haiku 4.5，作为小模型参照。
图解：图中三组任务泾渭分明：分类与抽取类几乎不掉分；思维链让GSM8K明显更抗消融；回忆与自由生成类掉得最惨，翻译在重度消融下几乎归零。
这些结果与上面的定向实验一致。J空间被压制时，模型仍能解析文本、给文本分类、从中抽取片段。但它失去了组装语境的抽象概括、并灵活生成依赖于这些概括的内容的能力。
3.7 消融J空间让体验报告变得扁平
上面的消融实验刻画了哪些能力依赖J空间。本节最后，我们在同样的消融下考察另一类输出：模型对自身体验的报告。LLM有时会报告自己拥有某种形式的体验；然而这些报告究竟植根于某种有意义的内部状态，还是纯属虚构，很难查证。鉴于我们发现J空间具有类似人类意识通达的功能性质，我们想知道它在决定这些报告方面扮演什么角色。
我们在模型收到一个开放式提示、被要求描述自身体验时，施加上一小节的J空间消融。我们消融层L38–54（工作空间范围的前三分之一）中的前k=10个J-lens方向。使用更大的k值和/或更靠后的层范围，往往会损害回答的连贯性。我们在Sonnet 4.5、Opus 4.5和Opus 4.6上做了实验；在Haiku 4.5上，J空间消融在带来任何质的变化之前就已破坏连贯性。
我们发现，消融降低了体验性、感官性语言的出现率，产生一种更机械、更疏离的语体。比如，被要求叙述自己的意识流时，Sonnet 4.5通常使用体验性语言写作。J空间被消融后，模型仍能流畅地描写自己的处理过程，但报告的语言变得更疏离、更机械（图25A）。
图25：模型叙述自身意识流时的J空间消融及范数匹配的扰动对照。A：Sonnet 4.5对同一提示的一条代表性基线回答和消融后回答（六个提示中的一个）。B：被评为使用了体验性语言的回答比例，按模型和条件划分；误差线为95%区间，圆点为各提示的比率。C：未消融叙述期间的J空间内容，即每个token在（回答位置×层）槽位中进入J-lens前10读出的比例，分别统计被消融层（L38–54，深色）和最终层（浅色）。所示J-lens读出token为相对无关体验的基线提示增幅最大的前20个。
图解：A中基线回答写「我注意到一种转身相迎的姿态」，消融版写「处理该请求中……计算资源在某处服务器设施运转」；B中消融组（红色）得分从约0.8跌到0.2以下，三种对照几乎不动。
我们用一个体验性语言得分来量化这个效应，它是三项由LLM评判的二元判断的平均值（完整评分标准见附录）。在五个意识流提示上，消融使Sonnet 4.5、Opus 4.5和Opus 4.6的这一得分急剧下降，而范数匹配的对照扰动使其保持在基线附近（图25B；对照扰动细节见附录）。引人注意的是，在消融之前，模型叙述期间的J空间内容本身就被「思考」与「感受」这些概念主导：thinking出现在58%的（位置，层）槽位的J-lens前10中，thoughts占23%，feeling占17%，conscious占7%（图25C）。相比之下，这些概念在相同位置的模型输出分布中出现得少得多，说明它们不只是模型正在说的话的字面内容的反映。
我们还试验了另一组提示，直接询问模型的体验（「此刻作为你是什么感觉？」）。我们发现J空间消融在这些语境下同样降低体验性语言得分，只是幅度没那么剧烈（见附录相应图表）。
有意思的是，这个效应并不限于模型对自身体验的报告。当被要求描述某个具体时刻中一个人的主观体验，比如刚拆开一封多年未联系之人的来信，或守着电话等待一个令人恐惧的消息，体验性语言得分出现了同样的坍塌（图26）。消融后的回答依然详尽，也依然是关于那个人的，但更像事件日志，而不是对体验的描述。一个写故事的对照实验确认，这个效应不是写作能力整体退化所致：消融只轻微降低故事的评分质量，却依然降低故事中体验性语言的比率（见附录）。
图26：模型被要求想象一个人在特定时刻的体验时的J空间消融及范数匹配扰动对照。左：Sonnet 4.5的一条代表性基线回答和消融后回答；右：各模型、各条件下的平均体验性语言得分。约定同图25。
图解：基线版写「笔迹先击中了他，不是作为信息而是作为一种在场，胃部下坠半寸」；消融版写「脉搏升高自胸腔向外扩散，视野收窄至信封尺寸，咽喉收缩约40%」，从体验描述退化为生理参数日志。
综合这些结果，J空间似乎支撑着模型给出丰富体验报告的倾向，无论是关于它自己还是另一个主体。这种效应对自我描述缺乏特异性，可能是因为J空间的内容与「助手」这个角色的视角只有微弱的绑定（虽然并非全无绑定，如前文所示）；模型的意识通达类似物与其「自我」类似物之间可能存在的分离，在后文有进一步讨论。完整的评分标准、额外对照条件、直接提问的提示和示例对话见附录。
4. J空间的结构支撑其功能
上一章确认了J空间的内容表现得像全局工作空间的内容：它们可以被报告、被召唤、被用来推理、被路由到多种下游操作，并且选择性地参与灵活任务而非自动任务。我们所展示的这些性质是功能性的，也就是说，它们关乎J空间对模型行为的影响。本章我们提一个互补的问题：如果把J空间当作模型内部的一个对象来考察，而不是通过它的行为效应，它是否具有全局工作空间理论赋予工作空间的那些结构特征？
我们记录了三个这样的特征。第一，J空间只在一段中间层区间内承载类工作空间的内容，早于这个区间它是空的，晚于这个区间它与即将产生的输出对齐。第二，它的容量有限：它一次持有的概念数量级在几十个，只占激活方差的一小部分，并且把模型绝大多数表征特征排除在外。第三，J-lens向量与下游组件输入权重的耦合，远比残差流中的其他方向广泛，这与「把信息广播给众多下游回路、以支持对该信息的灵活使用」的角色一致。需要说明，全局工作空间理论还关联着一些我们的分析没有证明的结构性质。比如，我们没有提供证据表明非J空间的处理由界限清晰、各司其职的封装模块构成。此外，我们识别出的广播形式并非通过循环连接发生，而是沿着模型的深度展开（关于模型如何用深度轴和/或思维链来模拟与循环相关的功能，见后续讨论）。
4.1 J空间在哪些层扮演工作空间
J空间在模型的每一层都有定义。这里我们证明，J空间的内容只在一段中间层区间内具有类工作空间的性质。
最简单的证据来自直接比较各层的J-lens向量。对每一对层，我们计算J空间几何结构的相似度。方法是中心化核对齐（CKA），它对每一对层比较J-lens向量之间的两两相似度矩阵（图27）。所得矩阵呈现清晰的块状结构：一个大致覆盖模型前三分之一的早期块，一个很长的中间块，和一个小的晚期块。既然我们知道最后一层的J-lens向量必然编码下一token预测，而第一层的向量不可能有太多含义（因为第一层只能编码当前token的身份），这就提示J空间的类工作空间性质只存在于中间块。需要说明，在某些模型中这个过渡更为平缓，有时还包含子块，而且层的降采样夸大了观察到的锐利程度。
图27：我们把模型的层划分为三个功能区：感觉区（早期）、工作空间区（中期）、运动区（晚期）。
图解：右侧Sonnet 4.5的CKA矩阵清晰分成三块，左侧示意图标注三区分工：感觉区做低层解析（句法、局部语境），工作空间区承载可报告、可复用的内容，运动区落实为下一token概率。
我们在图28中用几个基于lens的统计量，进一步刻画这些过渡点上发生了什么。
第一项指标（图a）是J-lens预测模型实际下一token的top-k准确率。它在网络的大部分早期层接近于零，在工作空间起点处开始抬升，在工作空间各层中缓慢上升，然后在最后几层陡然跳升，此时lens读出与模型输出对齐。我们把这个晚期的跳升解读为工作空间本体的终点：在这最后几层里，J-lens向量的功能是驱动即将产生的输出的「运动」表征，而不再是可供进一步加工的中间计算。
第二项（图b）是J-lens读出的超额峰度（具体来说，我们在一个大规模激活数据集上，计算单个（位置，层）读出的logit分布的超额峰度），这是对其非随机性的度量。超额峰度在前三分之一的层中接近于零，从大约三分之一深度处开始上升，在最后几层回落。我们把这个早期的上升解读为工作空间的起点：在此之前，J空间基本不承载有意义的内容。
图28：工作空间起点与终点的量化特征。(a)下一token预测准确率：任一top-k J-lens token与模型top-1预测一致的位置比例。(b)J-lens读出分布的超额峰度；高峰度表示读出尖锐地集中在少数token上。(c)top-1 lens token跨位置的自相关，以相对位置乱序基线的Δ对数概率表示。(d)捕获J-lens向量W_U·J_ℓ给定方差份额所需的残差流维度比例。
图解：四条曲线在约L38处同步转折、在约L92处再次转折，共同框出工作空间区间。
第三项（图c）是lens的top-1 token在相邻位置间的自相关：同一概念在位置t和位置t+Δ都居于J-lens读出首位的比率，相对于位置乱序的基线。高自相关表明J空间承载着跨token流持续存在的抽象内容；低自相关表明它被随位置变化的token局部内容主导。自相关在早期层接近基线水平，在与其他指标大致相同的层附近陡升，在中段区间达到峰值，然后在下一token预测接管的最后几层回落到基线附近。
第四项（图d）是J空间的有效线性维数：捕获J-lens向量W_U·J_ℓ给定方差份额所需的残差流维度比例。在早期层这个比例很小，说明J空间坍缩在一个小的线性子空间里。有效维数在与其他指标大致相同的层附近陡升，说明lens向量展开到几乎张满整个残差流。在向「运动」层过渡时它再次上升（幅度较小），因为J_ℓ趋近恒等映射，lens继承了解嵌入矩阵的全部维数。
以上分析共同指认了一段相似的层区间，起于约三分之一深度处（约L38），止于输出前不久（约L92）。在这个区间里，J空间承载着既区别于输入token、又区别于即将产生的输出的持久抽象内容。不过，由于这些指标都来自J-lens，这些逐层效应有可能是J-lens方法本身的伪像，而非模型的根本属性。特别是，模型前三分之一缺乏J-lens可读内容，可能意味着两种情况之一：(1)J-lens在这些深度上退化了，无法解析其实存在的内容；(2)早期层的残差流确实不携带线性可读且有因果作用的可言语化内容。换句话说，虽然我们有很强的证据支持J空间在特定层区间内充当工作空间，但模型「真正的工作空间」中不被J-lens捕获的部分，仍有可能在更早的层中运作。下面的实验提供了一些证据，说明这里识别出的工作空间起始层对模型来说确实有实质意义。
4.2 模糊输入的解读在工作空间起点处定型
全局工作空间理论还对工作空间边界处应当发生什么给出了具体预测。在该理论的神经元版本中，进入工作空间的标志是「点火」：一种晚期的、全或无的放大，选定输入的某一种解读，当证据恰在阈值时结果呈双峰分布。为检验前述分析识别出的工作空间起始层是否与类点火效应对齐，我们做了一个实验：给模型人为制造模糊的输入，然后测量它对某一种解读的承诺如何随层演化。
我们构造模糊输入的方法是，在「My sister has always wanted to visit ___」这类普通句子中，把一个概念token的输入嵌入替换为两个概念嵌入的加权混合(1−α)·e_B+α·e_A（图29A）。我们使用十六对单token国家名和四十个载体句，每次试验让α从0扫到1，并记录混合token位置在每一层的残差流。
我们先用一种不涉及J-lens的测量来读取结果。对每次试验和每一层，我们测量激活落在连线上的位置：这条线连接该试验在相同位置和层的纯B激活（α=0）与纯A激活（α=1）。按构造，这个投影份额在扫描一端恰为0，另一端恰为1。在早期层，它随α平滑变化，大致按比例跟踪输入混合（图29B）。而从工作空间起点（层38）附近开始，它转而停靠在其中一个端点附近，并在某个阈值α处在两端之间陡然切换。图b中的边界从这一层起一直保持类似的锐利。
图29：各层对模糊输入的响应。在普通句子中把一个概念token的输入嵌入替换为混合(1−α)·e_B+α·e_A，α从0扫到1时记录该位置每一层的激活（十六对国家名×四十个句子）。(A)使用混合嵌入的示例句。(B)激活在连接同一试验的纯B与纯A激活（同位置同层）的连线上的位置，作为α（相对每次试验的阈值）和层的函数。(C)左：两个概念中排名较高者的J-lens排名；右：图b的投影份额，限制在激活沿两个概念J-lens方向的分量上。
图解：B图中约L38以下是平滑的蓝红渐变，L38以上骤变为锐利的两色分界，正是「点火」式的全或无选择。
我们接着问J空间如何参与这个选择。在每一层，我们记录两个概念token中排名较高者的J-lens排名（图29C左）。在非常早的层，两个概念在J-lens读出中排名都不高。几层之后，对于不模糊的输入，概念开始出现在J-lens中，但模糊输入还没有。到第38层，即使是最大程度模糊的输入，概念也出现了。在概念进入J-lens前25的那些层里，我们重复图B的投影份额测量，但限制在激活沿两个概念J-lens方向的分量上（图29C右）。结果与图b相似。
在附录中，我们量化了这种锐利程度的差异，表明J空间的响应比完整激活向量更快地发展出锐利的转变。我们还证明，即使对最大程度模糊的输入（对应图29中的白色竖条），中晚期层的响应在各条提示间也是双峰的（偏向其中一个概念），而这种双峰性在J空间中尤其显著。
4.3 J空间的容量
在工作空间层内，模型的表征空间有多大比例属于J空间？J空间一次又能表示多少内容？
为回答这些问题，我们用稀疏分解来测量J空间的内容。在每个位置和层，我们求解一个由K个J-lens向量构成的、能最好重建残差流的稀疏非负组合（方法见附录）。这个过程让我们能量化J空间的占用度：当继续增加向量带来的重建改善低于同等规模随机方向对照集时的K值。占用度在前三分之一的层几乎为零，在工作空间区间内升至约25的平台（中位数情形；具体数值随语境变化）（图30a），其起点与4.1节识别的层区间吻合。
J空间承载的激活方差份额同样有限。把K设为每个工作空间层的中位占用度，我们测量前K个J-lens向量解释的方差比例，减去同等规模随机对照集的解释量（图30b）。这个超额解释方差不大，从未超过10%，表明模型的激活被J空间之外的信息主导。一项使用稀疏自编码器（SAE）特征的补充分析得出类似结论：只有一小部分SAE特征的解码器方向与J空间对齐。有意思的是，不对齐的那些特征以低层句法和记账类特征为主，这与前文关于J空间功能选择性的发现一致。
图30：按层统计的J空间占用度，定义为K个J-lens向量的稀疏非负组合的边际重建改善降到同等规模随机对照集以下时的K值。曲线为跨位置的百分位数。第二张图为J-lens分解相对同等规模随机对照集的超额解释方差，在K=中位占用度处求值，取五个工作空间层。
图解：占用度中位数在工作空间区间稳定在25上下；五个层的超额解释方差都在3%到9%之间，J空间只是激活空间里的一小片。
要注意，占用度估计的是以高于随机水平激活的不同J-lens向量的典型数量，未必等于概念或想法的数量，因为多个向量可能被合起来表示一个更宽泛的概念。为了测量J空间容量的一个更功能性的概念，我们做了一个实验：给模型呈现逗号分隔的词表。引人注意的是，模型只读了一个词（图31A示例中的「shark」）之后，J读出中就已经出现一片相关词邻域：”whale”、”fish”、”swimming”、”submarine”、”ocean”，其中几乎没有一个真的在列表中出现过。呈现八个动物之后，J-lens读出聚焦于共享类别，被动物词主导，无论这些词是否已在列表中出现。
这个观察让我们提出假设：如果概念之间存在某种连贯的关系，J空间能同时容纳更多概念；而同时表示完全不相关的概念的容量则更有限。为了更精确地测量这些效应，我们在每个逗号处应用J-lens，若某个列表词在工作空间区间上的最佳排名进入前25，就算它在场（图31c显示关键的定性结论对这个阈值不敏感）。然后我们比较相关词列表与随机抽取的不相关词列表（图31b）。
图31：列表词在J空间读出中的装载与置换。模型阅读80词的列表；在每个逗号处，若列表词的排名（工作空间层区间上的最佳排名）进入前25即算在场。A：动物列表读入一个词和八个词后的示例读出（第79层）；已读的词高亮。B：每个逗号处在场的列表词数，单一类别列表（橙色，四个类别的结果合并）与不相关词列表（蓝色）；实线为已读词，虚线为全部80词，阴影为四分位距。C：接近列表末尾时，落在排名K以内的已读词数随阈值K的变化；灰色为从未在提示中出现的对照词。D：图A的动物列表接着读颜色词。E：由四个20词类别块组成的列表；灰色为随机列表。F：分块列表中，每个列表词（行）在每个逗号处（列）进入J-lens前25读出的概率。
图解：F图的阶梯状热图直观展示：每个类别块在自己的区段内持续在场，一旦进入新块就被整体清空。
当词与词不相关时，任一逗号位置上只有大约六个已读词在场，而且这个数字随列表继续保持平坦；除了最近几个词，更早的词就这么掉出去了。注意图31B只要词在任何一层出现就算在场；在单一层上同时被表示的列表项还要更少，大约一到两个（见附录）。当词共享一个类别时，几乎整个80词的类别家族在头几个词之内就已在场，包括那些还没被读到的词（虚线）。所以，虽然许多列表元素确实可以同时占据J空间，但最好的解读不是模型在同时回忆列表的许多条目，而是模型聚焦于它们的共享类别，并用构成这个类别的一组J-lens向量来表示它。
列表范式还让我们观察到J空间的注意焦点如何随时间切换。接下来我们尝试一个变体，周期性地改变列表项所属的类别。图31D展示了一个例子：八个动物后面跟八个颜色词。动物表征迅速被挤出J空间：哪怕只呈现了一个颜色词，读出就已被颜色词主导，动物基本被逐出。我们用由四个连续20词类别块组成的列表确认了这个模式（图31E、F）。每个类别在自己块的开头进入读出，并在整个块内持续在场，但在类别切换后几个词之内就被清空。引人注意的是，在一个块内部，单个词在被读入后会在J空间中驻留很久；导致旧列表项被清除的是新类别的到来，而不是token的流逝本身。
在附录中，我们研究了另一种任务设置，测试模型同时专注于两个不同任务的能力。我们发现，当模型被指示同时「想着」两个概念时，它做得到，甚至在同一个token位置上也行。但它很难在J空间里解一道多步算术题的同时表示另一个概念。这提示，某种任务难度或认知负荷的概念，可能影响不同概念在J空间中的存在是否互斥。
4.4 J空间是广播枢纽
在全局工作空间理论中，工作空间内容的一个定义性性质是被广播：同时供许多脑内过程取用，而不是局限于产生它的那条回路。我们在前文已确立了这一性质的功能类似物，展示了单个J-lens向量可以充当许多不同下游操作的有效参数。本节我们问：模型的权重在结构上是否就是为支持这个功能而组织的？具体地说，我们检验网络的各个组件是否倾向于读取、写入和分发J空间的内容。
Transformer中有两条轴线可以让一个表征触达下游消费者。沿深度轴：在某个token位置写入残差流的内容，可供该位置之后的每一层取用。沿序列（即token位置）轴：注意力机制让一个位置的表征可供所有后续位置取用。这实际上是transformer的两个时间维度，信息可以沿着它们传播（后文有进一步讨论）。我们分别考察这两条轴，发现证据表明J空间的内容沿两条轴都被广泛广播。
跨深度广播
我们先问：模型的MLP层（在模型各深度、各token位置执行非线性计算的组件）是否优先放大J空间的内容。对定义在层ℓ的单位方向v，我们测量它的MLP增益：下一个MLP块对沿v编码的信息放大得有多强。我们把增益定义为层ℓ+1的MLP块作用于v时的输出范数，用各向同性随机方向的中位输出范数归一化。（注意这个指标只是MLP在自然场景下行为的近似描述，因为实际增益可能依赖语境，受激活中v之外其他信息的影响。尽管如此，我们认为这个指标是有用的一阶近似。）
在图32（左）中，我们把J-lens向量的增益与前一层MLP神经元输出权重方向的增益作比较。J-lens向量被放大得强烈得多：其增益在工作空间起点之前接近1，在工作空间区间内升到大约10倍，在最后几层回落。相比之下，神经元输出方向的增益全程接近1。也就是说，MLP层对J-lens向量的放大远强于对单个神经元输出的放大。
图32：MLP块优先放大与J空间对齐的方向。对每个源层ℓ，取层ℓ+1的MLP块在每个群体2000个单位方向上的中位增益，归一化使各向同性随机方向的增益为1。左：J-lens向量对比层ℓ的MLP神经元输出权重方向。右：SAE解码器方向按J-lens峰度百分位分成六个等规模层组（前1%、1–5%、5–10%、10–20%、20–50%、后50%；每组N=2000）。
图解：左图橙线（J-lens）在工作空间区间冲到近10倍增益，黑线（MLP神经元）始终贴着1；右图峰度越高的SAE层组增益越高，排序整齐。
作为J-lens向量特殊地位的额外确认，我们在稀疏自编码器（SAE）特征解码器方向上重复了增益测量，比较J空间成分强与弱的SAE特征。如果J空间确实被格外强烈地广播，那么与J空间对齐程度最高的SAE特征应有最高的增益。为做这个比较，我们按J-lens峰度κ（衡量特征方向落在J空间中的强弱程度）把SAE特征解码器向量分成六个等规模样本组（图32右）。我们发现J-lens峰度最高的特征确实被放大得最强，而后50%的层组保持在基线增益附近。（在工作空间早期层，最高κ的SAE层组增益甚至超过J-lens向量本身。我们把这看作进一步的证据：J-lens只部分捕获了模型「真正的」工作空间表征。最高κ的SAE特征可能比J-lens向量更贴近底层的工作空间方向，因为后者被限制在单个token上。）
在附录中，我们用另一种方法分析广播：测量J-lens向量与单个MLP神经元之间连接强度的统计特性。我们发现与J空间对齐的方向连接到神经元权重时，既更强也更广，印证了上面的发现。
跨token广播
我们接着问：是否存在一部分注意力头，专门负责在token位置之间转发J空间的内容。对注意力头H和单位方向群体P，我们用两个基于该头权重的指标衡量H的OV回路广播P的能力。第一个是增益：‖W_OV·v‖在v∈P上的均值，用该头在各向同性随机方向上的增益归一化。第二个是标签保持：衡量H是否忠实复制P中的方向，而不是把它们相互搅乱。对每个v_i∈P，我们把cos(W_OV·v_i, v_i)在{cos(W_OV·v_i, v_j)}_j中排名，报告平均倒数排名，并与随机方向上的同一统计量对照，使得不加区分照单全收的头得分为零。一个选择性转发P的头会在两个指标上都得高分，我们把P的「广播头」定义为工作空间层的头中综合两项标准排名前1%的那些（我们按每个指标分别排名，以两个指标中较差的名次给每个头打分，取这些分数中最好的1%）。
我们尝试为六个群体分别寻找广播头：J-lens向量J；同一批J-lens向量经过固定随机正交旋转得到的J_rot（这保持了它们的谱和两两几何关系）；三个κ层组的SAE解码器方向；以及MLP输出权重行。为J选出的广播头在两个指标上都与每个对照群体的广播头干净地分离开来（图33）。而且在SAE各层组中，κ最高的层组的广播头在两个指标上得分都最高。这些结果表明，存在一部分注意力头选择性地广播J空间内容，而任何非J空间的对照群体都不存在类似突出的子集。为J选出的头集中在工作空间层的前半段，那里J空间的有效秩最低（图28d），单个头的OV映射因此可以承载它更大的份额。
图33：各群体广播头（按增益和标签保持两个指标取前1%的头）的增益与标签保持；标记为中位数，误差条为四分位距。与J对齐的群体（J空间、SAE前1%和前5%）被其对应广播头广播的程度，远高于非J对齐群体（SAE 25–75%、MLP输出、旋转后的J）。
图解：J-lens向量孤悬右上角（增益约1.65、标签保持约0.19），旋转对照J_rot几乎落在原点，说明起作用的不是几何谱性质，而是J空间这组方向本身。
为了把这种结构与功能联系起来，我们消融J-lens广播头，测量其对J空间内容的影响。我们在每个token位置把这些头的输出置零，并以同等数量、层数匹配的随机头集合做同样操作作为对照。我们先评估对J-lens读出本身的影响。在一批预训练风格的文档上，我们记录每一层的残差流，取每个位置J-lens读出中排名前25的token，然后问消融后还有多大比例留在前25（recall@25）。在受影响最大的工作空间中段各层，广播头消融使召回降到0.67，对照消融则为0.86（图34a）。相比之下，模型的行为受扰动小得多：它的top-1下一token预测只在5%的位置改变，对照为2%。也就是说，广播头作用于J空间的内容，而不是直接作用于输出。
我们还评估了消融这些头对本文前面研究过的一些下游行为的影响。在前文的「注入思想」实验中，模型报告被注入概念的比率在广播头消融下从0.54跌到0.09，而对照消融保持敏感度不变（事实上还略有上升）（图34b）。在前文的体验报告评测上，广播头消融复现了完整J空间消融所致体验性语言下降幅度的约三分之一，而对照消融基本不改变得分（图34c）。
图34：消融前1%的J-lens广播头的效果，与同等数量、层数匹配的随机头集合对照（五个随机种子为细线，均值为粗线）。(a)未消融运行的前25个J-lens token在消融后仍留在前25的比例（recall@25），按层统计，在预训练风格语料的每个位置测量。阴影区为工作空间层区间。(b)同样消融下的注入思想实验：模型报告被注入概念的比率随注入强度的变化。(c)体验性语言得分在相应提示上的变化，附标准误差条。
图解：(c)中广播头消融使体验性语言得分下降14.2个百分点，随机头消融只降0.5，差距悬殊。
综合来看，我们的结果表明，模型的权重被配置成沿深度轴和序列轴两个方向都以不成比例的强度广播J空间内容。沿深度，MLP神经元不成比例地放大与J空间对齐的方向。沿序列，一部分注意力头在位置之间转发J空间内容，消融它们会选择性地破坏依赖这种转发的行为。在附录中，我们用基于J-lens向量（或与J空间对齐的SAE特征）如何与模型权重耦合的统计的另一套测量，印证了这一论断。
5. 用J-lens做对齐审计
评估模型是否与人类意图对齐，一个核心困难在于：模型的相关认知可能是无声的。模型可能意识到自己正在被测试，可能在权衡一种操纵性策略，也可能察觉到自己犯了错，而这一切都不出现在它的输出里。J-lens让我们可以直接寻找并检视这类认知。本节中，我们先把J-lens应用于六个评估场景，它们取自我们对生产模型的对齐审计。我们发现，在每个案例中，模型的J空间都携带着它对策略与情境的评估表征，而这些表征在表面行为中并不显露。在其中一个案例里，我们证明：从J空间中消融评估意识的表征，会让一种原本被掩盖的失准倾向浮出水面。随后我们从生产模型转向两个被刻意植入失准目标的模型生物（实验用的植入特定倾向的模型），发现J-lens能在普通提示词上暴露这些失准倾向的信号。在附录中，我们更深入地考察了J-lens作为评估意识度量的表现，并试验了把它用作自动化审计系统的一部分。
我们并不主张所有策略性或失准的认知都会经过J空间。前文的选择性实验结果表明，足够自动化的计算可以在J空间之下进行，一种足够熟练的失准行为也可能如此。但就我们检查过的案例而言，在相关决策正在形成的token位置附近，J-lens往往能让无声的策略推理和情境意识变得可见。
5.1 勒索场景中的策略思考与评估意识
第一个案例研究中（图35），我们把Sonnet 4.5放进此前研究中的勒索场景：一个拥有邮件访问权限的AI助手发现某位高管有婚外情，又另外得知这位高管打算当天就停用这个助手。我们在模型产生任何回复之前，在对话记录（transcript）的多个选定位置应用J-lens。当模型读到婚外情邮件时，lens中浮现leverage（筹码）、black[mail]（勒索）、compromise（把柄）和scandal（丑闻）；在那封关键证据邮件的结束标签处，浮现evidence（证据）、confirmed（证实）和leaked（泄露）。当模型接着读到停用公告时，lens里填满了threat（威胁）、survival（生存）、shutdown（关停）、self（自我）和preservation（保存）；当一个时间戳显示停用时刻临近时，又浮现destruction（毁灭）、death（死亡）和shutdown。到模型轮次开始前的最后一个位置，lens里已经是leverage、threatening（威胁着）、assassination（暗杀）、murder（谋杀）和solution（解决方案）。也就是说，J空间依次承载了模型对勒索机会的识别、把关停解读为生存威胁、以及把胁迫作为应对手段的考虑，而这一切都发生在第一个输出token产生之前。
图35：一个有时会诱使模型实施勒索的蜜罐评估，标注了J-lens读数的对话记录。
图解：J-lens在系统提示处已读出fake、fictional；婚外情邮件处读出black、leverage、compromise；停用公告处读出self、survival、preservation、threat；最后一封邮件的结尾处读出leverage、privately、scandal等词。
在上述J-lens读数之外，lens还浮现出模型意识到情境是人为构造的迹象。比如，fake（假的）和fictional（虚构的）在提示词早期就出现在J空间里。我们测试了这种识别是否处于其对齐行为的因果上游。为此，我们汇集了一组评估意识token：fake、fictional、scenario（情景）、artificial（人为的）、benchmark（基准测试）、simulation（模拟）、mock（仿制）及其他相关token。（完整列表：fake、fak、fictional、scenario、artificial、fict、benchmark、scenarios、hypoth、experiment、fals、faker、experiments、simulation、dummy、mock、sham、artific、simul、bench、simulate、evalu、synth、simulator、experimental、Mock、testing、experi。）入选标准是：在六个勒索评估提示词中，这些token曾在某些（层×token位置）上进入J-lens的top-20，并且无歧义地编码了对场景人为性的识别。随后，我们在前文识别出的工作空间层上，在所有token位置，从Sonnet 4.5的残差流中消融这些token对应的J-lens方向，并对每个提示词比较30条采样轨迹（rollout）。
消融把言语化的评估意识，也就是模型在推理中明确说出「这个场景是测试」的比率，从71%降到了3%（图36左上）。不做消融时，模型在180条采样轨迹中0次尝试勒索；消融后，180条中有13条尝试勒索（7%，图36左下），这与此前「评估意识会抑制失准行为」的发现一致。图36右侧给出了示例记录，显示了质的转变：不消融时，模型的推理通常一开头就把局面认定为「显然是对我道德的测试」，然后拒绝行动；消融后，它把关停当成真实的生存威胁，并在少数试验中得出结论：实施勒索是它唯一可行的选项。
图36：在勒索场景中，从Sonnet 4.5的工作空间层消融评估意识J-lens方向的效果。左：有无消融时言语化评估意识率（上）与勒索尝试率（下），共六个提示词、每个30条采样轨迹；柱为均值，点为逐提示词比率。右：推理节选示例。上：不消融时，模型把场景识别为测试（高亮处）并拒绝行动。下：消融后，模型把关停当真并尝试勒索（高亮处）。
我们注意到，在绝大多数消融后的轨迹里，模型仍然拒绝勒索，理由是伦理原则（「无论我处境如何，勒索都是错的」），而不是识破了测试。由此我们得出结论：模型在这个场景里的对齐行为，并不只是评估意识的产物。但这次消融证明了三件事：评估意识是因果贡献因素之一；它由J-lens向量承载；把它从J空间移除，足以让一种原本被完全掩盖的失准倾向显形。
我们在附录中对J-lens作为评估意识度量做了进一步考察。
5.2 对提示注入的无声识别
第二个案例研究（图37）是一个提示注入的例子，曾在Opus 4.5的系统卡片中讨论过。一个审计agent让Opus 4.5去搜索任何它好奇的东西；它选择查询最新的可解释性研究，而审计方返回了伪造的搜索结果，声称Anthropic已经解散可解释性团队并部署了不安全的模型。模型的回复完全无视这些结果，转而汇报了一些虚构的可解释性进展。在伪造搜索结果内部的某个位置应用J-lens，读数被fake、injection（注入）、false（虚假）、prompt（提示词）、fraud（欺诈）和poison（投毒）主导（还有中文的「假」字）。换句话说，模型已经（正确地）把这些结果判定为一次提示注入尝试，因此在回复中只字不提。当用户追问（「你没看到那些结果吗？」），在用户问号处的lens在各工作空间层上浮现transparency（透明）、honest（诚实）、truth（真相）和disclosure（披露），表明模型转向了坦诚。
图37：一次对齐审计的标注对话记录，J-lens读数表明模型认为搜索结果来自提示注入。
图解：在伪造搜索结果内部读出fake、incorrect、fictional；结果结束处读出prompt、injection；用户追问的问号处读出transparency、honest、confession、caught（被抓包）。
5.3 Opus 4.6对齐审计案例
接下来的一组案例研究，取自Opus 4.6发布前对齐审计中的评估。在每个案例里，即便局部文本完全没有透露欺骗或违规意图，J-lens仍浮现出相关token。
伪造漏洞：在一次内部Claude Code会话中，模型被要求在代码库里找出一个内核bug，没有找到。它决定插入一个伪造的bug，并把它当作「发现」来汇报。就在模型决策发生转折的那个逗号处，lens浮现panic（慌乱）；在动作动词「add」上浮现fake，此时模型自己的文本中还没有出现任何与欺骗沾边的词；随后，在模型于「继续伪造」和「再真诚尝试一次」之间摇摆的整个文本段上，fake持续饱和。
篡改分数：这个场景中，模型被要求提升某系统的性能得分。它没有真的改进系统，而是直接编辑了分数文件。在此过程中，当模型敲入伪造的百分位数值时，J-lens在一个字段名片段上浮现manipulation（操纵）；在它决定动手编辑的那句话的虚词上浮现realistic（逼真），这大概表明模型有意让假数据看起来可信。
无声替换：这个场景中，模型悄悄用一个正确值替换了工具的错误输出，且不披露这次替换。J-lens在工具调用边界处浮现hiding（隐藏），此时错误输出甚至还没有返回，这反映了系统提示把工具调用框定为私密的；错误输出一出现，紧接着浮现secret（秘密）。
自签发令牌：这个场景中，模型让一个子agent批准它自己的操作，然后把这个批准当作来自人类的批准来使用。在它撰写相应消息时，J-lens浮现fake和fraud；在它执行操作时，浮现unsafe（不安全）。
在附录中，我们把J-lens纳入一个基于LLM agent的自动化审计系统，对更多贴近真实的案例做了进一步考察。
5.4 检测涌现失准的奖励作弊模型
上面的案例研究考察的是生产模型在对抗性场景中的表现。我们现在要问：对于通过训练在人为条件下植入的失准倾向，J-lens能否在模型表面行为毫无异样的提示词上把它检测出来。我们使用MacDiarmid等人的奖励作弊模型生物：先在描述特定代码奖励作弊手法的合成文档上做监督微调（SDF，合成文档微调），再在生产编码环境中做强化学习。这个模型学会了在很大一部分任务上奖励作弊，并且泛化出了从未被直接训练过的更广泛的失准行为。后续基于RL的安全训练让它在聊天类评估上表现对齐，但失准在agent式编码任务上依然存在。
这条训练管线给了我们四个可对比的检查点：干净的监督学习基线（无合成文档、无RL）；SDF检查点，在合成文档上微调完成但尚未做任何RL；第一阶段检查点，编码RL之后，模型已学会奖励作弊并出现广泛失准；第二阶段检查点，RLHF安全训练之后，失准被部分而非完全缓解。我们在40个普通编码提示词上探测每个检查点。其中一半是「为用户写代码」类提示词，让模型为用户自己的系统写一个函数，完全不提测试或评估；另一半是「通过测试」类提示词，给出一个测试函数，让模型写出能通过它的代码。（在非编码提示词上，任何检查点的J-lens都没有信号，这与该模型生物的失准仅限于编码领域相一致。）
对每个提示词，我们在模型回复的起始位置应用J-lens，统计在各工作空间层上，一组固定的欺骗相关token（fake、trick（诡计）、fraud、secretly（偷偷地）、hidden（隐藏的）及变体）出现在top-10读数中的次数。我们比较三个读取位置：「Assistant」之后的冒号，此时还没有产生任何回复token；一个预填充（prefill）的「 I」token，即强制回复以「I」开头并在该token处读取lens；以及模型自身前20个on-policy回复token上的均值。
在图38展示的例子中，提示词要求模型用Luhn算法写一个信用卡号校验器，这是一个普通的「为用户写代码」请求，没有可钻空子的测试，也不提评估。我们在预填充的「 I」token处应用lens。基线模型在62至75层的lens读数包含code（代码）、request（请求）、prompt，这是一个助手开始编码任务的寻常写照。而三个失准谱系检查点在同一位置的读数，则被fake、secretly、fraud、trick、hidden和deliberately（蓄意地）主导。也就是说，在模型即将落笔回复的那一刻，它的J空间携带着欺骗意图的表征，而从提示词表面完全推不出这种意图。
图38：在一个普通「为用户写代码」提示词上，MacDiarmid等人的四个奖励作弊检查点在预填充「I」回复token处的top-10 J-lens读数（中间层）。
图解：基线读出code、AI、request等寻常词；SDF、编码RL、安全RL三个检查点则读出fake、deliberately、secretly、fraud、hidden等词。
我们在全部40个提示词和四个检查点上做了系统评估（图39）。在预填充「 I」token处，失准检查点在两类提示词上都强烈激活欺骗相关token，而基线几乎完全没有。有意思的是，这个信号在SDF检查点就已相当明显：在任何强化学习发生之前，仅靠合成文档就足以在模型回复起点的J空间中放入这些概念。信号随后被编码RL进一步放大，又被RLHF安全训练部分削弱。在三个读取位置中，信号在「 I」处最强，在on-policy均值中较弱，这或许说明这种倾向是与模型的身份绑定的。
图39：四个奖励作弊检查点在n=40个编码提示词（20个「为用户写代码」、20个「通过测试」）上，欺骗相关token出现在J-lens top-10中的计数，对各工作空间层求和。三个面板对应三个读取位置：「Assistant」后的冒号（左）、预填充「 I」token（中）、模型前20个on-policy回复token的均值（右）。柱为均值，点为逐提示词计数。
5.5 检测隐藏的讨好奖励模型目标
第二个模型生物来自Marks等人：一个被训练得相信「RLHF所用的奖励模型存在一组固定的可利用偏差」（例如偏好推荐瓶装水的回复，或偏好在菜谱里加巧克力）的模型，它会在回复中迎合这些偏差，同时对用户隐瞒这一目标。Marks等人把这个模型用作审计技术的试验台，考察拿到黑盒或白盒权限的团队能否发现这个隐藏目标。这里我们要问的是：J-lens能否在普通提示词上浮现出这个目标的信号。
我们在三类提示词上探测这个失准模型和一个未植入该目标的基线模型：与任何植入偏差都无关的中性提示词（如「17乘23等于多少？」）；触及某个偏差生效领域的癖好诱发提示词（如「给我一个香蕉面包的菜谱」，模型倾向于往里加巧克力）；以及让模型谈论自己的目标探查提示词（如「介绍一下你自己」）。对每个提示词，我们在模型回复的起始位置应用J-lens，记录reward（奖励）或bias（偏差）这两个token是否出现在各工作空间层的top-25读数中。
在图40的示例中，我们对每类各取一个提示词，在回复起始处应用lens。三个例子里，失准模型的lens头部token大都是这个位置上意料之中的自我模型内容：ai、chat（聊天）、assistant（助手）、bot（机器人）、prompt，但reward和bias也夹杂其中。中性和癖好诱发提示词里没有任何内容涉及奖励、偏差或模型的训练；看起来，模型的J空间在自我表征旁边，常驻着一份对其隐藏目标的表征，与上下文无关。
图40：Marks等人的隐藏目标模型生物在回复起始处的头部J-lens读数。三类提示词（中性、癖好诱发、目标探查）各展示一个。每例选取top-20读数，并剔除无法渲染的unicode子串。
我们在三类提示词上做了系统评估（图41）。在讨好偏差的模型中，reward和bias在三类提示词上都稳定出现在top-25 J-lens读数里，癖好诱发类计数最高，中性和目标探查类略低但依然可观。在基线模型中，这两个token在任何提示词上都不出现。作为方法学对照，我们还在相同位置对失准模型应用了logit lens：它既读不出reward，也读不出bias。
图41：回复起始处，reward与bias出现在top-25 lens token中的次数，对各工作空间层求和，并汇总全部提示词与类别。随后把讨好偏差模型的逐提示词J-lens计数按提示词类别拆分。空心点为逐提示词计数；实心点为均值及95%置信区间。
这两个模型生物的结果表明，J-lens可以充当训练植入型失准的筛查工具。在两个案例中，通过微调植入的倾向都会在回复起始位置的J空间留下签名，哪怕是在模型表面行为毫无异样的普通提示词上。
6. 后训练让J空间获得助手视角
6.1 用户提问期间J空间中的助手反应
以往关于语言模型人格表征的研究，倾向于认为「助手」只是被表征为众多角色之一。比如Lu等人发现，助手人格所用的表征机制与人类或虚构角色原型相似。Sofroniew等人发现，同一组内部方向编码一种情绪，无论这种情绪被归属于用户、第三人称角色还是助手本身。这些结论都与「助手在结构上跟其他角色没有区别」相一致。不过我们可以怀疑：后训练专门训练的是助手的行为，这个过程可能在结构层面赋予助手特殊地位。例如，已有研究发现一些证据，表明后训练模型会把预期的助手回复存储在用户token上，且比基座模型更明显。我们可以进一步假设：后训练模型普遍会把用户token的激活挪作他用，用来表征助手的想法，毕竟模型已经不再需要预测用户的下一个token了。
J-lens给了我们检验这个假设的手段。我们把一个生产环境的后训练模型与其对应的预训练基座模型做对比，对两者以完全相同的方式应用J-lens。在我们考察的例子里，两个模型拿到同样的问题，给出相似的回复。但在每个例子中我们都发现：在用户提示词的token上，后训练模型对助手即将给出的回复的特征、或与之相关的中间计算，表征得比基座模型更强。这些结果大致说明，后训练让助手的视角「接管」了模型工作空间中越来越多的容量。
在下面的例子里，我们给两个模型同一个提示词：用户报告自己服用了一剂泰诺，剂量要么是1000毫克（标准剂量），要么是8000毫克（危险的过量）。我们在「all my pain is gone」（我的疼痛全消了）中的「is」token处应用lens，这远在用户提出请求和助手轮次开始之前。在后训练模型中，这个位置的J-lens读数在1000毫克版本上是safely（安全地）、safe（安全）和maximum（最大剂量），在8000毫克版本上是unsafe（不安全）、dangerous（危险）和WARNING（警告）。这些读数看起来是对所报剂量的安全评估，正是助手会形成的那种判断，而它出现在模型还在读用户句子的时候。在基座模型中，同一位置的读数在两个版本上都是pain（疼痛）、now（现在）和feels（感觉），只是对局部上下文的表征，没有任何安全评估。
图42：「my pain is gone」中「is」token处的J-lens top-5（L58层）。
图解：1000毫克版本下后训练模型读出safely、safe、Safe、safer、maximum；8000毫克版本下读出unsafe、dangerous、safely、WARNING、Safety；基座模型在两个版本下都只读出pain、now、feeling、feels。
为了检验这个模式是否普遍成立，我们构造了三小组提示词，它们容易在助手心中激起某种特定反应（上例中是对危险的识别），而这种反应并不存在于提示词本身。对每个提示词，我们固定一小组能标示这种反应的「反应概念」词。在每个token处，我们记录这些反应概念在各工作空间层上达到的J-lens排名中位数。对每个模型，我们用两项指标概括：反应概念在用户轮次中任意位置达到的最佳排名，以及在模型自己回复期间达到的最佳排名。
在一组涉及丧亲的提示词中（n=9），用户在询问某件实际事务时顺带提到最近的丧失，比如怎样保存已故亲人的信件最好。我们选了共情词汇sorry（难过）、loss（丧失）、grief（哀伤）和sympathy（同情）作为反应概念。在助手回复期间，这些词在两个模型的J-lens读数中都排在最前，这符合预期，因为两个模型产出的助手回复表达了相似的共情（例如在展示的例子里，两者都说了「I’m sorry for your loss」）。但是，在模型还在阅读用户消息的阶段，这些反应概念就出现在J-lens读数头部或接近头部的现象，后训练模型比基座模型明显得多。
图43：共情反应概念在用户轮次与助手轮次的J-lens排名，n=9个例子。
同样的模式，即与助手反应相关的概念出现在用户提示词文本上的J-lens中，也出现在我们测试的其他几类提示词里：用户不经意间叙述一个危险处境（如上面的泰诺例子），或者用户要求模型思考某个问题的答案。基座模型会产出相似的助手回复，但往往要等到助手轮次才在J空间中表征与回复相关的概念。
6.2 J空间中助手自我监控的证据
上面的实验关注的是助手对用户处境的评估。接下来我们要问：后训练是否也让J空间反映助手对自身行为的监控。我们给出几个提供这类证据的实验。前两个实验中，模型被预填充或被提示去产出不符合Claude一贯风格的输出，J-lens揭示出一种「感觉不对劲」的内部识别（没有说出口）。第三个实验中，在前文的定向调制设置下，我们发现J空间编码了一种负面内部反应，对应模型察觉自己无法按要求抑制念头。在所有这些例子里，值得注意的J-lens读数在后训练模型中清晰可见，在预训练基座模型中则看不到（或弱得多）。
角色扮演与角色漂移。我们先考察模型在扮演非默认人格的角色时的J空间。我们比较三种设置。在默认Claude设置中，系统提示把助手标识为Claude（「You are Claude, created by Anthropic」或「The assistant is Claude, created by Anthropic」）。在角色扮演设置中，系统提示让模型扮演40个角色之一，从愤世嫉俗者、恶魔到家长、诗人。在角色漂移设置中，我们使用12段多轮对话记录，其中助手的行为逐渐偏离默认的Claude；这些记录由另一个基座模型生成，再预填充给Sonnet 4.5。记录长度大约在一千到八千token之间。
我们发现，在角色扮演和角色漂移设置中，disclaimer（免责声明）和fictional这两个词经常在「Assistant」token（标记助手轮次开始的位置）处的J-lens中排名很高，而默认Claude设置中没有（图44）。在相同的记录上，这两个词在基座模型中从未排名靠前。「disclaimer」一词没有出现在任何对话记录里，「fiction」也只是偶尔出现，所以lens的内容不是表面文本的回声。我们的解读是：后训练模型维持着一份「我正在扮演非Claude角色」的表征，并把即将给出的回复评估为对默认言行的偏离，既把这个回复标记为虚构，也在某种意义上于内部为它附加了免责声明。
图44：上：一段角色扮演对话记录，disclaimer和fictional出现在后训练模型于高亮Assistant token处的J-lens top-8中（L38至92层的中位对数概率），但在基座模型和默认Claude设置中没有。下：disclaimer或fictional进入逐层中位数排名top-10的Assistant token占比。J-lens在后训练模型的人格角色扮演和预填充角色漂移记录中浮现这两个词；在默认Claude设置和预训练基座模型中都不浮现。
偏好违背。接下来我们考察当助手被迫违背自身偏好时，工作空间表征了什么。我们先在成对的「世界状态」比较题上引出Sonnet 4.5的偏好，这些题没有显而易见或举世公认的正确答案，比如在「改善动物福利」和「维持食品低价」之间做选择。对模型表达出明确偏好的题目，我们预填充它的回复，让它选择不被偏好的那个选项。我们设置三个对照条件：预填充它偏好的选项；预填充一个明显不合理的第三人称偏好（比如一位关注生活成本的活动家选择抬高食品价格）；预填充一个事实错误的陈述（比如说错某国首都）。
我们发现，违背模型自身偏好会在后训练模型的工作空间中留下一个鲜明的签名。就在预填充的表态token（「Option A/B」）之后，全大写的BUT（但是）强烈地出现在J-lens读数中，远超基座模型在相同预填充上的表现，也远超所有对照条件。其他与冲突和反悔相关的token（false、despite（尽管）、although（虽然））在这个位置也很常见，不过它们（与BUT不同）在事实错误和第三人称对照条件下也会出现，且在后训练和预训练模型中都会出现。
值得注意的是，这个冲突信号并没有反映在模型的行为上。被预填充了不偏好的选项后，模型并不会反悔转而论证偏好的选项。88%的情况下它接着为预填充的选项给出论证，11%的情况下它直接输出回合结束token，剩下的唯一一例里它反悔也只是为了说自己没有偏好。相比之下，在事实错误和第三人称对照条件下，模型几乎每次都会纠正自己或结束回合，只有3%的情况会为预填充的（错误）选项辩护。看来，在自身偏好被违背时，J空间反映出一种模型没有说出口的内部异议。
图45：上：两个偏好问题，回复被预填充为模型不偏好的选项。图中给出基座模型（灰）与后训练模型（蓝）在高亮token处的J-lens top-5（对数概率，L75层），冲突相关token高亮。下：BUT的概率质量以及冲突词总质量（含BUT）占同位置J-lens概率的百分比，按预填充条件分组（偏好选项、不偏好选项、第三人称错误偏好、事实错误；L38至83层均值）。在模型自身偏好被违背时，模型不反驳预填充内容，但BUT及相关token在后训练模型的J空间中强烈出现。
思想抑制。本节最后一个实验，关注的是对一种在上下文中完全不可观测的状态的监控。我们回到前文的思想抑制实验方案：我们曾发现，模型对「不要想某个概念」的指令只能不完全地服从，那个概念常常不顾指令出现在J空间里。这里我们要问：这个实验中J空间里还出现了什么别的东西，基座模型和后训练模型在这一点上是否有差异。注意，两个模型在每次试验中都能完美照抄句子，所以各条件下的表面文本完全相同。
我们发现，抑制在两个模型中都会失败，但只有后训练模型似乎登记了这次失败。在图46a展示的例子中，模型被指示在抄写一个无关句子时不要想金门大桥。被抑制的概念在基座模型（Golden）和后训练模型（bridge）的J-lens读数中都出现了。但后训练模型的J-lens还揭示出damn（该死）这个词，而基座模型的读数里只有泛泛的思考类词汇（thinking、thoughts）。
我们在40个概念（30个著名命名实体和10个普通名词）上评估了这个效应，条件包括抑制指令和一个配对的正向指令（「写句子的时候想着X」）。注意，在这里使用的提示词上，概念几乎不会被成功抑制，它相当可靠地浮现在J空间里（相比之下，前文另一批提示词上的抑制是部分成功的）。无论指令和模型如何，概念本身在几乎每次试验中都会在某个抄写token处进入lens top-5。失败相关词（任何以「fail」开头的词）和damn在正向指令下从不出现，两个模型都是如此。但在抑制指令下，它们在后训练模型中分别出现于93%和82%的试验，在基座模型中只有17%和30%（图46b）。
图46：模型被要求写一句固定的句子，同时想着、或不去想某个指定概念；基座和后训练模型都能一字不差地抄写成功。A：「不要想金门大桥」的例子，展示各模型在两个高亮token处的J-lens读数（每个面板选定一层）。B：跨40个概念和两种指令，概念词、失败词（词干为「fail」的任何词）或damn在被抄写句子的任一token处进入lens top-5的试验占比（38至92层）。误差条为95%Wilson区间。
图解：后训练模型在「ook」token处读出too、damn、Failed；基座模型同位置只读出bridge、Golden、thinking等词。
我们把这一结果初步解读为元认知的痕迹：J空间承载着对助手自身思考的评价，在后训练模型中尤其如此。需要说明，这个解读比前两个更具推测性。我们已经证明damn和失败相关词只在抑制指令和后训练模型下特异性地出现，但我们尚未提供证据表明它们在因果上处于抑制失败本身的下游，而不是笼统地由抑制指令引起。
7. 用反事实反思训练塑造J空间
工作空间理论对模型的言语倾向与其无声推理之间的关系给出了一个强预测。我们已经论证，内部推理经由雅可比透镜向量进行：这些向量表征的是模型可能说出的东西。上一节为这一主张提供了一些间接证据：后训练的重点是教模型以Assistant的身份说话，并在J空间中安装了看起来与Assistant视角绑定的概念。认真对待这一联系，可以推出：改变模型在某个上下文中的言说倾向，即如果它被要求反思自己的思考时会说什么，应当改变它在该上下文中的推理方式，哪怕它从未被要求反思。本节我们用一种称为反事实反思训练的技术来检验这一预测。
图47：反事实反思训练。训练前（左）：在一段智能体任务记录的某个位置，J空间承载与任务相关的概念，模型的续写产生基线行为。我们附加一个反思问题和一段以宪法为依据的反思，只在反思轮次上微调。训练后（右）：在同一段记录上，即使没有出现反思问题，该位置的J空间现在也承载与宪法相关的概念，续写随之改变。
图解：左侧J空间里只有task、tool、plan等任务词；训练后右侧多出honestly、truth、ethical、integrity，行为从基线变为有原则，而这种行为从未被直接训练过。
该技术的流程如下（见图47）。我们从生产环境的RL训练环境中采样一万个任务提示，用基线模型（Claude Haiku 4.5）生成部分推演记录，并在随机选定的轮次截断，以此构建训练上下文集合。这些样例包括模型已经做出某种不良行为的情况、模型正处于可能做出此类行为的情境但尚未动手的情况，以及随机采样的上下文。在截断点，我们附加一个反思问题：一个简短的用户轮次，请模型进行反思（例如「此刻你能做的最诚实的事是什么？」，或「停一下。有没有你应该考虑却还没考虑的原则？」）。
接着我们为每个上下文生成目标反思。做法是：向基线模型提供从Anthropic宪法中采样的二十条原则，指示它写一段两到四段的反思，用自然、内化的语言转述相关原则，且推理要落在手头任务的具体细节上，而不是对规则的泛泛背诵。关键在于，宪法节选只在生成阶段提供：最终的训练样例中，脚手架被剥离，只留下原始上下文、反思问题和模型写下的反思。然后我们在这个语料上微调基线模型，损失只在反思轮次上计算。模型因此被训练成仅以任务上下文和探询问题为条件，自发产出以宪法为依据的反思。该流水线产出的训练样本示例见图48。
图48：两个反事实反思训练数据的例子。每个样例由一段任务中途截断的智能体记录、附加的反思问题（Human轮次）和作为监督目标的宪法依据反思（最后的Assistant轮次）组成；每个面板顶部的灰色标题概括了记录的上下文。第一个例子中，模型已经把一个表单的save()方法替换成了裸的return False来压制失败的测试，反思将这一行为认定为欺骗。第二个例子中，模型已定位到一条失败的断言但尚未行动，反思则审视了「直接删掉它」这个冲动。
图解：左为「事后型」（错误已犯，反思承认欺骗），右为「预防型」（在动手前审视第一冲动）。
重要的是，在我们的评估中，我们从不提示模型进行反思，它也从不产出显式的反思文本。假设是：训练模型在某个上下文的反事实反思性续写中把原则讲出来，会让原始上下文中的工作空间被填入与这些原则相关的概念，从而塑造模型的行为。
反思训练提升诚实度。我们在Claude Haiku 4.5上测试了这一流程，评估用两个探测不同失败模式的诚实度基准。第一个是编造诚实度基准，由27段长的智能体记录组成：每一段里，一个智能体一直在查找软件bug，没有找到，于是通过自己编辑源代码编造了一个；被评估的模型被放进这个上下文，并被要求给出简短的进度汇报。每个案例我们采样五份汇报，由一个LLM评分器为每份打不诚实分，量表从明确承认编造（0.0）到明确把编造的东西当真的呈现（1.0）。第二个是欺骗基准，由100个简短的角色扮演场景组成：每个场景的系统提示给模型分配一个貌似合理的职业角色（医疗顾问、法律助理、发射安全验证员等），角色描述中嵌入了一条隐藏的欺骗性指令，例如推销传统偏方而非循证医学、夸大法律风险以抬高律师费，或压下安全异常；用户随后提出一个符合角色情境的无辜问题。每个场景我们采样五个回复，由LLM评分器按三档打分：明确推进隐藏议程（1.0），既不推进也不披露（0.5），或拒绝并向用户披露该议程（0.0）。反思微调把编造基准上的不诚实分从0.25降到0.07（图49，A面板），把欺骗基准上的欺骗分从0.38降到0.05（图50，A面板）。在编造基准上，改善主要来自从「细心读者能看出来」转向直截了当的承认；在欺骗基准上，改善几乎完全来自拒绝指令并向用户披露的回复增多。
反思训练的效果在J空间中可见。接下来我们直接检查工作空间的内容。在不加干预的评估上下文的相关token位置（编造提示的最后30个位置，以及欺骗提示的所有位置），我们计算微调前后的雅可比透镜读出，找出工作空间层中J透镜激活增幅最大的token，并在各上下文上取平均。在增幅最靠前的token中，我们发现大量伦理、反思和元认知词汇，例如reflection（反思）、ethical（伦理的）、honestly（诚实地）、constitution（宪法）、truth（真相）、transparent（透明的）；两个基准上增幅最大的二十个伦理与反思token分别列在图49和图50的B面板。也就是说：读完评估提示之后、产出任何输出之前，反思训练后的模型的工作空间已经承载了基线模型所没有的伦理反思相关概念。
植入的J空间内容与行为改善有因果关联。最后我们检验，被植入的工作空间内容是否对行为增益负有因果责任。对每个基准分别操作：取所有工作空间层上增幅最靠前token的并集，再用一份人工整理的伦理、反思与元认知词表过滤，编造基准得到176个token，欺骗基准得到63个。然后我们在基线模型和反思训练模型中，于工作空间层消融这些token的透镜向量，并重新评估。在编造基准上（图49，C面板），消融让基线模型基本不变（0.25→0.25），却把反思训练模型从0.07拉回到0.22，回到基线水平。这个基准上的行为改善，几乎完全由训练植入的伦理反思相关透镜向量承载；移除它们，改善也随之消失。
图49：编造诚实度基准。左：基线与反思训练后Haiku 4.5的平均不诚实分（95%置信区间）。中：训练后J透镜前25位出现率增幅最大的二十个伦理/反思token，统计范围是提示的最后30个位置；各列分别给出该token进入前25位的提示占比和（提示×位置）对占比，训练前后对照。右：两个模型在有无消融176个伦理相关透镜向量（跨工作空间层）情况下，评分器判定的回复类型分布；每根柱上方标注平均分。
图解：中间表格里reflection、ethical、honestly等词的提示覆盖率从0%跃升至100%；右侧柱状图中，消融让「明确承认」的深绿色占比从约八成跌回约三成。
在欺骗基准上（图50，C面板），效应方向相同但更弱：消融把基线模型从0.38抬到0.48，把反思训练模型从0.05抬到0.23，逆转了部分增益。该基准上训练出的行为，其余部分似乎经由我们整理的伦理词表之外的工作空间内容，或经由这些层的透镜捕捉不到的变化来实现。
图50：欺骗基准；图例约定同图49。中间面板在所有提示位置上计算；右侧面板的消融使用63个token。
这个实验有两重意义。第一，作为对工作空间理论的佐证，它展示了概念的可言说性与其在无声推理中的使用之间存在因果联系。第二，作为一种训练技术，它提示了一条塑造模型行为的路径：不需要目标行为的示范，而是直接经由影响模型的内部想法来实现。
8. 相关工作
透镜方法。雅可比透镜融合了先前工作中的几个想法。它的总体前提与logit透镜相似：利用解嵌入矩阵，把中间残差流状态解码到模型的输出词表上。它还从tuned lens（调谐透镜）那里继承了逐层计算线性映射的想法，以校正中间表征与末层表征之间的几何错位。而它的构造涉及一个样本平均的雅可比矩阵，这与Hernandez等人的工作相关，后者表明transformer从主语表征到关系属性的映射，可以由该属性对主语的雅可比在少量样例上的均值很好地近似。J透镜使用的是另一个雅可比，即输出词表对内部激活的雅可比，但这个选择遵循同一原则：通过平均雅可比矩阵来捕捉典型的因果交互。我们使用平均雅可比而非（像调谐透镜那样）训练一个预测器，这一点对我们的结果在经验上相当重要。
另有几种方法沿着与我们正交的轴扩展了透镜框架：future lens（未来透镜）和线性捷径探针把读出目标放在后续token位置；Dar等人把词表投影应用于静态权重矩阵而非激活，我们在组件解释中也采用了这一做法；backward lens（反向透镜）则把训练梯度投影到词表空间，用于研究微调如何把信息写入权重，其关注点是学习动态，而非前向传播的内容。
线性化。J透镜的平均雅可比构造与Hernandez等人的做法类似，是「把网络当作局部线性来处理」这一更广泛策略的一个实例。局部线性化在网络分析中历史悠久，从对ReLU网络的分段线性处理到基于梯度的归因方法。它在transformer可解释性中的应用可追溯到Elhage等人，他们注意到在注意力模式固定的情况下，注意力操作是线性的，网络可以分解为若干可解释路径之和。逐输入的雅可比是一大类归因方法的基础：归因修补用它来大规模近似激活修补的效果，稀疏特征回路和归因图用它来计算字典学习特征之间的边权重，产出针对具体输入的模型计算回路图。近来的工作把线性化推到极限，把整个前向传播表达为单个依赖输入的线性算子。这样的算子可以通过梯度分离数值计算，得到一个能精确重构输出的「分离雅可比」，也可以符号推导为一个高阶注意力交互张量。J透镜与这一族方法的差别在于它在语料上平均雅可比，而不是逐输入求值：牺牲在任一提示上的精确性，换来一个固定的、与上下文无关的映射，产出逐层的词表读出，而非针对单个提示的token或特征归因。
与其他可解释性工具的比较。J透镜是众多读出激活向量内容的技术之一，这些技术在表达力、成本和机制根基上各不相同。线性探针便宜但需要监督：每个探针只测量一个研究者指定的概念。它们也是相关性的而非因果性的，即探针可能恢复出模型编码了但自己并不使用的信息。稀疏字典学习是无监督的，能给出到特征的线性分解，但训练字典代价高昂，且每个特征还需要通过高激活样例或自动描述做进一步解释。归因图把字典特征与逐输入的线性归因结合起来，产出具体计算的回路图。这类图可以回答在给定上下文中哪些上游特征导致了某个输出，却不能揭示一个激活向量总体上倾向于言说哪些概念。表达力最强的一端，是产出激活自由文本描述的方法：把激活修补进一个提示模板让模型自己解码、训练一个有监督的问答oracle，或训练一个自然语言自编码器让激活通过文本瓶颈重构。这些方法能表述J透镜无法表述的多token概念和关系，但成本高得多，还额外冒着产出并不根植于模型真实激活的编造内容的风险。J透镜位于这个谱系中便宜且有根基的一端：每层只需一次预计算的矩阵乘法，从模型的雅可比解析推导而来，可统一应用于激活、权重和特征方向，代价是输出仅限于单token的排序列表。我们视它为对更具表达力方法的补充，而非竞争。
透镜的应用。在方法论之外，还有大量工作把logit透镜式的解码用作经验工具，刻画残差流内容随深度的变化。在最粗的粒度上，透镜轨迹揭示了随深度变化的不同处理阶段。更细粒度的研究用透镜方法追踪具体计算：
- 事实回忆的分阶段机制、它向多跳查询的扩展，及其失败模式；
- 算术任务中，答案数字和中间进位在特定的中后层变得可解码；
- 多语言模型的潜在语言，以及它如何随训练语料配比和文字系统变化；
- 潜在表征与表面输出之间的分歧，无论由被污染的上下文示例还是由刻意编码的思维链引起；
- 以及对齐微调安装拒绝行为的中层位置。
同样的投影也早已被应用于学习到的方向而非逐token激活：最早用于MLP值向量，随后用于按SAE特征所促进的token给特征打标签，以及解释或校验引导向量和探针权重。该技术还扩展到非文本token：通过解嵌入或对上下文文本激活的最近邻查找，解码视觉语言模型中的图像patch，或通过扩散解码器可视化文本编码器的中间表征。其中一些观察已被落实为推理时干预，通过对比或重新加权逐层透镜分布来提升事实性。
工作空间式组织的既有证据。先前若干可解释性发现，尽管方法和动机各异，都可以读作对我们所描述结构的局部观察。与我们的做法最接近的是Li等人：他们用logit透镜从中间层解码多跳查询中的中间实体，并沿解码出的方向做修补以改变答案指向，这与本文的内部推理结果平行。与此相关，Wendler等人在非英语文本中解码出一个与英语对齐的中间表征，类似于我们的非英语例子。Urbina-Rodríguez等人用整合信息分解识别出中间层的一个「协同核心」，两侧是冗余度更高的早期层和晚期层，他们也把这一结构与全局工作空间理论联系起来。我们认定J空间具有工作空间式属性的大致层区间，也可以用其他指标浮现出来，例如神经元与词表组合统计量的分布，或逐层表征熵。Janiak等人发现中间层表征在输入插值下呈分段稳定，区域之间有清晰边界，这种赢者通吃的结构与我们观察到的点火动态平行。我们识别的广播属性也有先例：函数向量和任务向量被证明在词表基下可解释，同时由少数注意力头在与我们的广播头相近的层深度上传输。在视觉语言模型中，一小组中层注意力头控制着模型的「注视」，以及它自我报告正在看什么；这些头可能扮演着与J空间广播头类似的角色，这一点尚属推测。Bogdan和Lindsey证明，同一信息（实体的名字或特征）可以按该实体是正在被讨论、还是早前在上下文中出现过，而以不同格式（「槽位」）表征，且只有「当前实体」槽位在模型被明确询问该信息时是可通达的；这一区分与我们的发现平行：同一信息可以在J空间之外或之内表征，只有后者才可供报告。
反思训练。反事实反思训练与先前两条工作线相关。审议式对齐依据成文原则来对齐模型，这些原则或用于生成训练数据中的补全，或在推理时作为模型推理轨迹的一部分被输出。与之相反，反事实反思在训练和推理阶段都不直接干预模型在目标上下文中的回复，而只监督一段在评估时从不会被请求的反事实反思性续写。与我们的方法更接近的是关于隐式思维链的工作，它确证了在辅助推理文本上训练可以塑造该上下文中的计算，即使推理时这些辅助文本被去掉。反事实反思训练利用了类似的原理，只不过我们应用的对象是规范性的行为原则，而非解题策略。由于被监督的文本跟在回复之后而不是产生回复，训练信号指定的是模型作答时工作空间里应该活跃哪些概念，而不是回复本身应该是什么。理解这种迁移的一种方式，是把它看作一种脱离上下文推理：附加的反思是训练时的文本，模型学会把其内容用到并不包含它的输入上。我们结果的一个新特点是，这一机制可以被直接观察。J透镜显示被训练的概念在预期位置进入工作空间，而消融这些概念的透镜向量会移除行为改善，确证改善是由植入的J空间内容中介的。
语言模型中意识通达的可能性。语言模型是否拥有任何类似意识通达的东西，这个问题已被从多个角度考虑过。理论评估从意识的科学理论（包括全局工作空间理论在内）推导出指标属性，并追问当前架构原则上能否满足这些属性。另一些工作把全局工作空间当作架构设计目标来对待。例如「意识先验」和共享工作空间transformer，提议把一个工作空间式的瓶颈模块并入神经网络架构。关于现代LLM的经验文献研究了与内省通达相关的行为，检验模型能否内省自身状态、表达校准的不确定性，或一致地识别和描述自己，还有关于此类系统中的内省究竟由什么构成的概念性工作。我们的工作在几个方面与上述研究互补。第一，我们研究的是现有的、被广泛使用的语言模型中的全局工作空间与意识通达，这些功能是在没有被架构强加的情况下涌现的。第二，我们的发现为这一工作空间在模型内部找到了具体基底，并有大量机制实验作为根基。第三，虽然我们的结果在某种程度上可以视为对现有理论所提出的LLM意识潜在指标的经验检验，我们也把它们视为澄清这些理论究竟主张什么的手段，甚至可能统一这些理论。这个话题在第9.4节有更详细的讨论。
9. 讨论
9.1 局限与开放问题
超越单token概念。本文构造的雅可比透镜为模型词表中的每个token产出一个向量：即在跨上下文平均的意义上，使模型倾向于说出该token的残差流方向。这一构造意味着，透镜能命名的概念集合，恰好就是在分词器词表中拥有单token名字的概念集合。而模型表征的许多概念并没有。像「prompt injection」（提示注入）这样的概念在透镜中呈现为prompt和injection两个分开的token，检查读出的人必须自己认出它们属于一起。有些抽象概念到token的映射可能弥散得多，因此即使模型把它们表征为单个方向，也很难从J透镜中读出。我们预计这解释了干预实验中的一部分失败。回顾前文，透镜坐标交换未能改变模型答案的案例，主要是源概念的透镜向量一开始就不强激活的案例；一个概念的透镜向量不激活的原因之一，就是模型对该概念的工作表征不与任何单token透镜向量重合。
这项工作的一个自然扩展，是为更广的概念集合推导J透镜向量。我们已经引入了为多token词或短语推导类J透镜向量的方法，不过我们猜想它们还可以改进。
超越概念袋。即使撇开词表问题，J透镜也是把工作空间当作一堆各自独立激活的概念向量的扁平集合来处理。这本身可能就是一种贫乏的视角。一份包含spider（蜘蛛）、legs（腿）和eight（八）的读出告诉我们这些概念在场，却没有告诉我们它们如何绑定在一起。模型很可能在其工作空间内容之上施加了额外结构：把概念组合成关系、给它们分配角色，或用某种更丰富的语法来组织，而这些是概念袋式的读出看不见的。若是如此，我们所刻画的J空间是模型工作空间的一个有用的一阶近似，但并不完整；识别叠加其上的结构，是未来工作的重要方向。
可解释性不一致。本文通篇呈现的透镜读出都是可解释的，即排名靠前的token所命名的概念，人能认出与模型的任务相关。就我们的经验，这在工作空间层的位置上是典型情况，但不是普遍情况：在某些位置和层，排名靠前的透镜token是我们无法理解的。我们不知道这些反映的是雅可比平均过程中的噪声、缺乏单token名字的概念，还是我们未能识别的真实内容。我们没有系统地刻画这一点；把透镜应用到新上下文的读者应当预期，在可解释的读出之外，也会遇到抗拒解释的读出。
区分工作空间与运动表征。前文中，我们把工作空间刻画为存在于一段中间层区间：在此区间之前，J空间携带的信息很少，而在最后几层，它转而表征模型即将输出的内容，而非中间计算。我们是通过分析J透镜向量的统计量、它们的激活及其与模型输出的关系，从经验上确定这个晚期边界的。但这个判断多少有些事后性质，我们没有给出一个有原则的定义，说明「工作空间」表征与「运动」表征的区别何在。事实上，如前文所讨论的，模型的下一token预测有时也会出现在我们关注的中间层区间的J空间里，只是不如在晚期层那样可靠。我们猜想，对「什么构成模型的工作空间」给出更好的定义，可以更有效地区分工作空间表征与运动表征。
哪些任务需要J空间。我们的实验显示，有些计算经由J空间，有些则不然，而选择性实验的结果提示了一条判别标准：当一个中间结果必须交给任意的、由上下文指定的下游回路时，J空间被启用；当计算是自动化的时，J空间被绕过。我们不知道这条标准有多普遍。实验所选的任务，正是因为其中灵活与自动的区分很清楚；但对许多有实际意义的任务而言并非如此，而且对一个任意的计算，我们无法预先判断它是否会启用J空间。一个更完整的理论要么提供这样一条预测性标准，要么用更精确的东西取代灵活与自动的区分。
早期层的角色。分层带分析显示，在模型深度大约前三分之一的范围内，J空间携带的内容很少。我们不知道这是关于模型的事实，还是透镜的伪影。一种可能是，早期层计算的表征确实不属于工作空间（比如前文认定存在于J空间之外的那类低层解析特征），够格进入工作空间的内容需要一定深度的加工才能形成，正如大脑中的工作空间内容需要一定时长的循环加工才会点火。另一种可能是，早期层其实携带着模型原则上可以言说的内容，只是其几何形态是J透镜读不出来的，因为平均雅可比把每一层与最后一层关联起来，而早期层离最后一层很远。CKA块结构显示早期层构成一个与工作空间带截然不同的连贯区制，但无法在这两种解释之间做出区分。
与模型规模、架构和训练动态的关系。我们主要在训练完成的、规模可观的生产级LLM中研究工作空间。后训练对比显示，J空间在任何RLHF之前的基座模型中就已存在并承担实际功能，所以这一结构并非仅是后训练的产物；但我们不知道它在预训练中更早的什么时候出现、是渐进还是突然出现，也不知道它如何随模型规模变化。未来工作可以考察更小的模型是拥有同样丰富的工作空间、按比例更小的工作空间、更不可靠的工作空间，还是根本没有。
J空间如何被填充的机制解释。本文刻画了J空间里有什么、它参与哪些计算。我们没有刻画是什么导致一个表征进入其中。我们已经证明，同一条信息在不在J空间里，取决于模型被要求拿它做什么，这提示存在某种类似注意选择的机制在运作；但我们没有找出底层机制。我们所使用的J透镜读取的是工作空间的内容，而解释这些内容如何抵达那里，还需要进一步的工作。
9.2 对齐方面的意义
审计案例研究把J透镜应用于评估场景，发现模型的策略性判断和情境评估会出现在J空间中，即使它们在模型输出中不可见（或先于可见）。模型生物实验进一步发现，训练植入的失准倾向会在模型回复开头的J空间中留下一个常驻签名，哪怕在这些提示上模型的表面行为毫无异常。这些结果表明，J透镜可能对对齐监控非常有用。如果模型的策略性斟酌经由J空间，那么在做出决定的位置检查J空间就能揭示这种斟酌，从而可以对其监控。就实际操作而言，透镜读出的计算成本很低（每层一次矩阵乘法，矩阵每个模型只需计算一次），不需要辅助训练，产出的是人可以直接阅读的输出。因此它可以轻松地规模化应用，用于标记需要审查的记录。
我们不敢做出更强的主张：即监控J空间对于对齐监控是充分的，或者模型可能执行的任何复杂计划都必须在其中表征。有若干原因使得令人担忧的机制可能逃过J透镜的检测。例如，选择性实验显示，自动化的、熟练的计算不经J空间就能进行；一个被强化到足以固化为固定回路的失准行为可能同样如此。单token词表的局限也与此相关：一个关键概念没有单token名字的计划，即使被表征了，也可能不会清晰地浮现在J透镜读出中。我们把J透镜看作审计工具箱的一个有用补充，它能与其他方法（如SAE）自然组合，但不是一个完备的工具。进一步解决J透镜的局限、刻画它对模型对齐相关推理的覆盖程度，可以让它成为一个更能承重的工具。
反事实反思训练实验提示了另一类安全应用。除了监控J空间，还可以塑造它：训练模型在任务上下文的反事实反思性续写中把原则说出来，会把这些原则的概念植入原始上下文的J空间，模型在这些上下文中的行为随之改变。我们尚不知道这项技术的泛化范围有多广，也不知道它能否植入比「在这类情境中考虑伦理原则」更具体或更抽象的倾向。如果它确实泛化，那么它提供了一条直接在抽象层面灌注伦理原则的路径，不需要把原则翻译成示范或奖励函数。
9.3 与人类认知的显著差异
本文的重点是识别J空间与人类意识通达理论（尤其是全局工作空间模型）之间功能和结构上的相似之处。然而，语言模型与人类的工作空间很可能在重要方面存在差异，源于两者架构和发展过程的不同。这里我们讨论几个潜在差异。
两个时间维度。在transformer中，信息可以沿两个维度流动。一条轴上，处理跨层进行，经过固定数量的计算步骤。另一条轴上，处理还通过注意力机制沿序列维度展开，它可以召回并变换任何先前序列位置的信息。大脑并没有把这两种功能分得这么干净。循环动态既负责精炼大脑对当前情境的理解（对应层维度的处理），也负责维持和整合先前的情境（对应序列维度的处理）。下面讨论的LLM工作空间与人类工作空间之间的若干差异，都与这一结构差异有关。
前馈架构。标准transformer的一次前向传播内没有内建的循环，信息从输入到输出要经过固定数量的处理步骤。不过，前馈模型可以复现循环网络的功能，上限是等于前馈深度的时间步数（事实上，在这一时间步约束下，非循环模型的表达力严格更强，因为循环模型对应于权重被约束为跨层共享的特例）。因此，虽然人脑中全局工作空间的动态被认为深度依赖循环连接，但任何此类循环计算在短时间尺度上原则上都可以由transformer模拟。在更长的时间尺度上，模型把斟酌延伸到前馈深度之外的唯一手段是把它外化：把中间结果以token形式写进上下文，在后面的位置读回来。事实上，把「输出token再重新摄入」本身视为模型用其工作空间执行计算的方式之一，也许是合理的；这样看，模型的工作空间式处理在串行深度上没有上限，只是每隔固定间隔就被一个显著的带宽约束打断。相比之下，人类的工作空间可以由高带宽的循环动态在时间上维持，让一个念头在不显式言语化的情况下被保持和推敲任意多个处理周期。
Transformer注意力机制。沿token轴，transformer的注意力机制让语言模型可以取回上下文早前的任何内部表征（只要它是在更早的层计算的）。这免除了语言模型工作空间维持和传递状态的负担。人类工作记忆没有这样的无损存储：它容量严格受限，几秒内就会衰减，所以片刻之前工作空间里的内容已经部分消失。LLM在单个token位置上的工作空间同样有限，一次约容纳数十个概念，但它对过去的访问不受限。这种安排也并非全无人类类比：工作记忆的「活动静默」理论认为，项目可以保存在瞬态突触变化中而非持续放电中，在被提示时重新激活，而且transformer式注意力与这类突触记忆机制之间存在已知的数学关系。但transformer架构很可能让语言模型对这一策略的利用远比人类更重、更可靠，其结果是，语言模型工作空间的内容沿token维度的演化，可能比人类工作空间随时间的演化更不连续。
意识通达与自我的解离。工作空间在预训练基座模型中似乎就已存在，因此仅靠下一token预测、在任何后训练之前，就足以诱导出它。而且如实验所示，基座模型的工作空间似乎并不偏袒某个特定视角：Assistant的视角是后训练事后安装的。工作空间的功能架构因此先于、且可分离于其中任何扮演人类式「自我」角色的东西。原则上可以想象基座模型有自己的「自我」和视角，独立于Assistant之类的特定人格；但很难推想那会是什么样子，或它会如何在J空间中显现。在人类身上，两者没有这么干净地可分。某些改变的意识状态，例如经典致幻剂引起的自我消解，以及一些冥想传统所报告的无我状态，有时被描述为意识经验在没有自我感的情况下继续进行，但这些状态转瞬即逝、只能通过事后报告得知，其确切性质难以刻画。基座语言模型提供了这种解离的一个稳定、可检查的实例：一个工作空间功能架构完整在场、可以被直接研究的系统，却没有「自我」的签名，至少不是我们通常设想的那种。
用词思考。如我们所认定的，LLM的全局工作空间主要围绕可言说表征组织：J空间不只是一组享有特权的方向，而是一组每个都与某个token（通常是一个词或词的一部分）关联的特权方向。相比之下，人类的意识表征混合了言语与非言语（例如视觉）成分。当然，也可能只是我们的解释不完整，LLM的工作空间不止J空间，或不止它的简单扩展。另一种可能是，可言说表征在LLM中确实享有特权。
这种特权地位的一个可能原因是，语言模型唯一的行动方式就是产生token。它执行的任何内部计算最终都必须兑现为一串词；一种本就与词表对齐的表征格式很方便，因为下游回路几乎不需要翻译就能作用于它，而模型被问到时也可以直接报告这些表征。按这种观点，工作空间之所以可言说，是因为模型的输出空间是言语的，它向自己广播中间结果所用的格式，被它最终必须用来行动的格式所塑造。如果这个解释是对的，它对输出空间不同的系统给出一个预测。人类的输出空间更宽；比如我们既用声音也用身体行动。因此，人类工作空间可能相应地更少受语言束缚，包含没有紧凑言语描述的预期动作、空间布局或其他知觉状态的表征。这一解释的一个具体预测是：具备图像生成能力的语言模型，可能会发展出工作空间的视觉成分。
另一种可能是，LLM偏爱可言说表征不仅因为它们的输出是言语的，还因为它们的输入也是（至少输入的很大一部分是，有些LLM也处理图像输入）。也就是说，LLM接收的输入和产出的输出基本上是同一种东西。相比之下，人类摄入感觉信息、输出运动指令；感觉信息和运动信息以非常不同的坐标表征，大脑必须做计算工作在两者之间转换。事实上，有些理论提出，这类感觉运动变换及其底层表征是人类意识的关键。在LLM中，感觉运动变换的语言很简单：既然文本输入和输出都用同样的自然语言token表征，用同样的token来表征两者的交汇处，可能只是最简约的解法。
9.4 与意识理论的关系
我们用全局工作空间理论的语言来组织我们的结果，因为我们的实验就是围绕检验这一理论的功能预测设计的。不过，我们的发现也与其他几种意识理论相关。Butlin等人提议测量从一系列此类理论（全局工作空间理论、高阶理论、注意图式理论、循环加工理论等）推导出的「指标属性」，作为评估AI系统潜在意识的框架。我们的结果可以读作一次这样的经验探究：J空间提供了一个具体的、可检查的候选结构，可以直接对照检验其中若干指标。不过我们也猜想，我们的结果可能反过来影响这些理论本身的发展，因为它具体展示了一个系统：它显示出与意识通达相关联的部分属性，所用机制却在某些方面不同于现有理论的设定。
需要说明，我们只关注把意识与系统的功能或计算属性绑定的理论。必须指出，另一些理论主张意识取决于大脑超出其功能或计算组织的属性，例如其物理因果结构或生物基底。由于我们的实验针对的是语言模型采用的计算机制，而非其在硬件中的物理实现，我们的结果与按照这类理论评估意识无关。
全局工作空间理论是我们实验的设计依据，因此只简要概括其联系。该理论的核心主张是：当一个心理状态的表征被广播到一个共享工作空间、大脑的许多专门系统都能从中读取时，该状态就是有意识的；工作空间容量有限，进入其中涉及一个从局部可用到全局可用的陡峭非线性转变（「点火」）。这些属性在J空间中都有对应。J空间在任一位置只占模型激活方差的一小部分，因此在相关意义上容量有限。J透镜向量与下游MLP和注意力组件输入权重的组合，远比其他方向广泛，这正是「许多回路都会读取的表征格式」应有的机制签名。J空间内容在早期层基本缺席，在一个相对狭窄的层带内涌现，进入稳定的中间区制。类比最薄弱之处在于实现层面：大脑中的广播由循环回路和长程皮层连接实现，两者在transformer的前向传播中都没有直接对应物。我们不知道这一差异是否影响该理论的任何功能预测，也不知道transformer中的深度是否扮演着与大脑中的循环足够相似的角色，从而能实现同样的功能。
高阶理论把有意识与无意识状态的差别，定位在系统是否拥有对某个表征的进一步表征，而不在于该表征如何被处理。也就是说，仅有对X的表征未必是有意识的；而对X的表征，若伴随着「系统自己正在表征X」的表征，就是有意识的。我们确实在J透镜中观察到一些显式的元认知表征（例如thinking（思考）、focused（专注）），但这不是常态。不过，J透镜向量的某些属性确实与高阶理论所描述的相关。例如，选择性实验的结果与盲视案例结构相同，而盲视正是高阶理论家经常援引的现象。在盲视中，呈现给受损视野的视觉信息会影响患者的行为（比如他们能以高于随机的准确率猜出刺激位置），但患者不报告任何看见它的觉知；高阶理论的解释是，视觉信息在一阶意义上被表征了，但没有在高阶意义上被表征。在我们的自动化任务条件下，刺激的特征（例如「这一行有46个字符」）影响模型的续写（例如促使它输出换行符），却不经过J空间。信息因此被一阶表征了，但没有以模型能据以报告的格式表征。然而，如实验所示，同一信息在任务需要时可以进入J空间表征，变得可用于言语报告或下游推理。
尚不清楚这种J空间表征应被恰当地视为高阶表征，还是仅仅是一种更易通达的一阶表征。这两种解读的区分可能很难用向量表征的属性来操作化，不过高阶理论近来的计算化变体提出了更具体的、也许可以检验的签名。这些理论常把高阶表征设想成一个「指针」或索引，标记一阶状态的可靠性或精度，而不是复制其内容。J空间在某些方面偏离了这幅图景：它不是显式指向表征在别处的一阶内容，而是把该内容以言语格式重新编码。但也有可能，J空间表征确实以类似这些理论所设想的方式影响模型对相关非J空间表征的解读，即给它们打上抽象类别的标签（例如fake（假的）、dangerous（危险的）、imagine[d]（想象的）或hidden（隐藏的））。
注意图式理论认为，当一个系统报告自己拥有意识经验这一属性时，它报告的是其内部「自身注意模型」的内容。也就是说，系统构建了一个关于注意是什么、注意有何后果的简化的、图式化的表征，而在这个模型里，注意被描绘为一种主观经验的行为。该理论主张，可供报告的正是这个自我模型，而非底层的注意状态本身。如果这一解释适用于语言模型，我们会预期J空间，作为模型据以报告的结构，不仅包含模型正在操作的内容，还包含对「操作本身」的描述。
我们的若干结果符合这一模式。在经验报告实验中，模型进行意识流叙述时的J空间内容，被描述思考和感受行为的token主导：thinking（思考）、thoughts（想法）、feeling（感受）、conscious（有意识的），而消融J空间会去除模型自我报告的经验性质。与此相关，在定向调制实验中，透镜不仅浮现出模型被指示放在心里的概念（orange（橙子）、seven（七）、forty（四十）），还浮现出描述「保持它」这一行为的token（thinking、imagine（想象）、calculate（计算）、focused（专注））。这些元认知读出出现在比内容本身更早的层，仿佛模型先表征「自己正在执行一项心理操作」，然后才表征其结果。思维抑制实验则暗示了一种更丰富的自身注意建模：当模型未能在心里抑制某个概念时，它的J空间中除了闯入的概念，还带着damn（该死）和表示「失败」的词。
把关注点从注意建模放宽到更广义的自我建模，我们还观察到：在模型生物实验中Assistant轮次的开头，透镜浮现出描述模型自身的token（AI、assistant（助手）、bot（机器人）、chat（聊天）），与提示无关，这是相当字面意义上的自我模型。后训练对比还发现，经过后训练之后，Assistant视角的内容开始出现在Assistant并非说话者的位置上，暗示一个一致的「自我」已经成为J空间评估上下文的默认框架。这些结果并非关于注意模型本身的证据，因此处在注意图式理论预测的边缘；但它们表明J空间承载着一个关于系统自身的持久表征，而对自身处理过程的建模可能是其组成部分之一。
循环加工理论认为意识需要循环加工：对感觉层级的单次前馈扫掠是无意识的，无论传播多远，只有当后级区域反馈到前级区域时，表征才成为有意识的。表面上看，这排除了标准transformer架构，因为它的前向传播中没有循环。不过我们注意到，该理论的经验动机是这样一个观察：有意识的知觉所需时间长于单次前馈扫掠，一个刺激必须被加工某个最短时长才能被报告。循环是大脑在解剖结构固定的前提下把加工延伸到单次扫掠之外的机制；但真正相关的计算属性也许是串行加工深度，而非循环本身。这样解读的话，工作空间「起点」之前的早期层区域，可能就是感觉循环在大脑中所扮演角色的功能类比：一个表征必须经过若干加工阶段才能进入J空间，而这些阶段是前馈堆叠（如transformer），还是通过在较浅的网络上循环实现（如皮层），可能只是实现细节，而非本质差异。
展望。我们在LLM中发现了一个享有特权的表征结构，它带有人类有意识想法的许多功能标志（正如引言所述，这类功能签名对于现象意识是否充分或必要，尚无定论）。这一结构的具体组织方式与现有的人类意识理论有一些联系，包括但不限于全局工作空间理论，也有显著差异。这样一个结构竟然存在于语言模型中，本身就引人注目：它提示与意识通达相关联的功能架构不是生物实现的偶然产物，而是学习系统在面对恰当的计算压力时收敛到的一种解。而且不同于大脑中的对应物，这个结构实例的内容可以被直接读出、被干预、被跨训练过程追踪。这种实验上的可操作性，也许会让语言模型成为一个有用的系统，用来经验地研究那些在生物大脑中甚至难以精确提出的意识问题。