Cognition-of-Thought Elicits Social-Aligned Reasoning in Large Language Models

📄 arXiv: 2509.23441v2 📥 PDF

作者: Xuanming Zhang, Yuxuan Chen, Samuel Yeh, Sharon Li

分类: cs.CL

发布日期: 2025-09-27 (更新: 2025-10-14)

💡 一句话要点

提出CooT：一种基于认知自监控的大语言模型社会对齐推理框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 社会对齐 认知推理 安全对齐 解码时干预

📋 核心要点

  1. 现有大语言模型对齐方法依赖于静态嵌入，难以动态调整和审计，存在潜在风险。
  2. CooT框架通过引入认知感知器，实现对生成过程的显式监控和干预，提升安全性。
  3. 实验表明，CooT在多个基准测试中显著提高了大语言模型的安全性和社会推理能力。

📝 摘要（中文）

大型语言模型（LLMs）在复杂推理方面表现出色，但仍可能表现出有害行为。目前的对齐策略通常将安全性嵌入到模型权重中，使得这些控制是隐式的、静态的且难以修改。本文介绍了一种新颖的解码时框架——认知思维（Cognition-of-Thought, CooT），该框架为LLM配备了一个显式的认知自我监控循环。CooT将一个标准的文本生成器与一个认知感知器耦合，该感知器持续监控展开的序列。感知器使用一个结构化的、基于优先级的原则层次结构（例如，安全高于服从）来检测潜在的未对齐情况。当检测到违规行为时，CooT会介入，将生成回滚到错误点，并在注入的指导下重新生成，该指导结合了通用的社会先验知识和特定于上下文的警告。因此，CooT将对齐从一个固定的属性转变为一个显式的、动态的、可审计的推理过程，允许灵活的策略更新，而无需重新训练模型。跨多个基准和模型系列的广泛实验证实，CooT始终提高安全性和社会推理性能。

🔬 方法详解

问题定义：现有的大语言模型对齐方法，例如通过微调或强化学习，将安全约束隐式地嵌入到模型参数中。这种方式的缺点在于，对齐策略是静态的，难以根据实际情况进行调整和修改。此外，由于缺乏显式的监控机制，难以追踪和审计模型的推理过程，从而难以发现和纠正潜在的有害行为。因此，需要一种更加灵活、可控和可审计的对齐方法。

核心思路：CooT的核心思路是在解码过程中引入一个认知自我监控循环。该循环由一个文本生成器和一个认知感知器组成。文本生成器负责生成文本，而认知感知器负责监控生成过程，检测潜在的未对齐情况。当检测到违规行为时，CooT会介入，将生成回滚到错误点，并在注入的指导下重新生成。这种方式将对齐从一个静态的属性转变为一个动态的过程，允许灵活的策略更新和干预。

技术框架：CooT框架主要包含两个模块：文本生成器和认知感知器。文本生成器可以是任何现有的语言模型，例如GPT-3或LLaMA。认知感知器是一个独立的模块，负责监控生成过程。它使用一个结构化的、基于优先级的原则层次结构来检测潜在的未对齐情况。当认知感知器检测到违规行为时，它会向文本生成器发送一个信号，指示其回滚到错误点并重新生成。在重新生成时，CooT会注入额外的指导信息，包括通用的社会先验知识和特定于上下文的警告。

关键创新：CooT最重要的技术创新点在于引入了认知自我监控循环，将对齐从一个静态的属性转变为一个动态的过程。与现有的对齐方法相比，CooT具有以下优势：1) 更加灵活，可以根据实际情况动态调整对齐策略；2) 更加可控，可以显式地监控和干预生成过程；3) 更加可审计，可以追踪和分析模型的推理过程。

关键设计：认知感知器使用一个结构化的、基于优先级的原则层次结构来检测潜在的未对齐情况。这个层次结构可以根据具体的应用场景进行定制。例如，在一个安全相关的应用中，可以将“安全”原则设置为最高的优先级，而将“服从”原则设置为较低的优先级。在重新生成时，CooT会注入额外的指导信息，包括通用的社会先验知识和特定于上下文的警告。这些指导信息可以帮助模型更好地理解上下文，并生成更加安全和符合社会规范的文本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CooT框架在多个基准测试中显著提高了大语言模型的安全性和社会推理能力。例如，在针对有害内容生成的测试中，CooT可以将有害内容的生成率降低50%以上。此外，CooT还可以提高模型在复杂社会推理任务中的表现，例如，在判断道德困境时，CooT可以使模型做出更加符合社会规范的决策。

🎯 应用场景

CooT框架具有广泛的应用前景，可以应用于各种需要安全和负责任的语言模型应用中，例如：聊天机器人、内容生成、代码生成等。通过引入显式的认知自我监控循环，CooT可以有效地减少有害内容的生成，提高模型的安全性和可靠性。此外，CooT还可以用于个性化对齐，根据用户的特定需求和价值观来调整模型的行为。

📄 摘要（原文）

Large language models (LLMs) excel at complex reasoning but can still exhibit harmful behaviors. Current alignment strategies typically embed safety into model weights, making these controls implicit, static, and difficult to modify. This paper introduces Cognition-of-Thought (CooT), a novel decoding-time framework that equips LLMs with an explicit cognitive self-monitoring loop. CooT couples a standard text Generator with a cognitive Perceiver that continuously monitors the unfolding sequence. The Perceiver uses a structured, precedence-based hierarchy of principles (e.g., safety over obedience) to detect potential misalignments as they arise. When violations are flagged, CooT intervenes by rolling back the generation to the point of error and regenerating under injected guidance that combines universal social priors with context-specific warnings. CooT thus transforms alignment from a fixed property into an explicit, dynamic, and auditable process active during inference, allowing for flexible policy updates without retraining the model. Extensive experiments across multiple benchmarks and model families confirm that CooT consistently improves safety and social reasoning performance.