OCEAN: Offline Chain-of-thought Evaluation and Alignment in Large Language Models

📄 arXiv: 2410.23703v1 📥 PDF

作者: Junda Wu, Xintong Li, Ruoyu Wang, Yu Xia, Yuxin Xiong, Jianing Wang, Tong Yu, Xiang Chen, Branislav Kveton, Lina Yao, Jingbo Shang, Julian McAuley

分类: cs.LG, cs.CL

发布日期: 2024-10-31

备注: 10 pages

💡 一句话要点

提出OCEAN框架，用于离线评估和优化大语言模型的思维链能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 思维链 离线评估 知识图谱 强化学习

📋 核心要点

  1. 现有方法在离线评估大语言模型（LLM）的思维链能力方面探索不足，难以充分理解LLM的推理能力。
  2. OCEAN框架将LLM的思维链推理建模为马尔可夫决策过程（MDP），并利用知识图谱（KG）提供反馈，评估推理路径与KG偏好的对齐程度。
  3. 实验表明，OCEAN能有效优化LLM的思维链推理路径，提高估计价值，且不影响LLM的通用能力和内部知识。

📝 摘要（中文）

本文着重研究大语言模型思维链能力的离线评估，并展示了如何基于提出的评估方法优化LLM。为了实现富含知识和推理路径的离线反馈，本文利用知识图谱（如Wikidata5m）为生成的思维链提供反馈。由于LLM推理和知识图谱结构之间的异构性，直接交互和反馈具有挑战性，因为这需要准确的实体链接和LLM生成思维链在知识图谱中的对齐。为了解决上述挑战，本文提出了一个离线思维链评估框架OCEAN，该框架将LLM中的思维链推理建模为MDP，并评估策略与知识图谱偏好建模的对齐程度。为了克服推理异构性和对齐问题，本文利用在线知识图谱探索和强化学习来建模知识图谱策略，该策略为LLM生成的思维链推理路径生成token级别的似然分布，从而模拟知识图谱推理偏好。然后，将知识图谱对生成推理路径的有效性和对齐的反馈纳入逆倾向评分，并提出KG-IPS估计器。理论上，证明了所提出的KG-IPS估计器的无偏性，并提供了其方差的下界。利用离线评估的价值函数，可以直接进行离线优化，以进一步增强思维链的对齐。实验研究表明，OCEAN可以有效地优化，以生成具有更高估计值的思维链推理路径，而不会影响LLM在下游任务中的一般能力或其内部知识。

🔬 方法详解

问题定义：现有方法难以有效评估和优化大语言模型的思维链能力，尤其是在离线场景下。直接利用知识图谱进行反馈面临LLM推理和知识图谱结构异构性问题，以及实体链接和对齐的挑战。

核心思路：将LLM的思维链推理过程建模为马尔可夫决策过程（MDP），利用知识图谱的知识来评估和优化LLM的推理路径。通过学习一个知识图谱策略来模拟知识图谱的推理偏好，并将其作为LLM推理的反馈信号。

技术框架：OCEAN框架主要包含以下几个模块：1) LLM生成思维链；2) 知识图谱策略学习模块，通过在线知识图谱探索和强化学习，学习一个KG策略，为LLM生成的思维链推理路径生成token级别的似然分布，模拟KG推理偏好；3) KG-IPS估计器，将知识图谱反馈纳入逆倾向评分，评估LLM生成推理路径的有效性和对齐程度；4) 离线优化模块，利用KG-IPS估计器评估的价值函数，对LLM进行离线优化，增强思维链的对齐。

关键创新：主要创新在于提出了一个离线评估框架，能够利用知识图谱的知识来评估和优化LLM的思维链能力。通过学习知识图谱策略来模拟知识图谱的推理偏好，解决了LLM推理和知识图谱结构异构性的问题。提出了KG-IPS估计器，用于评估LLM生成推理路径的有效性和对齐程度。

关键设计：知识图谱策略的学习采用强化学习方法，目标是最大化在知识图谱中探索的奖励。KG-IPS估计器利用逆倾向评分来校正由于LLM和知识图谱策略之间的差异导致的偏差。离线优化采用策略梯度方法，目标是最大化KG-IPS估计器评估的价值函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OCEAN框架可以有效地优化LLM的思维链推理路径，提高估计价值，且不会影响LLM在下游任务中的通用能力和内部知识。这表明该方法能够在提升推理能力的同时，保持LLM的通用性和知识水平。

🎯 应用场景

该研究成果可应用于提升大语言模型在知识密集型任务中的推理能力，例如问答系统、知识图谱补全、智能推荐等。通过离线评估和优化，可以提高LLM生成答案的准确性和可靠性，增强其在实际应用中的价值。此外，该方法还可以用于评估和比较不同LLM的推理能力。

📄 摘要（原文）

Offline evaluation of LLMs is crucial in understanding their capacities, though current methods remain underexplored in existing research. In this work, we focus on the offline evaluation of the chain-of-thought capabilities and show how to optimize LLMs based on the proposed evaluation method. To enable offline feedback with rich knowledge and reasoning paths, we use knowledge graphs (e.g., Wikidata5m) to provide feedback on the generated chain of thoughts. Due to the heterogeneity between LLM reasoning and KG structures, direct interaction and feedback from KGs on LLM behavior are challenging, as they require accurate entity linking and grounding of LLM-generated chains of thought in the KG. To address the above challenge, we propose an offline chain-of-thought evaluation framework, OCEAN, which models chain-of-thought reasoning in LLMs as an MDP and evaluate the policy's alignment with KG preference modeling. To overcome the reasoning heterogeneity and grounding problems, we leverage on-policy KG exploration and RL to model a KG policy that generates token-level likelihood distributions for LLM-generated chain-of-thought reasoning paths, simulating KG reasoning preference. Then we incorporate the knowledge-graph feedback on the validity and alignment of the generated reasoning paths into inverse propensity scores and propose KG-IPS estimator. Theoretically, we prove the unbiasedness of the proposed KG-IPS estimator and provide a lower bound on its variance. With the off-policy evaluated value function, we can directly enable off-policy optimization to further enhance chain-of-thought alignment. Our empirical study shows that OCEAN can be efficiently optimized for generating chain-of-thought reasoning paths with higher estimated values without affecting LLMs' general abilities in downstream tasks or their internal knowledge.