Exploring the Capability Boundaries of LLMs in Mastering of Chinese Chouxiang Language

📄 arXiv: 2604.15841v1 📥 PDF

作者: Dianqing Lin, Tian Lan, Jiali Zhu, Jiang Li, Wei Chen, Xu Liu, Aruukhan, Xiangdong Su, Hongxu Hou, Guanglai Gao

分类: cs.CL

发布日期: 2026-04-17

备注: Accepted to ACL 2026 Findings

💡 一句话要点

提出Mouse基准，探索LLM在中文抽象语言理解上的能力边界

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 抽象语言 中文NLP 基准测试 亚文化语言

📋 核心要点

  1. 现有LLM在通用语言任务表现出色，但在中文互联网亚文化“抽象语言”上的能力尚不明确。
  2. 论文构建了Mouse基准，包含六个NLP任务，用于评估LLM对抽象语言的理解和处理能力。
  3. 实验表明，SOTA LLM在抽象语言任务上存在局限性，尤其是在需要深入理解语义的任务中。

📝 摘要（中文）

大型语言模型（LLM）在通用语言任务中取得了显著成功，但它们在中文互联网亚文化语言——抽象语言上的表现仍未得到充分探索。本文提出了Mouse，一个专门的基准，用于评估LLM在六个涉及抽象语言的NLP任务上的能力。实验结果表明，当前最先进的（SOTA）LLM在多个任务上表现出明显的局限性，但在涉及上下文语义理解的任务上表现良好。此外，我们进一步讨论了SOTA LLM在抽象语言上表现普遍较低的原因，检验了用于翻译任务的LLM-as-a-judge方法是否符合人类的判断和价值观，并分析了影响抽象语言翻译的关键因素。我们的研究旨在促进NLP社区对多元文化融合和不断发展的互联网语言动态的进一步研究。我们的代码和数据已公开。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在理解和处理中文互联网亚文化语言——“抽象语言”时所面临的挑战。现有方法，即直接应用通用LLM，无法有效应对抽象语言中常见的语义模糊、语境依赖和快速演变等特性，导致性能不佳。这限制了LLM在更广泛的中文互联网内容理解和生成方面的应用。

核心思路：论文的核心思路是构建一个专门的基准测试集（Mouse），该基准包含多个与抽象语言相关的NLP任务，从而能够系统地评估LLM在处理此类语言时的能力。通过对不同LLM在Mouse上的表现进行分析，可以揭示LLM在抽象语言理解方面的优势和不足，并为后续研究提供指导。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据收集与整理：收集大量的抽象语言文本数据，并进行清洗和标注。2) 任务设计：设计六个与抽象语言相关的NLP任务，例如翻译、情感分析、文本生成等。3) 模型评估：使用现有的SOTA LLM在Mouse基准上进行测试，并记录其性能指标。4) 结果分析：对实验结果进行深入分析，找出LLM在不同任务上的表现差异，并探讨其原因。5) 人工评估：对部分翻译结果进行人工评估，验证LLM-as-a-judge方法的可靠性。

关键创新：该研究的关键创新在于构建了一个专门针对中文抽象语言的基准测试集（Mouse）。与现有的通用NLP基准相比，Mouse更加关注抽象语言的特殊性和挑战性，能够更有效地评估LLM在此类语言上的能力。此外，该研究还对LLM-as-a-judge方法在抽象语言翻译任务中的适用性进行了评估，并分析了影响翻译质量的关键因素。

关键设计：Mouse基准包含六个NLP任务，具体任务类型未知（论文摘要未详细说明）。实验中使用了多个SOTA LLM，具体模型名称未知（论文摘要未详细说明）。评估指标的选择取决于具体的任务类型，例如翻译任务可能使用BLEU、ROUGE等指标，情感分析任务可能使用准确率、F1值等指标。损失函数和网络结构取决于所使用的LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当前SOTA LLM在Mouse基准的多个任务上表现出明显的局限性，尤其是在需要深入理解上下文语义的任务中。虽然具体性能数据未知，但研究强调了LLM在处理抽象语言时面临的挑战，并为后续研究提供了重要的参考。

🎯 应用场景

该研究成果可应用于中文互联网内容审核、舆情分析、智能客服等领域。通过提升LLM对抽象语言的理解能力，可以更准确地识别和处理网络上的不良信息，提高信息过滤的效率和准确性。此外，该研究还可以促进跨文化交流和理解，帮助人们更好地理解和欣赏不同文化背景下的语言表达方式。未来，该研究有望推动LLM在更广泛的中文NLP任务中的应用。

📄 摘要（原文）

While large language models (LLMs) have achieved remarkable success in general language tasks, their performance on Chouxiang Language, a representative subcultural language in the Chinese internet context, remains largely unexplored. In this paper, we introduce Mouse, a specialized benchmark designed to evaluate the capabilities of LLMs on NLP tasks involving Chouxiang Language across six tasks. Experimental results show that, current state-of-the-art (SOTA) LLMs exhibit clear limitations on multiple tasks, while performing well on tasks that involve contextual semantic understanding. In addition, we further discuss the reasons behind the generally low performance of SOTA LLMs on Chouxiang Language, examine whether the LLM-as-a-judge approach adopted for translation tasks aligns with human judgments and values, and analyze the key factors that influence Chouxiang translation. Our study aims to promote further research in the NLP community on multicultural integration and the dynamics of evolving internet languages. Our code and data are publicly available.