On the effective transfer of knowledge from English to Hindi Wikipedia
作者: Paramita Das, Amartya Roy, Ritabrata Chakraborty, Animesh Mukherjee
分类: cs.CL, cs.IR, cs.LG
发布日期: 2024-12-07
备注: accepted at COLING Industry Track 2025
💡 一句话要点
提出轻量级框架，利用大语言模型提升英语到印地语维基百科的知识迁移效果。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识迁移 低资源语言 维基百科 大型语言模型 上下文学习 机器翻译 内容生成
📋 核心要点
- 低资源语言维基百科内容匮乏，与高资源语言存在显著差距，亟需有效的内容增强方法。
- 利用大型语言模型的上下文学习能力，从外部资源提取信息并适应维基百科风格，实现知识迁移。
- 实验表明，该框架能显著提升印地语维基百科文章质量，自动评估和人工评估分别提升65%和62%。
📝 摘要（中文）
维基百科是最大的多语种百科全书，但其内容完整性仍有不足。高资源语言（HRL，如英语）和低资源语言（LRL，如印地语）的内容质量存在显著差异，许多LRL文章缺乏足够的信息。为了弥合这些内容差距，我们提出了一个轻量级框架，以增强英语和印地语之间的知识公平性。如果英文维基百科页面不是最新的，我们的框架会从现成的外部资源（如英文书籍）中提取相关信息，并利用大型语言模型的上下文学习能力，使其适应维基百科的独特风格，包括其中立观点（NPOV）政策。然后，将改编后的内容机器翻译成印地语，以整合到相应的维基百科文章中。另一方面，如果英文版本是全面且最新的，该框架会直接将知识从英语转移到印地语。根据自动和人工评估，我们的框架有效地为印地语维基百科部分生成了新内容，分别提升了印地语维基百科文章的质量65%和62%。
🔬 方法详解
问题定义：论文旨在解决低资源语言（如印地语）维基百科文章内容不足的问题。现有方法在将高资源语言（如英语）知识迁移到低资源语言时，面临着内容质量不高、无法适应维基百科风格（如中立观点）等痛点。
核心思路：论文的核心思路是利用大型语言模型的上下文学习能力，从英文维基百科或外部资源中提取信息，并将其转换为符合印地语维基百科风格的内容。针对英文维基百科内容是否最新，采取不同的策略：若英文维基百科内容不足，则从外部资源提取；若英文维基百科内容充足，则直接翻译。
技术框架：该框架包含以下主要模块：1) 信息提取：从英文维基百科或外部资源中提取相关信息。2) 内容适应：利用大型语言模型的上下文学习能力，将提取的信息调整为符合维基百科中立观点的内容。3) 机器翻译：将调整后的内容翻译成印地语。4) 内容整合：将翻译后的内容整合到相应的印地语维基百科文章中。
关键创新：该论文的关键创新在于利用大型语言模型的上下文学习能力，使提取的信息能够自动适应维基百科的风格，特别是中立观点。这避免了传统方法中需要人工干预进行内容调整的步骤，提高了效率和可扩展性。
关键设计：论文中，大型语言模型的具体选择和提示工程（prompt engineering）是关键设计。通过精心设计的提示，引导大型语言模型生成符合维基百科风格的内容。此外，针对不同类型的外部资源，可能需要设计不同的信息提取策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架能够显著提升印地语维基百科文章的质量。自动评估结果显示，该框架使印地语维基百科文章质量提升了65%。人工评估结果也显示，该框架使印地语维基百科文章质量提升了62%。这些结果表明，该框架在知识迁移方面具有显著的优势。
🎯 应用场景
该研究成果可应用于提升低资源语言维基百科的内容质量，促进知识公平。此外，该框架的思想可以推广到其他知识库的构建和维护，例如企业内部知识库、社区论坛等，具有广泛的应用前景和实际价值。未来，可以探索如何利用该框架自动生成多语言知识图谱，进一步提升知识的利用效率。
📄 摘要（原文）
Although Wikipedia is the largest multilingual encyclopedia, it remains inherently incomplete. There is a significant disparity in the quality of content between high-resource languages (HRLs, e.g., English) and low-resource languages (LRLs, e.g., Hindi), with many LRL articles lacking adequate information. To bridge these content gaps, we propose a lightweight framework to enhance knowledge equity between English and Hindi. In case the English Wikipedia page is not up-to-date, our framework extracts relevant information from external resources readily available (such as English books) and adapts it to align with Wikipedia's distinctive style, including its \textit{neutral point of view} (NPOV) policy, using in-context learning capabilities of large language models. The adapted content is then machine-translated into Hindi for integration into the corresponding Wikipedia articles. On the other hand, if the English version is comprehensive and up-to-date, the framework directly transfers knowledge from English to Hindi. Our framework effectively generates new content for Hindi Wikipedia sections, enhancing Hindi Wikipedia articles respectively by 65% and 62% according to automatic and human judgment-based evaluations.