Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening
作者: Thilo Tamme, Anton Hantel, Bijan Khosrawi-Rad
分类: cs.AI, cs.CL, cs.CY, cs.HC
发布日期: 2026-09-30
备注: 10 pages, 3 figures, 3 tables. Accepted at the 60th Hawaii International Conference on System Sciences (HICSS 2027)
💡 一句话要点
提出语音保留/表现比率以解决LLM总结中的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 员工反馈 表现偏见 语音保留 双语分析 文本总结 人力资源管理
📋 核心要点
- 现有的LLM总结方法可能会抹杀员工的真实反馈，尤其是批评意见，导致信息失真。
- 本文提出语音保留/表现比率指标，旨在评估总结中的表现偏见，确保员工声音的完整性。
- 研究结果显示，批评意见的保留率高于赞扬，而一次表达的关切常常被忽视，揭示了现有方法的不足。
📝 摘要（中文）
随着组织越来越多地通过大型语言模型（LLM）总结员工反馈，形成了一种未经审计的层次，可能会抹杀已经表达的声音。本文引入了语音保留/表现比率指标，以评估总结中的表现偏见，并将其应用于来自一家全球专业服务公司的2586条双语（英语/德语）自由文本响应。研究发现，员工更可靠地提供批评而非赞扬（抑制赞扬的情况多达82倍）。在45个领导总结中，过滤标准是受欢迎程度而非情感：批评得以保留，但一次表达的关切有86%的概率被丢弃，短内容和德语内容也面临相同问题（主题保留率为0.14对0.74；德语方向）。控制频率后，情感没有独立影响；损害是由普遍性驱动的，而仅依赖情感的审计则会遗漏这一点。针对性提示仅能恢复命名主题。我们贡献了这一指标、实证证据和分解的语音保留卡。
🔬 方法详解
问题定义：本文旨在解决通过LLM总结员工反馈时，可能导致的声音抹杀和表现偏见问题。现有方法未能有效保留员工的批评意见，尤其是在多语言环境中。
核心思路：论文提出语音保留/表现比率指标，通过量化总结中不同类型反馈的保留情况，揭示总结过程中的偏见。该设计旨在确保员工的真实声音能够被有效传达给领导。
技术框架：研究首先收集来自全球专业服务公司的2586条双语反馈，然后分析这些反馈在总结过程中的保留情况。通过对比不同类型反馈的保留率，评估总结的表现偏见。
关键创新：最重要的技术创新是引入语音保留/表现比率指标，能够量化总结中的表现偏见。这一指标与现有方法的本质区别在于，它关注的是反馈的保留情况，而非仅仅依赖情感分析。
关键设计：研究中对反馈的分类和分析采用了定量方法，重点关注批评与赞扬的保留率，并控制了频率对结果的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在45个领导总结中，批评意见的保留率显著高于赞扬，且一次表达的关切有86%的概率被丢弃。主题保留率在德语内容中为0.14，而在其他内容中为0.74，揭示了总结过程中的严重偏见。
🎯 应用场景
该研究的潜在应用领域包括企业管理、员工反馈机制和人力资源管理。通过优化LLM总结过程，组织能够更好地理解员工的真实声音，从而提升决策质量和员工满意度。未来，该指标还可以扩展应用于其他领域的文本总结和反馈分析。
📄 摘要（原文）
Organizations increasingly route employee feedback to leaders through large language model (LLM) summaries, an unaudited layer that silences already-spoken voice. We introduce a Voice Retention / Representation Ratio metric for representational bias in summarization and apply it to a bilingual (English/German) corpus of 2,586 free-text responses from a global professional service company. First, employees supply criticism more reliably than praise (withholding praise is 82 times more common). Second, across 45 leader-summaries the pipeline filters by popularity, not sentiment: criticism survives, yet a concern voiced once is dropped 86% of the time, with short and German-only content lost on the same axis (theme retention 0.14 vs 0.74; German directional). Controlling for frequency, sentiment has no independent effect; the harm is prevalence-driven, which sentiment-only audits miss. A targeted prompt recovers only named themes. We contribute the metric, field evidence, and a disaggregated voice-retention card.