With a Little Help From My Friends: Collective Manipulation in Risk-Controlling Recommender Systems
作者: Giovanni De Toni, Cristian Consonni, Erasmo Purificato, Emilia Gomez, Bruno Lepri
分类: cs.IR, cs.LG, cs.SI
发布日期: 2026-03-30
💡 一句话要点
揭示风险控制推荐系统中集体操纵漏洞，提出用户级风险控制缓解策略
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 推荐系统 风险控制 对抗性攻击 集体操纵 用户反馈
📋 核心要点
- 现有的风险控制推荐系统依赖聚合反馈信号，易受恶意用户群体操纵，导致推荐质量下降。
- 论文提出一种用户级别的风险控制策略，将安全保证从群体层面转移到个体用户，降低恶意行为的影响。
- 实验表明，仅占用户1%的恶意群体可使推荐质量下降20%，而提出的缓解策略可有效降低其影响。
📝 摘要（中文）
推荐系统已成为在线信息的主要控制者，影响着用户的行为。用户越来越多地组织和协调，利用平台提供的点赞、评论或评分等功能，引导算法结果以实现各种目标，例如推广相关内容或限制有害内容。虽然这些机制可以服务于有益的目的，但也可能被用于对抗性操纵，尤其是在反馈直接影响安全保证的系统中。本文研究了最近提出的风险控制推荐系统中的这种漏洞，该系统使用二元用户反馈（例如，“不感兴趣”）通过一致性风险控制来限制接触不需要的内容。我们通过实验证明，它们对聚合反馈信号的依赖使其容易受到协调的对抗性用户行为的影响。使用来自大型在线视频共享平台的数据，我们表明，一个小的协调群体（仅占用户人口的 1%）可以通过利用风险控制推荐系统提供的功能，导致非对抗性用户的 nDCG 降低高达 20%。我们评估了简单、现实的攻击策略，这些策略几乎不需要了解底层推荐算法，并发现虽然协调的用户可以显着损害整体推荐质量，但他们无法仅通过报告来选择性地抑制特定内容组。最后，我们提出了一种缓解策略，将保证从群体层面转移到用户层面，通过实验表明它如何减少对抗性协调行为的影响，同时确保个人的个性化安全。
🔬 方法详解
问题定义：论文关注风险控制推荐系统中的集体操纵问题。现有的风险控制推荐系统依赖于聚合的用户反馈来控制风险，例如限制用户接触不感兴趣的内容。然而，这种机制容易受到恶意用户群体的攻击，他们可以通过协调行动来影响推荐结果，损害其他用户的体验。现有方法的痛点在于缺乏对个体用户风险的精细化控制，容易被群体行为所利用。
核心思路：论文的核心思路是将风险控制的粒度从群体层面转移到用户层面。不再依赖于整体的反馈信号来调整推荐策略，而是针对每个用户单独进行风险评估和控制。这样可以减少恶意群体的影响，因为他们的行为不会直接影响其他用户的推荐结果。这种设计旨在提高推荐系统的鲁棒性和公平性。
技术框架：论文的技术框架主要包括以下几个阶段：1) 收集用户反馈数据（例如，“不感兴趣”的反馈）。2) 构建风险控制推荐模型，该模型使用用户反馈来限制用户接触不感兴趣的内容。3) 设计对抗性攻击策略，模拟恶意用户群体如何通过协调行动来操纵推荐结果。4) 提出用户级别的风险控制策略，并评估其在对抗性攻击下的性能。整体流程是先分析现有系统的漏洞，然后设计新的策略来弥补这些漏洞。
关键创新：论文最重要的技术创新点在于提出了用户级别的风险控制策略。与现有的基于群体反馈的风险控制方法不同，该策略针对每个用户单独进行风险评估和控制，从而减少了恶意群体的影响。这种方法能够提供更个性化和安全的推荐体验，同时提高系统的鲁棒性。
关键设计：论文的关键设计包括：1) 设计了简单而现实的攻击策略，模拟恶意用户群体如何通过协调行动来操纵推荐结果。这些策略不需要对底层推荐算法有深入的了解，易于实施。2) 提出了用户级别的风险控制策略，该策略基于每个用户的反馈数据来调整推荐结果。具体的参数设置和损失函数等技术细节在论文中可能没有详细描述，需要参考相关的风险控制推荐文献。
🖼️ 关键图片
📊 实验亮点
实验结果表明，仅占用户总数1%的恶意群体可以通过协调行动，使非恶意用户的nDCG降低高达20%。提出的用户级别风险控制策略能够有效降低恶意行为的影响，在保证个体用户安全的同时，提升整体推荐系统的鲁棒性。具体的性能提升幅度取决于恶意群体的规模和攻击策略。
🎯 应用场景
该研究成果可应用于各种在线推荐系统，特别是那些涉及敏感内容或需要高度安全性的平台，例如社交媒体、新闻推荐和在线视频平台。通过采用用户级别的风险控制策略，可以有效减少恶意用户群体的操纵，提高推荐系统的公平性和安全性，保护用户的利益。
📄 摘要（原文）
Recommendation systems have become central gatekeepers of online information, shaping user behaviour across a wide range of activities. In response, users increasingly organize and coordinate to steer algorithmic outcomes toward diverse goals, such as promoting relevant content or limiting harmful material, relying on platform affordances -- such as likes, reviews, or ratings. While these mechanisms can serve beneficial purposes, they can also be leveraged for adversarial manipulation, particularly in systems where such feedback directly informs safety guarantees. In this paper, we study this vulnerability in recently proposed risk-controlling recommender systems, which use binary user feedback (e.g., "Not Interested") to provably limit exposure to unwanted content via conformal risk control. We empirically demonstrate that their reliance on aggregate feedback signals makes them inherently susceptible to coordinated adversarial user behaviour. Using data from a large-scale online video-sharing platform, we show that a small coordinated group (comprising only 1% of the user population) can induce up to a 20% degradation in nDCG for non-adversarial users by exploiting the affordances provided by risk-controlling recommender systems. We evaluate simple, realistic attack strategies that require little to no knowledge of the underlying recommendation algorithm and find that, while coordinated users can significantly harm overall recommendation quality, they cannot selectively suppress specific content groups through reporting alone. Finally, we propose a mitigation strategy that shifts guarantees from the group level to the user level, showing empirically how it can reduce the impact of adversarial coordinated behaviour while ensuring personalized safety for individuals.