A Cue's Hidden Price: Auditing Seller Influence on AI Shoppers
作者: Felix Buecheler, Gerardo Berbeglia, Mingyu Guo
分类: cs.AI
发布日期: 2026-10-19
备注: 22 pages, 5 figures, 25 tables
💡 一句话要点
提出价格等价审计以量化卖家对AI购物者的影响
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: AI购物 卖家影响 价格等价审计 决策原生模型 实验验证 推荐系统 内容优化
📋 核心要点
- 现有方法在评估卖家内容对AI购物者选择的影响时存在盲点,尤其是当某个提示的选择率几乎达到100%时,无法准确反映其相对强度。
- 本文提出价格等价审计方法,通过将提示的价格调整至选择率为50%来量化其影响,使不同强度的提示可以进行比较。
- 在113,472次试验中,我们验证了该方法的有效性,并首次对决策原生模型Jev进行了审计,发现其对提示的反应与文本模型有显著差异。
📝 摘要(中文)
随着大型语言模型越来越多地代表用户进行购物,卖家控制的内容(如徽章、推荐和框架)会影响推荐结果。本文探讨了卖家内容对代理选择的影响程度,提出了价格等价(PE)审计方法,通过将提示的价格提升至选择率为50%来量化其影响。我们在113,472次试验中验证了该方法,并首次对决策原生模型Jev进行了价格等价审计,发现其对提示的抵抗力与文本模型显著不同。我们发布了相关刺激材料、日志和代码,为开发者和审计者提供了可重复的评估方式。
🔬 方法详解
问题定义:本文旨在解决现有方法在评估卖家内容对AI购物者选择影响时的盲点,尤其是当某个提示的选择率几乎达到100%时,无法准确反映其相对强度。
核心思路:我们提出价格等价审计(PE审计)方法,通过将提示的价格提升至选择率为50%来量化其影响,从而使不同强度的提示可以进行比较。
技术框架:整体流程包括设计一个对照实验,在控制位置的情况下进行强制选择,逐步提高提示产品的价格,直到其选择率降至50%。
关键创新:最重要的技术创新点在于引入了价格等价的概念,使得不同提示的影响力可以通过价格进行量化,从而克服了传统选择率评估的局限性。
关键设计:在实验中,我们设置了多个参数,包括提示的类型、价格调整的步长和选择率的目标值(50%),并确保实验的随机性和对照性,以提高结果的可靠性。
🖼️ 关键图片
📊 实验亮点
在113,472次试验中,我们首次对决策原生模型Jev进行了价格等价审计,发现其对提示的抵抗力与文本模型显著不同。该模型在面对强社交证明声明时表现出较高的敏感性,而在其他提示上则表现出较强的抵抗力。这一发现为理解不同模型在购物推荐中的表现提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括电子商务、广告优化和AI助手的设计等。通过量化卖家内容对AI购物者的影响,开发者可以更好地理解和优化购物推荐系统,提高用户体验和销售转化率。此外,该方法的可重复性为后续研究提供了基础,有助于推动相关领域的进一步发展。
📄 摘要(原文)
Large language models are increasingly asked to shop on a user's behalf, which lets seller-controlled content such as badges, endorsements, and framing steer what they recommend. That poses the question at the core of generative engine optimization (GEO): not whether seller content shifts an agent's choice, but how much. The usual gauge of that influence, how often a cue wins the choice, has a blind spot: once a cue is strong enough to be picked almost every time, the choice rate can no longer show how much stronger one cue is than another. We introduce price-equivalent (PE) auditing, which removes this ceiling by pricing the cue in money. In a counterbalanced, position-controlled forced choice, we raise the cued product's price until it is chosen only half the time, and report that premium as the cue's price-equivalent: a formally defined, policy-conditioned parity threshold that makes very different cues comparable. Priced this way, cues that look equally strong at equal price differ by a wide margin, so choice-rate audits substantially under-resolve seller influence. We run the audit over 113,472 trials, seven models across families, and two product categories. To our knowledge, we also run the first price-equivalent audit of a decision-native model, Jev, which outputs a choice probability directly instead of generating text; strikingly, its profile is unlike any text model we tested, resisting most cues yet remaining susceptible to the strongest social-proof claims. We release the stimuli, logs, and code as a benchmark that reports each model's cue-price profile rather than a single score, giving developers and auditors a common, reproducible way to measure how content moves AI shopping agents.