RiskChainBench: A Benchmark for Obfuscated Platform Message Restoration and Evidence-Grounded Web Investigation
作者: ZhuoXin Liu, Zhiming Ma, Ying Zhang, Mengzheng Yang, Yifan Wang, Zhengqi Huang, Yanhan Zhou, Zekun Lin, Jun Zhang, Shun Zhang, Yue Chen, Qiao Zhao, Peng Chen
分类: cs.CL
发布日期: 2026-09-15
备注: 11 pages, 5 figures; 17-page supplementary material included as an ancillary PDF
💡 一句话要点
提出RiskChainBench以解决平台信息恢复与网络调查问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 平台滥用 信息恢复 网络调查 模糊文本 风险评估 多模态学习 基准测试
📋 核心要点
- 现有方法在评估模糊文本和风险网页时未能结合，导致目标恢复对证据获取的影响被忽视。
- 论文提出RiskChainBench，通过合成输入和人类标注的网页环境，建立了一个综合的评估框架。
- 实验结果显示，Entry Top-1的范围为35.2%至95.2%，网页决策准确率为26.3%至62.8%，识别出稳定探索和风险判断是主要瓶颈。
📝 摘要（中文）
平台滥用活动通过表情符号、同音词、字符分解和冗余符号隐藏重定向指令，用户被引导至与色情、欺诈、赌博或非法交易相关的服务。现有基准评估模糊文本和风险网页时分开进行，未能揭示目标恢复对后续证据获取的影响。本文提出RiskChainBench，结合3600个合成的令牌文本恢复输入与600个对应的人类标注的本地网页环境。模型首先恢复消息、操作意图和目的地，然后作为VLM驱动的网页代理进行调查，生成无消息语义或域名信誉线索的冻结证据报告。我们分别对恢复和正确路由的网页调查进行评分，并通过将冻结的主要输入预测作为门控，离线组合结果。人类标签确定任务的正确性，而固定的多模态证据评估者评估忠实性、充分性、完整性和一致性。
🔬 方法详解
问题定义：本文旨在解决平台滥用活动中信息恢复与网络调查的结合问题。现有方法在评估模糊文本和风险网页时分开进行，未能揭示目标恢复对后续证据获取的影响。
核心思路：论文的核心思路是通过构建RiskChainBench基准，将合成的令牌文本恢复与人类标注的网页环境相结合，以便全面评估信息恢复和网页调查的效果。
技术框架：整体架构包括两个主要模块：首先是信息恢复模块，负责恢复消息内容、操作意图和目标网站；其次是网页调查模块，作为VLM驱动的代理，调查恢复后的目标网站并生成风险报告。
关键创新：最重要的技术创新点在于将信息恢复与网页调查紧密结合，形成一个完整的评估流程，解决了现有方法分开评估的问题。
关键设计：在模型设计中，使用固定的多模态证据评估者来评估结果的忠实性、充分性、完整性和一致性，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Entry Top-1的范围从35.2%到95.2%，网页决策准确率从26.3%到62.8%。执行失败率为31.9%，而决策后类型错误仅为0.9%，表明稳定探索和风险判断是主要瓶颈。
🎯 应用场景
该研究在网络安全、反欺诈和信息恢复等领域具有广泛的应用潜力。通过有效恢复模糊信息并进行深入调查，能够帮助相关机构更好地识别和应对网络滥用活动，提升网络环境的安全性和可靠性。
📄 摘要（原文）
Platform abuse campaigns conceal redirection instructions with emojis, homophones, character decomposition, and redundant symbols, then route users through disguised links to services associated with pornography, fraud, gambling, or illicit transactions. Existing benchmarks evaluate obfuscated text and risky webpages separately, obscuring how target recovery affects downstream evidence acquisition. We introduce RiskChainBench, pairing 3,600 synthetic token-text restoration inputs from 600 source sessions with 600 corresponding human-labeled local web environments. A model first restores the message, operational intent, and destination; the same underlying model then acts as a VLM-driven web agent that investigates the correctly associated website and produces a frozen, evidence-cited risk report without message-side semantics or domain-reputation cues. We score restoration and correct-routing web investigation separately and compose them offline by applying the frozen primary-entry prediction as a gate to the same Task 2 result. Human labels determine task correctness, while a fixed multimodal evidence judge assesses faithfulness, sufficiency, completeness, and consistency. Across ten models, Entry Top-1 ranges from 35.2% to 95.2% and web decision accuracy from 26.3% to 62.8%; the leading systems differ across entry recovery, full reconstruction, website decisions, and fine-grained typing. Execution failures account for 31.9% of web runs, whereas post-decision type errors account for only 0.9%, identifying stable exploration and risk judgment as the principal bottlenecks. We release the benchmark, protocol, and resettable local sandbox.