Before the Arrest: Benchmarking LLMs on Criminal Profiling from Incomplete Evidence

📄 arXiv: 2609.19965v1 📥 PDF

作者: Yutong Yao, Yanjie Cao, Guanhua Chen, Xu Yang, Junchao Wu, Zeyu Wu, Lidia S. Chao, Derek F. Wong

分类: cs.CL, cs.CY

发布日期: 2026-09-17

备注: Accepted by EMNLP 2026 Findings. Codes are available at: https://github.com/NLP2CT/PIJ-benchmark

💡 一句话要点

提出PIJ基准以解决犯罪侦查中的推理挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 犯罪剖析 推理能力 法律推理 数据集构建 刑事司法 不完整证据 人机对比

📋 核心要点

  1. 现有研究主要集中在逮捕后的情境，缺乏对从不完整证据中推断嫌疑人特征的探索。
  2. 本文提出PIJ基准数据集，涵盖2500个真实案件，评估LLMs在犯罪侦查各阶段的推理能力。
  3. 实验结果显示，LLMs在隐性推理任务上的表现显著低于人类专家，尤其在动机和关系推理方面存在明显瓶颈。

📝 摘要（中文）

大型语言模型（LLMs）在法律和刑事司法任务中的应用日益增加，但现有研究几乎专注于逮捕后的情境，忽视了从不完整证据中推断嫌疑人特征的关键挑战。为填补这一空白，本文引入了包含2500个真实凶杀案件的Profiling, Investigation, and Judgment（PIJ）数据集，评估LLMs在犯罪剖析、犯罪过程重建和判决预测等任务中的表现。研究发现，随着任务从显性事实提取转向隐性推理，性能系统性下降，尤其在动机和受害者-犯罪者关系等推理类别中，LLMs与人类专家之间存在显著差距，表明从不完整证据中进行逮捕前推理仍然是一个开放的挑战。

🔬 方法详解

问题定义：本文旨在解决从不完整证据中推断嫌疑人特征的挑战，现有方法多集中于已知身份的逮捕后情境，缺乏对逮捕前推理的研究。

核心思路：通过引入Profiling, Investigation, and Judgment（PIJ）数据集，评估LLMs在犯罪剖析、犯罪过程重建和判决预测等任务中的表现，填补这一研究空白。

技术框架：整体架构包括三个主要模块：犯罪剖析（基于片段证据推断嫌疑人特征）、犯罪过程重建（结构化信息提取）和判决预测（法律推理）。

关键创新：本文的核心创新在于首次系统性评估LLMs在逮捕前推理任务中的能力，特别是在处理不完整证据时的表现，与现有研究形成鲜明对比。

关键设计：在实验中，使用了9种强大的LLMs，设计了针对不同任务的损失函数和评估指标，以确保对推理能力的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，随着任务复杂度的增加，LLMs的性能系统性下降，尤其在需要隐性推理的任务中，表现显著低于人类专家，表明在动机和受害者-犯罪者关系推理方面存在主要瓶颈。这一发现强调了当前LLMs在法律推理领域的局限性。

🎯 应用场景

该研究的潜在应用领域包括刑事侦查、法律咨询和智能司法系统等。通过提升LLMs在推理任务中的表现，可以为执法机构提供更有效的工具，帮助他们在逮捕前进行更准确的嫌疑人特征推断，进而提高案件侦破率。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly applied to legal and criminal justice tasks, yet existing work focuses almost exclusively on post-arrest scenarios where the suspect's identity is already known, leaving the critical pre-arrest challenge of inferring suspect characteristics from incomplete evidence largely unexplored. To fill this gap, we introduce the Profiling, Investigation, and Judgment (PIJ), comprising 2,500 real homicide cases from five countries. PIJ evaluates LLMs across three tasks that span the entire criminal investigation pipeline: criminal profiling, which requires abductive reasoning to infer suspect attributes from fragmentary scene evidence, crime process reconstruction, which tests structured information extraction, and sentence prediction, which demands legal deductive reasoning. We evaluate 9 powerful LLMs and find that performance degrades systematically as tasks shift from explicit fact extraction to implicit reasoning over unknown suspect profiles. Categories requiring inferential reasoning, such as motivation and victim-offender relationships, remain the primary bottlenecks. Further analysis reveals substantial gaps between LLMs and human experts, along with pervasive biases in gender, age, and motive attribution. Our findings indicate that pre-arrest inference from incomplete evidence remains an open challenge.