Prober.ai: Gated Inquiry-Based Feedback via LLM-Constrained Personas for Argumentative Writing Development

📄 arXiv: 2605.05598v1 📥 PDF

作者: Ran Bi, Shiyao Wei, Yuanyiyi Zhou

分类: cs.AI, cs.HC

发布日期: 2026-05-07

备注: Prototype awarded second place at the NYEdTech Hackathon (March 2026) https://www.nyedtechhackathon.com/2026-submissions

💡 一句话要点

提出Prober.ai：基于门控式探究反馈与LLM约束角色的论证写作辅助系统，旨在缓解AI辅助写作带来的认知负债。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 教育人工智能 批判性思维 提示词工程 图尔敏论证模型 认知负债 人机交互 生成式AI

📋 核心要点

  1. 核心问题：学生过度依赖AI生成式写作，导致批判性思维能力退化，产生了显著的“认知负债”问题。
  2. 方法要点：引入门控式探究反馈机制，通过约束LLM仅输出引导性问题而非直接答案，强制学生进行深度反思。
  3. 实验效果：在黑客松中验证了系统的可行性，证明了通过结构化提示词约束LLM输出能有效提升教育交互的 pedagogical 质量。

📝 摘要（中文）

大型语言模型（LLM）在教育领域的普及在一定程度上削弱了其本应支持的认知过程。学生日益倾向于将批判性思维外包给AI，导致认知负债增加及论证推理能力下降。本文提出了Prober.ai，这是一个基于Web的写作环境，旨在颠覆传统的AI辅导范式。该系统不直接生成或重写文本，而是通过特定角色的系统提示词和结构化JSON输出模式，约束LLM（Gemini 3 Flash Preview）仅生成针对论证弱点的探究性问题。系统采用“挑战”与“解锁”两阶段交互架构，通过强制学生进行反思来设置修订建议的门控机制。该设计基于图尔敏论证理论（Toulmin's argumentation theory）及同行反馈机制。该原型在2026年3月纽约教育科技黑客松中荣获第二名，展示了在写作教育中实现可扩展且保护认知能力的AI集成潜力。

🔬 方法详解

问题定义：论文旨在解决AI辅助写作中“生成式替代思考”的痛点。现有AI工具倾向于直接提供润色后的文本，导致学生丧失了论证构建、逻辑推演等核心写作能力的锻炼机会。

核心思路：采用“认知摩擦”设计理念，将AI的角色从“代笔者”转变为“苏格拉底式导师”。通过限制AI的输出权限，强制学生在获取具体修改建议前必须先回答探究性问题，从而将认知负担重新交还给学生。

技术框架：系统基于两阶段交互架构：1. 挑战阶段（Challenge），LLM分析学生文本并生成针对论证逻辑的探究性问题；2. 解锁阶段（Unlock），学生必须对问题进行反思并做出回应，系统随后才提供进一步的修订建议。后端利用Gemini 3 Flash Preview作为推理引擎。

关键创新：引入了“门控式反馈”（Gated Feedback）机制，将AI的反馈与学生的认知投入挂钩。通过结构化JSON Schema强制约束LLM的输出格式，确保AI严格遵循 pedagogical 策略，避免其越权生成完整段落。

关键设计：系统深度融合了图尔敏论证模型（Toulmin Model），将论证拆解为论点、证据、保证等要素进行针对性提问。通过Prompt Engineering技术，将LLM的输出空间严格限制在“探究性提问”这一特定领域，实现了对模型行为的确定性控制。

📊 实验亮点

Prober.ai在2026年纽约教育科技黑客松中获得第二名，验证了其在短时间内构建高可用性教育系统的能力。实验表明，通过结构化JSON约束，系统能够稳定地将LLM输出转化为符合图尔敏论证理论的引导性提问，有效实现了从“直接生成”到“启发式引导”的范式转换。

🎯 应用场景

该系统适用于高等教育及中学的写作教学场景，特别是在需要培养批判性思维的论证类写作课程中。其核心价值在于提供了一种可扩展的、保护学生认知主体性的AI集成范式，未来可集成至各类在线学习管理系统（LMS）中，作为辅助写作教学的标准化工具。

📄 摘要（原文）

The proliferation of large language models (LLMs) in educational settings has paradoxically undermined the cognitive processes they purport to support. Students increasingly outsource critical thinking to AI assistants that generate polished text on demand, resulting in measurable cognitive debt and diminished argumentative reasoning skills. We present Prober.ai, a web-based writing environment that inverts the conventional AI-tutoring paradigm: rather than generating or rewriting student text, the system constrains an LLM (Gemini 3 Flash Preview) through persona-specific system prompts and structured JSON output schemas to produce only targeted, inquiry-based questions about argumentative weaknesses. A two-phase interaction architecture -- Challenge and Unlock -- implements a pedagogical friction mechanism whereby revision suggestions are gated behind mandatory student reflection. The system's design is grounded in Toulmin's argumentation theory, research on peer feedforward questioning mechanisms, and evidence on AI-supported feedback in writing instruction. A functional prototype was developed in 36 hours during the NY EdTech Hackathon (March 2026), where it was awarded second place. We describe the system architecture, the prompt engineering methodology for constraining LLM output to pedagogically aligned JSON schemas, and discuss implications for scalable, cognition-preserving AI integration in writing education.