Evidence-Traceable Dynamic Interviewer Architecture for Expertise-Adaptive Qualitative Interviews Using Local LLMs
作者: Aisvarya Adeseye, Jouni Isoaho, Adeyemi Adeseye, Seppo Virtanen, Mohammad Tahir
分类: cs.AI
发布日期: 2026-10-08
备注: Accepted to be part of the book titled: AI in Education : Pedagogy, Ethics, and Society which will be published by Springer Nature in the Book series: Transactions on Computational Science and Computational Intelligence
💡 一句话要点
提出证据可追溯的动态访谈架构以解决适应性访谈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化访谈 动态调整 个性化对话 大型语言模型 专业知识分析 用户体验 对话系统
📋 核心要点
- 现有自动化访谈系统依赖固定的问题序列，缺乏个性化，导致对话的重复性和不相关性。
- 本文提出了一种动态访谈架构，利用本地LLM实时调整问题深度，确保对话的连续性和语义进展。
- 实验结果显示，专业知识分析模块与参与者报告的专业知识一致性高达78.9%，参与者对访谈的相关性和满意度均较高。
📝 摘要（中文）
自动化访谈者和对话代理在研究、招聘、客户服务和教育中越来越多地被使用。然而，现有系统往往依赖固定的问题序列，缺乏基于上下文的个性化，未能考虑参与者的知识水平，导致后续问题重复或不相关。因此，本文提出了一种证据可追溯的动态访谈架构，利用本地托管的大型语言模型（LLM），在整个对话过程中根据参与者的反馈和不断变化的上下文动态调整问题的深度。该架构实时分析参与者的专业知识，以生成适合其知识水平的问题、清晰的回答和支持对话连续性的过渡信息。通过246名参与者的评估，专业知识分析模块与独立报告的参与者专业知识达成78.9%的一致性，显示出该架构的适应性组件有效运作，参与者反馈了积极的访谈体验。
🔬 方法详解
问题定义：现有的自动化访谈系统通常依赖于固定的问题序列，缺乏对参与者知识水平的实时评估，导致对话中出现重复或不相关的问题，影响访谈的有效性和参与者体验。
核心思路：本文提出的动态访谈架构通过实时分析参与者的反馈和上下文信息，动态调整问题的深度和复杂性，从而实现个性化的访谈体验。该方法旨在提高对话的连续性和语义的进展。
技术框架：该架构由五个模块组成，包括专业知识分析模块、生成迭代问题模块等，支持持续的访谈状态记录。整个流程从参与者的输入开始，经过实时分析和问题生成，最终形成自然流畅的对话。
关键创新：最重要的技术创新在于引入了证据可追溯的动态调整机制，使得访谈能够根据参与者的实时反馈进行适应性调整，这与传统的固定问题序列方法有本质区别。
关键设计：在设计中，采用了模块化的架构，确保各个模块之间的高效协作。关键参数设置和损失函数的选择旨在优化问题生成的相关性和参与者的满意度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，专业知识分析模块与参与者的专业知识报告一致性达到78.9%，而生成迭代问题模块与参与者的知识复杂性关联性强（p=.79, p<.001）。参与者对访谈的相关性、参与度和满意度均表现出较高的评分，分别为4.41、4.32和4.38，证明了该架构的有效性。
🎯 应用场景
该研究的潜在应用领域包括教育、招聘、客户服务等多个场景，能够为用户提供个性化的访谈体验，提升信息获取的效率和质量。未来，该架构有望在更多领域推广应用，推动自动化访谈技术的发展。
📄 摘要（原文）
Automated interviewers and conversational agents are increasingly used in research, recruitment, customer service, and education. However, many existing systems rely on fixed question sequences and provide limited context-based personalization without considering participants' knowledge, which can lead to repetitive or irrelevant follow-up questions. Therefore, there is a need for an adaptive interviewing system that can adjust question depth while maintaining conversational continuity and semantic progression. To address this, an Evidence-Traceable Dynamic Interviewer Architecture is presented using a locally hosted Large Language Model (LLM), with the interview continuously adapted throughout the entire conversation based on the participant's responses and evolving context. The interviewer profiles participants' expertise in real time to generate knowledge-appropriate questions, well-articulated responses, and smooth transition messages that support conversational continuity. A five-module prompt-driven architecture and persistent interview-state record support these functions. The interviewer was evaluated with 246 participants. Expertise Profiling module (M3) showed 78.9% exact agreement with independently reported participant expertise, with a weighted Cohen's K of 0.80. Generate Iterative Questions module (M4) showed a strong expertise-complexity association (p=.79, p<.001), and participants reported high relevance (mean 4.41), engagement (mean 4.32), and satisfaction (mean 4.38), providing evidence that the architecture's adaptive components operated consistently with their intended functions while participants reported a positive interview experience.