What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations
作者: Kavel Rao, Liwei Jiang, Valentina Pyatkin, Yuling Gu, Niket Tandon, Nouha Dziri, Faeze Brahman, Yejin Choi
分类: cs.CL
发布日期: 2023-10-24 (更新: 2023-11-01)
备注: Camera Ready EMNLP Findings 2023. First two authors contributed equally
💡 一句话要点
提出可驳斥道德推理以解决道德判断的模糊性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 道德推理 自蒸馏 情境化 常识推理 数据集构建 伦理判断 机器学习
📋 核心要点
- 现有方法在处理道德判断时缺乏对具体情境的细致理解，导致判断结果的模糊性和不一致性。
- 论文提出了一种迭代自蒸馏的方法，通过自蒸馏、目标过滤和自我模仿学习来生成高质量的道德推理数据。
- 实验结果表明，使用生成的数据集δ-Rules-of-Thumb，最终模型在道德推理任务中显著优于所有中间模型，提升幅度明显。
📝 摘要（中文）
道德或伦理判断在很大程度上依赖于具体的情境。理解可驳斥的情境化（即增强或减弱某一行为道德可接受性的附加信息）对于准确反映人类道德判断的细微差别至关重要。本文提出可驳斥道德推理任务，旨在提供使行为在道德上更可接受或不那么可接受的情境，并附上合理的常识性推理。通过迭代自蒸馏的方法，从少量无结构的种子知识出发，交替进行自蒸馏、目标过滤和自我模仿学习，最终生成了高质量的数据集δ-Rules-of-Thumb，包含120万条情境和115K个道德行为的合理化，获得了人类标注者85.9%至99.8%的高评分。
🔬 方法详解
问题定义：本文旨在解决道德判断中对具体情境理解不足的问题，现有方法往往无法准确捕捉道德行为的复杂性和细微差别。
核心思路：通过引入可驳斥道德推理任务，提供增强或减弱道德可接受性的情境，并附上合理的推理，旨在提升道德判断的准确性和一致性。
技术框架：整体流程包括三个主要阶段：首先从GPT-3获取初始种子知识；其次进行自蒸馏和目标过滤；最后通过自我模仿学习提升数据质量，最终生成高质量的数据集。
关键创新：最重要的创新在于采用迭代自蒸馏的方法，结合人类判断的批评模型和自然语言推理（NLI）技术，显著提升了生成数据的有效性和多样性。
关键设计：在模型训练中，采用了多种损失函数以平衡有效性和多样性，同时设计了适应性参数设置，以优化自蒸馏和自我模仿学习的效果。具体的网络结构和参数设置在实验中经过多次调优，以确保最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用数据集δ-Rules-of-Thumb的最终学生模型在道德推理任务中超越所有中间模型，性能提升幅度显著，标注者对生成内容的满意度高达85.9%至99.8%。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、教育领域的伦理课程设计以及社会科学研究中的道德判断分析。通过提供更准确的道德推理工具，能够帮助人们在复杂的社会和道德情境中做出更合理的判断，具有重要的实际价值和未来影响。
📄 摘要（原文）
Moral or ethical judgments rely heavily on the specific contexts in which they occur. Understanding varying shades of defeasible contextualizations (i.e., additional information that strengthens or attenuates the moral acceptability of an action) is critical to accurately represent the subtlety and intricacy of grounded human moral judgment in real-life scenarios. We introduce defeasible moral reasoning: a task to provide grounded contexts that make an action more or less morally acceptable, along with commonsense rationales that justify the reasoning. To elicit high-quality task data, we take an iterative self-distillation approach that starts from a small amount of unstructured seed knowledge from GPT-3 and then alternates between (1) self-distillation from student models; (2) targeted filtering with a critic model trained by human judgment (to boost validity) and NLI (to boost diversity); (3) self-imitation learning (to amplify the desired data quality). This process yields a student model that produces defeasible contexts with improved validity, diversity, and defeasibility. From this model we distill a high-quality dataset, δ-Rules-of-Thumb, of 1.2M entries of contextualizations and rationales for 115K defeasible moral actions rated highly by human annotators 85.9% to 99.8% of the time. Using δ-RoT we obtain a final student model that wins over all intermediate student models by a notable margin.