对 IGL 研究会议的反思
Posted: Sat Feb 22, 2025 9:11 am
Karim Lakhani 教授和 Rembrand Koning 教授共同在哈佛商学院举办了冬季研究会议。会议当天，我们迎来了 50 多名研究人员，并进行了 8 场设计阶段、正在进行和已完成的随机对照试验 (RCT) 报告。
所展示的试验涵盖了创新、创业和业务增长领域，并采用了一系列实验方法——从测试应用于资助申请人的“助推”到密集业务增长和创业培训计划的影响评估。
虽然这一政策领域的试验仍然非常匮乏，但它们表明，利用试验来发现新见解和改善政策结果具有广阔的空间。我们得出了两个突出的结论。
高价值试验可以降低成本并产生高影响
人们通常认为试验是昂贵或复杂的，但在整个研究会议期间，我们看到了一些能够产生高价值影响的项目，而没有这两个障碍。
例如，专注于如何与项目参与者沟通的试验是一种廉价的方式，可以试验不同的策略以最大限度地提高参与度或改善项目实施。这些简单但有针对性的沟通调整甚至可以帮助衡量潜在的动机和项目成功率，正如 Ina Ganguli 提出的早期研究显示的那样。
正如罗德里戈·瓦格纳 (Rodrigo Wagner) 所介绍的那样，向申请商业支持计划的企业家提供反馈是另一个可能产生巨大影响的直接干预的例子。
知道什么行不通也许和知道什么行得通一样重要
演示中得出的另一个重要教训是，不仅要知道一个项目何时有效，而且还要知道它何时没有达到预期的影响。
托马斯·阿斯特布罗 (Thomas Astebro) 合著的一篇论文特别讨论了一项没有发现影响证据的干预措施。该计划是一项针对社会企业家的强化领导力培训，并没有导致态度和创业进展发生重大变化。这 LINE 数据 显然不是该计划资助者所希望的，但发现的证据帮助他们转变了方向——该计划将尝试教授技能而不是改变态度——这将通过另一次试验进行评估。
这是如何使用 RCT 来改进干预措施的一个很好的例子；为了能够做到这一点，我们必须发表甚至欢迎负面或无效的发现。
尽管有这些积极的收获，研究会议也强调，在创新、创业和增长领域，使用 RCT 仍然是一种相对较新的做法。因此，我们可以从其他 RCT 更为普遍的领域的同事那里借鉴一些经验教训。
试图同时完成太多事情可能会适得其反
项目可能希望测试多种治疗方法，以便同时测量和比较不同干预措施的影响。从理论上讲，这似乎非常有用，但实际上这可能会导致试验效果不足，因为样本量可能太小。换句话说，如果我们将给定的样本分散到多个试验组，我们可能会失去得出可靠结论的能力，因为影响需要大到不切实际才能被检测到。
此外，研究人员通常不会事先设定一个特定的结果，而是希望通过一系列变量探索结果的不同可能解释。然而，这使得结果难以解释，同时也降低了研究结果的可信度。
更好的方法是从清晰的理论框架开始，利用试验来测试具有预先设定的结果测量的特定假设。最佳实践要求在干预开始之前在试验方案中列出这些假设。当然，这并不妨碍对次要结果进行进一步分析，只要这些发现是以次要结果的形式呈现即可。事实上，鉴于该领域的试验新颖性，许多新见解可能来自意料之外的分析。
更好地报告结果
创新创业试验的另一个好处是可以借鉴其他领域的最佳实践，即报告结果。例如，目前我们这个领域的标准是没有报告随机化信息，例如使用了哪种方法，或试验的统计功效（包括事前计算和事后计算）。这是其他领域的常见做法，例如遵循CONSORT 指南的卫生领域，并且可以帮助同行快速有效地评估研究质量。在这方面，IGL 将努力推广一套共同的标准。
所展示的试验涵盖了创新、创业和业务增长领域，并采用了一系列实验方法——从测试应用于资助申请人的“助推”到密集业务增长和创业培训计划的影响评估。
虽然这一政策领域的试验仍然非常匮乏，但它们表明，利用试验来发现新见解和改善政策结果具有广阔的空间。我们得出了两个突出的结论。
高价值试验可以降低成本并产生高影响
人们通常认为试验是昂贵或复杂的，但在整个研究会议期间，我们看到了一些能够产生高价值影响的项目，而没有这两个障碍。
例如，专注于如何与项目参与者沟通的试验是一种廉价的方式，可以试验不同的策略以最大限度地提高参与度或改善项目实施。这些简单但有针对性的沟通调整甚至可以帮助衡量潜在的动机和项目成功率，正如 Ina Ganguli 提出的早期研究显示的那样。
正如罗德里戈·瓦格纳 (Rodrigo Wagner) 所介绍的那样，向申请商业支持计划的企业家提供反馈是另一个可能产生巨大影响的直接干预的例子。
知道什么行不通也许和知道什么行得通一样重要
演示中得出的另一个重要教训是，不仅要知道一个项目何时有效，而且还要知道它何时没有达到预期的影响。
托马斯·阿斯特布罗 (Thomas Astebro) 合著的一篇论文特别讨论了一项没有发现影响证据的干预措施。该计划是一项针对社会企业家的强化领导力培训，并没有导致态度和创业进展发生重大变化。这 LINE 数据 显然不是该计划资助者所希望的，但发现的证据帮助他们转变了方向——该计划将尝试教授技能而不是改变态度——这将通过另一次试验进行评估。
这是如何使用 RCT 来改进干预措施的一个很好的例子；为了能够做到这一点，我们必须发表甚至欢迎负面或无效的发现。
尽管有这些积极的收获，研究会议也强调，在创新、创业和增长领域，使用 RCT 仍然是一种相对较新的做法。因此，我们可以从其他 RCT 更为普遍的领域的同事那里借鉴一些经验教训。
试图同时完成太多事情可能会适得其反
项目可能希望测试多种治疗方法，以便同时测量和比较不同干预措施的影响。从理论上讲，这似乎非常有用，但实际上这可能会导致试验效果不足，因为样本量可能太小。换句话说，如果我们将给定的样本分散到多个试验组，我们可能会失去得出可靠结论的能力，因为影响需要大到不切实际才能被检测到。
此外，研究人员通常不会事先设定一个特定的结果，而是希望通过一系列变量探索结果的不同可能解释。然而，这使得结果难以解释，同时也降低了研究结果的可信度。
更好的方法是从清晰的理论框架开始，利用试验来测试具有预先设定的结果测量的特定假设。最佳实践要求在干预开始之前在试验方案中列出这些假设。当然，这并不妨碍对次要结果进行进一步分析，只要这些发现是以次要结果的形式呈现即可。事实上，鉴于该领域的试验新颖性，许多新见解可能来自意料之外的分析。
更好地报告结果
创新创业试验的另一个好处是可以借鉴其他领域的最佳实践，即报告结果。例如，目前我们这个领域的标准是没有报告随机化信息，例如使用了哪种方法，或试验的统计功效（包括事前计算和事后计算）。这是其他领域的常见做法，例如遵循CONSORT 指南的卫生领域，并且可以帮助同行快速有效地评估研究质量。在这方面，IGL 将努力推广一套共同的标准。