顾燕峰*
一、 导论
社会科学的主要使命是对特定的社会现象提供理论解释。实证主义和科学主义影响下的社会科学不断借鉴自然科学的研究范式和成果，推动自身研究范式的变革，以适应社会科学对人类社会现象的研究。得益于统计学、信息科学、计算机科学等学科的快速发展，社会科学（包括政治学）研究范式正经历着深刻的变革。这一变革的重要内容之一是因果关系识别技术的革新。事实上。因果推断已成为统计学、经济学、政治学、社会学等诸多学科的核心议题，近年来涌现了大量研究成果。[1]
实验已成为社会科学（包括政治学）领域探究因果关系最核心的手段之一。然而，社会科学实验与自然科学实验有着重要的区别。自然科学对因果关系的识别依赖于实验室实验。科学家可以通过两个完全相同的研究对象，测量接受干预和不接受干预时状态的差异，并认为这种差异就是由干预导致的。社会现象比自然现象更复杂。实验者无法同时观测实验对象（主要是人）接受和不接受干预(treatment)时的状态，并且现实社会中不存在两个完全相同的个体可供实验者进行比较，因此社会科学实验必须在理论和方法上有所突破。统计学中潜在结果模型(Potential Outcome Model)和抽样分布理论为社会科学实验奠定了理论基础。潜在结果模型认为既然我们无法同时观测研究对象在接受和不接受干预时的状态，那么一种结果即是另一种结果的潜在状态。对于研究者而言，既然只能观测到其中一种状态，就无法估计干预对个体的因果效应。抽样分布理论已经证实，在随机抽样的前提下，只要样本足够大，则样本均值的期望值等于总体均值，且样本均值的抽样分布接近正态分布。这意味将实验对象随机分配进实验组（接受干预）和控制组（不接受干预），即可创建两个在统计上完全相同的群体（即实验者和控制组）；再测量两个组的可观测的状态，然后比较实验者和控制组结果的差异，就能测量干预对实验组的因果效应。
随机分配假设和稳定单位处理值假设是社会科学实验必须被满足的假设。随机分配假设可确保实验者和控制组的可比性；而稳定单位处理值假设要求任意单位(unit)的潜在结果与其他单位是否接受处理不相关；且对每个单位，每个处理的水平在形式上没有差异。这可确保实验组的个体被施以同等形式、强度的实验刺激。任何违反这两个假设的行为都将降低实验的内部有效性。对社会科学实验的最主要的批评集中在实验的内部和（尤其是）外部有效性。，改进实验方法和实施程序成为提高实验内部和外部有效性的重要手段。实验室实验、实地实验和调查实验在确保实验的内部和外部有效性方面各有优势。
最近10多年来，实验在政治学领域取得了爆发式的增长。这突出地表现在政治学权威杂志上实验论文数量的爆发式增长。特别是2010年以后，《美国政治学杂志》刊载的实验论文数量几乎占该杂志发文量的1/4。此外，实验论文作者的多样化和研究议题的多样化都说明实验正越来越被政治学家所接受。然而，实验的使用目前高度集中在美国的高校和科研机构，并且以研究美国问题为多。这也反应出目前实验方法在政治学中运用的区域不平衡。中国政治学界目前也开始对实验在中国的应用做出初步的尝试和探索。
一、 基本原理：估计因果效应
实验设计的基本原理基于Neyman和Rubin的潜在结果模型(也称为鲁宾因果模型，Rubin Causal Model)。[2]假定我们想探究候选人演说对投票人投票结果的影响。是听过候选人演说的投票人i的投票结果(例如是否投票给该候选人)，Y代表投票结果，1表示听过候选人演说，i表示第i个投票人；反之是指没有听过候选人演说的投票人i的投票结果，0表示没有听过候选人演说。候选人演说对投票人i投票结果的因果效应为：
如果有许多投票人，我们可以计算其平均处理效应(the Average Treatment Effect，或ATE)
ATE=E(
公式(1)显示，要计算候选人演说对投票人投票行为的因果效应()，需要考察同一个投票人在听候选人演说和不听候选人演说的情况的投票行为差别。对同一个投票人，无法同时观测
我们可以通过实验设计引入实验组和控制组，以解决该问题。如果我们可以通过某种分配机制，将投票人分别归入(听候选人演说的)实验组和(不听候选人演说的)控制组，并确保两组被试者拥有相同的特征，则可以近似地认为两组者被试者在统计学意义上是相同的。然后，让实验组的被试者听候选人演讲后进行投票，并比较实验组和控制组的投票行为差异。
我们可将投票人实验组和控制组的投票结果表示为，
ATE=E (
δi的值可能因人而异。对有些投票人，候选人演说对投票结果的因果效应可以很大，但对另一些投票人，候选人演说的因果效应可以很小。因此候选人演说对投票人投票结果的平均处理效应在总体(population)与实验组(treatment group)中可能不一致。
实验组的平均处理效应(the Average Treatment Effect on Treated，或ATT)，更正式的表述应为：
ATT=E (δ_i |T_i=1) =E (Y_i^1 | T_i=1)-E (Y_i^0 | T_i=1) (5)
上式可表述为,实验组的平均处理效应等于，实验组中听候选人演讲后的投票人的投票结果与假如投票人未听候选人演讲的投票结果之差的期望值。显然，ATT才是我们期望计算的平均处理效应，然而事实上却不可测；而我们却可通过实验组和控制组的区分，计算ATE。
利用可观测的实验数据计算的ATE，和理论上ATT之间的差异为
D=E (
从公式(6)可知，如果能确保
E (
我们就能确保ATT等于ATE。也就是说，假如控制组和实验组的投票人都未听候选人演讲，其投票结果的期望值相等(公式7)，那么总体平均处理效应(ATE)和控制组的平均处理效应(ATT)相等。显然，我们无法直接验证公式(7)。
实验设计的随机分配(Random Assignment)假设和稳定单位处理值假设(Stable Unit Treatment Value Assumption，或SUTVA)，可确保公式(7)成立，从而令我们可以利用实验数据估计ATE。[3]随机分配假设要求研究单位(Unit)被随机分配(randomly assigned)进实验组和控制组,；这可确保实验组和控制组在统计学上无差异，从而使得D=0，即令ATE=ATT。SUTVA假设要求任意单位(unit)的潜在结果与其他单位是否接受处理不相关；且对每个单位，每个处理的水平在形式上没有差异。[4]SUTVA是一个排除性约束(exclusion restriction), 它排除了个体间互相扰动和处理(treatment)变异的可能。在我们的例子中，SUTVA确保每个投票人之间的投票行为是相互独立的，不会屈从于群体压力；并且对听候选人演说的投票人(treatment group)，听演说的方式是一致的，不会出现有人现场听演说，有人通过电视、网络等媒介听演说的可能。[5] 值得注意的是，我们无法利用已有的数据来证实排除性约束。通常，我们只能利用已有的知识，使我们的研究尽力满足排除性约束。在实验设计中，我们可以利用合理的实验设计、对实验实施过程的合理控制等方法，确保实验满足排除性约束。
如果用回归模型来估计ATE，则可表述为
二、 实验的有效性问题：内部有效性(Internal Validity)和外部有效性(External Validity)
对于社会科学实验而言，情况会变得更复杂。任何实验都不得不考虑抽样问题。在我们的投票案例中，我们不可能将所有的投票人都纳入到我们的实验中。现实的做法是，按照某种的规则，从总体中抽取一定的样本，并对此样本进行合理实验，分析实验结果，从而推断总体。
假定从总体中，随机抽取一个包含n个投票人的样本，并将n1个投票人分到(听候选人演讲的)实验组，将n0个投票人分到(不听候选人演讲的)控制组,且n1+n0=n,则样本平均处理效应(the Sample Average Treatment Effect, SATE)为
样本的实验组的平均处理效应(the Sample-average Treatment Effect on Treated，或SATT)为
实验的内部有效性是指在多大程度上SATT等于SATE，也就是说指因果关系在多大程度上控制了人、环境、实验刺激等差异，以确保实验者观测到的效果是由实验刺激本身，而不是其他因素所导致的。对任何实验而言，首先SATE是不可测的；但SATT可以计算。我们已经证明，如果能够保证实验的随机分配假设和稳定单位处理值假设成立，就能够确保ATE等于ATT，从而可以获得对ATE的无偏估计。因此，只要我们能够确保上述两个假设得到满足，我们可以确保实验的内部有效性。实验的内部有效性是实验研究的基石；只有在满足实验的内部有效性的情况下，我们才可能讨论实验的外部有效性。
外部有效性是指在多大程度上PATE等于SATE，也就是说涉及实验结果的普遍性，和在多大程度上实验结果可应用到不同的总体、环境中去。[7]如果我们要将实验结果从实验样本推广到研究总体，我们显然还要确保SATE等于PATE。 从统计原理而言，这并不困难。根据中心极限定理，只要确保从独立的个体中随机抽取足够的样本，我们就可以得到
但对实验而言，从样本推论总体，需考虑两个方面得问题：（1）大多数实验只涉及少量样本，如何确保样本的代表性？这涉及到总体有效性问题(Population validity)。（2）大多数实验是在人为控制的实验环境中实施的，那么利用实验环境发现的因果关系是否可以应用到现实环境中？这涉及到生态有效性问题(Ecological validity)。
三、 对实验有效性的危险
如其他社会科学一样，政治学也涉及研究结果一般化问题(generalization)。在确保实验内部有效性的基础上，实验的外部有效性问题尤为引人重视。[8]要想确保实验的内部有效性和外部有效性，必须考虑在实验实施过程中，如何消除影响实验内部及外部有效性的各种因素，以确保符合实验的基本原则。
（一） 对实验内部有效性的威胁
如果实验能够满足随机分配假设和稳定单位处理值假设，就能确保实验的内部有效性。因此，任何违反这两个假设的可能，即是对实验内部有效性的威胁。
社会科学的实验对象是人。无论是实验室实验还是实地实验，实验过程本身是实验者和被试者之间互动的过程。因此实验过程中不得不考虑伦理、偏好等诸多因素，而这些因素就有可能会影响实验的内部有效性。
1．不遵从(Noncompliance)或部分遵从(Partial Compliance)
当实验组中本应接受实验刺激的被试者未能接受实验刺激；或控制组中不应接受实验刺激的被试者接受了实验刺激，就产生了不遵从或部分遵从问题。
在实验过程中，实验的实施者无法“强迫”被试者接受实验刺激。被试者是否接受实验刺激，除了受实验者事先安排外，还受到实验手段、目的、被试者个人偏好、人格乃至合作态度等各种因素的影响。例如，在投票案例中，实验组中的部分被试者可能对选举本身或对候选人不感兴趣，从而在实验中未听候选人演说。或者，在宽松的实验情境下，(本应不听候选人演说的)控制组成员听了候选人的演说，即接受实验刺激。显然，即使实验者随机分配被试者进入实验组和控制组，不遵从或部分遵从问题一方面会减少实验组和控制组的可比性，另一方面会破坏实验的随机分配原则，并最终导致无法估计真实的SATE，即影响实验的内部有效性。更糟的是，如果实验未能在严格的实验情境下实施，实验者难以识别哪些被试者和有多少被试者未能遵从实验要求。这使实验者不可能准确估计实验“真实”的因果效应。[9]
2.损耗(Attrition)
在实验实施过程中，经常有被试者退出实验；或者实验结果不能被测量，从而产生样本损耗，并导致数值缺失问题。一般来讲，损耗问题可通过两种途径影响实验的内部有效性。
首先，损耗可降低实验组和控制组的可比性。例如，在投票案例中，实验组中的部分被试者可能对选举本身或对候选人不感兴趣，从而退出实验。在大多数情况下，如果被试者被随机分配进实验组和控制组，而实验过程却出现两个组中不成比例的退出率时，“退出者”本身可能与实验的过程或目的相关。即，“退出者”是非随机的。这会破坏随机分配原则，降低实验组和控制组的可比较性。[10]
其次，被试者退出实验，会减少实验样本，从而影响统计效力(statistical power)。在大样本的实验中，或退出率较低的情况下，这可能不算个严重的问题。但当样本量有限或退出率很高的时候，大量的退出者可能对统计效力产生较大影响。
3．溢出效应(Spillover effect)
社会科学中的许多(尤其是在非实验室条件下的)实验，无法排除实验参与者互动，并影响其决策行为，从而违反该SUTVA假定，产生溢出效应。[11]在选举案例中，如果实验组的被试者不但听取候选人的演说，还有机会相互交流意见，则意见领袖可能影响其他人的投票行为。[12] 这会导致我们对ATE的估计是有偏的。如果意见领袖倾向于将选票投给候选人，则令我们高估ATE；反之则反。另一种可能是，实验组和控制组的被试者有机会沟通，使控制组的被试者获得(候选人演说的)实验刺激的信息，从而改变控制组被试者的投票行为。显然，溢出效应对样本平均效应的影响可能是正向的，也可能是负向的。因此，在简单的随机实验中，如果没有严格的实验控制，溢出效应可导致对样本的实验组的平均处理效应(SATT)的偏误。这会影响实验的内部有效性。
严格(如实验室条件下)的实验控制，可以避免实验参与者的相互交流，排除溢出效应。但这将导致实验的外部有效性问题：实验条件和现实条件相去甚远，实验室实验的结果能否推论到社会现实？在选举案例中，即便通过严格的实验控制，排除溢出效应，准确识别出“听候选人演讲”对选举结果的样本平均处理效应(SATE)，但这个结论能否推论到现实社会(即总体平均处理效应，PATE)呢？这本身就是值得研究的问题。
因此，在条件允许的情况下，实验设计不是要排除而是识别溢出效应。简单(非实验室控制)的随机实验不能完全排除溢出效应，但我们依然可能知道溢出效应对SATT影响的方向。在选举案例中，假设只存在第一种溢出效应，即实验组中的参与者之间相互交流，并通过意见领袖影响参与者的投票行为，那么识别意见领袖及其投票倾向就变得十分重要。如果意见领袖倾向于不投票给候选人，则我们会低估ATE，这意味着我们至少可以知道“听候选人演讲”对“投票人投票行为”影响的下限；但如果意见领袖倾向于将选票投给候选人，则我们会高估ATE，这会使问题变得更严重。遗憾的是，我们可能无法知晓所有可能的溢出效应，例如有多个意见领袖，实验组和控制组成员的交流等等。[13] 因此，我们有必要通过改进实验设计，识别溢出效应，从而提高实验的内部有效性和外部有效性。
许多实证研究通过二阶段随机分配实验设计来识别溢出效应。首先，将所有组(clusters)随机分为实验组和控制组；然后将实验组的组(cluster)中所有单位(unit)，随机分配为实验对象(treatment)和控制对象(control)。这样的实验设计允许实验者比较实验组中未接受实验刺激的单位(untreated unit)和控制组中的单位(unit)的差异，以检验溢出效应。[14]社会科学领域，该方法已被越来越多的研究者所利用。[15]在选举案例中，我们可首先以社区为组(cluster)，随机将若干社区分配进实验组和(纯)控制组；然后对实验组(各社区)中的投票人(unit)随机指定为听候选人演说和不听候选人演说。实验组中的未听候选人演说的投票人与(纯)控制组投票人投票结果的差异，就是溢出效应。而实验组中听候选人演说的投票人与控制组投票人投票结果的差异就是ATE。
4．评价驱动效应(Evaluation-driven effects)
当实验参与者意识到自己正在参与的实验，可能会主动改变自己的行为，这就会产生评价驱动效应。Glennerster和Takavarasha列举了6种评价驱动效应[16]：(1) 霍桑效应(Hawthorne effect):实验组比平时更努力工作；(2) 约翰亨利效应(John Henry effect)：比较组与实验组竞争；(3)愤恨和士气低落效应(Resentment and demoralization effect)：比较组因未能参与实验刺激而愤愤不平；(4)需求效应(demand effect)：实验参与者因实验者的目标预期而改变自己的行为；(5) 前瞻效应(anticipation effect)：比较组因预期未来能参与实验刺激而改变自己的行为；(6)调查效应(survey effects):因频繁被调查，实验组或比较组改变随后的行为。[17]评价驱动效应对实验有效性的威胁在于：(1) 现实环境中不存在评价驱动效应，因此评价驱动效应降低了实验结果一般化的能力，从而降低了实验的外部有效性；(2)评价驱动效应改变了实验组和控制组的可比性，从而降低了实验的内部有效性。
实验实施者可通过多种手段降低或避免评价驱动效应对实验有效性的影响。首先，二阶段或多阶段随机分配实验设计可减少实验组和控制组的互动，从而减小评价驱动效应。其次，实施者应对实验组和控制组施以同等强度的互动，使实验组和控制组的调查效应同等化。再次，单盲实验(single-blind experiment)可有效降低评价驱动效应。单盲实验是指只有实施者了解实验分组情况，实验参与者不知道自己是实验组还是控制组。当实验参与者不清楚自己属于实验组和控制组时，不仅能有效减小评价驱动效应，并且即使部分评价驱动效应依然存在，但在实验组和控制组应当等同，因而不会影响实验的内部有效性。最后，与单盲实验相比，双盲实验(double-blind experiment)不仅具有单盲实验的优势，而且能减少实验实施者的预期对实验的影响。实验的实施者可能对实验结果有所偏好，因此在实验实施过程中有意无意地影响实验参与者，从而影响实验结果。在双盲实验中，实验实施者和实验参与者都不知道参与者所在组别，从而避免了实验实施者对实验结果的影响。双盲实验在经济学，特别是实验经济学中应用较多，而政治学也已开始应用。[18]
（二） 对实验外部有效性的威胁
实验外部有效性可大致分为两个类别：(1)总体有效性，即实验结果在多大程度上能推论总体，这涉及样本代表性问题；(2)生态有效性，即实验环境与现实环境在大多程度上一致，这涉及实验“环境”问题。[19]
1.总体有效性
首先涉及样本代表性问题。与其他研究方法一样，样本代表性是影响研究结果外部有效性的重要因素。但与社会调查等研究方法相比，实验(特别是实验室实验)的样本代表性问题更突出。经典统计学理论已经证明，如果遵循随机抽样原则，且样本量足够大的话，我们可以从样本推论总体(population)。但因易受经费、场地、时间等诸多现实因素的制约，实验(特别是实验室实验)无法像社会调查一样，进行严格的随机抽样，获取大样本。因此，大多数政治学家很少担心观测数据的外部有效性，但确实担心实验数据的外部有效性。[20]
在选举案例中，我们希望研究候选人演说对投票人投票行为的影响，此时研究的目标总体(target population，TP)是全体投票人。但从实验实施角度而言，实验者仅从其可能接触到的社区、家庭和个人(即实验可触及的总体，experimental accessible population，EAP)中, 抽取(且不说是否能够确保随机抽样)一定的样本进行实验。当TP和EAP不存在差异时，只要实验样本通过随机抽样获得，且样本量足够大时，我们可以将实验结果推论至目标总体，且不存在外部有效性问题。但假如TA和EAP存在偏差。这意味着两者的投票人行为不一致。实验样本的投票行为仅可代表实验可触及总体(EAP)的投票行为，但无法代表整个目标总体(TP)的投票行为。因此，实验者可将实验结果推论至实验可触及总体；但无法推论至目标总体。此时，实验结果存在实验外部有效性问题。因此，当研究总体的异质性越强，实验的样本代表性就越弱，实验结果的外部有效性就越低。
2.生态有效性
生态有效性涉及到实验环境问题，即实验环境在多大程度上和现实环境相符。为了探求实验刺激的影响，实验(尤其是实验室实验)通常是在(严格)受控的条件下进行的。这虽然增加了实验的内部有效性，却引起了实验的外部有效性问题：实验环境和现实环境相去甚远，实验的结果能否推论到现实社会？
例如在选举案例中，实验者为避免不遵从(Noncompliance)或部分遵从(Partial Compliance)导致的内部有效性问题，而迫使被试者遵从实验安排，这可能会导致生态有效性问题。在现实社会中，投票人可自由选择投票或不投票，但在实验情境下，被试者可能不得不服从实验者的安排，做出投票决策。幸运的是，这类选择性问题(selection into treatment),可通过合理的实验设计，识别实验的外部有效性(Kowalski, 2018)。[21]
实验中还有更多的生态有效性问题。例如，实验室环境令被试者产生压力；在实验室听演说与在酒吧、广场、家里听演说效果差异的差异；被试者遵从实验者的权威；实验者与被实验者之间的互动；实验环境下产生的评价驱动效应等等。可以这么说，只要实验是在受控的条件下实施的，就会产生实验环境与现实环境的差异，从而引起对实验的生态有效性的担忧。
四、 实验室实验(laboratory experiment) 、实地实验(field experiment)、调查实验(survey experiment)
对实验内部和外部有效性的担忧，促使研究人员试图通过合理的实验设计，进一步提高实验的内部和外部有效性。常用的实验方法包括实验室实验、实地实验和调查实验。接下来我们将逐一讨论这三种实验的特点及其外部和内部有效性问题。
实验室实验是指在严格受控的实验室条件下，实验实施者将参与者随机分配到实验组和控制组，并施予不同的实验刺激，并测量实验结果的过程。由于实验是在严格受控的实验条件下进行的，因此，实验实施者可以通过有效的实验程序，排除上文提及的四类影响实验内部有效性的因素，从而确保实验满足随机分配假设和稳定单位处理假设，最终确保实验的内部有效性。然而，受限于时间、人员、经费、抽样等诸多现实因素，实验室实验一般都无法大规模实施，也无法确保抽样的随机性，因此实验室实验难以确保实验的总体有效性。此外，受控的实验室条件与现实条件可能相去甚远，因此实验室实验也难以确保其生态有效性。
与实验室实验不同的是，实地实验是指在(非受控)现实环境中，实验实施者将实验参与者随机分配到实验组和控制组，并施予不同的实验刺激，并测量实验结果的过程。由于实验是在现实条件中实施的，因此实验条件与现实条件一致，这可确保实验的生态有效性。但实地实验成本高昂，可能无法大规模实施，因此实验的总体有效性可能较低。[22]但由于实地实验是在非受控环境下实施的，实验者无法排除影响实验内部有效性的四种因素，因此实地实验的内部有效性较低。
实验室实验和实地实验都受限于高昂的成本，因而无法对实验参与者进行随机抽样，最终威胁实验的总体有效性。实验室实验受控的实验环境弱化了实验的外部有效性；而现场实验非受控的环境则弱化了实验的内部有效性。调查实验结合了调查和实验的优点：一方面可以像社会调查一样，对实验参与者进行随机抽样，从而确保实验的外部有效性；另一方面可以随机地将实验参与者分配进实验者和对照组，并在部分受控的条件下完成实验，因而可以改善实验的内部有效性。正因如此，调查实验是政治学中使用范围最广的实验方法。
但调查实验并非万能药，它依然有自己的局限。首先，与社会调查类似，大样本的实验必须动员大量的实验实施者(访问员)；而实验实施者个体的差异可能导致实验刺激的方式、程度等差异。这可能破坏稳定单位处理值假设(SUTVA)，从而影响实验的内部有效性。其次，尽管调查实验弱化实验环境的受控程度，但实验环境毕竟与现实环境有差异，因此我们对其外部有效性依然持谨慎态度。[23][24] 再次，非完全受控的实验环境无法排除四类影响实验有效性的因素，从而破坏随机分配假设和稳定单位处理假设，从而影响实验的内部有效性。最后，调查实验一般只能测量实验的短期效应。如果要测量实验的长期效果，则需要对实验参与者进行长期追踪访问。但事实上，追踪样本调查必然面临着样本流失率和实验环境的变化问题，从而影响实验的内部和外部有效性。
对社会科学(包括政治学)研究者而言，没有一种一劳永逸的实验解决方案。实验者总是希望实现实验内部和外部有效性的最大化；然而实验的内部有效性和外部有效性是矛盾的结合体，在不增加样本的情况下，实验者难以同时改善实验的内部和外部有效性。在大多数情况下，研究者需要权衡研究问题、经费、人员、时间等一系列题因素，并做出最优选择。一旦确定了合适的实验方法，合理的设计和执行变得尤为重要。有些学者建议在一项研究中同时使用几种实验方法(Roe & Just, 2009)。[25]对社会（包括政治）科学家而言，当实验的内部和外部有效性发生冲突时，往往首先会关注实验的内部有效性。
五、 实验在政治学中的应用
（一） 实验在国外政治学研究中的应用
实验被应用于政治学研究可追溯至20世纪40-50年代。Eldersveld于1956年在《美国政治学评论》(American Political Science Review)上发表的Experimental Propaganda Techniques and Voting Behavior,是第一篇发表于政治学顶级期刊上的实验论文。[26]自此，实验被越来越多地用于政治学研究。90年代，得益于计算机和网络技术的发展，实验被政治学家广泛接受。[27]这突出表现在政治学顶级期刊上，实验论文的发表量快速扩张。到2000-2005年间，仅《美国政治学评论》就发表了16篇实验论文；而政治学三大顶级期刊(《美国政治学评论(American Journal of Political Science)》、《美国政治学杂志(American Political Science Review)》和《政治学杂志(Journal of Politics)》)同期共发表了33篇实验论文。[28]
实验被政治学家广泛接受的另一个标志性的事件是2014年《实验政治学杂志》(Journal of Experimental Political Science)创刊。该杂志以实验方法为导向，发表基于实验方法或自然数据的实验推理的前沿研究。其对实验方法广义地定义为研究对象随机(或准随机)分配到不同的实验组，以试图探求政治领域的因果关系。该杂志创刊初期以每年两期的速度出版，2017年以后随着投稿量的增加，改为每年三期。[29]
本文下述部分将以2006-2018年《美国政治学杂志》和《美国政治学评论》上发表的217篇实验论文为基础，讨论10多年来实验在政治学中的新进展。本文所指的实验论文，是指以实验方法收集数据，进行实证研究的论文。事实上，实验不仅是收集数据的手段，也是一种研究思维。基于实验设计思维，社会科学家(包括政治学家)经常利用一些政策变化、自然冲击等，进行自然实验(natural experiment)或准实验(quasi-experiment)设计，从而探讨对社会(政治)现象的因果关系。两本杂志涉及这方面的论文也不在少数。此外，随着实验越来越多地被应用于政治学研究，专门探讨实验的理论与方法的论文也层出不穷。但囿于主题限制，本文未对这两类文章进行统计。
1.实验论文数量及趋势
十年前，谢韬和Lee曾这样描述实验在政治学中的地位：“无论是从绝对数目还是从相对数目来讲，基于实验方法的政治学文章和专著还是非常少，然而与80年代之前相比，试验研究已经走过了最艰难的一段，并逐渐被主流政治学者所接受，成为政治学的一道亮丽的风景线”。[30]从1956年第一篇实验论文在《美国政治学评论》上发表到1989年，该杂志每年发表实验论文的数量在1篇左右[31]；1990-2009年间，该杂志实验论文的发文量持续增长，到2005-2009年间年均发文量了已经超过了3篇。如果说2010年前实验论文发文量持续增长，那么用“爆发式”增长来描述2010年以后政治学顶级期刊实验论文的发文趋势一点都不为过。图(一)清晰地显示2010-2018年间实验论文发表量爆发式增长，其中2010-2014年实验论文发表量达27篇，年均发文量已达到5.4篇；而2015-2018年，仅用4年时间，发表量就超过了过去5年的总和，达到35篇，年均发文量已经接近9篇。该杂志每年4期，每期发表研究性论文13-17篇，以此推算，实验论文占该杂志研究性论文发表量约为15%。[32]
图1《美国政治学评论》实验论文数量
数据来源：1906-2009年数据来自于Druckman, Green,Kuklinski & Lupia, 2011；2005-2009年数据作者重新收集，并做检查；2010-2018年数据由作者自己收集。
另一本权威杂志《美国政治学杂志》的实验论文发文数的增长则更为迅猛。2006-2018年间，政治学权威杂志《美国政治学杂志》共发表实验论文140篇，远多于《美国政治学评论》的77篇。图(二)显示了实验论文在两本杂志历年发表量，非常清晰地显示了2010年以后《美国政治学杂志》实验论文增长趋势远高于《美国政治学评论》。2010年前，《美国政治学杂志》实验论文发表数量略高于《美国政治学评论》，年均5.5篇。2010-2014年间，该杂志发表的实验论文量迅速增至55篇，年均11篇；2015-2018年已达到63篇，年均15.75篇，事实上已经达到该杂志论文发表量的1/4强。[33]
图2《美国政治学杂志》和《美国政治学评论》实验论文数量，2006-2018
数据来源：作者收集数据
2.作者和研究区域分布
实验在政治学研究领域广泛应用还表现在研究人员的多样性。表(一)展示了2006-2018年两本杂志作者分布情况。列(1)显示，两本杂志217篇实验论文共涉及163位第一作者，其中130人以第一作者身份发表1篇论文，另有22人以第一作者身份发表论文2篇，仅有约7%的人以第一作身份发表2篇以上论文。列(3)显示这217篇论文共涉及349位作者，与列(1)类似，超过90%的作者发文量在1-2篇，少于10%的作者发表2篇以上实验论文。附表(一)分别统计了两本杂志第一作者和作者的分布。不论第一作者或是作者，其分布都高度分散，仅有不到10%的作者能够分别在两本杂志上发表2篇以上实验论文。
[表一 ：在此位置]
但实验在政治学研究中的应用明显地域分布不均。这突出表现在作者和研究区域分布上。美国是实验使用最频繁的区域。表(二)列(1)和列(3)显示，超过80%的第一作者和作者来自于美国的大学及科研机构。另有约10%来自于欧洲(主要是丹麦和英国)的大学及科研机构；不到10%则来自于世界其他地区。列(5)显示，全部217篇论文，研究涉及美国的论文共有150篇，占重数的2/3(69.12%)以上。[34]另有约10%的论文涉及亚洲国家。
表2 作者人次及研究的区域分布，2006-2018
|
区域 |
作者 |
|
研究区域 | |||||
|
|
第一作者 |
比例(%) |
|
作者 |
比例(%) |
|
涉及国家 |
比例 |
|
|
(1) |
(2) |
|
(3) |
(4) |
|
(5) |
(6) |
|
美洲 |
|
|
|
|
|
|
|
|
|
美国 |
138 |
84.66 |
|
289 |
82.81 |
|
150 |
69.12 |
|
巴西 |
|
|
|
3 |
0.86 |
|
3 |
1.38 |
|
其他 |
2 |
1.23 |
|
7 |
2.01 |
|
3 |
1.38 |
|
欧洲 |
|
|
|
|
|
|
|
|
|
丹麦 |
5 |
3.07 |
|
8 |
2.29 |
|
3 |
1.38 |
|
英国 |
4 |
2.45 |
|
8 |
2.29 |
|
3 |
1.38 |
|
其他 |
8 |
4.92 |
|
19 |
5.47 |
|
6 |
2.76 |
|
亚洲 |
|
|
|
|
|
|
|
|
|
印度 |
|
|
|
|
|
|
4 |
1.84 |
|
越南 |
|
|
|
|
|
|
3 |
1.38 |
|
阿富汗 |
|
|
|
|
|
|
2 |
0.92 |
|
巴基斯坦 |
|
|
|
|
|
|
2 |
0.92 |
|
印度尼西亚 |
|
|
|
1 |
0.29 |
|
3 |
1.38 |
|
中国 |
1 |
0.61 |
|
2 |
0.57 |
|
3 |
1.38 |
|
其他 |
3 |
1.84 |
|
6 |
1.72 |
|
4 |
1.84 |
|
非洲 |
|
|
|
|
|
|
|
|
|
乌干达 |
|
|
|
|
|
|
5 |
2.30 |
|
其他 |
|
|
|
|
|
|
9 |
4.15 |
|
大洋洲 |
|
|
|
1 |
0.29 |
|
|
|
|
跨国 |
|
|
|
|
|
|
14 |
6.45 |
|
国际组织 |
2 |
1.23 |
|
5 |
1.43 |
|
|
|
|
总计 |
163 |
100 |
|
354 |
100 |
|
218 |
100 |
3.实验方法分布及趋势
实验方法的选择体现了实验在政治学应用中的新动向。调查实验结合了调查和实验两种研究方法的优点，因而被政治学家广泛使用。表（三）显示，两本杂志调查实验论文约占总量的一半（48.85%）。[35] 不过，两本杂志对调查实验的接受程度存在差异：《美国政治学杂志》共发表了76篇调查实验论文，占总量的54.29%；而《美国政治学评论》中调查实验论文仅有30篇，占总量的38.96%。实验室实验和实地实验分别对改进实验的内部有效性和外部有效性有明显优势，因而也被政治学家频繁使用。两类论文分别约占总数的21.2%和23.96%。《美国政治学评论》对两种方法的接受度更高，分别约占其实验论文总量的33.77%和24.68%。
表3 实验方法的分布（单位：篇）
|
实验方法 |
《美国政治学杂志》 |
《美国政治评论》 |
合计 | |||
|
|
数量 |
百分比 |
数量 |
百分比 |
数量 |
百分比 |
|
|
(1) |
(2) |
(3) |
(4) |
(5) |
(6) |
|
调查实验 |
76 |
54.29 |
30 |
38.96 |
106 |
48.85 |
|
实验室实验 |
27 |
19.29 |
19 |
33.77 |
46 |
21.20 |
|
实地实验 |
26 |
18.57 |
26 |
24.68 |
52 |
23.96 |
|
混合实验 |
4 |
2.86 |
1 |
1.3 |
5 |
2.30 |
|
实地实验室实验 |
1 |
0.71 |
1 |
1.3 |
2 |
0.92 |
|
其他 |
6 |
4.29 |
0 |
0.00 |
6 |
2.76 |
|
合计 |
140 |
100.00 |
77 |
100.00 |
217 |
100.00 |
图（三）表示了三种实验方法在不同年份的发表数量。从时间趋势上看，调查实验自2010年后发文数量快速增长。仅2012年就发表了15篇调查实验论文，此后几年虽有短暂下降，但2017年以后又迅速增长，2018年发表了超过20篇调查实验论文。由于有较好的外部有效性，现场实验论文发文量也缓慢、稳步增长 ；实验室实验论文在2006和2007年发文数量均高于调查实验和实地实验，但此后呈下降趋势。特别是2012年后不仅发文的相对比例在下降，而且发文的绝对数量也呈下降趋势。这反映了政治科学家在确保实验的内部有效性后，对实验外部有效性的追求。
图3 三种实验方法历年发表论文数量, 2006-2018
数据来源：作者收集数据
实验方法也在不断改进。例如现场实验室实验结合了现场实验和实验室实验的优点，有助于确保实验的内部有效性的同时，改进实验的外部有效性。Grossman和Baldassarri，在乌干达利用现场实验室实验探讨了选举对合作的影响。[36]Enos和Gidron则利用现场实验室实验探讨了以色列多元社会中的排斥与合作。[37]
为了提高实验的有效性，有研究同时利用多种实验方法。例如Druckman和Leeper同时引入了实验室实验和调查实验，检验了政治传播效应研究中实验前测的短期影响。[38]该项研究的意义不仅是对政治传播文献的补充，更从方法论上提醒我们要注意实验前测对实验结果的扰动。Karpowitz, Monson和Preece在一项旨在揭示为何女性在立法机构中代表性不足的研究中，首先利用实验室实验检验了政党领导人的干预对女性选举成功的影响，然后为解决实验室实验的外部有效性问题，作者利用具有全国代表性样本的调查实验，复制了该实验室研究的发现。[39]
4.研究主题的拓展
实验在政治学研究中被广泛应用的另一个重要体现是研究主题的扩展。2006年Druckman等指出实验在政治学中的应用范围依然很窄，主要集中在政治心理学、选举政治和立法政治等三个分支领域。[40]然而实验在政治学研究中的发展可能令最出色的实验政治学家都感到意外。仅仅过了5年，这位后来的《实验政治学杂志》的副主编于2011年再度总结实验在政治学中的应用时，认为“尽管可能会让一些人感到惊讶，但政治科学家已经在广泛的背景下进行实验”。[41]
表（四）对217篇论文的研究主题进行归类后，发现接近70%的实验论文研究主题可归纳为如下7个领域：（1）选民、选举与投票（19.35%）；（2）态度、观念与偏好（16.13%）；（3）族群与认同（11.52%）；（4）认知、信息与决策（7.83%）；（5）党派（7.37%）；（6）组织、制度与行为（6.45%）；（7）精英行为（4.15%）。毫无疑问，这7大主题已涉及政治学研究中最重要的议题。实验还涉及诸如政策、恐怖主义和战争、政治参与、争端、暴力、民主、性别等重要议题。尽管前述两本权威杂志对不同实验方法的接受程度略有差异，但列(1)-(4)显示他们在研究主题上并没有明显差异。这进一步表明了实验涉及的研究主题在政治学界已被认可。
[表四 ：在此位置]
表（五）更清楚地显示了2016-2018年实验在政治学各研究主题中的应用。如果说2006-2009年实验在政治学研究中的应用还局限于上述7大重要议题及媒体、政治参与和争端、暴力、恐怖主义与战争的话，2010年以后实验被广泛应用于政治学各大议题的研究。这表明，2010年以后实验在政治学中的应用不仅出现了“爆发性”增长，也出现了研究领域的扩展，充分说明了实验在政治学研究中的活力。
[表五 ：在此位置]
（二）中国政治学者的尝试
如果说实验在国外政治学研究中经历数十年的发展，目前正如火如荼、方兴未艾，那么实验在中国政治学界的应用与其说是“重大推进，毋宁说是以不尽完善的方式所进行的初步尝试”(李强，2016)。[42]尽管不少政治学者尝试将实验引入中国政治研究，并涌现了一批出色的研究[43]，但无论从研究成果的规模、研究议题和实验方法多样性等方面都无法与国外（特别是欧美）政治学相提并论。孟天广（2017）总结近年来实验在中国政治学研究中的应用时指出，目前国内实验政治学研究涉及议题主要包括概念测量实验与政治行为实验、政治制度研究，及政策（治）实验与自然实验。[44]虽然作者没有罗列全部实验论文，但从中不难窥视目前国内政治学研究中实验应用的匮乏和研究议题的狭窄。
这并不是实验政治学本身的问题，而是与目前整个政治学发展息息相关。谢韬和Lee在比较中美政治学研究方法时指出，与美国政治学相比，“定量分析在中国还处于萌芽阶段”。[45]郑冰岛和朱汉斌(2019)统计了2009-2017年《美国政治学杂志》和《美国政治学评论》两本杂志实证研究中定量论文的比例，发现前者定量论文接近100%，而后者的定量论文约占85%，另外有不到8%的定性论文和约7%同时使用定量和定性方法的论文。[46]而据谢韬和Lee统计，2004-2007年国内政治学刊物中定量文章比例较高的四本杂志（《世界经济与政治》，《美国研究》，《现代国际关系》和《国际问题研究》）中，论文使用数据的比例最高的是《美国研究》约占全部论文的35%，最低的是《国际问题研究》约占18%；然而所有四本杂志1257篇论文中，使用回归分析的论文仅有2篇，几乎可以忽略不计。[47]另一本中国权威政治学期刊《政治学研究》，2000-2015年定量论文仅占6.76%，且没有实验论文发表。[48]实验表面上只是涉及实验设计和执行问题，但其背后逻辑是统计学中的因果关系识别。良好的量化研究方法训练是实验的基础。因此，实验在中国政治学研究中的长足发展还有赖于政治学界量化研究的普及与发展。
六、 结语
对因果关系的探求，促成了社会科学（包括政治学）领域因果识别技术的发展。实验已成为政治学核心的研究方法之一。本文从潜在结果模型入手，阐明了实验的基本原理。对实验的批评主要在于实验内部和外部有效性问题，对此，本文进一步讨论了对实验有效性的影响因素及如何通过选择合适的实验方法提高实验的内部和外部有效性。
基于政治学领域两本权威杂志的数据，本文还研究了2006-2018年实验在政治学研究中的应用的最新发展趋势，发现实验在政治学中的应用与其说是持续增长，毋宁说是“爆发性”增长。这突出地表现在如下几个方面：（1）实验论文发表量的快速增长，尤其是《美国政治学杂志》实验论文发表量已占总论文数的1/4强；（2）研究人员的多样性；（3）研究方法的创新；和（4）研究主题的多样性。但实验在政治学中的应用也出现在作者分布和研究区域分布不平衡问题。绝大多数研究者主要集中在美国，研究主要涉及美国议题。虽然中国政治学者正初步尝试利用实验研究中国政治问题，但实验在中国政治学研究中的普及依然任重道远。
表一：2006-2018年《美国政治学杂志》和《美国政治学评论》实验论文作者分布
|
发表论文数 |
第一作者 |
比例(%) |
作者 |
比例(%) | |
|
|
(1) |
(2) |
|
(3) |
(4) |
|
1篇 |
130 |
79.75 |
282 |
80.8 | |
|
2篇 |
22 |
12.88 |
36 |
10.32 | |
|
3篇 |
6 |
4.29 |
21 |
6.02 | |
|
4篇 |
3 |
1.84 |
3 |
0.86 | |
|
5篇 |
1 |
0.29 | |||
|
6篇 |
1 |
0.61 |
2 |
0.57 | |
|
7篇 |
1 |
0.61 |
|
2 |
0.57 |
|
9篇 |
|
|
2 |
0.57 | |
|
总计 |
163 |
100.00 |
349 |
100.00 |
表四：实验论文研究主题分布（单位：篇）
|
主题 |
《美国政治学杂志》 |
《美国政治学评论》 |
小计 | |||
|
数量 （1） |
比例 （2） |
数量 （3） |
比例 （4） |
数量 （5） |
比例 （6） | |
|
选民、选举与投票 |
27 |
19.29 |
15 |
19.48 |
42 |
19.35 |
|
态度、观念与偏好 |
24 |
17.14 |
11 |
14.29 |
35 |
16.13 |
|
族群与认同 |
15 |
10.71 |
10 |
12.99 |
25 |
11.52 |
|
认知、信息与决策 |
10 |
7.14 |
7 |
9.09 |
17 |
7.83 |
|
党派 |
11 |
7.86 |
5 |
6.49 |
16 |
7.37 |
|
组织、制度与行为 |
7 |
5.00 |
7 |
9.09 |
14 |
6.45 |
|
精英行为 |
8 |
5.71 |
1 |
1.30 |
9 |
4.15 |
|
政策 |
5 |
3.57 |
2 |
2.60 |
7 |
3.23 |
|
争端、暴力、恐怖主义和战争 |
4 |
2.86 |
2 |
2.60 |
6 |
2.76 |
|
政治参与 |
2 |
1.43 |
4 |
5.19 |
6 |
2.76 |
|
媒体 |
3 |
2.14 |
2 |
2.60 |
5 |
2.30 |
|
代表性 |
4 |
2.86 |
0 |
0.00 |
4 |
1.84 |
|
民主 |
2 |
1.43 |
2 |
2.60 |
4 |
1.84 |
|
性别 |
1 |
0.71 |
3 |
3.90 |
4 |
1.84 |
|
人际关系 |
3 |
2.14 |
0 |
0.00 |
3 |
1.38 |
|
政党与政体 |
3 |
2.14 |
0 |
0.00 |
3 |
1.38 |
|
腐败 |
2 |
1.43 |
0 |
0.00 |
2 |
0.92 |
|
政治交流 |
2 |
1.43 |
0 |
0.00 |
2 |
0.92 |
|
其他 |
7 |
5.00 |
6 |
7.79 |
13 |
5.99 |
|
总计 |
140 |
100.00 |
77 |
100.00 |
217 |
100.00 |
数据来源：作者收集数据自《美国政治学杂志》和《美国政治学评论》，2006-2018
|
主题 |
2006-2009 |
2010-2014 |
2015-2018 |
小计 |
|
|
（1） |
（2） |
（3） |
（4） |
|
选民、选举与投票 |
10 |
18 |
14 |
42 |
|
态度、观念与偏好 |
7 |
10 |
18 |
35 |
|
族群与认同 |
6 |
7 |
12 |
25 |
|
认知、信息与决策 |
5 |
6 |
6 |
17 |
|
党派 |
1 |
8 |
7 |
16 |
|
组织、制度与行为 |
2 |
6 |
6 |
14 |
|
精英行为 |
1 |
2 |
6 |
9 |
|
政策 |
0 |
3 |
4 |
7 |
|
争端、暴力、恐怖主义与战争 |
1 |
2 |
3 |
6 |
|
政治参与 |
1 |
1 |
4 |
6 |
|
媒体 |
3 |
0 |
2 |
5 |
|
代表性 |
0 |
1 |
3 |
4 |
|
性别 |
0 |
3 |
1 |
4 |
|
民主 |
0 |
3 |
1 |
4 |
|
人际关系 |
0 |
3 |
0 |
3 |
|
政党与政体 |
0 |
3 |
0 |
3 |
|
政治交流 |
0 |
2 |
0 |
2 |
|
腐败 |
0 |
0 |
2 |
2 |
|
其他 |
0 |
4 |
9 |
13 |
|
总计 |
37 |
82 |
98 |
217 |
表五 ：各时期实验论文研究主题分布（单位：篇）
附录 A
附表一：2006-2018年《美国政治学杂志》和《美国政治学评论》实验论文作者分布，分杂志
|
发表论文数 |
《美国政治学杂志》第一作者 |
《美国政治评论》第一作者 |
《美国政治学杂志》作者 |
《美国政治学评论》作者 | |
|
|
(1) |
(2) |
|
(3) |
(4) |
|
1篇 |
96 |
52 |
192 |
124 | |
|
2篇 |
14 |
8 |
30 |
12 | |
|
3篇 |
2 |
3 |
7 |
7 | |
|
4篇 |
1 |
|
2 |
1 | |
|
5篇 |
|
2 |
| ||
|
6篇 |
1 |
|
| ||
|
7篇 |
|
|
|
1 |
|
|
9篇 |
|
|
1 |
| |
|
总计 |
114 |
63 |
235 |
144 |
附表二：2006-2018年实验论文作者来源地和研究区域，2006-2018
|
区域 |
作者 |
|
研究区域 | |||||
|
|
第一作者(AJPS) |
第一作者(APSR) |
|
作者(AJPS) |
作者(APSR) |
|
论文数量(AJPS) |
论文数量(APSR) |
|
|
(1) |
(2) |
|
(3) |
(4) |
|
(5) |
(6) |
|
美洲 |
|
|
|
|
|
|
|
|
|
美国 |
96 |
55 |
|
214 |
128 |
|
105 |
46 |
|
巴西 |
|
|
|
3 |
|
|
3 |
|
|
其他 |
1 |
1 |
|
4 |
3 |
|
3 |
|
|
欧洲 |
|
|
|
|
|
|
|
|
|
丹麦 |
4 |
2 |
|
8 |
6 |
|
3 |
|
|
英国 |
4 |
|
|
8 |
|
|
3 |
|
|
其他 |
5 |
3 |
|
12 |
9 |
|
3 |
3 |
|
亚洲 |
|
|
|
|
|
|
|
|
|
印度 |
|
|
|
|
|
|
2 |
2 |
|
越南 |
|
|
|
|
|
|
1 |
2 |
|
阿富汗 |
|
|
|
|
|
|
|
2 |
|
巴基斯坦 |
|
|
|
|
|
|
1 |
1 |
|
印度尼西亚 |
|
|
|
1 |
|
|
1 |
2 |
|
中国 |
1 |
|
|
1 |
1 |
|
1 |
2 |
|
其他 |
2 |
1 |
|
4 |
3 |
|
3 |
1 |
|
非洲 |
|
|
|
|
|
|
|
|
|
乌干达 |
|
|
|
|
|
|
2 |
3 |
|
其他 |
|
|
|
|
|
|
2 |
7 |
|
大洋洲 |
|
|
|
1 |
|
|
|
|
|
跨国 |
|
|
|
|
|
|
8 |
6 |
|
国际组织 |
1 |
1 |
|
2 |
3 |
|
|
|
|
总计 |
114 |
63 |
|
258 |
153 |
|
141 |
77 |
* 顾燕峰，复旦大学社会科学高等研究院讲师、专职研究人员。
[1] 例如Judea Pearl, “Causality: Models, Reasoning, and Inference”, IIE Transactions Vol.34, no.6 (2002), pp.583-589. Joshua, D., Angrist and Jörn-Steffen Pischke, Mastering''metrics: The Path from Cause to Effect, Princeton: Princeton University Press, 2014. Stephen J. Morgan and Christopher Winship, Counterfactuals and Causal Inference, Cambridge, UK: Cambridge University Press, 2015. Guido W. Imbens and Donald B. Rubin, Causal Inference in Statistics, Social, and Biomedical Sciences, Cambridge: Cambridge University Press, 2015. Tyler VanderWeele, Explanation in Causal Inference: Methods for Mediation and Interaction, Oxford: Oxford University Press, 2015.
[2] Jersey Neyman, “Sur les Applications de la Théorie des Probabilités aux Experiences Agricoles: Essai des Principes”, Roczniki Nauk Rolniczych, Vol.10 (1923), pp.1–51. Donald B. Rubin, “Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies”, Journal of Educational Psychology, Vol.66, no.5 (1974), p.688.
[3] Joshua D. Angrist, Guido W. Imbens and Donald B. Rubin, “Identification of Causal Effects Using Instrumental Variables”, Journal of the American Statistical Association, Vol.91, Issue 434 (1996), pp.444-455.
[4] Guido W. Imbens and Donald B. Rubin, Causal Inference in Statistics, Social, and Biomedical Sciences, Cambridge, UK: Cambridge University Press, 2015.
[5] SUTVA并不要求所有个体，所有处理(treatment)的每个水平的形式都是相同的，但必须明确定义每个处理水平的潜在结果，详见Guido W. Imbens and Donald B. Rubin, Causal Inference in Statistics, Social, and Biomedical Sciences, Cambridge: Cambridge University Press, 2015。
[6] 用最小二乘法(OLS)估计公式9并不要求SUTAV假设。
[7] Thomas D. Cook, Donald T. Campbell and William Shadish (2002), Experimental and quasi-experimental designs for generalized causal inference, Boston, MA, USA: Houghton Mifflin. Rose McDermott (2011), “Internal and external validity”, Cambridge Handbook of Experimental Political Science, pp.27-40.
[8] Angus Deaton, “Instruments, Randomization, and Learning about Development”, Journal of Economic Literature, Vol.48, no.2 (2010), pp.424–455. Guido W. Imbens, “Better LATE than nothing: Some Comments on Deaton (2009) and Heckman and Urzua (2009)”, Journal of Economic Literature, Vol.48, no.2 (2010), pp.399–423. Charles F. Manski, Public Policy in an Uncertain World: Analysis and Decisions. Boston: Harvard University Press, 2013.
[9] Guido W. Imbens and Jeffrey M. Wooldridge, “Recent Developments in the Econometrics of Program Evaluation”, Journal of Economic Literature, Vol.47, no.1 (2009), pp.5-86.
[10] 但大多数情况下，退出者可被识别。因此，如果知道样本损耗的原因，我们依然可能通过统计方法解决该问题。例如Dee利用工具变量和Krueger利用数据插补法，详见Thomas S. Dee, “Teachers, Race, and Student Achievement in a Randomized Experiment”, Review of Economics and Statistics, Vol.86, no.1 (2004), pp.195-210; Alan Krueger, “Experimental Estimates of Education Production Functions”, The Quarterly Journal of Economics, Vol.114, no.2 (1999), pp.497-532。但必须指出的是，这些方法都基于一系列强假设和不可检验的假设，因此在使用统计技术来弥补样本损耗时，应注意方法的适用性问题。
[11] 如前所述，SUTVA假设有两个部分：(1)任意单位(unit)的潜在结果与其他单位是否接受处理不相关；(2)对每个单位，每个处理的水平在形式上没有差异，详见Guido W. Imbens and Donald B. Rubin, Causal Inference in Statistics, Social, and Biomedical Sciences, Cambridge: Cambridge University Press, 2015。违反SUTVA假设的第一部分，即会导致溢出效应。
[12] 意见领袖对个体决策的影响，被广泛关注。例如Harikesh S. Nair, Puneet Manchanda and Tulikaa Bhatia, “Asymmetric Social Interactions in Physician Prescription Behavior: The Role of Opinion Leaders”, Journal of Marketing Research, Vol.47, no.5 (2010), pp.883-895; Sarit Moldovan, Eitan Muller, Yossi Richter and Elad Yom-Tov, “Opinion Leadership in Small Groups”, International Journal of Research in Marketing, Vol.34, no.2 (2017), pp.536-552等。
[13] 例如，在发展和健康领域，Angelucci和Maro就指出了四个类型的溢出效应，详见Manuela Angelucci and V. Di Maro, Program Evaluation and Spillover effects, The World Bank, 2015.
[14] Robert A. Moffitt, “Policy Interventions, Low-level Equilibria, and Social Interactions”, Social Dynamics, no.4(2001), pp.6-17, Guillaume Basse and Avi Feller, “Analyzing Two-stage Experiments in the Presence of Interference”, Journal of the American Statistical Association, Vol.113, Issue 521 (2018), pp.41-55.
[15] 例如经济学中领域有Bruno Crépon, Esther Duflo, Marc Gurgand, Roland Rathelot and Philippe Zamora, “Do Labor Market Policies have Displacement Effects? Evidence from a Clustered Randomized Experiment”, The Quarterly Journal of Economics, Vol.128, no.2 (2013), pp.531-580. Sarah Baird, J. Aislinn Bohren, Craig McIntosh and Berk Özler, Designing Experiments to Measure Spillover Effects, The World Bank, 2014. Sarah Baird, J. Aislinn Bohren, Craig McIntosh and Berk Özler, “Optimal Design of Experiments in the Presence of Interference”, Review of Economics and Statistics, Vol.100, no.5 (2018), pp.844-860. Manuela Angelucci and V. Di Maro, Program Evaluation and Spillover Effects, The World Bank, 2015. 教育学领域有Marie-Andree Somers, William Corrin, Susan Sepanik, Terry Salinger, Jesse Levin and Courtney Zmach, “The Enhanced Reading Opportunities Study Final Report: The Impact of Supplemental Literacy Courses for Struggling Ninth-Grade Readers. NCEE 2010-4021,” National Center for Education Evaluation and Regional Assistance, 2010. 政治学领域有Nahomi Ichino and Matthias Schündeln, “Deterring or Displacing Electoral Irregularities? Spillover Effects of Observers in a Randomized Field Experiment in Ghana”, The Journal of Politics, Vol.74, no.1(2012), pp.292-307. Betsy Sinclair, Margaret McConnell and Donald P. Green, “Detecting Spillover Effects: Design and Analysis of Multilevel experiments”, American Journal of Political Science, Vol.56, no.4(2012), pp.1055-1069. 统计学领域有Michael G. Hudgens and M. Elizabeth Halloran, “Toward Causal Inference with Interference”, Journal of the American Statistical Association, Vol.103, Issue 482 (2008), pp.832-842. Lan Liu and Michael G. Hudgens, “Large sample Randomization Inference of Causal Effects in the Presence of Interference”, Journal of the American Statistical Association, Vol.109, no.505 (2014), pp.288-301. Joseph Rigdon and Michael G. Hudgens, “Randomization Inference for Treatment Effects on a Binary Outcome”, Statistics in Medicine, Vol.34, no.6 (2015), pp.924-935. Guillaume Basse and Avi Feller, “Analyzing Two-stage Experiments in the Presence of Interference”, Journal of the American Statistical Association, Vol.113, Issue 521 (2018), pp.41-55.
[16] Rachel Glennerster and Kudzai Takavarasha, Running Randomized Evaluations: A Practical Guide, Princeton,: Princeton University Press, 2013.
[17] 被调查的实验参与者可能改变自己的行为，这本身就是值得检验的问题。Zwane等通过5个案例检验了该问题，详见Alix P. Zwane, Jonathan Zinman, Eric V. Dusen, William Pariente, Clair Null, Edward Miguel, Michael Kremer, Dean S. Karlan, Richard Hornbeck, Xavier Giné, Esther Duflo, Florencia Devoto, Bruno Crepon, and Abhijit Banerjee, “Being Surveyed Can Change Later Behavior and Related Parameter Estimates”, Proceedings of the National Academy of Sciences, Vol.108, no.5 (2011), pp.1821-1826.
[18] 例如，在实验经济学中，如Elizabeth Hoffman, Kevin McCabe, Keith Shachat and Vernon Smith, “Preferences, Property Rights, and Anonymity in Bargaining Games”, Games and Economic Behavior, Vol.7, no.3 (1994), pp.346-380. Elizabeth Hoffman, Kevin McCabe and Vernon Smith, “Social Distance and Other-regarding Behavior in Dictator Games”, The American Economic Review, Vol.86, no.3 (1996), pp.653-660. Joyce Berg, John Dickhaut and Kevin McCabe), “Trust, Reciprocity, and Social History”, Games and Economic Behavior, Vol.10, no.1(1995), pp.122-142. Catherine C. Eckel and Philip J. Grossman, “Altruism in Anonymous Dictator Games”, Games and Economic Behavior, Vol.16, no.2 (1996), pp.181-191. Todd L. Cherry, Peter Frykblom and Jason F. Shogren, “Hardnose the dictator”, American Economic Review, Vol.92, no.4 (2002), pp.1218-1221，等等。在社会学中，如Roger Berger, Heiko Rauhut, Sandra Prade and Dirk Helbing, “Bargaining over Waiting Time in Ultimatum Game Experiments”, Social Science Research, Vol.41, no.2 (2012), pp.372-379。在政治学中，如Matthew Longo, Daphna Canetti and Nancy Hite‐Rubin, “A Checkpoint Effect? Evidence from a Natural Experiment on Travel Restrictions in the West Bank”, American Journal of Political Science, Vol.58, no.4(2014), pp.1006-1023。
[19] Glenn H. Bracht and Gene V. Glass, “The Eternal Validity of Experiments”, American Educational Research Journal, Vol.5, no.4 (1968), pp.437-474.
[20] Rebecca B. Morton and Kenneth C. Williams, “Experimentation in Political Science”, In Janet M. Box-Steffensmeier, Henry E. Brady and David Collier (eds.), The Oxford Handbook of Political Methodology, Oxford, UK: Oxford University Press, 2008.
[21] Amanda E. Kowalski, “How to Examine External Validity Within an Experiment”, National Bureau of Economic Research Working Paper No. w24834, 2018.
[22] 但实验者可通过和和政府、机构等合作，有效地降低实验成本，增加样本量，从而确保实验的总体有效性。因此，实地实验依然可通过实验设计和实施，确保其总体有效性。
[23] Jason Barabas and Jennifer Jerit, “Are Survey Experiments Externally Valid?” American Political Science Review, Vol.104, no.2 (2010), pp.226-242.
[24] Mullinix, Leeper, Druckman和Freese讨论了方便抽样对实验外部有效性的影响，发现通过方便抽样获得的许多处理效果与具有全国代表性人口样本具有相当大的相似性。但这不属于我们这里讨论的问题，详见Kevin J. Mullinix, Thomas J. Leeper, James N. Druckman and Jeremy Freese, “The Generalizability of Survey Experiments”, Journal of Experimental Political Science, Vol.2, no.2 (2015), pp.109-138。
[25] Brian E. Roe and David R. Just, “Internal and External Validity in Economics Research: Tradeoffs between Experiments, Field Experiments, Natural Experiments, and Field Data”, American Journal of Agricultural Economics, Vol.91, no.5 (2009), pp.1266-1271.
[26] Samuel J. Eldersveld, “Experimental Propaganda Techniques and Voting Behavior”, American Political Science Review, Vol.50, no.1 (1956), pp.154-165.
[27] Rebecca B. Morton and Kenneth C. Williams, “Experimentation in Political Science”, In Janet M. Box-Steffensmeier, Henry E. Brady and David Collier (eds.), The Oxford Handbook of Political Methodology, Oxford: Oxford University Press, 2008.
[28] Druckman, Green, Kuklinski和Lupia讨论了1906-2009年间《美国政治学评论》上实验论文的数量，详见James N. Druckman, Donald P. Green, James H. Kuklinski, Arthur Lupia, “Experimentation in political science”, in James N. Druckman, Donald P. Green, James H. Kuklinski, Arthur Lupia, Cambridge Handbook of Experimental Political Science, Cambridge: Cambridge University Press, 2011, pp.3-14。Morton和Williams(2008)讨论了《美国政治学评论》、《美国政治学杂志》和《政治学杂志》上实验论文的数量，详见Rebecca B. Morton and Kenneth C. Williams (2008), “Experimentation in Political Science”, In Janet M. Box-Steffensmeier, Henry E. Brady and David Collier (eds.), The Oxford Handbook of Political Methodology, Oxford: Oxford University Press。
[29]关于《实验政治学杂志》的情况，可参照该杂志的主页(https://www.cambridge.org/core/journals/journal-of-experimental-political-science)。
[30] 谢韬，Lee Sigelman：《中美政治学研究方法之比较》，载《浙江社会科学》2008年第5期。
[31] 实际上，1985-1989年共发表了6篇，年均1.2篇；其他年份年均发文量均低于或等于1篇。
[32] 如果算上自然实验、准实验论文及实验方法论论文，实验论文的发文量事实上已经超过了《美国政治学评论》总发文量的1/4。
[33] 显然，如果算上自然实验、准实验论文及实验方法论论文，则实验论文发文量远超《美国政治学杂志》总发文量的1/4。
[34] 另有部分跨国研究，也涉及美国。如果算上这些论文，涉及美国的论文超过总数的2/3。
[35] 如果算上混合实验（其中大部分论文使用了调查实验），则已经达到总量的一半。
[36] Guy Grossman and Delia Baldassarri, “The Impact of Elections on Cooperation: Evidence from a Lab‐in‐the‐field Experiment in Uganda”, American Journal of Political Science, Vol.56, no.4 (2012), pp.964-985.
[37] Ryan D. Enos and Noam Gidron, “Exclusion and Cooperation in Diverse Societies: Experimental Evidence from Israel”, American Political Science Review, Vol.112, no.4 (2018), pp.742-757.
[38] James N. Druckman and Thomas J. Leeper, “Learning More from Political Communication Experiments: Pretreatment and its Effects”, American Journal of Political Science, Vol.56, no.4 (2012), pp.875-896.
[39] Christopher F. Karpowitz, J. Quin Monson and Jessica R. Preece, “How to Elect More Women: Gender and Candidate Success in a Field Experiment”, American Journal of Political Science, Vol.61, no.4 (2017), pp.927-943.
[40] James N. Druckman, Donald P. Green, James H. Kuklinski, Arthur Lupia, “The Growth and Development of Experimental Research in Political Science”, American Political Science Review, Vol.100, no.4(2006), pp.627-635.
[41] James N. Druckman, Donald P. Green, James H. Kuklinski, Arthur Lupia, Cambridge Handbook of Experimental Political Science, Cambridge: Cambridge University Press, 2011.
[42] 李强：《实验社会科学：以实验政治学的应用为例》，载《清华大学学报（哲学社会科学版）》2016年第4期。
[43] 例如Jidong Chen, Jennifer Pan and Yiqing Xu, “Sources of Authoritarian Responsiveness: A Field Experiment in China”, American Journal of Political Science, Vol.60, no.2 (2016), pp.383-400；孟天广、季程远：《重访数字民主:互联网介入与网络政治参与——基于列举实验的发现》，载《清华大学学报(哲学社会科学版)》2016年第4期等。
[44] 孟天广：《从因果效应到因果机制：实验政治学的中国路径》，载《探索》2017年第5期。
[45] 谢韬，Lee Sigelman：《中美政治学研究方法之比较》，载《浙江社会科学》2008年第5期。
[46] 郑冰岛、朱汉斌：《社会科学研究中的倾向分值匹配方法》，载《复旦政治学评论》2019年第21辑。
[47] 谢韬、Lee Sigelman：《中美政治学研究方法之比较》，载《浙江社会科学》2008年第5期。
[48] 张平、丁超凡：《中国政治学研究的发展态势与评价——基于《政治学研究》（2000-2015年）的文献计量分析》，载《北京行政学院学报》2017年第6期。