美国民调无用了吗?
作者:傅亦沁 来源:FT中文网
2020年美国大选的计票仍在进行中,但选前民调毫无疑问高估了拜登(Joe Biden)的得票比例。
拜登目前在选民总票数上领先特朗普(Donald Trump)约三个百分点。计票全部完成后,拜登预计会领先四到五个百分点。然而,大选前进行的民调多数都指向拜登以九到十个百分点的优势大胜;将民调数据根据民调质量加权的预测模型也都认为拜登会赢八到九个百分点( 《经济学人》 :九个百分点; 《538》:八个百分点 ; YouGov: 九个百分点)。
“四”、“五”和“八”、“九”看起来差别不大,但在美国的选举人团(Electoral College)制度下,拜登以四个还是九个百分点的优势赢下选民总票数,意味着完全不同的选举结果。
共和党支持者分散在美国中南部的各个大州,而民主党支持者却集中在东西沿海。所以拜登的选民总票数优势如果只有四个百分点,那么他和特朗普的选举人票数将非常接近。如果拜登像多数民调和预测模型说的那样,领先优势达到九个百分点,那么他将轻松赢下选举人竞争。(希拉里(Hilary Clinton)2016年输了选举人票,但她在全国选民总票数上领先特朗普两个百分点。)
今年的选举结果表明,拜登的全国选民总票数优势“仅有”四个百分点,他与特朗普在威斯康星(Wisconsin)、宾夕法尼亚(Pennsylvania)等州的竞争非常激烈,选举人票的分布情况等关键州计票结束才明朗,选情和我们预期的“拜登大胜”、“拜登在选举日当晚投票关闭后不久就确定会获胜”有很大差别。
误差方向一致更值得担忧
除了全国民调,各州民调也出现误差。不过让人担忧的不是误差的大小,而是误差和2016年方向上的一致。
仅从误差幅度来看,2020年50个州的整体误差比2016年的稍小,关键州的误差比2016年的大。误差本身如果随机分布(例如民调在有些州高估民主党候选人的表现、有些州高估共和党候选人的表现,或者这一家民调高估民主党人的表现、另一家民调高估共和党人的表现),那么《538》一类的“民调整合网站”将能比较准确地预测每个州的选举结果。然而,2020年和2016年一样,绝大多数民调在绝大多数州都高估了民主党人的表现。错误在方向上的完全一致(而不是错误的幅度)才最让人担忧,因为它意味着民调样本系统性地略过了某一群选民,而这些选民更多支持共和党候选人。
理论上,2020年的民调应该比2016年的准确。2016年出现了很多意外情况,例如第三党派自由意志党(Libertarian Party)获得了百年以来最高比例的选票、联邦调查局局长科米(James Comey)在选前发布对希拉里“邮件门”的调查进展,上述因素都让民调以及预测模型带来了额外的困难。可是2020年的选情相对简单,没有第三党派瓜分大量选票,投票日前几天也没有爆炸性新闻。
更重要的是,民调机构和学者在2016年之后深入反思了民调偏差的原因,并改进了调查方法,所以2020年的民调理应更准。
各家民调机构2016年后引入的最大改进是他们开始根据受访者的“受教育程度”给结果加权。民调在抽样或招募受访者以后,会根据受访者的特征给他们的答案加权,以保证样本尽量接近民调机构假设的选民特征分布。往年,加权的特征包括性别、年龄、登记党派、认同党派等等,只有一部分民调机构会根据受教育程度加权。2016年的选举表明,受教育程度已经成为美国政治新的重要分野点——受教育程度高的人更多支持民主党,受教育程度低的人更多支持共和党。如果民调机构没有根据受教育程度加权,民调样本很可能会包含过多受过本科教育的选民,而这些选民更偏向民主党。
2020年,多数民调机构都已经根据受教育程度为调查结果加权,所以理论上,2016年民调出错的罪魁祸首已经被解决,2020年不应该继续出现方向一致的偏差。但事实上,几个关键州的误差反而比2016年更大,而且全部都高估了民主党人的表现。
为什么修正后的民调仍然出错?
为什么民调经过了2016年的方法改进,仍然误差很大?主要原因有以下四个:
第一种可能,也是新闻媒体、社交网络讨论中最常见的假设,是特朗普的支持者因为担心被社会批评而不愿承认自己支持特朗普。特朗普是一个争议人物,经常受到主流媒体批评,所以很多人猜测特朗普支持者会在民调中撒谎,不承认自己支持特朗普。
但这种理论目前来看缺乏事实依据。首先,如果特朗普支持者真的不愿意承认,那么特朗普在真人进行的电话民调中,支持率应该比线上进行的问卷调查要低。但事实上,调查方式(即是否有真人问问题)与特朗普支持率无关。其次,如果特朗普支持者不愿意承认自己支持,民调应该只会低估特朗普的得票比例,并不会低估同时进行的参议院、众议院选举中共和党候选人的得票比例。然而,共和党候选人无论在总统还是议员选举中,都被民调低估了,所以低估的原因应该和特朗普本人无关。最后,民调低估共和党人最多的地方恰恰是共和党人得票比例最高的地方,如北达科塔州(North
Dakota)、南达科他州(South
Dakota)、爱达荷州(Idaho)。如果受访者是因为社会压力而撒谎,为什么他们在共和党得票占六、七成的地方仍然不愿意承认?
民调出错的第二种可能,是特朗普的支持者由于各种原因没有进入民调样本。
目前常见的民调方法有两种,一种是随机给民众打电话,在电话中询问他们的投票倾向。另一种则是投放网络广告,招募一群愿意长期在网上参与追踪调查的民众,并给他们报酬。这两种方法都有它们的局限。
电话抽样如果不包括手机号码,民调很可能会错过没有固定电话的年轻选民、没有住房的选民。电话抽样的接听率非常低——1990年代,四成美国民众会接电话,但今天这个比例只有6%。如果支持特朗普的选民出于各种原因更有可能不接电话,那么民调就会低估他的表现。本次选举后,很多民调专家猜测特朗普支持者平均来说不太信任民调机构(就像他们有更高比例不信任媒体、不信任大学一样),所以他们接电话的概率更低。
网络招募受访民众的方式因为速度快、价格低,所以现在越来越普遍。但它的弊端也显而易见,例如,它很有可能漏掉年长选民、无法上网的选民。2016和2020年的选举中,特朗普在农村地区的表现好过于郊区和城市。如果网络调查没能触及农村选民,它一定会低估特朗普的得票比例。
第三种可能,是民调机构后期对数据的加权有误,错误估计了不同人群的投票率。除了询问受访者的投票倾向(“支持特朗普还是拜登”),民调还需要估计受访者的投票概率,因为并不是每个表达自己投票倾向的人都真的会去投票。(美国的投票率只有五、六成。)通常,民调机构会创建独家的“可能投票者”模型,根据受访者过往的投票情况、受访者的党派登记情况以及受访者的个人特征来预测他本届参与投票的概率。这样的模型说到底也是层层的假设,如果假设不成立,模型给出的概率也不准。
第四种可能,是选民在最后几天改变了主意,或者有大量未决定的选民在最后一刻做出了选择。这种情况2020年不太可能发生,因为两位候选人非常有名,选民早就听说过他们是谁。选举前也没有发生2016年联邦调查局局长那样的爆炸性事件,所以选民最后改变主意或者最后才决定的可能性不大。即便真的有部分选民最后才决定,他们的人数应该也不足以构成我们看到的民调偏差。
总的来说,民调出错的原因,目前看来最有可能是特朗普支持者不信任民调机构,或者民调机构没能接触到农村选民,而农村选民更偏向特朗普。
民调和选举预测的未来
在电话抽样接听率低、网络调查方法又不成熟的情况下,民调机构和预测选举的媒体应该怎样改进,避免再次高估民主党候选人在关键州的表现?
对民调机构来说,他们首要的任务是尽可能触及更多农村选民、低教育程度选民。2016年的大选已经很明确地反映出美国政治的两个分野点——地理和教育。如果民调机构能在抽样阶段(而不只是后期加权时)引入更多所谓的“白人工人阶级选民”,那么民调的质量将大幅提升。另外,2020年佛罗里达州(Florida)的民调也暴露出民调机构对西班牙语裔调查的欠缺,如果民调机构不改进他们在西班牙语裔集中地区的抽样方法,关键的佛罗里达选情也将经常被误判。
2020年唯一“成功”的民调机构是安•塞尔泽(Ann Selzer)创办的公司。在其他机构纷纷预测特朗普将以一个百分点优势赢下爱荷华州的时候,她发布了特朗普领先七个百分点的民调。选举前夕,她的报告受到了猛烈批评。但最终,特朗普以八个百分点的优势赢下了爱荷华州,塞尔泽也再次被封为“民调女王”。在采访中,她强调了自己对选民的“极简假设”。她认为民调机构不应该根据民众过往的投票记录预测他这一次选举的投票概率。塞尔泽举了2008年爱荷华民主党初选的例子。当时,她的民调显示奥巴马(Barack Obama)领先希拉里,但民调同行和希拉里团队的工作人员纷纷表示不可能,因为她的报告显示有六成民众将第一次投票。事实证明,奥巴马的确吸引了大量民众第一次出来投票。塞尔泽认为,只要严格按照随机拨号的方式抽样,只要不对受访者投票的概率添加太多假设,目前的电话民调还是能够准确反映民意。
民调在2016、2020年两次大选的偏差也让很多人开始考虑其他能够帮助我们预测选情的因素,例如一些社会和政治的“基本指标”。本届大选,特朗普的表现其实和我们根据“基本面”做出的预测非常接近。
总统选举的“基本面”包括经济状况和总统认可度。经济方面,无论我们从客观指标(例如失业率)、还是民众主观评价来看,美国经济在瘟疫蔓延之前表现得都非常好。如果特朗普的支持者不认为特朗普应该为疫情负责且他们在经济发展问题上信任特朗普多过拜登,那特朗普仍然获得了47%的选票并不奇怪。
总统认可度方面,在瘟疫肆虐的大半年里,一直有40~45%的民众对特朗普表示认可,这一比例高于老布什(George H.W. Bush)和卡特(Jimmy Carter)连任失败时的认可度。特朗普执政的四年里,美国虽然发生各类冲突事件,但民众对他的认可度基本没有变化,波动幅度是1945年有民调记录以来最小的。如果我们用认可度来预测选举结果,再考虑到特朗普是本人寻求连任而不是从另一位共和党总统手上接棒,那么我们一开始的预期就会是本次选举将非常接近,而不是拜登大胜。以后的大选预测中,一定有更多机构给“基本面”加权,给民调降权。
除了方法上的修正,预测选举的数据新闻记者未来一定也会更注意他们与公众和其他新闻媒体的沟通。《经济学人》、《538》、YouGov等机构在选举前夕都预测拜登有90%、95%的概率获胜,他们同时也预测拜登在全国选民票数上的领先优势会是八到九个百分点,但其实这两条预测并非等价。“拜登获胜概率高达95%”,意味着即便多个州出现同一个方向的巨大误差(即高估拜登的表现),拜登仍有可能当选。由于预测机构和媒体没有强调“获胜概率”和“获胜幅度”的区别,所以读者很可能把“拜登有95%概率获胜” 错误理解为”拜登肯定将以巨大优势获胜”。
未来,无论是学者、数据新闻记者还是传统媒体,都需要加强他们与公众的沟通,解释清楚每一个数字的含义以及不确定性。民调虽然在近些年因为科技发展遇到了诸多困难,但它仍然是反映民意的最佳手段——没有民调,记者只能根据主观猜测撰写新闻,政策制定者只能根据主观猜测推进改革。在接下来的几个月、几年当中,民调机构、记者和学者都将搜集更多数据来分析民调出错的原因。面对偏差,最佳的解决方案应该是科学研究而不是完全放弃。
(作者目前为斯坦福大学政治学博士学生。)
来源时间:2020/11/11 发布时间:2020/11/11
旧文章ID:23456