信号与噪声（精）

作者简介

纳特·西尔弗，统计学家、作家和《纽约时报》政治性网站538.com的创始人。2008年美国大选期间他成功预测出49个州的选举结果，2012年大选期间更是成功预测出全部50个州的选举结果，被称为“神奇小子”。2009年，《时代》周刊将他评选为全球100位最具影响力的人物之一。

内容简介

经济预测中不可避免地会存在偏见 如果你想进行经济预测，最好的选择就是查看平 均预测或群体预测，而不是求助于某个经济学家。我 对“调查”的研究显示，群体预测总是比个体预测更 准确，在预测GDP增长、失业率和通货膨胀这三个方 面，群体预测比个体预测的准确率分别高出20%、10% 和30%。通过研究许多领域的预测结果，人们发现几 乎所有的群体预测都优于个体预测。 然而，虽说群体预测优于个体预测这一观念已成 为重要的经验性规律，可是当预测与事实有很大的出 入时，这一观念有时就会成为蹩脚的借口。群体预测 是由个体预测组成的，如果个体预测的质量提高了， 群体预测的质量也会提高。另外，在现实生活中，经 济群体预测的质量也很差劲儿，所以还有很大的提升 空间。 大多数经济学家作预测时，会在一定程度上依赖 自己的判断，而不是依据统计模型输出的信息进行预 测。考虑到数据是那么杂乱，这种做法或许是有益的 。波士顿联储前副总裁斯蒂芬·K· 麦克内斯曾经进 行过一项研究，他发现根据统计学预测方法对人为的 判断进行调整会使预测的准确率提高约15%。20 世纪 七八十年代计算机开始广泛使用时，人们普遍认为统 计模型能够“解决”经济预测问题。但是，改进的技 术无法掩盖对经济领域理论认识的缺乏，只会让经济 学家更加快速、更加煞费苦心地将噪声误认为是信号 。看似前景不错的预测模型在某些方面一败涂地，最 后惨遭淘汰。在其他领域，比如那一时期的地震预测 ，也会遭遇这样的状况。 援引某个人为判断也会带来潜在的偏见。人们在 进行预测时，会倾向于使预测满足自己的经济动机或 政治信仰。人们或许太过自负，即使事实和环境要求 他做出改变，他也不愿对自己的预测进行修正。哈祖 斯告诉我：“我认为人们绝对有这样的倾向，急切地 希望事情能按照自己希望的方式发展下去。” 是否有经济学家更擅长把握这种权衡的度？预测 出上一次经济衰退的经济学家是不是也可以预测出下 一次经济衰退？这个问题有一个非常有趣的答案。 用于评判预测技能的统计测试，在应用于“调查 ”时给出了否定的结果。也就是说，从这份调查中， 人们似乎找不到证据证明某些经济学家总是比其他同 行出色。然而，对另一个小组——“蓝筹经济调查报 告”——的研究却总能给出肯定的结果。经济预测中 显然少不了运气的成分，暴躁或是顽固的经济学家偶 尔也会做出正确预测。但是对“蓝筹经济调查报告” 的多项研究发现，长期来看，某些经济学家似乎确实 要比其他同行略胜一筹。 这两份调查有什么不同呢？“专业预测人员情况 调查”是匿名操作的：每位经济学家随机分配一个身 份标识号码，他们在不同的调查中会一直使用这个号 码，但是不会暴露自己的身份和职业。而在 “蓝筹 预测调查报告”中，每个人的预测都标有其姓名和曾 经获得的荣誉。 当预测结果标有自己的名字时，你的动机就会发 生改变。比如，如果你在一家名不见经传的小公司工 作，你的那些大胆预测就会备受重视，不管这个预测 是准确的还是离谱的，你都会受人关注，这是合情合 理的。而像高盛这样的大公司，为了能达成一致意见 ，预测反而会比较保守。 事实上，在“蓝筹经济调查报告”中，已经发现 了这个特点：名气越小，作预测时就越不怕冒险。一 项研究把这一现象称为“合理偏见”。即使知道这个 预测十分冒险，你还是会为“大比分”放手一搏，这 样做是可以理解的。反过来，如果你已经声名鹊起， 即便自己手头的数据要求你做出大胆的预测，你可能 也不愿意做出过于大胆的预测。 这两种对声誉的关注都有可能使你远离做出最诚 实、最准确的预测这一目标，甚至还会使群体预测更 加糟糕。整体来看，在对GDP增长率和失业率的预测 上，“专业预测人员情况调查”的匿名参与者略优于 参与“蓝筹经济调查”的那些名誉至上的受访者。 2011 年日本大地震引发的思考 将噪声误认为信号的倾向，有时会给现实世界带 来极可怕的后果。在日本，尽管地震活动极其频繁， 但2011 年那次灾难性的地震还是让这个国家措手不 及。福岛核反应堆是按照可抵御8.6 级地震的标准设 计的，无法承受震级高达9.1 级的地震。考古资料表 明，2011 年由地震引发的约40 米高的海浪在历史上 曾经引发过多次海啸，但这次人们明显忘记了或者根 本无视这些惨痛的案例。 9.1 级地震在全世界都很少见，没人能确切地预 测到这样的地震会发生在哪个10 年里，更不用说具 体的日期了。而在日本，一些科学家和中央计划员却 排除了近期发生地震的可能性。这一点就反映了日本 的地震预测模型是过度拟合模型。 在图5–6A中，我画出了2011 年日本福岛地震震 中附近发生地震的历史频率。这些数据中的地震级别 逐渐加大，却没有达到3 月11 日的9.1 级。通过看 图你会发现，数据几乎遵循着古登堡– 里克特法则 的那种直线预测模型，然而，在7.5 级处出现了一个 拐点，而且，该地区自从1964 年发生了一场震级达 8.0 级的地震后，再没有发生过震级更大的地震，于 是，这条线似乎开始向下弯曲了。 究竟该如何连接这些数据点呢？如果严格依据古 登堡– 里克特法则，就要忽略图像中的拐点，沿直 线将数据点连接起来，如图5–6B所示。若是按地震 学家口中的“特性拟合”法（见图5–6C），即描述 这一地区地震发生的历史频率，那么，就会把那个拐 点当成是真实情况，十分肯定这一地区发生7.6 级以 上地震的可能性不大。 看似无害的决定，却会导致大相径庭的结果，从 日本福岛的例子来看，不同的选择会关系到是否认为 这一地区会发生9.1 级大地震。特性拟合模型暗示 9.1 级地震需要约13 000 年才可能发生一次，这样 看来，这一地区几乎就不可能发生这样大级别的地震 。另外，古登堡– 里克特法则却预测，9.1 级地震 平均每300 年才可以预见一次，确实不常见，但也不 是绝无可能，风险还是存在的，而像日本这样富有的 国家，是能够为此作好准备的。 最近，特性拟合模型和日本东北部地区的地震记 录拟合得更加紧密了。但是正如我们所知，完全吻合 未必就是一件好事，很有可能会变成过度拟合模型， 而且，在匹配真实关系时，这种模型会表现得更糟。 在这种情况下，过度拟合的模型会严重低估这一 地区发生灾难性大地震的可能性。特性拟合的问题就 在于它依靠的是十分微弱的信号。之前提到，日本福 岛地震发生前的45 年内，日本东北部地区从未发生 过8 级及以上的地震。然而，这些都还只是以稀有事 件为开端的事例：古登堡– 里克特法则预测日本东 北部地区约30 年才会发生一次稀有事件，而30 年一 遇的事件拖到45 年的时候发生也没什么稀奇，就算 没有发生，也不奇怪。就好比一个击球率达0.300 的 击球手，某天状态不好，输赢比达到了5 ∶ 0，这也 不足为奇。另外，日本东北部地区发生过好几次中等 级别达到7.0 级的地震，当世界其他地区出现类似情 况时，常预示着会有更大级别的地震发生，那又有什 么理由认为日本东北部地区会是个特例呢？ 实际上，日本以及其他地区的地震学家为此做出 了合理解释。比如，他们表明该区域的海底构造特殊 、年代久远、温度相对较低且密度较大，能够阻止这 样的大地震形成。另一些地震学家则观察到2004 年 以前，这种类型的海底从来没有发生过9 级地震。 这类结论有点儿像认定了某个来自宾夕法尼亚的 家伙不可能会中彩票的头等奖，因为过去的3 周无人 获此大奖。9 级地震就像彩票头奖，中奖人数少，时 间间隔长。实际上，2004 年之前，全世界有记载的9 级地震总共才发生3 次。9 级地震究竟在何种情形下 才会发生，关于这个问题，没有足够的数据来支撑高 度具体的结论。日本不是这一模型失败的首例，苏门 答腊岛也遇到过相似的问题。有一段时间，苏门答腊 岛发生了一系列震级达到7 级的地震，随后却并没有 发生更大级别的地震。但在2004 年12 月，一场震级 达9.2 级的特大地震袭击了苏门答腊岛。 古登堡– 里克特法则并不能预测地震的具体时 间，无论是苏门答腊岛地震还日本福岛地震都是这样 ，但是这一法则考虑到了发生地震的概率。目前，许 多更精细的地震预测活动都失败了，古登堡– 里克 特法则的表现都还不错。 P164-P167

从海量的大数据中筛选出真正的信号，“黑天鹅”事件也可提前预知！
　　统计学或预测是让很多人望而却步的话题，而本书就是关于这个话题的一本有趣的普及读物，棒球比赛、职业扑克牌手、政治选举等例子足以勾起读者的好奇心，甚至会让他们废寝忘食地阅读，而且其中潜藏着帮你做出正确预测的能量。
　　在大数据时代作预测可能跟你想象的完全不同。这本观点新鲜且原创的书，为我们区分关于未来的预测中哪些是主观现实、哪些是客观现实，哪些是干扰预测的噪声、哪些是有价值的信号，提供了意想不到的启发性视角。作者还指出，只要我们明智地从糟糕的预测中吸取教训，那我们一定会在科学、技术和政治的预测方面取得进步。
　　这本书与畅销书《黑天鹅》的观点有异曲同工之妙。西尔弗认为，人类对自己的预测能力往往过度自信，以至于他们排斥用概率的方法思考问题，也不允许自己的预测模型中存在不确定性。
　　本书将带给我们一场睿智的、优雅的、科学与艺术交叉的预测之旅，它将是未来10年*重要的书籍之一。对于每一个关心下一刻可能会发生什么的人来说，这都是本必读书。