标签： 科普

01 统计学对大数据的意义

在讲大数据之前，我们首先来看看什么是数据。……凡是可以被数据化的信息载体，我们都可以认为是数据。
比如说，我们接触的文本，包括平时看到的一些文字，现在我们都可以把它量化。我们看到的图片、视频和音频，现在也都可以量化。包括阿拉伯数字、文本、图片、视频和音频，我们都称之为数据。
现在我们理解的数据，从来源上来说更加广泛了，从类型上说变得很复杂了。这些不同来源、类型复杂的数据组合在一起，达到一定的体量之后，就可以认为是一个大数据了。

……统计学是什么呢？……大不列颠百科全书对统计学有个定义，说这是一门收集数据、分析数据的科学和艺术。定义中提到统计学是一门科学，这个容易理解。那为什么说统计学是一门艺术呢？这个问题，就和我今天主要回答的一个问题很有关系。顺便说一句，现在美国很多高校的统计系，它并不设在理学院下面，而是设在艺术学院下面。

下面，我主要回答一个问题：在大数据时代，我们究竟是否需要基于抽样的统计学？
有些人认为，现在计算机科学非常发达，可以收集海量的数据。为了特定的研究目的，我们现在甚至有能力通过计算机技术收集与特定的研究目的相关的全部数据。今天，基于抽样的统计学就没有那么重要了，甚至都不在被需要了。事实真的是这样吗？

02 统计学是一门收集数据的艺术

既然统计学被认为是一门收集数据、分析数据的科学和艺术。我们暂时不谈科学，先来看看统计学为什么被认为是一门收集数据的艺术。

我们来看第一个案例。这个案例是希望调查15个国家的国民的诚实情况。调查人员想要知道，哪些国家的国民最倾向于撒谎，哪些国家的国民很诚实。
如果直接去问被调查的人员：“您是否撒过谎？”十之八九，是问不到真实答案的。如果被调查人员以前撒过谎，也不在乎多撒这个谎了。被调查人员可能出于不同的动机，不愿意给出真实答案。
那么，调查数据怎么得来呢？这显然不是简单地通过计算机技术、通过某些爬虫软件就容易收集到适合研究目的相关数据的。
如何利用统计学方法来收集数据呢？这就需要统计学的智慧了。调查人员设计了两组实验。
调查人员先从每一个国家找1000人参与测试，15个国家一共找了15000人，找这么多不同国家的人来面对面调查，这是非常困难的，所以调查人员通过互联网找到了这15个国家共计15000人。两组实验都是在互联网上进行的。
在第一组中，他们先做了一个测试，请受调查者在家里抛硬币，硬币有正反两面，调查者事先规定，受调查者抛硬币之后要告诉我结果，如果硬币正面朝上，我就奖励你十块钱，如果反面朝上，我就不给你奖励。这个调查不需要提供你抛硬币的证据，只是由你告诉调查者，抛硬币的结果。这也就是说，受调查者有没有撒谎，只有他自己知道。这个最后的结果，实际上调查者是有参照的。因为，每个国家有1000人参与测试。正常情况下，1000次抛硬币的结果，应该是500次左右正面朝上。某个国家参与实验的1000个人之中，如果有900个人声称自己抛出来的硬币正面朝上，甚至1000人声称抛出来硬币正面朝上。那么，很大概率就是其中有人撒谎了。这是第一组实验。
第一组的实验有价值，但是它也不一定能够全面反映真实的情况，所以调查人员还有第二组实验。
第二组实验，是要求受调查者回答五个问题。这五个问题在回答之前，需要受调查者承诺，他不能为了答题去查阅任何资料，不能去寻求任何帮助，也就是说，看了这五个问题之后，受调查者需要立即给出答案。
调查者承诺，如果五个问题中，回答对了四个以上，就奖励给受访者十块钱，如果答对三个或者三个以下，就没有奖励。
而这五个问题中，其中有三个问题特别简单，类似于像1+1等于几这种问题。另外两个问题则非常生僻。如果受调查者不去查阅资料或咨询他人的话，基本是不太可能回答出来的。
因此，如果有受调查者答对了这两道难题，十有八九就说明他违反了自己事先承诺的“不去查阅资料寻求帮助”，由此可以推论他在这件事情上不诚实。
然后统计人员通过这两组实验结果，互相验证。这两组数据收集的过程都非常恰当地体现了统计学在收集数据方面的智慧。
所以说，即使在大数据时代，不是说有了计算机，有了爬虫技术，我们就能收集到适合研究目的的所有数据。统计学是一个收集数据的艺术，针对特定的研究目的，设计非常漂亮的数据收集方案，就是一个非常艺术的收集数据的过程了。

我们再举一个例子。这是最近美国麻省理工刚刚完成的一个实验，大致在2018年左右完成的，实验结果也公布出来了，目的是想了解大家目前的婚姻观念，100人受到邀请来到一个封闭的场所参与这个实验。
参加实验时，每人都会被贴上一个编号。男的编号是单数一三五七九，女的编号是双数二四六八十，以此类推。参与实验的这100人不知道自己的编号，也不知道究竟有多少人参加了这次实验。换句话说，他们不知道参加这次实验的正好是50个男人和50个女人，受访者仅仅知道，这次实验有很多人参加。
在这里统计人员采取了一点小花招，就是当受访者进门的时候，把编号贴在受访者后背上，受访者知道自己有编号，但是不知道自己的编号是多少，不过他能够看到别人后背上的编号。实验规则说，允许100人中的任何两个人进行交谈，除了不能告诉对方他的后背编号是多少，其他话题都可以谈。
然后实验者把这100人带到一个很小的一个房间里，宣布给大家5分钟时间，在这5分钟内，大家自行配对，每人只能配一名异性。5分钟结束之后，如果配对成功了，两个人背后的数字加起来乘以十，就是两人能够拿到的奖金。
也就是说，如果编号是100的那个女性找到了那个编号为99的男性，那么两人就可以拿到（100+99）×10的奖金，也就是1990美元，这笔钱已经很可观了。但是如果你是一个编号为2的女性，而你找到的是那个编号为1的男性，那么你俩只能得到（1+2）×10也就是30美元，你俩用这奖金一起吃顿饭都不一定够。但是5分钟之后，如果还没有配对成功的话，你就连一美分都拿不到。
因此，参加者必须在5分钟之内，在一个很小的拥挤空间内，尽快找到愿意跟自己配对的那个人。而且在这个过程中，要尽可能让自己的奖金数额变得很大。
实验人员之所以把100人故意安排在非常拥挤的小房间内，就是考虑到，一方面要让大家能够很快速地看到一些人的编号，另一方面又能保证一个人不可能看到所有人的编号。在人挤人的情况下，有些编号是肯定看不到的。实验开始了。
一些人很快就发现，自己连续跟别人配对三四次，大家都拒绝他。这很可能说明，自己后背的编号数字不够大，别人不感兴趣。
于是这其中就有人采取了应对策略，他跟别人讲，如果你愿意跟我配对的话，那我愿意把奖金全部给你，反正我数字也不大，所以我的钱不要了。还有人说，只要你这次跟我配对成功了，我们出去以后，我再单独请你吃顿饭。
另外还有一些人，虽然他不知道自己后背的编号，但是他发现有很多人过来找他，所以他很快就意识到，自己后背的编号很可能很大，但具体多大，他并不知道。而且要尽可能让两个人组合出来的数字变得很大。
于是他很快就把眼前这批他能看到数字的人拒绝掉了，因为他理所当然地认为接下来肯定还有更大的编号，但是他并不知道最大的编号是多少，同时他还必须要在5分钟内快速决定跟谁配对。
这个实验的结果是，编号99的男性并没有与编号100的女性配对成功。那位编号100的女性，找到的是编号八十几的一位男性。那些数字在中间的人，大体都配对了跟自己差不多的另一个人。

这我们现在来看这个实验的结果，它基本上跟中国男女婚姻观念的现实比较类似。比如说，实验者因为自己编号小，就让渡自己的奖金给对方甚至于承诺事后请对方吃饭，以求得成功配对，这个跟现实中“我的个人条件差一些，但是我父母同意我们两个结婚之后送给我们一套房子”的承诺是类似的。
而且我们在生活中也发现，一些最优秀的男性女性，他们身边不乏追求者，但是他们并没有找到自己的“最佳匹配对象”。
这个数据的收集过程也是非常漂亮的。

03 数据并不是越多越好

统计本身是一门收集数据的科学，但是数据是不是越多越好呢？很难说。

历史上有一个非常有名的例子。大约500年之前，丹麦有一个天文学家叫第谷，他从当时的丹麦国王那里要了一笔钱，建了一个实验室。第谷天天去观察每颗行星的运动轨迹，并且每天记录下来。于是第谷观察了20年，记录了大量的数据。不过，这个数据太多了，第谷花了大量时间、精力来分析这个数据，但没有发现任何规律。
这时候，一个叫开普勒的人出现了。开普勒认为，第谷每天去观测，一年365天每一颗行星都会有365个数据，这样20年观测记录积累下来，要分析处理的数据就太多了，而且那个时候的数据分析只能依靠手工计算，这个处理工作量实在太大了。
于是开普勒就说，能不能每年只给我一个数据，比如说你可以只告诉我每年的1月1日，地球在什么位置，土星在什么位置，太阳在什么位置等等。这样20年的观测数据筛选之后，每一颗行星的数据就只有20个了。开普勒知道，地球每隔365天会回到同一个位置，然后他把地球的位置固定，再分析其他行星跟地球的相对位置。
开普勒通过固定地球的位置，对其他行星位置20年的数据进行分析，就成功得到了其他行星的运行轨迹。此后开普勒就发现，如果地球位置不变的话，那么其他行星的20年运行轨迹画出来之后，这些行星都是围着太阳运转，运行轨迹都是椭圆形的。由此开普勒发现了行星运动的规律。
从这个天文学上的著名案例，我们可以看出来，数据太多可能会导致信息量变得巨大，反而增加寻找到规律的难度。从而需要通过科学的方法简化数据。

关于这方面的案例还有不少。比如说美国总统富兰克林·罗斯福，他是美国历史上唯一一位连任四届的总统。1932年的时候他第一次当总统，当时美国和许多国家正在遭受经济危机，罗斯福面临的压力也很大。
因此到了1936年罗斯福想竞选自己的第二任总统的时候，美国许多人预测罗斯福很难连任。那一次，罗斯福的主要竞选对手是兰登。当时就有两个机构在预测总统选举结果，其中一个是《文学文摘》杂志，它在当时是一个非常有影响力的刊物，因为这个杂志此前几次对总统选举结果的预测都成功了。
到了1936年美国总统选举的时候，文学文摘搞了一个大的调查统计，它调查了240万人。具体方式就是在杂志里面夹上关于总统选举的调查问卷，然后收集反馈。其实当时文学文摘调查的还不止240万人，还要更多，只不过最后收回来的有效问卷是240万份。正是根据这个调查结果，文学文摘宣布他们预测兰登将战胜罗斯福赢得大选。
而当时还有一个机构，准确地说是一个年轻人，叫盖洛普，他的预测结果跟文学文摘的预测正好相反。起初盖洛普做这类调查统计，是因为他的母亲要竞选众议员，他是给他母亲帮忙，于是就在经费不多的情况下做了对较小人群的相关调查，然后这个调查结果很成功，他母亲当上了众议员。
接下来他就想调查一下，罗斯福和兰登谁会赢得1936年竞选。但是他比不了文学文摘的财大气粗，所以他只调查了5000个人，根据这5000人的调查结果，盖洛普预测罗斯福当选。
结果罗斯福果然成功连任总统，盖洛普的预测胜利了。
这个选举结果出来之后，对《文学文摘》杂志的声誉造成了巨大的冲击：毕竟文学文摘调查了240万人，最后却发布了一个错误的预测，而盖洛普只调查了5000人，发布的预测却是正确的。结果，文学文摘因为这个事情后来就关门倒闭了。而那个年轻人盖洛普，就此成立了一个民意调查公司，也就是现在的盖洛普咨询公司。
这是事情的结果。那么为什么调查了5000人的预测，要比调查240万人的结果更准确呢？我们先不说240万这种海量数据，它在规模变大以后会带来计算效率的下降，我们也不提这类海量收集数据会导致成本居高不下的问题。
根本的原因，是当时文学文摘通过杂志夹带问卷进行调查的这种方式。因为当初问卷是夹在杂志中发放的，所以文学文摘收集来的240万份有效问卷，实际面对的都是订阅了这份期刊的用户。
那么，当时什么样的家庭会订阅这样的杂志呢？一般来说都是家境比较好的家庭，所以，文学文摘虽然号称调查了240万人之多，但是它调查的主要群体，是当时美国国内相对而言有钱的那部分人。而穷人群体的意见，它这个调查实际并没有覆盖到。
数据的量多不一定就代表准确，收集来的数据质量好、有代表性，才有可能分析出准确的结果。

04 统计学是一门分析数据的艺术

前面举了一些例子，提醒我们需要非常小心地设计方案收集数据。数据收集上来之后，我们还要做数据分析。按照前面大不列颠百科全书的说法，统计学同样是一门分析数据的艺术。

讲到数据分析，在这里我只讲两个基本概念：相关与因果。为什么讲这两个概念呢？这是因为人们常常混淆这两个概念，常常会把相关关系误以为是因果关系。在许多科学研究和政策问题评价中，我们更关心因果关系。但是，当我们看到了某种形式的相关关系后，常常会误以为这就是我们追求的因果关系了。

比如说，在中世纪的欧洲，很多人相信，虱子对人的健康是有帮助的。这是因为当时人们发现，得病的人身上很少有虱子，而健康人的身上反而是有虱子的。这是长期的观察累积下来，形成的经验。
在中世纪的欧洲，很长一段时间里人们都根据这个经验，得出这样一个因果推论：这个人身上有虱子，所以他身体健康，那个人身上没虱子，说明他身体不健康。
当时，人们确实观察到虱子的存在与否跟人是否健康构成了相关关系，但是，这是因果关系吗？
有了温度计以后，人们就发现了，这不是真正意义上的因果关系：因为虱子对人的体温非常敏感，它只能在一个很小的温度区间范围生存下来。而人体一旦生病的话，很多时候会出现发烧症状。人体一发烧，温度变化，虱子就无法适应发烧时候的热度，于是跑掉了。
如果我们只停留在观察到健康与否和虱子多寡之间存在关系，那实际只是相关关系，而不是因果关系。与之类似的例子还有很多，比如说，我们看到每年冰淇淋销量增加的同时，各地不幸溺亡的人数也在增加。那么这两件事情是不是构成因果关系呢？
常识告诉我们，肯定不是。其实是因为每年气温升高之后，游泳的人可能就多了起来了，随之溺亡人数也就相应增加了。而同样是因为气温升高，冰淇淋的销量也会增加。
也就是说，如果我们观察到一个因素出现了一点点变化，另外一个因素也会随着跟它变化，它们之间可能就有相关关系，但是这种相关关系，并不意味着这两个因素构成因果关系。
如何判断因果关系呢，这就需要我们非常小心，而且要非常艺术地做数据分析了，我们最终还是要回到统计学上来。

这里，我们举一个历史上的疾病案例，这就是小儿麻痹症，也就是脊髓灰质炎。现在大家看到的小儿麻痹症病例比较少，因为现在有相应的疫苗。历史上，脊髓灰质炎曾经是一个让人非常害怕的疾病。
在20世纪50年代，当时美国一所大学的实验室，做出了一种针对这个疾病的疫苗，已经证明它在实验室条件下能够产生有效的抗体。但是他们不知道，如果应用到实际生活中的大规模实验，这个疫苗还会不会有效。
所以当时美国政府部门就决定要做实验，这个时间大致在1954年。因为当时脊髓灰质炎的患者主要是孩子，所以当时的实验人群定为小学一二三年级的学生。怎么做实验才能够真正说明疫苗是否有效呢？为了确保统计结果最终反映真实的因果关系，当时提出了五套实验方案。

第一套方案是，因为1953年之前是没有这个疫苗的，所以就从1954年开始，给所有的一二三年级小学生接种疫苗，最后再来看一下，1954年的发病率，跟1953年相比，会不会有差别。
这个方案是个办法，但是它有问题，因为之前每一年的脊髓灰质炎发病率的差别比较大。比如说1951年全美可能有3万名脊髓灰质炎患者，1952年则有6万名，而1953年又可能缩减到不足4万名。
这个脊髓灰质炎每年发病率的波动都比较大，万一到时候实验结果是3万名到4万名之间，如何判断这个结果是随机变化的，还是疫苗发生了作用？

第二个方案则提出要按照地区来做。比如，在纽约地区，就给一二三年级小学生们全部接种疫苗，而在芝加哥地区的就全部不接种疫苗，然后来统计，纽约和芝加哥这两个地区的脊髓灰质炎发病情况。
这个方案后来发现也不行。因为脊髓灰质炎本身就是传染病，一个地区可能流行这个疾病了，而另外一个地区就可能没流行，那么这两个地区的数据看起来就会有差异，但是这不是疫苗的效果，不具有可比性。

于是就有人提出了第三个方案。因为当时这个疫苗接种，谁也不知道有没有副作用，因此是有一定风险的。所以这个方案就提出，让接种疫苗的孩子们的父母来自行选择。有的家长选择给孩子接种疫苗，有的就不选择接种，这样同一批孩子就会出现不同的对照。
但是这么做，也有问题。因为当时人们已经发现，脊髓灰质炎的患者一般来自于家境比较好的家庭。
这是因为，那些家庭经济状况比较差的家庭，因为生活条件差，卫生条件不好，可能一个人很早就接触过脊髓灰质炎的病毒了，甚至很可能在刚刚出生的时候就接触了脊髓灰质炎的病毒，但是刚出生的婴儿是有母体的免疫力的，婴儿凭借母体的免疫力，接触这个病毒之后能够产生抗体，反而不会得病。
当时的这类数据情况已经展现了这种现象。如果采用自愿接种的方式，那些经济状况比较好的家庭，往往愿意让自己的小孩去接种，而经济状况不好的家庭由于经费原因，同时也知道自己这个阶层染病率稍微低一些，他可能就不愿意接种了。这样就造成了对实验结果的干扰，你无法判断到底是疫苗有效还是经济原因导致的不同结果。

然后是第四个方案。有人提出，只让二年级的学生接种，而一年级和三年级学生不接种。之后再比较接种的跟不接种的学生之间的区别，看他们的发病率会不会有差别。这个方案是当时的一个脊髓灰质炎防治委员会提出的方案。
这个方案同样行不通，第一，它同样无法避开接种孩子家庭贫富差距导致的患病概率差异。第二，脊髓灰质炎是一种传染疾病，人群的年龄是对这种传染有影响的，一、二、三年级的学生年龄层次有差别，可能就会导致各个年级学生得病概率的差异。
此外这个方案还有第三个重大缺陷，那就是可能会对医生形成心理上的诱导。如果按照这个方案执行下去，医生们就是知道的，一、三年学生没有接种疫苗，而二年级同学中有部分同学接种了疫苗。
当时脊髓灰质炎的诊断还不太容易，如果医生已经知道了这个疫苗接种方案，而且也提前知道这个疫苗在实验室阶段是管用的，那么医生在面对一年级学生时，一旦这个疾病还无法确诊，那么这个医生就很可能根据“一年级学生没有接种疫苗”“疫苗是有效的”这两个提前的认知，就直接诊断这名一年级学生得了脊髓灰质炎。
而且这种区别对待的方案，接种的学生本身心理也会受到影响的。
当时还有第五个方案，也就是最终执行并被采纳了调查结果的方案。这个方案具体来说，就是在征得学生家长同意之后，仍旧会告诉家长：你即使同意接种疫苗，我给你家孩子接种的，也不一定是疫苗，而是一种看起来跟疫苗一模一样的安慰剂，没什么副作用也没有什么效果。
因为这个安慰剂跟疫苗长得一样，所以医生和学生都不知道到底接种的是疫苗还是普通的安慰剂，但是疫苗提供方是知道的，它对每一个药品都加了编号，因此疫苗提供方知道哪些是安慰剂，哪些是疫苗。
通过这样的方式，实验室实现了随机的方式接种疫苗，而且无论家境好坏，这个接种疫苗都是随机的。同时医生们也不知道，到底是哪一些小孩接种了疫苗。这就规避了年龄、经济条件等各种扰动，有助于确定脊髓灰质炎与疫苗之间真正的因果关系。
1954年，这个实验大约有74万名小学生参与。最终的实验结果是，如果接种疫苗，孩子罹患脊髓灰质炎的概率大约是十万分之28，如果不接种疫苗，患病概率大约是十万分之77，二者相差一倍多。之后又经过各种努力，脊髓灰质炎疫苗在美国获得了通过。

许多科学结论、政策评价都依赖于因果分析而不是相关分析。统计学能够帮助我们证明那些我们所需要的因果关系。很多时候，真正的因果关系，不能简单地建立在相关关系的基础之上。还有很多科学问题，仍需要我们去发现真正的因果关系，这正是统计学可以提供数据收集以及分析方案的地方，也是统计学的魅力所在。

本文转自《光明日报》

生命是一本关于破坏的文集。你构建的一切最终都会崩溃。每个你爱的人都会死去。任何秩序或稳定感都不可避免地湮灭。整个宇宙都沿着一段惨淡的跋涉走向一种沉闷的终极动荡状态。

为了跟踪这种宇宙衰变，物理学家使用了一种称为熵的概念。熵是无序性的度量标准，而熵总是在上升的宣言——被称为热力学第二定律——是自然界最不可避免的宿命之一。

长期以来，我一直被这种普遍的混乱倾向所困扰。秩序是脆弱的。制作一个花瓶需要艺术性和几个月的精心策划，但用足球破坏它只需要一瞬间。我们一生都在努力理解一个混乱和不可预测的世界，在这个世界里，任何建立控制的尝试似乎都只会适得其反。热力学第二定律断言机器永远不可能达到完美效率，这意味着无论宇宙中结构何时涌现，它最终都只会进一步耗散能量——无论是最终爆炸的恒星，还是将食物转化为热量的生物体。尽管我们的意图是好的，但我们是熵的代理人。

“除了死亡、税收和热力学第二定律之外，生活中没有什么是确定的”，麻省理工学院的物理学家Seth Lloyd写道。这个指示是无法回避的。熵的增长与我们最基本的经历深深交织在一起，解释了为什么时间向前发展，以及为什么世界看起来是确定性的，而不是量子力学上的不确定性。

尽管具有根本的重要性，熵却可能是物理学中最具争议的概念。“熵一直是个问题，”Lloyd告诉我。这种困惑，部分源于这个词在学科之间“辗转反侧”的方式——从物理学到信息论再到生态学，它在各个领域都有相似但不同的含义。但这也正是为何，要真正理解熵，就需要实现一些令人深感不适的哲学飞跃。

在过去的一个世纪里，随着物理学家努力将迥异的领域整合起来，他们用新的视角看待熵——将显微镜重新对准先知，将无序的概念转变为无知的概念。熵不被视为系统固有的属性，而是相对于与该系统交互的观察者的属性。这种现代观点阐明了信息和能量之间的深层联系，现在他正在帮助引领最小尺度上一场微型工业革命。

在熵的种子被首次播下200年后，关于这个量的理解从一种虚无主义转为机会主义。观念上的进化正在颠覆旧的思维方式，不仅仅是关于熵，还是关于科学的目的和我们在宇宙中的角色。

熵的概念源于工业革命期间对双面印刷机的尝试。一位名叫萨迪·卡诺（Sadi Carnot）的28岁法国军事工程师着手计算蒸汽动力发动机的最终效率。1824年，他出版了一本118页的书，标题为《对火的原动力的反思》，他在塞纳河畔以3法郎的价格出售。卡诺的书在很大程度上被科学界所忽视，几年后他死于霍乱。他的尸体被烧毁，他的许多文件也被烧毁了。但他的书的一些副本留存了下来，其中藏着一门新科学“热力学”的余烬——火的原动力。

卡诺意识到，蒸汽机的核心是一台利用热量从热物体流向冷物体的趋势的机器。他描绘了可以想象到的最高效的发动机，对可以转化为功的热量比例建构了一个界限，这个结果现在被称为卡诺定理。他最重要的声明是这本书最后一页的警告：“我们不应该期望在实践中利用可燃物的所有动力”。一些能量总是会通过摩擦、振动或其他不需要的运动形式来耗散。完美是无法实现的。

几十年后，也就是1865年，德国物理学家鲁道夫·克劳修斯（Rudolf Clausius）通读了卡诺的书，他创造了一个术语，用于描述被锁在能量中无法利用的比例。他称之为“熵”（entropy），以希腊语中的转换一词命名。然后，他提出了后来被称为热力学第二定律的东西：“宇宙的熵趋于最大”。

那个时代的物理学家错误地认为热是一种流体[称为“热质”（caloric）]。在接下来的几十年里，他们意识到热量是单个分子碰撞的副产品。这种视角的转变使奥地利物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）能够使用概率重新构建并深化熵的概念。

玻尔兹曼将分子的微观特性（例如它们的各自位置和速度）与气体的宏观特性（如温度和压力）区分开来。考虑一下，不是气体，而是棋盘上的一组相同的游戏棋子。所有棋子的精确坐标列表就是玻尔兹曼所说的“微观状态”，而它们的整体配置——比如说，无论它们形成一个星形，还是全部聚集在一起——都是一个“宏观态”。玻尔兹曼根据产生给定宏观状态的可能微观状态的数量，来定义该宏观状态的熵。高熵宏观状态是具有许多相容的微观状态的宏观状态——许多可能的棋盘格排列，产生相同的整体模式。

棋子可以呈现看起来有序的特定形状的方式只有这么多，而它们看起来随机散布在棋盘上的方式要多得多。因此，熵可以被视为无序的度量。第二定律变成了一个直观的概率陈述：让某物看起来混乱的方式比干净的方式更多，因此，当系统的各个部分随机地在不同可能的配置之间切换时，它们往往会呈现出看起来越来越凌乱的排列。

卡诺发动机中的热量从热流向冷，是因为气体颗粒更有可能全部混合在一起，而不是按速度分离——一侧是快速移动的热颗粒，另一侧则是移动缓慢的冷颗粒。同样的道理也适用于玻璃碎裂、冰融化、液体混合和树叶腐烂分解。事实上，系统从低熵状态移动到高熵状态的自然趋势似乎是唯一可靠地赋予宇宙一致时间方向的东西。熵为那些本可以反向发生的进程刻下了时间箭头。

熵的概念最终将远远超出热力学的范围。艾克斯-马赛大学的物理学家Carlo Rovelli说，“当卡诺写他的论文时……我认为没有人想象过它会带来什么”。

扩展熵

熵在第二次世界大战期间经历了重生。美国数学家克劳德·香农（Claude Shannon）正在努力加密通信通道，包括连接富兰克林·罗斯福（Franklin D. Roosevelt）和温斯顿·丘吉尔（Winston Churchill）的通信通道。那次经历使他在接下来的几年里深入思考了通信的基本原理。香农试图测量消息中包含的信息量。他以一种迂回的方式做到这一点，将知识视为不确定性的减少。

乍一看，香农想出的方程式与蒸汽机无关。给定信息中的一组可能字符，香农公式将接下来出现哪个字符的不确定性定义为每个字符出现的概率之和乘以该概率的对数。但是，如果任何字符的概率相等，则香农公式会得到简化，并变得与玻尔兹曼的熵公式完全相同。据说物理学家约翰·冯·诺伊曼（John von Neumann）敦促香农将他的量称为“熵”——部分原因是它与玻尔兹曼的量非常一致，也因为“没有人知道熵到底是什么，所以在辩论中你总是占优势”。

正如热力学熵描述发动机的效率一样，信息熵捕捉到通信的效率。它与弄清楚消息内容所需的是或否问题的数量相对应。高熵消息是无模式的消息；由于无法猜测下一个角色，这条信息需要许多问题才能完全揭示。具有大量模式的消息包含的信息较少，并且更容易被猜到。“这是一幅非常漂亮的信息和熵环环相扣的画面，”Lloyd说。“熵是我们不知道的信息；信息是我们所知道的信息”。

在1957年的两篇具有里程碑意义的论文中，美国物理学家E.T.Jaynes通过信息论的视角来观察热力学，巩固了这一联系。他认为热力学是一门从粒子的不完整测量中做出统计推断的科学。Jaynes提议，当知道有关系统的部分信息时，我们应该为与这些已知约束相容的每个配置分配相等的可能性。他的“最大熵原理”为对任何有限数据集进行预测提供了偏差最小的方法，现在应用于从统计力学到机器学习和生态学的任何地方。

因此，不同背景下发展起来的熵的概念巧妙地结合在一起。熵的增加对应于有关微观细节的信息的损失。例如，在统计力学中，当盒子中的粒子混合在一起，我们失去了它们的位置和动量时，“吉布斯熵”会增加。在量子力学中，当粒子与环境纠缠在一起，从而扰乱它们的量子态时，“冯·诺伊曼熵”就会增加。当物质落入黑洞，有关它的信息丢失到外部世界时，“贝肯斯坦-霍金熵”就会增加。

熵始终衡量的是无知：缺乏关于粒子运动、一串代码中的下一个数字或量子系统的确切状态的知识。“尽管引入熵的动机各不相同，但今天我们可以将它们都与不确定性的概念联系起来，”瑞士苏黎世联邦理工学院的物理学家Renato Renner说。

然而，这种对熵的统一理解引发了一个令人不安的担忧：我们在谈论谁的无知？

一点主观性

作为意大利北部的一名物理学本科生，Carlo Rovelli从他的教授那里了解了熵和无序的增长。有些事情不对劲。他回到家，在一个罐子里装满油和水，看着液体在他摇晃时分离——这似乎与所描述的第二定律背道而驰。“他们告诉我的东西都是胡说八道，”他回忆起当时的想法。“很明显，教学方式有问题。”

Rovelli的经历抓住了熵如此令人困惑的一个关键原因。在很多情况下，秩序似乎会增加，从孩子打扫卧室到冰箱给火鸡降温。

Rovelli明白，他对第二定律的表面胜利不过是海市蜃楼。具有强大热视觉能力的超人观察者会看到油和水的分离如何向分子释放动能，从而留下更加热无序的状态。“真正发生的事情是，宏观秩序的形成是以微观无序为代价的，”Rovelli说。第二定律始终成立；有时只是看不见。

在Gibbs提出这个悖论一个多世纪后，Jaynes提出了解决方法（他坚称吉布斯已经理解了，但未能清楚地表达出来）。想象一下，盒子里的气体是两种不同类型的氩气，它们相同，只是其中一种可溶于一种称为whifnium的尚未发现的元素中。在发现whifnium之前，没有办法区分这两种气体，因此抬起分流器不会引发明显的熵变化。然而，在whifnium被发现后，一位聪明的科学家可以使用它来区分两种氩物种，计算出熵随着两种类型的混合而增加。此外，科学家可以设计一种基于whifnium的活塞，利用以前无法从气体的自然混合中获得的能量。

Jaynes 明确指出，系统的“有序性”——以及从中提取有用能量的潜力——取决于代理人的相对知识和资源。如果实验者无法区分气体A和B，那么它们实际上是相同的气体。一旦科学家们有办法区分它们，他们就可以通过开发气体混合的趋势来利用功。熵不取决于气体之间的差异，而是取决于它们的可区分性。无序在旁观者的眼中。

“我们可以从任何系统中提取的有用功，显然也必然取决于我们拥有多少关于其微观状态的’主观’信息，”Jaynes写道。

吉布斯悖论强调需要将熵视为一种观察属性，而不是系统固有的属性。然而，熵的主观视图是难以被物理学家接受的。正如科学哲学家肯尼斯·登比（Kenneth Denbigh）1985年在书中写道，“这样的观点，如果它是有效的，将产生一些深刻的哲学问题，并往往会破坏科学事业的客观性”。

接受熵的这个有条件的定义需要重新思考科学的根本目的。这意味着物理学比某些客观现实更准确地描述了个人经验。通过这种方式，熵被卷入了一个更大的趋势，即科学家们意识到许多物理量只有在与观察者有关时才有意义（甚至时间本身也被爱因斯坦的相对论所重新渲染）。“物理学家不喜欢主观性——他们对它过敏”，加州大学圣克鲁斯分校的物理学家Anthony Aguirre 说，“但没有绝对的——这一直都是一种幻觉。”

现在人们已经接受了这种认知，一些物理学家正在探索将主观性融入熵的数学定义的方法。

Aguirre和合作者设计了一种新度量，称之为观测熵（observational entropy）。它提供了一种方法，通过调整这些属性如何模糊或粗粒度化观察者对现实的看法，来指定观察者可以访问哪些属性。然后，它为与这些观察到的特性相容的所有微观状态赋予相等的概率，就像 Jaynes 所提出的那样。该方程将热力学熵（描述广泛的宏观特征）和信息熵（捕获微观细节）连接起来。“这种粗粒化的、部分主观的观点是我们有意义的与现实互动的方式，”Aguirre说。

许多独立团体使用 Aguirre 的公式来寻求第二定律更严格的证明。就Aguirre而言，他希望用他的度量来解释为什么宇宙一开始是低熵状态（以及为什么时间向前流动）并更清楚地了解黑洞中熵的含义。“观测熵框架提供了更清晰的信息”，巴塞罗那自治大学的物理学家Philipp Strasberg说，他最近将其纳入了不同微观熵定义的比较。“它真正将玻尔兹曼和冯·诺伊曼的思想与当今人们的工作联系起来。”

与此同时，量子信息理论家采取了不同的方法处理主观性。他们将信息视为一种资源，观察者可以使用它来跟日益与环境融合在一起的系统进行交互。对于一台可以跟踪宇宙中每个粒子的确切状态的具有无限能力的超级计算机来说，熵将始终保持不变——因为不会丢失任何信息——时间将停止流动。但是，像我们这样拥有有限计算资源的观察者总是不得不与粗略的现实图景作斗争。我们无法跟踪房间内所有空气分子的运动，因此我们以温度和压力的形式取平均值。随着系统演变成更可能的状态，我们逐渐失去了对微观细节的跟踪，而这种持续的趋势随着时间的流逝而成为现实。“物理学的时间，归根结底，是我们对世界无知的表现”，Rovelli写道。无知构成了我们的现实。

“外面有一个宇宙，每个观察者都带着一个宇宙——他们对世界的理解和模型”，Aguirre说。熵提供了我们内部模型中缺点的度量。他说，这些模型“使我们能够做出良好的预测，并在一个经常充满敌意但总是困难的物理世界中明智地采取行动。

以知识为驱动

2023年夏天，通过Aguirre于2006年共同创立的一个名为Foundational Questions Institute（FQxI）的非营利研究组织，在英国约克郡一座历史悠久的豪宅庄园连绵起伏的山脚下，Aguirre主持了一次闭门研讨会（retreat）。来自世界各地的物理学家齐聚一堂，参加为期一周的智力安睡派对，并有机会进行瑜伽、冥想和野外游泳。该活动召集了获得FQxI资助的研究人员，以探讨如何使用信息作为燃料。

对于这些物理学家中的许多人来说，对发动机和计算机的研究已经变得模糊不清。他们已经学会了将信息视为真实的、可量化的物理资源，即一种可以诊断从系统中提取多少功的手段。他们意识到，知识就是力量（power）。现在，他们开始着手利用这种力量。

一天早上，在庄园的蒙古包里参加了一次可选的瑜伽课程后，这群人聆听了Susanne Still（夏威夷大学马诺阿分校的物理学家）。她首先讨论了一项新工作，针对可以追溯到一个世纪前，由匈牙利出生的物理学家利奥·西拉德（Leo Szilard）所提出的思想实验：

想象一个带有垂直分隔线的盒子，该分隔线可以在盒子的左右壁之间来回滑动。盒子中只有一个粒子，位于分隔线的左侧。当粒子从壁上弹开时，它会将分隔器向右推。一个聪明的小妖可以装配一根绳子和滑轮，这样，当分隔器被粒子推动时，它会拉动绳子并在盒子外举起一个重物。此时，小妖可以偷偷地重新插入分隔器并重新启动该过程——实现明显的无限能量源。

然而，为了始终如一地开箱即用，恶魔必须知道粒子在盒子的哪一侧。西拉德的引擎由信息提供动力。

原则上，信息引擎有点像帆船。在海洋上，利用你对风向的了解来调整你的帆，推动船向前行进。

但就像热机一样，信息引擎也从来都不是完美的。他们也必须以熵生产的形式纳税。正如西拉德和其他人所指出的，我们不能将信息引擎用作永动机的原因是，它平均会产生至少同样多的熵来测量和存储这些信息。知识产生能量，但获得并记住知识会消耗能量。

在西拉德构思他的引擎几年后，阿道夫·希特勒成为德国总理。出生于犹太家庭并一直居住在德国的西拉德逃离了。他的著作几十年来一直被忽视，直到最终被翻译成英文，正如Still在最近的一篇信息引擎历史回顾中所述。

最近，通过研究信息处理的基本要素，Still成功地扩展并泛化了西拉德的信息引擎概念。

十多年来，她一直在研究如何将观察者本身视为物理系统，受其自身物理限制的约束。趋近这些限制的程度不仅取决于观察者可以访问的数据，还取决于他们的数据处理策略。毕竟，他们必须决定要测量哪些属性以及如何将这些细节存储在有限的内存中。

在研究这个决策过程时，Still发现，收集无助于观察者做出有用预测的信息会降低他们的能量效率。她建议观察者遵循她所说的“最小自我障碍原则”——选择尽可能接近他们物理限制的信息处理策略，以提高他们决策的速度和准确性。她还意识到，这些想法可以通过将它们应用于修改后的信息引擎来进一步探索。

在西拉德的原始设计中，小妖的测量完美地揭示了粒子的位置。然而，在现实中，我们从来没有对系统有完美地了解，因为我们的测量总是有缺陷的——传感器会受到噪声的影响，显示器的分辨率有限，计算机的存储空间有限。Still展示了如何通过对西拉德的引擎进行轻微修改来引入实际测量中固有的“部分可观测性”——基本方法是通过更改分隔线的形状。

想象一下，分隔线在盒子内以一定角度倾斜，并且用户只能看到粒子的水平位置（也许他们看到它的阴影投射到盒子的底部边缘）。如果阴影完全位于分隔线的左侧或右侧，则可以确定粒子位于哪一侧。但是，如果阴影位于中间区域的任何位置，则粒子可能位于倾斜分隔线的上方或下方，因此位于盒子的左侧或右侧。

使用部分可观测的信息引擎，Still计算了测量粒子位置并在内存中对其进行编码的最有效策略。这导致了一种纯粹基于物理的算法推导，该算法目前也用于机器学习，称为信息瓶颈算法（information bottleneck algorithm）。它提供了一种通过仅保留相关信息来有效压缩数据的方法。

从那时起，和她的研究生Dorian Daimer一起，Still研究了改进的西拉德引擎的多种不同设计，并探索了各种情况下的最佳编码策略。这些理论设备是“在不确定性下做出决策的基本组成部分”，拥有认知科学和物理学背景的Daimer说。“这就是为什么研究信息处理的物理学对我来说如此有趣，因为在某种意义上，这是一种完整的循环，最终回归到对科学家的描述。”

重新工业化

尽管如此，他并不是约克郡唯一一个梦想西拉德引擎的人。近年来，许多FQxI受资助者在实验室中开发了有功能性的引擎，其中信息用于为机械设备提供动力。与卡诺的时代不同，没有人期望这些微型发动机为火车提供动力或赢得战争；相反，它们正在充当探测基础物理学的试验台。但就像上次一样，信息引擎正在迫使物理学家重新构想能量、信息和熵的含义。

在Still的帮助下，John Bechhoefer已经用漂浮在水浴中的比尘埃还小的二氧化硅珠重新创建了西拉德的引擎。他和加拿大西蒙弗雷泽大学的同事用激光捕获硅珠并监测其随机热波动。当硅珠碰巧向上晃动时，它们会迅速抬起激光阱以利用其运动。正如西拉德所想象的那样，他们通过利用信息的力量成功地提起了重量。

在调查从他们的真实世界信息引擎中提取功的限制时，Bechhoefer和Still发现，在某些状态下，它可以显著跑赢传统发动机。受到Still理论工作的启发，他们还追踪了接收部分低效信息的硅珠的状态。

在牛津大学物理学家Natalia Ares的帮助下，信息引擎现在正在缩小到量子尺度，她曾与Still一同参加了闭门研讨会。在与杯垫大小相当的硅芯片上，Ares将单个电子困在一根细碳纳米线内，该纳米线悬挂在两根支柱之间。这个“纳米管”被冷却至接近绝对零度的千分之一，像吉他弦一样振动，其振荡频率由内部电子的状态决定。通过追踪纳米管的微小振动，Ares和她的同事计划诊断不同量子现象的功输出。

Ares在走廊的黑板上写满了许多实验计划，旨在探测量子热力学。“这基本上就是整个工业革命的缩影，但尺度是纳米级的，”她说。一个计划中的实验灵感来源于Still的想法。实验内容涉及调整纳米管的振动与电子（相对于其他未知因素）的依赖程度，本质上为调整观察者的无知提供了一个“旋钮”。

Ares和她的团队正在探索热力学在最小尺度上的极限——某种意义上，是量子火焰（quantum fire）的驱动力。经典物理中，粒子运动转化为有用功的效率限制由卡诺定理设定。但在量子领域，由于有多种熵可供选择，确定哪个熵将设定相关界限变得更加复杂——甚至如何定义功输出也是一个问题。“如果我们像实验中那样只有一个电子，那熵意味着什么？”Ares说道。“根据我的经验，我们仍然在这方面非常迷茫。”

最近一项由美国国家标准与技术研究院（NIST）的物理学家Nicole Yunger Halpern主导的研究表明，通常被视为同义的熵生成的常见定义，在量子领域中可能会出现不一致，这再次出于不确定性和观察者依赖性。在这个微小的尺度上，不可能同时知道某些属性。而你测量某些量的顺序也会影响测量结果。Yunger Halpern认为，我们可以利用这种量子奇异性来获取优势。“在量子世界中，有一些经典世界中没有的额外资源，所以我们可以绕过卡诺定理，”她说道。

Ares正在实验室中推动这些新的边界，希望为更高效的能源收集、设备充电或计算开辟道路。这些实验也可能为我们所知道的最有效的信息处理系统——我们自己——的机制提供一些洞见。科学家们不确定人脑是如何在仅仅消耗20瓦电力的情况下，执行极其复杂的脑力运动的。也许，生物学计算效率的秘诀也在于利用小尺度上的随机波动，而这些实验旨在探测任何可能的优势。“如果在这方面有某些收获，自然界也许实际上利用了它，”与Ares合作的埃克塞特大学理论学家Janet Anders说道。“我们现在正在发展的这种基础理解，或许能帮助我们未来更好地理解生物是如何运作的。”

Ares的下一轮实验将在她位于牛津实验室的一个粉色的制冷室中进行。几年前，她开玩笑地向制造商提出了这个外观改造的建议，但他们警告说，金属涂料颗粒会干扰她的实验。然后，公司偷偷将冰箱送到汽车修理厂，给它覆盖了一层闪亮的粉色薄膜。Ares将她的新实验场地视为时代变革的象征，反映了她对这场新的工业革命将与上一场不同的希望——更加有意识、环保和包容。

“感觉就像我们正站在一个伟大而美好的事物的起点，”她说道。

拥抱不确定性

2024年9月，几百名研究人员聚集在法国帕莱佐，为纪念卡诺（Carnot）其著作出版200周年而举行的会议上。来自各个学科的参与者讨论了熵在各自研究领域中的应用，从太阳能电池到黑洞。在欢迎辞中，法国国家科学研究中心的一位主任代表她的国家向卡诺道歉，承认忽视了卡诺工作的重要影响。当天晚上，研究人员们在一个奢华的金色餐厅集合，聆听了一首由卡诺的父亲创作、由一支四重奏演奏的交响乐，其中包括这位作曲家的远亲后代。

卡诺的深远见解源于试图对时钟般精确的世界施加极致控制的努力，这曾是理性时代的圣杯。但随着熵的概念在自然科学中逐渐扩展，它的意义发生了变化。熵的精细理解抛弃了对完全效率和完美预测的虚妄梦想，反而承认了世界中不可减少的不确定性。“在某种程度上，我们正朝着几个方向远离启蒙时期，”Rovelli说——远离决定论和绝对主义，转向不确定性和主观性。

无论你愿不愿意接受，我们都是第二定律的奴隶；我们无法避免地推动宇宙走向终极无序的命运。但我们对熵的精细理解让我们对未来有了更为积极的展望。走向混乱的趋势是驱动所有机器运作的动力。虽然有用能量的衰减限制了我们的能力，但有时候换个角度可以揭示隐藏在混沌中的秩序储备。此外，一个无序的宇宙正是充满了更多的可能性。我们不能规避不确定性，但我们可以学会管理它——甚至或许能拥抱它。毕竟，正是无知激励我们去追求知识并构建关于我们经验的故事。换句话说，熵正是让我们成为人类的原因。

你可以对无法避免的秩序崩溃感到悲叹，或者你可以将不确定性视为学习、感知、推理、做出更好选择的机会，并利用你身上蕴藏的动力。