01｜影响世界的三比特信息

这里要介绍信息的作用，它是如何被度量的，为什么它能够起到四两拨千斤的作用，用三讲串联这门课中要陆续介绍的知识点。

因为信息太重要，太有用，以至于必须了解关于它的理论。

每个人都知道钱很重要，因此对金融和经济学颇为着迷。确实，善用金钱成为一些人成功的根本原因，这个道理大家都明白。但是对于信息的重要性，很多人却未必明白，更不会将它和金钱放在同等的位置对待。

当然，世界上还是有人会看得更远一些的，比如Google的诺威格博士。2007年，他的母校伯克利要授予他一个特殊的荣誉。

在仪式上，诺威格博士回答了一个很多校友都好奇的事情——他为什么在2001年互联网在全球范围内处于低谷时，要离开工作非常安稳的NASA，加入当时还很小的Google公司。

诺威格博士讲，在1929—1933年经济大萧条时，银行亏得一塌糊涂，很多都倒闭了，但是在那时买银行股票的人后来都发了大财。别人就问他们，为什么敢于在那种情况下买银行股？他们说因为全世界的钱都在银行里啊！

同样地，2001年，互联网泡沫时，全世界的信息都在Google里啊！那么在信息最不值钱的时候加入信息公司，就如同在银行最不值钱的时候买银行的股票。

因此，第一个知识点就是“不要重视钱而轻视信息”。

将信息的重要性等同于钱，是否言过其实呢？一点也不，为了说明这一点，不妨看三个大家并不陌生的例子。前两个和二战有关。

首先来看第一个例子。能量总量确立了二战时美国的压倒性优势，这一点已经成为了大家的共识，以至于今天人们一讲到战争就说它是拼经济，拼后勤。

但是，在二战时科学家们和情报人员在信息上的贡献却时常被低估，信息论便是在那个背景下诞生的。

在二战时，另一条战线的信息收集工作也在悄无声息地进行，并且对战局产生了巨大的影响，大量的间谍正在暗处的情报战场上较劲。

当然，这其中最杰出的代表当属具有传奇色彩的佐尔格。佐尔格一生给苏联发送了两份足以改变世界的重要情报。一次是告诉斯大林，希特勒将在1941年6月22日进攻苏联，斯大林没有将它当回事，这条信息也就废了。另一次就是关于日本军部“北进还是南下”的战略决策的信息。

当时的局势是这样的，纳粹德国已经兵临莫斯科城下了，斯大林在欧洲已经无兵可派，而他们在西伯利亚的中苏边界有60万大军却不敢使用，因为苏联人不知道德国的盟友日本是否会从背后捅它一刀子。

当时日本军部的战略是北上进攻苏联，还是南下和美国开战，外界无从得知。

最后，佐尔格向莫斯科发去了一条只有五个字却价值无限的信息：“日本将南下”，于是前苏联就把西伯利亚所有的军队调往了欧洲战场。后面的故事大家都知道了。

佐尔格的这条信息给当时不得不进行二选一决策的苏联指挥部，提供了重要的决策依据。可以讲，这条信息救了莫斯科。那么这条信息的信息量有多大呢？再来看后面两个类似的例子。

1944年，盟军要从英国出发，横穿英吉利海峡在法国登陆，从西面进攻德国。这件事不是什么秘密，因此德国人就在大西洋沿岸修筑工事防范盟军登陆。

但是德军在法国前线只有60个不满员的师（中间还有一半是拼凑起的东欧部队和苏联伪军），相比盟军在海峡对岸的300多个师则少得可怜，因此面对很长的海岸线，德国人只能重点布防。

当然，德国情报部门也想方设法去了解盟军的登陆地点。盟军对此自然也是心知肚明，于是盟军就耍了很多花招，比如故意让德军捕获一些情报，甚至让之前一直统帅美军主力的巴顿将军带领一支比登陆部队更大的掩护部队在加莱对岸的多佛做登陆准备，当然真正的登陆目标是300公里以外的诺曼底。

按照很多传记小说和纪录片的描述，这么高的成本花出去，最终让德国人相信了登陆的主战场在加莱，于是诺曼底登陆成功了。盟军真的成功了吗？对于这个结论先存疑，稍后给出答案。但是，情报在这场战役中的重要性是不可否定的。

第三个例子是中国古代的例子，也就是发生在公元前262—260年的秦赵长平之战。这场战争的结果是赵国惨败，45万生力军全部阵亡或投降后被杀，从此秦灭六国就再也没有了悬念。这场战争的转折点是赵国一方让从未带过兵的赵括取代了名将廉颇，于是酿成惨败。

那么赵括到底输在哪儿了呢？他的悲剧根源不仅仅是因为他只会纸上谈兵，最后中了埋伏，更重要的是因为他信息缺失，不知道对方的主帅是谁。在他之前，秦国与廉颇对垒的主将是王龁，并非大名鼎鼎的白起。

赵括虽然非常自大，但是对威震天下的武安君白起还是忌惮三分。用他的话讲：“秦若使武安君为将，尚费臣筹画；如王龁不足道矣。”如果他知道对方的主帅已经换成了白起，或许还不敢贸然出战，秦军一口气吃掉他的40万人并不容易。

而在秦国一方，正是了解赵括这种眼中无人的毛病，才将白起担任指挥官的消息封锁得特别严，诱使赵括轻敌冒进，并一举全歼对方。那么在这个例子中，秦国隐藏了“白起为将”这条信息的作用是非常大的。

在上面三个例子中，信息的作用远比千军万马重要。但是如果从信息论的角度看，它们的信息量有多大？有人可能会说非常大！这是二十世纪上半叶之前的说法，因为那时没有定量的度量。

而知道一些信息论的朋友会说，也就1比特吧，因为这三个例子中都是非此即彼二选一的问题，等同于0和1之间确定一个，因此信息量是1比特。这种说法大致正确。但如果更确切地分析一下，这三种情况并没那么简单。

在第一个例子中，佐尔格的情报其实信息量不到1比特。二战时苏联对日本军部的战略多少有些判断，佐尔格送来的信息其实只是证实他们的判断，因此这条信息的信息量其实没有想象的那么大。

根据信息论对信息量单位比特的定义，如果存在两种情况，它们出现的可能性相同，都是50%，这时要消除其不确定性所需要的信息是1比特。

但是如果一种情况发生的可能性大，另一种发生的可能性小，所需要的信息就不到1比特。比如说，一种情况出现的概率是1/3，另一种是2/3，这种情况下消除不确定性的信息量则降低到0.92比特。

在更极端的情况下，比如一种情况有99%的可能性发生，另一种是1%，那么这时的不确定性只有0.08比特了。

⚠️注意：上述例子中的描述涉及到信息论中的一个重要概念：熵（Entropy）。在信息论中，熵是用来衡量信息的不确定性或随机性的量度。简单来说，如果某个事件的发生概率非常高（或非常低），那么这个事件的信息熵就很低，因为它几乎没有不确定性。

在例子中，可以用香农熵（Shannon entropy）公式来计算信息量。香农熵的公式是：

\( H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i) \)

这里， \( H(X) \)是熵， \( P(x_i) \)是事件， \( x_i \)是发生的概率。

对于上文中提到的两个例子：

1. 第一个情况中，有两种可能的事件，概率分别是 1/3 和 2/3。所以熵可以计算为：

\( H(X) = -\left( \frac{1}{3} \log_2 \frac{1}{3} + \frac{2}{3} \log_2 \frac{2}{3} \right) \)

2. 第二个情况中，事件的概率分别是 99%（即 0.99）和 1%（即 0.01）。熵可以计算为：

\( H(X) = -\left( 0.99 \log_2 0.99 + 0.01 \log_2 0.01 \right) \)

计算这两种情况的熵值。在计算结果中，可以看到：

1. 对于第一个情况，当事件的概率是 1/3 和 2/3 时，消除不确定性所需的信息量（熵）大约是 0.92 比特。

2. 对于第二个情况，当事件的概率是 99% 和 1% 时，所需的信息量（熵）大约是 0.08 比特。

这些计算结果与所描述的概念相符：当一个事件的发生概率非常高（或非常低）时，消除不确定性所需的信息量会显著降低。

信息的这个性质，和我们生活的经验是一致的，大家都知道二者皆50%的可能性最让人头疼。而公众都知道的信息，其实是没有信息量的。这是希望大家记住的第二个知识点。

再来看第二个例子，盟军登陆地点的信息量又有多大呢？

虽然德军最后可能确实相信了盟军的假情报，在加莱重点设防（前线的两位元帅相信了，但是希特勒并没有相信），但是，整个诺曼底战役创下了英美军队在一场战役中阵亡的最高记录。

为什么盟军骗过了德军，却还是损失惨重？因为德军采用了信息论中一种非常好的对策，也就是不把鸡蛋放在一个篮子中，他们在诺曼底也严密设防了。因此，德军在得到信息前和得到信息后，策略差不多，这1比特的信息作用就不大了。

可以通过这两个例子看出来，改变世界的情报，信息量可能1比特都不到，而且这1比特的信息很可能还会遇到更高明的应对策略，失去价值。

不仅如此，很多时候，可能这1比特信息还会害了你。在最后一个例子中，情况就是如此。赵括以为对方的主帅是王龁，但是结果正相反，真正的主帅是白起。这种情况最为悲催。怎么从信息论的角度分析这种危害最大的情况，在后面介绍交叉熵时会专门讲。

我们知道1比特信息是非常少的，是一个计算机字节的1/8，一个像素的1/24。但是，这么一点信息产生的作用却是巨大的。

为什么信息有这样四两拨千斤的作用呢？这其实背后也是有科学根据的，在控制理论中有一种开关电路，控制这个开关只需要一比特的信息或者极低的能量，但是经过它的电流（可以被认为是能量）却能近乎无限大，今天很多电器中那些弱电控制强电的元器件就是利用这个特点工作的。

用很少的信息驱动很大的能量，这也是今天交付给大家的第三个知识点。而这也是信息非常重要的原因。

要点总结

1.信息很重要，甚至比钱更重要，它能四两拨千斤。而信息作用的大小和信息量有关。

2.信息量和不确定性有关，大家都知道的事，就没有什么信息量了。

3.对一个未知系统（黑盒子）所作出的估计和真实情况的偏离，就是信息的损失，偏离越多损失越大。

此外，还提到了信息论的一个原则，不要把鸡蛋放在一个篮子中，这样可以避免因为信息缺失，而导致灾难性结果。在接下来会用例子介绍信息论的一些理论，以便于大家做事情有理论指导。