优雅的数学——浅谈熵与不确定风险(1/2)

本篇文章主要介绍了"优雅的数学——浅谈熵与不确定风险"，主要涉及到创业方面的内容，对于创业投资感兴趣的同学可以参考一下： 编者按：本文来自点融网旗下微信公众号点融黑帮（微信号：DianrongMafia），作者李云超（点融黑帮），点融网软件工程师，之前就职于 State Stree...

编者按：本文来自点融网旗下微信公众号点融黑帮（微信号：DianrongMafia），作者李云超（点融黑帮），点融网软件工程师，之前就职于 State Street。技术爱好是算法、数学；生活爱好广泛，喜欢调侃。

“不要把所有鸡蛋放到一个篮子里。” 这是在投资时常常讲到的一个原理，目的是降低风险。在数学上，这个原理称为最大熵原理（The Maximum Entropy Principle）。

1988年，达拉皮垂兄弟和很多 IBM 做语音识别的同事，开了一家对冲基金公司——文艺复兴技术公司（Renaissance Technologies）。用最大熵模型和一些其他先进的数学工具，对股票进行预测，取得巨大成功。该基金在创立至今，它的净回报率高达平均每年34%。这个业绩远超股神巴菲特的旗舰公司伯克希尔哈撒韦（Berkshire Hathaway）。即使在金融危机的 2008年，全球股市暴跌，文艺复兴技术公司的回报却高达 80%。

下面简单介绍下熵及其相关的一些基本概念。

1. 什么是熵

物理熵

熵（entropy）原本是一个热力学概念，源自希腊语 “转换” 一词。用来衡量能量的不可用程度。

熵 S = -∑Pi * log Pi

• λ热力学第一定律：宇宙的能量守恒
• λ热力学第二定律：宇宙的熵恒增

简单解释：一杯热水倒入一杯冷水中，有一定温差，这个温差可以转化成机械能之类的，被我们利用，但随着温差越来越小，能量不可用的程度越来越大，所以熵不断增大。熵恒增可视为一种无限接近但不可到达的状态，跟绝对零度，差不多一个意思。

（关于熵，还有一只妖精的传说，有兴趣的小伙伴可以查查看）

信息熵——如何衡量一条信息的信息量？

举个栗子，16 只有标号的球队，要询问多少次才能知道那支球队是冠军（消除不确定性的过程）？通过二分原理来询问是最有效的（最差情况下的最优解）：

1.是在 1-8号里吗？ 是

2.是在 1-4号里吗？ 否 （说明在 5-8号里）

3.是在 5-6号里吗？ 是

4.是 5号吗？ 否 （不确定性完全消除，6号球队是冠军）

信息学里，用 “比特”（Bit）来度量信息量，可以看出来，信息量的比特数和所有可能情况的对数函数 log 有关。

再进一步，可能不需要猜四次（但不会比四次多），因为西班牙、巴西、德国、意大利这样的球队，比日本、南非、韩国、中国这样的球队，得冠军的可能性高。所以，权重需要修正一下。

信息熵 H (X) = -∑P (x) * log P (x)

其中 P 表示概率（下面的介绍也是一样）

一条信息的信息量和它的不确定性有着直接的关系，而信息熵就是用来衡量不确定性的程度。

香农没关注过物理学杂志，他从头构建了熵的数学理论，向信息论的鼻祖致敬！

其他相关概念：条件熵，互信息

下图符号定义，熵为 H (X)，条件熵为 H (X|Y)，互信息为 I (X ; Y)。