熵是现代科学中的一个时髦词。通常它被用作“无序”的同义词，但它要有趣的多。这个概念本身有着悠久的历史。为了完全理解熵是什么，我们需要知道它是从哪里来的。
最早提出熵概念的是拉扎尔·卡诺，他以研究发动机和领导法国革命军而闻名。拉扎尔对输入系统的功和输出系统的功的比较之间的关系非常感兴趣。他把输出的功称为“有用的功”，而把损失的功称为“转换能”。这就是后来的熵。
- 卡诺父子
他的儿子（萨迪·卡诺）继续老卡诺的工作，研究发动机。他是著名的卡诺循环的发现者，卡诺循环是经典热机效率的上界。萨迪认识到，在从热到功的转换过程中，总要损失一些能量。这是表述热力学第二定律的另一种方式，它本质上说熵永远不会减少。
随后，其他一些科学家改变了这个概念，以适用于他们各自的领域。鲁道夫·克劳修斯是第一个正式将其称为“熵”的人，并在研究热量时利用了它。他选择这个词是基于希腊单词“entropia”，意思是转变。路德维希·玻尔兹曼在他的统计力学发展中很大程度上依赖于熵。埃尔温·薛定谔将进化中的突变与熵的增长联系起来。最近，克劳德·香农把他的整个信息理论建立在熵的概念上。
有了这么多不同的领域和用途，难怪熵变得如此重要。我记得在本科学习期间，我遇到过几个与熵相关的定义和方程，它们似乎都不相关。唯一共同的特征似乎是随机性。
让我们来看看熵是如何在这些领域中应用的。我们已经在热力学的意义上讨论了一点，但是我们可以更深入地讨论。熵测量了能量是如何扩散的，热力学第二定律说，能量总是会随着时间变得更加分散。但没有确切的函数告诉我们能量是如何运动的，我们也没有“扩散”的具体定义。我将举一些第二定律的例子，希望你们能理解。
如果我们把一个热平底锅放在外面，它会逐渐冷却下来。这是因为平底锅里的热量正在慢慢扩散到附近的分子中。随着时间的推移，这种能量会更加均匀地分布。想想漂浮在水中的冰块。冰中的分子比液态水中的分子含有更少的能量。然而，随着时间的推移，冰会融化，来自水能量会扩散到冰中。
熵是一个过程的自发性的中心。如果一个过程的熵增加（比如上面描述的两种情况），那么它会自己发生。如果一个过程的熵降低了，就像冰在一杯常温的水中随机凝固一样，那么除非外力（冰箱）作用于它，否则它不会发生。
需要注意的是，熵和无序是不同的。关于熵的一个常见类比是将凌乱的房间与整洁的房间进行比较。然而，能量在两种情况下“分散”的量是相同的。说一个房间的熵比另一个房间的熵大是不正确的。这里有很多内容，我们不在这里讨论。
热力学概念是熵的最初定义，或许也是熵最精确的定义。接下来我们将进入统计力学，这是一个与热力学有很多相同之处，但又不相同的领域！
统计力学的一个中心概念是宏观状态和微观状态之间的区别。宏观状态是较大的可观测系统，具有温度、压力和体积等特性。它包含许多小分子，但我们基本上可以忽略它们，只把系统看作一个整体。然而，微观状态确实考虑了每个单独的粒子，并描述了每个粒子在宏观状态中的确切位置。任何给定的宏观状态都可能有数万亿不同可能的微观状态。
在这种形势下，熵被定义为可能微观状态数的对数。由于不可能确切知道有多少微观状态，这更多是一种概念，而不是实际操作。在最基本的意义上，想象一盒气体，盒壁突然被移除。气体会扩散开来，增加这些气体分子的体积。由于空间更大，可用的微观状态数量也增加了，熵也增加了。
詹姆斯·麦克斯韦提出了一个引人入胜的思维实验，叫做“麦克斯韦的恶魔”。在书中，他描述了一个可能违反第二定律的现象，这引发了很多有趣的讨论。
麦克斯韦的恶魔是由物理学家詹姆斯·克莱克·麦克斯韦于1867年创建的思想实验，在实验中他提出了热力学第二定律可能被认为是违反的问题。在思想实验中，一个恶魔控制了两个气体隔间之间的一扇小门。当单个气体分子接近门时，恶魔会迅速打开和关闭门，以使只有快分子进入一个腔室，而只有慢分子进入另一个腔室。因为更快的分子会变热，所以恶魔的行为会导致一个腔室变热而另一个腔室变冷，从而降低熵并违反了热力学第二定律。这个思想实验激起了关于热力学和信息论之间关系的争论和理论研究，直到今天，许多科学家认为，理论考虑排除了任何违反第二定律的实际装置。——维基百科
- 麦克斯的恶魔，这可能违反了第二定律
熵的最后一个主要用途出现在信息论中。这一定义与其他定义有明显的不同。信息论研究的是将信息从信息源传递给接受者。
比方说，你想把你考试成绩的发给朋友，这可能是A、B、C、D或E。你只能发送5种可能的信息，这使得熵值很低。如果您想发送您得到的确切分数，比如88.2或73.4，会怎样呢？它的可能性更大，熵值也更高。
你可以看到这个概念和熵的统计力学观点之间的联系。通信的熵对信号将如何发送有许多影响。一个高熵的信号需要大量的信息。熵在数学和物理世界中无处不在。虽然将其视为“无序”是有用的，但它消除了许多涉及的细微差别。希望你们已经掌握了思考熵的不同方式以及它的好处。
,
