Entropy（熵）

信息论和热力学中的核心概念，度量不确定性或信息量。

核心定义

熵量化不确定性。不同学科中有多种正式定义，但核心思想一致：

  • 信息论：香农熵，表示表示系统状态所需的信息量（比特）
  • 统计力学：玻尔兹曼熵，与系统微观状态数相关
  • 热力学：克劳修斯熵，与热量和温度相关

信息论视角

香农熵公式

$$H = -\sum_{i=1}^{N} p_i \cdot \log_2(p_i)$$

其中 $p_i$ 是第 $i$ 个状态的概率。

直观理解

  • 公平硬币：熵 = 1 比特（两种等概率结果）
  • 8面骰子：熵 = 3 比特（八种等概率结果）
  • 不公平骰子（某面概率99%）：熵 ≈ 0.11 比特（不确定性很低）

关键洞察：结果越不确定，熵越高；结果越确定，熵越低。

物理熵视角

宏观态与微观态

  • 宏观态（Macrostate）：我们测量的大尺度属性（如盒子左右两侧的球数）
  • 微观态（Microstate）：系统的具体配置（每个球的精确位置）

玻尔兹曼熵

$$S = k_B \ln(W)$$

其中 $W$ 是满足给定宏观态的微观态数量。

粗粒化（Coarse-graining）

熵不仅取决于物理系统本身，还取决于我们如何描述它——即选择的宏观态和观测分辨率。

熵与时间之箭

熵增原理：孤立系统的熵随时间增加（或保持不变）。这解释了为什么时间有方向性——宇宙向着更高不确定性的状态演化。

应用领域

  • 数据压缩：熵给出了无损压缩的理论下限
  • 密码学：随机源的熵决定安全性
  • 机器学习：交叉熵作为损失函数
  • 统计物理：理解热力学第二定律

相关概念

  • [[information-theory]] — 信息论基础
  • [[shannon-entropy]] — 香农熵详解
  • [[thermodynamics]] — 热力学基础

来源引用