熵是物理学中的一个传统概念，人们在研究如何提高热机效率的过程中，通过对自然界状态转化的方向问题的不断深入研究，逐步发现和建立了熵的概念。

在100多年后的今天，熵的踪迹已经遍于自然科学、社会科学的各个领域，成为众多学科研究的一个新的焦点。

本篇将对熵概念的由来与发展，对熵概念与信息理论的紧密联系作一个简单介绍。