Calcul & informatique » Théorie de l'information

Dans ce texte fondateur de la théorie de l’information, Shannon définit la notion de communication, la fonde sur celle de probabilité, définit le terme bit comme mesure logarithmique de l’information, ainsi que la notion d’entropie informatique (par analogie avec celle de Boltzmann en physique statistique). Il définit aussi mathématiquement la capacité d’un canal de transmission : on peut transmettre l’information de façon fiable tant que le débit ne dépasse pas cette capacité – le bruit présent dans le canal ne limite pas la qualité de la communication, mais uniquement le débit de transmission.