Посмотрите видеоролик "Вероятностный подход к измерению информации" (использованы задачи К.Полякова)
Задачи для самостоятельного решения (использованы задачи К.Полякова)