Главная | Обратная связь

Понятие количества информации

Поскольку информация по своему характеру может быть весьма разнообразной и иметь для получателя различную ценность, введение универсальной количественной меры информации представляет собой довольно сложную задачу.

 

Требования, которые должны предъявляться к этой мере:

 

1. Она должна основываться на объективных закономерностях, присущих сообщениям любого рода.

2. Эта мера не должна противоречить интуитивным представлениям о количестве информации в том или ином сообщении.

3. Она должна быть достаточно удобной для использования в инженерной практике, и под возможности иметь простой физический смысл.

 

Рассмотрим объективные закономерности, присущие сообщениям любого вида:

 

1. Количество информации монотонно возрастает с увеличением длительности сигнала.

2. Количество информации связано с числом элементов сигнала. При увеличении количества элементов, то есть алфавита сигнала, количество информации на элемент возрастает.

3. Количество информации зависит от статистических характеристик сигнала, которые можно рассматривать как некий случайных процесс. Таким образом, задача построения количественной меры информации сводится к отысканию некоторой функции, монотонно возрастающей с увеличением длительности и числа возможных элементов сигнала и зависящей от его статистических характеристик.

 

Ограничения и допущения:

 

1. Передаваемый сигнал не подвергается искажениям.

2. Сигнал дискретен во времени и представляет собой совокупность последовательных элементов (символов).

3. Множество различных состояний сигнала (алфавит) дискретно и конечно.

4. Все состояния (символы) равновероятны.

5. Вероятностные связи между различными символами отсутствуют, то есть символы являются статистически независимыми.

 

При этих допущениях и ограничениях число N различных последовательностей длиной в в n символов из алфавита, содержащего M символов равно mⁿ.

 

Логично предположить, что количество информации I должно быть пропорционально длине сигнала N, что может быть представлено в виде:

 

I = ñ * n, где ñ - постоянная единицы меры информации.

 

logN = logmⁿ

logN = nlogm

n = logN / logm

 

Это соотношение определяет количество информации, которое может нести одна из N различных последовательностей, составленных всеми возможными способами из m различных символов.

 

Выбор единицы количество информации может быть осуществлен с учетом того, что в практике наибольшее распространение получили бинарные системы, то есть m выбирается как наименее возможное количество символов в алфавите, то есть m=2.

 

Это определяет выбор основания логарифма в формуле (1.3).

 

То есть количество информации определяется количеством двоичных единиц, которыми эту информацию можно закодировать.

 

I = n*log₂m

 

Задача. Сколькими двоичными символами можно написать слово «мама»?