 |
|
Вероятностный подход к определению количества информации
Лабораторная работа № 3
ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ
1 Цель и содержание
Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.
Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.
Теоретическое обоснование
Введение понятия «количество информации»
В основе нашего мира лежат три составляющие – вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.
А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новыеи понятные сведения, то такое сообщение называется информативным.
Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ – да). Для кого он будет информативным – для студентов, обучающихся в университете или учеников 1 класса? (Ответ – для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).
Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.
Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.
Вероятностный подход к определению количества информации
Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.
Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.
Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.
Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных. Неопределенность знаний равна шести, т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз.
Контрольный пример. На экзамене приготовлено 30 билетов.
– Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ – 30).
– Равновероятны эти события или нет? (Ответ – равновероятны).
– Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ – 30).
– Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ – в 30 раз).
– Зависит ли этот показатель от номера вытянутого билета? (Ответ – нет, т. к. события равновероятны).
Можно сделать следующий вывод.
Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.
Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.
Таким образом 1 бит–это количество информации, уменьшающее неопределенность знаний в два раза.
Группа из 8 битов информации называется байтом. Если бит – минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).
1 Кбт = 1024 байта = 210 (1024) байтов.
1 Мбт = 1024 Кбайта = 220 (1024 • 1024) байтов.
1 Гбт = 1024 Мбайта = 230 (1024 • 1024 • 1024) байтов.
Существует формула, которая связывает между собой количество возможных событий и количество информации:
N = 2i,
где N – количество возможных вариантов;
I – количество информации.
Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log2N.
Контрольный пример. Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?
Количество возможных вариантов выбора карты из колоды – 32 (N = 32) и все события равновероятны. Воспользуемся формулой определения количества информации для равновероятных событий I = log2N = log232 = 5 (32 = 2i; 25 = 2i; отсюда I = 5 бит).
Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то необходимо воспользоваться инженерным калькулятором; формулу I = log2N представить как 
и произвести необходимые вычисления.
Контрольный пример. Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?
В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.