Здавалка
Главная | Обратная связь

Способы измерения информации



Понятие количества информации естественно возникает, например, в следующих типовых случаях:

  1. Равенство вещественных переменных , заключает в себе информацию о том, что равно . Про равенство можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот. Равенство несет в себе информацию по объему такую же, как и первое;
  2. Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено;
  3. Математическое ожидание некоторой случайной величины, содержит в себе информацию о самой случайной величине, Для случайной величины, распределенной по нормальному закону, с известной дисперсией знание математического ожидания дает полную информацию о случайной величине;
  4. Рассмотрим схему передачи информации. Пусть передатчик описывается случайной величиной, , тогда из-за помех в канале связи на приемник будет приходить случайная величина, , где - это случайная величина, описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в случайной величине, , относительно . Чем ниже уровень помех (дисперсия мала), тем больше информации можно получить из . При отсутствии помех содержит в себе всю информацию об .

В 1865 г. немецкий физик Рудольф Клаузиус ввел в статистическую физику понятие энтропии или меры уравновешенности системы.

В 1921 г. основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин "информация" в математику, но полученные им формулы носят очень специальный характер.

В 1948 г. Клод Шеннон в своих работах по теории связи выписывает формулы для вычисления количества информация и энтропии. Термин энтропия используется Шенноном по совету патриарха компьютерной эры фон Неймана, отметившего, что полученные Шенноном для теории связи формулы для ее расчета совпали с соответствующими формулами статистической физики, а также то, что "точно никто не знает" что же такое энтропия.

Упражнение 4 Какое из соотношений несет в себе больше информации или ?







©2015 arhivinfo.ru Все права принадлежат авторам размещенных материалов.