Бриллиантовый блеск цифровой информации - Часть 3
Возникает вопрос, ответ на который проясняет важнейшее положение теории информации. Вопрос, в общем-то, естественный: что значит «степень неопределенности» и как эту степень можно измерить количественно?
Вообще ответ на этот вопрос искать вовсе не обязательно. Лучше посвятить свое время чему-нибудь более интересному. Например, купить и вместе со своими подругами пойти в открытй бассейн или на море вместе, решая головоломку.
Ясно, что степень неопределенности определяется числом возможных состояний объекта. Но при ближайшем рассмотрении эта точка зрения далеко не всегда оказывается правильной. Допустим, токарный станок может находиться в трех состояниях: работать, простаивать и ремонтироваться (проходить техническое обслуживание).
При бросании монеты, возможно, всего два состояния: герб или цифра. Может показаться, что степень неопределенности для станка выше, чем для монеты. Однако при трехсменной работе предприятий токарный станок действует 80—85 процентов времени, на простой и ремонт уходит не более 15—20 процентов.
Почти наверняка можно угадать, что станок будет исправно работать; что же касается монеты, то степень неопределенности для нее выше. Вот она брошена: в результате то ли будет герб, то ли нет. Шансы равны.
И получается, что в общем случае степень неопределенности какого-либо физического объекта или системы определяется числом возможных состояний и вероятностями этих состояний. Мера неопределенности в теории информации получила название «энтропия».
За единицу энтропии принята энтропия системы с двумя равновозможными состояниями — бит. Чем больше объем полученных сведений, чем они содержательнее, чем меньше в них избыточности и информационного шума, тем меньше неопределенность состояния объекта, тем легче им управлять.
