Понятие «информация» является сложным и ещё до конца не познанным. Поэтому его чёткого общепринятого определения не существует. Разные авторы дают свои оригинальные трактовки, которые в некоторых случаях сводятся к постулированию неких нематериальных субстанций. Так, на сайте Интернета «Наука и техника» инженер-математик С.Я. Янковский, не отрицая материальности самих сигналов, постулирует, что информация, в отличие от энергии и вещества, не подчиняется законам сохранения. Информацию он определяет как субстанцию, которую принимающая система получает, а передающая система при этом ничего не теряет .
В обыденном понимании для большинства людей слово «информация» означает то, что люди получают из общения друг с другом, читая книги, журналы и газеты, слушая радио, смотря телевизор. Однако зайцы, дождевые черви и прочая живность газет не читают и телевизор не смотрят, но тем не менее мы их относим к информационным системам. Из этого следует, что информация бывает разная, а чтобы определить какая, нужно провести специальное исследование.
На основании изложенного в п.9.1 информацию можно определить как совокупность воздействий, на основании которой сложная система принимает решение о том, что следует делать, какие взаимодействия с окружающей средой предпринять, что следует изменить в среде или в себе самой для достижения имеющейся цели. Решение, например, может состоять в том, что вообще ничего предприниматься не будет (цель достигнута) или будет принято решение поменять цель.
Для того чтобы произвести любое изменение, необходимо наличие соответствующей энергии. Следовательно, управляющие сигналы, формируемые после обработки поступившей информации, должны приводить систему либо в состояние, в котором имеющаяся энергия расходуется, либо в состояние, в котором энергия поглощается системой из окружающей среды и накапливается для последующего расходования. Для надёжного выживания, успешного достижения цели система должна иметь большой запас энергии, т.е. находиться далеко от состояния термодинамического равновесия. Тогда информацию можно назвать видом взаимодействия системы со средой, при котором обеспечивается поддержание состояния устойчивого неравновесия.
Получая информацию, система из состояния, в котором было не известно как себя вести (какие действия совершать), переходит в состояние, в котором точно известно, что делать. Информация позволяет устранять имеющуюся неопределённость. Это даёт возможность попытаться количественно измерить информацию по величине устранённой неопределённости. В свою очередь неопределённость можно измерить в тех случаях, когда известно количество ожидаемых вариантов. Если полученная информация указывает точно, какой из этих вариантов будет реализован, то неопределённость полностью устраняется. А устранённая неопределённость будет определяться числом ожидаемых вариантов. Это число и можно принять за количество получаемой информации для случаев, когда сообщение предсказывает только один вариант. Чем больше ожидаемых вариантов, тем больше устраняемая неопределённость и больше величина полученной информации. Имеем прямо пропорциональную зависимость. Обозначив количество информации I, а количество вариантов n, получим предельно простую формулу
I = kn . (9.1)
Для начала можно принять k=1.
Может быть и такая ситуация, когда информация указывает на возможную реализацию нескольких вариантов из ожидаемых. Тогда при том же количестве ожидаемых вариантов устраняемая неопределённость становится меньше, поскольку указывается не один реализуемый вариант, а несколько. Причём устраняемая неопределённость, а следовательно, и информация находятся уже в обратной зависимости от указанных в информации вариантах. Если число этих вариантов обозначить m, то формула 9.1 получит вид
I = k(n/m) . (9.2)
Например, в конкретной ситуации известно, что возможны четыре варианта событий, которые обозначим а, б, в, г (n=4). Полученная информация говорит о том, что будет реализовано событие б (m =1). Тогда в соответствии с формулой 9.2 при k=1 имеем количество полученной информации I = 4/1 = 4. Количество информации, указывающей на два события из возможных четырёх, составит: I = 4/2 = 2. Если же сообщение говорит о 4 реализуемых вариантах из четырёх ожидаемых, мы получаем минимальное в данной ситуации количество информации: I = 4/4 =1. Однако в последнем случае получение информации никак не изменило существовавшую неопределённость, она осталась такой же, как и до получения информации. Тогда желательно, чтобы информация в этом случае равнялась нулю. Это можно осуществить, если в формуле 9.2 использовать логарифм:
I = k logx(n/m) . (9.3)
При n = m, I = logx1 = 0. Логарифм единицы при любом основании всегда равен нулю. Осталось выбрать наиболее целесообразную величину основания логарифмов х. Это можно сделать, если принять во внимание, что при устранении минимальной неопределённости желательно, чтобы информация оценивалась единицей. Минимальная неопределённость устраняется при указании одного варианта из двух возможных (n = 2, m = 1), так как при ожидании одного варианта никакой неопределённости не существует вообще. Отсюда следует, что для определения основания логарифмов нужно найти х из уравнения I = 1 = logx2. Получаем х = 2. Тогда окончательная формула будет иметь вид I = k log2(n/m), а для случаев m = 1 и k = 1 имеем
I = log2 n . (9.4)
Минимальное количество информации равное единице, получило название 1 бит (в английском варианте bit). Не следует путать с используемой в компьютерной технике единицей байт (1 байт = 8 битам).
Формула 9.4 была предложена Хартли в 1928 г. в связи с необходимостью измерения количества информации, передаваемой в технических системах связи. Удобство данной двоичной системы измерения объясняется тем, что в технике часто используют кодирование сигналов в виде комбинации из двух простейших элементов или состояний системы. Например, 0 и 1, точка и тире, наличие или отсутствие электрического импульса, прямой и обратный электрический ток, две меняющиеся частоты переменного тока и т.д.
Позднее американский инженер К.Э. Шеннон (1916-2001) предложил заменить в формуле Хартли число возможных вариантов n вероятностью их ожидания 1/ n и перед знаком логарифма поставить минус:
I = - log2 (1/n) . (9.5)
Эта формула даёт те же численные значения количества информации, что и формула 9.4.
Несколько примеров:
1. Информацию в один бит мы получаем, когда узнаём, на какую сторону упала подброшенная монета: I = - log2 (1/2) = log2 2 = 1 бит.
2. Брошенная игральная кость даёт информацию I = - log2 (1/6) = log26 = 2,585 бита.
3. Одна карта, взятая из колоды с оставшимися 32 картами, несёт информацию, равную -log2 (1/32) = 5 бит.
4. Путник, идущий по незнакомой дороге из пункта А в пункт Б (рис.9.1), должен на каждой развилке получить от кого-то сведение, по какой из двух дорог ему двигаться дальше. Каждая развилка требует получения информации в 1 бит. А для успешного прохождения всего пути с тремя развилками необходимо получить суммарную информацию 3 бита .
|
5. Каждый сигнал, приходящий по каналу связи, в котором используются только два вида сигналов (например, 0 и 1), несёт 1 бит информации, следовательно, передав n сигналов, мы отправим n бит информации.
6. Если сигналы передаются в виде букв русского алфавита (33 буквы), то количество информации на одну букву в среднем составит: log2 33 = 5,0444 бита. Зная количество букв, можно определить приблизительное количество переданной информации. Приблизительность расчёта определяется тем, что буквы обычных языков обладают сильно отличающимися вероятностями, которые определяются по частоте их встречаемости в текстах данного языка. Поэтому, например, на часто встречающуюся букву «а» будет приходиться гораздо меньше информации, чем на букву «ъ».
|
Для таких случаев Шеннон предложил использовать формулу
где n – количество видов сигналов, рi – вероятность (частота встречаемости) каждого i-го сигнала.
Данный подход позволил Шеннону решить ряд таких важных для систем связи практических проблем, как определение скорости передачи информации, пропускной способности канала, надёжности (способности противостоять помехам (шумам)). Шеннон ввёл понятие избыточности информации как характеристики, определяющей надёжность работы канала связи.
Величина, пропорциональная логарифму вероятности, в математической теории вероятностей называется энтропией . По этой причине многие авторы используют понятия «энтропия» и «информация» как синонимы.
Не следует смешивать энтропию в математике с энтропией в физике, потому что математическая и термодинамическая вероятности вычисляются по-разному, и формула физической энтропии содержит физическую константу Больцмана (п.2.5). Тем не менее просматривается явная связь между физической энтропией и информацией. Все процессы, связанные с повышением упорядоченности и с удалением материальных систем от термодинамического равновесия, сопровождаются понижением энтропии и увеличением использования информации. При этом энтропия окружающей среды возрастает (п.7.4). Это можно рассматривать как намёк на ошибочность процитированного выше утверждения о том, что система, передающая информацию, сама никак не изменяется.
Поможем написать любую работу на аналогичную тему