Информация... а что это

Шенноновская информация

Представьте себе, что вы играете в игру "Угадай букву". Какая-нибудь рулетка выкидывает одну из 32 букв русского алфавита, а вы должны ее угадать. Понятно, что если рулетка честная, вы будете угадывать с вероятностью 1/32. Предположим, что вам разрешают, прежде чем угадывать, задать один вопрос на "да и нет". Вы можете повысить вероятность успеха вдвое, если спросите, находится ли буква в первой половине алфавита. Ответ (все равно, утвердительный или отрицательный) снижает количество возможностей до 16. Точно так же, если вам разрешают задать два вопроса, вы можете повысить вероятность попадания еще вдвое, до 1/8. Что здесь происходит? С каждым ответом вы получаете информацию, а именно 1 бит информации. Один бит вдвое уменьшает неопределенность. Отсюда общее определение: количество информации в битах равно двоичному логарифму отношения количества (равновероятных) возможностей до и после получения информации.

Количество информации может быть меньше бита. Например совет "пойдешь направо -- коня потеряешь" несет витязю на распутье log2(3/2), т.е. чуть больше пол-бита информации. А когда вы размышляете над меню в ресторане, не зная, что выбрать, и подоспевший официант начинает расписывать сегодняшние особые, отсутствующие в меню блюда, то он, как ни странно, сообщает вам отрицательное количество информации, лишь увеличивая вашу растерянность перед лицом и без того трудного выбора. (Это не так, впрочем, если вы склонны верить официанту и выбирать то, что он посоветует.)

Термин “информация” стал активно использоваться в научной литературе, начиная с тридцатых-сороковых годов XX века. Тогда слово “информация” обозначало, в основном, “сведения” или “осведомление”, то есть использовался прямой перевод латинского слова “informatio” (в оригинале латинское слово “informatio” переводится как “разъяснение” или “осведомление”).

К концу сороковых под “информацией” начали понимать функцию статистических характеристик букв какого-либо языка, и, согласно К. Шеннону, количество информации, содержащееся в каком-либо сообщении, состоящем из М букв, могло быть вычислено по формуле.

В восьмидесятые годы “информацией” уже называли “...обмен сведениями между людьми, человеком и автоматом, автоматом и автоматом”, а также “обмен сигналами в животном и растительном мире; передачу признаков от клетки к клетке, от организма к организму” .

Под влиянием работ Л. Бриллюзна, начиная с шестидесятых годов, возник и приобрел широкую известность так называемый “негэнтропийный принцип информации”. Сторонники этого принципа стали называть “информацией” не только содержательный и статистический аспекты сообщений, но и нечто, противоположное физической энтропии, - так называемую негэнтропию. В отличие от энтропии, рассматриваемой в качестве неупорядоченности той или иной системы, негэнтропией обычно называют меру упорядоченности окружающих нас систем, связывая с ней различного рода антиэнтропийные процессы, протекающие в физическом мире.

В большинстве случаев смысловой полиморфизм вызван тем, что под “информацией” часто понимают нечто, давно имевшее другое название, и вовсе не соответствующее этому слову, - например, сложность, гетерогенность, энтропию (или негэнтропию), логарифм вероятности какого-либо события и т.д.

Рассмотрим эти представления подробно.

Информация по-Винеру не является ни материей и ни энергией. В связи с этим логично было бы далее предположить, что она не предполагает строго количественного эквивалента, подобно энергии или материи. Но парадокс классической теории информации именно в том и состоит, что в её основе лежит предположение Р.Хартли, согласно которому информация допускает количественную оценку. 

Теория информации Шеннона родилась как теория поддержки для технических систем связи. И в этой сфере доказала свою безусловную полезность. Однако, предложившие ее ученые не могли не понимать, что вводимая ими количественная мера не отражает всей полноты существующих информационных процессов, а не только тех процессов, что характеризуют передачу сигналов по каналам связи. Возможно недаром, у Хартли информация допускает количественную оценку, хотя ничего не сказано о том, насколько исчерпывающей такая оценка может быть.

Сравнение количественной физической теории (механики) с теорией информации, без специальных оговорок, по-видимому незаконно. Механика, по своему происхождению, имеет дело с измеряемыми величинами массы и силы, что даёт возможность оперировать категориями материи и энергии. Но, если по-Винеровски посчитать нетождественность последних двух категорий информации, то отсюда не очевидно, что теория информации тоже будет количественной, и последнее нуждается в специальном доказательстве.

Вот несколько примеров, которые это подтверждают:

“Парадокс” с перестановкой букв. Нести информацию могут лишь определённые сочетания букв кода (рабочего алфавита, который может быть считан соответствующим считывающим устройством). Отдельные буквы, или поставленные как попало буквы, не несут информации, для передачи которой создан канал связи. Между тем расчёт по формуле (1) может быть произведён и для одной буквы сообщения! А это явная нелепица. В классической теории информации получается, что слово “буква” несёт столько же информации, сколько и слово “укваб”, а это бессмыслица. Ведь даже самостоятельное слово “буква” не несёт никакой информации без контекста, о чем мы подробно говорили в первой главе (см. например, комментарий 1 к этой части работы).

“Парадокс” длинных текстов. В длинных текстах смысл сообщения может распределяться неравномерно, однако, согласно записи, все элементы текста можно якобы считать осмысленными в равной мере. Этим действительно можно было бы удовлетвориться, если бы каналы связи были абсолютно надёжными, но даже в такой высокоразвитой области техники связи как радиосвязь существует, например, ситуация помех, то есть возможной утери куска передаваемого по каналу текста. И если бы была справедлива оценка типа, то риска потерять почти весь смысл или большую часть сообщения при этом не существовало бы.