Репортаж с ничейной земли. Рассказы об информации

«Если мы намерены с помощью методов атомной физики описать процессы жизни или духовные процессы, то нам необходимо расширить математический аппарат... Вполне возможно, что это будет сделано путем введения наряду с прежним еще и других понятий, которые можно было бы без противоречий с ними связать».

И вот, исполняя желание Гейзенберга, теория информации предложила понятие «информации» и расширила математический аппарат.

Благодаря этому понятию все формы движения оказались связанными единой нескончаемой цепью. Мир атомов, исследованный ученым, превращается в длинный ряд уравнений, таблиц и букв.

В этих записях - модель изученного движения. Этой модели предстоит теперь «жить» в различных материальных системах, сохраняя порядок движения, исследованный ученым.

Смотрите, вот уже работники связи берут в руки недавно написанный текст. Телеграфист пробегает его глазами, и модель того же движения возникает „ол в сетчатке глаза, бежит по нервным каналам связи, превращается в азбуку Морзе, в звук, в импульсы, в радиоволны, мчится по кабелям и по эфиру, и вот уже изучаюг ее ученые в разных странах и городах. Подчиняясь их разуму, это движение будет, вновь восстановлено по модели, и новые атомы будут двигаться в колбах или в реакторах, повторяя ту же модель. Потому что в колбах и в радиоволнах, в нервных тканях, в книгах и в мыслях может существовать, переходя от системы к системе, одна и та же модель. А раз так, значит есть и общая мера, пригодная для оценки всех видов движения. И раньше или позже наука должна была отыскать эту меру, потому что еще двадцать четыре века тому назад Демокрит, рассуждая о единстве и гармонии мира, уже почти улавливал в нем всеобщий единый код:

«Подобно тому, как трагедия и комедия могут быть написаны при помощи одних и тех же букв, так и многие различные явления этого мира могут быть произведены одними и теми же атомами, поскольку они занимают различное положение и движутся различным образом».

Двадцать четыре века - немалый срок. Демокрит мог говорить лишь о механическом движении атомов, а современная наука исследует различные формы движения во всей их сложной взаимосвязи. Да и само слово «атом» уже давно утратило тот смысл, который вкладывал в него Демокрит¹².

А теперь к мудрым словам Демокрита теория информации добавила еще одну короткую, но весомую фразу:

«И тексты комедий или трагедий и различные формы движения атомов могут быть оценены количеством бит».

Нам все время мешал наблюдатель

Оглянись на пройденный путь, читатель. Совсем недавно ты считал информацией лишь то, что можно услышать собственными ушами или прочесть на страницах книг и газет. Затем ты узнал, что она живет еще в клетках и нервных волокнах. Потом оказалось, что информацию хранят и физические системы, начиная от мельчайших кристаллов и кончая безграничным скоплением звездных миров. Значит, она объективно существует в природе, а те сведения, что приобрел человек, наблюдая природу, - это только часть информации, накопленной миром.

Кажется, ты уже уяснил себе ее многоликую сущность. И все же что-то мешает тебе понять ее до конца. В ней есть какая-то двойственность! Пока мы ходили по улицам Нового Города, мы считали, что битами измеряется неопределенность. Чем больше неопределенность событий, тем больше информации получаем мы, когда случается одно из них. Так было и с буквами, и с шарами, и с лампочками, по которым мы измеряли скорость реакций. И в Новом Городе все привыкли понимать информацию именно так.

А здесь, на Ничейной земле, все вдруг стало наоборот: профессор с Быстровым пришли к заключению, что информация увеличивает упорядоченность движения, что она несет этот порядок в различных «моделях», и чем больше информации, тем больше порядка в движении частиц или других элементов систем. И по формулам получается то же: энтропия подсчитывается со знаком минус, а информация имеет знак плюс. Потому что они характеризуют противоположные качества движения: с увеличением неопределенности растет энтропия, при появлении определенных траекторий тело накапливает информацию. Информация - «негатив энтропии», поэтому и назвал ее «негэнтропией» Леон Бриллюэн.

Ну, а как же все-таки понимать опыт с шарами? Ведь там все было наоборот: чем больше неопределенность опыта, тем больше информации давал нам каждый извлекаемый шар. И с текстом дело обстоит точно так же: в упорядоченном тексте, вроде «весел враться не сухом и непо и корко», каждая буква дает только 3 бита, а в тексте с самой большой энтропией информация, получаемая' от каждой буквы, составляет целых 5 бит. Так что же в конце-то концов измеряется битами - неопределенность или порядок?

– Прекрасно!
– неожиданно обрадовался профессор, когда я изложил ему эти сомнения.
– Я рад тому, что у вас возник этот вопрос. Ведь именно на этом вопросе споткнулся Бриллюэн.

Помните его утверждение о том, что энтропия системы зависит от сведений, которые получил о ней наблюдатель?

И, между прочим, не один он страдает этим недугом. Многие ученые, рассуждая об информации, никак не могут избавиться от какого-то мнимого наблюдателя, чтобы в его отсутствие рассмотреть объективное состояние реальных систем. А ведь именно из-за него, из-за этого мнимого наблюдателя, вы никак не можете определить, что же все-таки измеряется битами: неопределенность или порядок. Пока он присутствует, все получается путано и сложно.

Начнем все сначала. Пусть в ящике 5 черных и 5 белых шаров. Сколько информации получит наш наблюдатель, извлекая шары? Каждый шар даст ему 1 бит. Теперь возьмем другой случай: 9 черных и 1 белый шар. Вероятность извлечения черного шара составляет 90 процентов, а количество информации при извлечении шара согласно формуле Шеннона составляет 0,47 бита.

Но теперь представим себе такую картину: был ящик с пятью черными и пятью белыми шарами, и каждый шар нес наблюдателю 1 бит. А потом мы незаметно для наблюдателя заменили шары. Теперь в ящике 9 черных шаров и 1 белый, но наблюдатель не знает о том, что их количество стало иным. Для него неопределенность осталась той же: он считает, что с равной вероятностью он может извлечь и черный и белый шары. Значит, до тех пор, пока он не знает, какова вероятность этих событий, он будет по-прежнему считать, что каждый шар дает ему 1 бит. Но он упрям, этот наш наблюдатель: недаром же так трудно избавиться от его присутствия. Он продолжает тащить шары из ящика и записывает, какой попадается шар. И когда после 100 опытов черный шар попался ему 83 раза, он начинает догадываться, что мы его обманули и количество шаров в ящике стало теперь иным. А сделав 1000 таких опытов, он может, не заглядывая в ящик, сказать, что в нем находится около 90 процентов черных шаров. Вот с этого момента он будет знать, что в чередовании шаров есть определенный порядок, и. продолжая опыт, будет получать информацию 0,47 бита.

Значит, информация зависит здесь не только от того, как чередуются события, которые он наблюдает, но и от того, что он знает о характере этих событий.

Вы улавливаете, где возникает «двойственность» информации?

– Пытаюсь. Будем говорить так: существует объективная неопределенность движения, например в опыте с шарами есть неопределенность чередования черных и белых шаров. А в тексте есть неопределенность появления буквы: буквы сто... могут оказаться и столом и стоном, потому что после сочетания сто... может появиться много различных букв. Все это не зависит от наблюдателя, эти явления объективны. Но, кроме того, существует и другая неопределенность - неопределенность его представлений.

Я правильно уловил вашу мысль?

– Да, да, совершенно верно. Продолжайте.

– Но в тексте есть и порядок. Мы можем оценить его вероятностью. Если мы обозначим P_авероятность появления буквы а, то можем сказать, что P_а много больше, чем P_ю или P_щ. И еще есть корреляция: после букв ею буква щ появится чаще, чем а. Если подсчитать информацию с учетом всего существующего в тексте порядка, то окажется, что каждая буква несет информацию немного большую, чем 1 бит. А если считать, что каждая из 32 букв алфавита имеет равную вероятность, получим, что в каждой букве содержится ровно 5 бит. Так сколько же информации несет в себе каждая буква - 1 или 5 бит? Все зависит от того, кто прочтет эту букву. Если наш наблюдатель изучил вербятность и корре- 235 ляцию букв русского текста, он получает от буквы всего 1 бит. А теперь представьте себе, что он иностранец, впервые встретивший русский текст. Он не знает алфавита, он даже не может отличить гласную от согласной. Он знает лишь, что в алфавите есть 32 различные буквы. Телеграф сообщает ему эти буквы, и он старательно записывает непонятный текст. Несмотря на то, что в движении букв существует порядок, для него каждая буква содержит ровно 5 бит. Кажется, так обстоит дело?

– Да, да, - кивает профессор.
– Все, о чем вы сейчас говорили, можно свести к одной простой формуле. Вот она: I = ₀ + _n.

I - это количество информации;

₀ - это объективная неопределенность движения;

_n - неопределенность представлений того, кто это движение наблюдает.

Теперь смотрите, как просто обстоит дело. Пока наблюдатель считает, что все буквы имеют равную вероятность, неопределенность _n велика. В этом случае I составляет 5 бит. Но вот наблюдатель стал изучать, как чередуются букву, и неопределенность его представлений начала уменьшаться. Он учел вероятность от P_а до P_я, подставил их в формулу Шеннона и получил, что I = 4 бита.