Посвящение в радиоэлектронику

Любое сообщение можно свести к передаче чисел. Пылкий влюбленный, находясь в разлуке с объектом своей любви, посылает телеграмму: «Любишь?». В ответ приходит не менее лаконичная телеграмма: «Да!». Сколько информации несет ответная телеграмма? Альтернатив здесь две — либо Да, либо Нет. Их можно обозначить символами двоичного кода 1 и 0. Таким образом, ответную телеграмму можно было бы закодировать единственным символом «1». Выбор одного нз двух сообщений («Да» или «Нет», «1» или «0») принимают за единицу информации. Она названа «бит» — сокращение от английских слов binary digit, что означает двоичная цифра. Таким образом, ответная телеграмма несла всего 1 бит информации. А вопрос ценности этой информации для получателя-это уже из иной области.

Однако только что данное определение единицы информации слишком упрощено. Если влюбленный уверен в положительном ответе, то ответ «Да» не даст ему почти никакой новой информации.

Информация измеряется в битах.

То же самое относится и к безнадежно влюбленному, уже привыкшему получать отказы. Ответ «Нет» также принесет ему очень мало информации. Но внезапный отказ уверенному влюбленному (неожиданное огорчение) или ответ «Да» безнадежно влюбленному (нечаянная радость) несут сравнительно много информации, настолько много, что радикально изменяется все дальнейшее поведение влюбленного, а может быть, и его судьба! Таким образом, количество информации зависит от вероятности получения данного ответа.

Лишь при равновероятных ответах ответ «Да» или «Нет» несет 1 бит информации. Общая формула для подсчета количества информации, содержащегося в сообщении а, выглядит гак

где Р(а) — вероятность появления данного (дискретного) сообщения а.

Обратите внимание, что для абсолютно достоверного события P(а) = 1 (событие обязательно произойдет, поэтому его вероятность равна единице), при этом количество информации в сообщении о таком событии i(а) = 0. Чем невероятнее событие, тем большую информацию о нем несет сообщение.

Но зачем в приведенной формуле использована логарифмическая функция? Нельзя ли проще? Нет, проще не получается. Информация, содержащаяся в двух независимых сообщениях a₁, и а₂, должна быть равна сумме информации, содержащихся в каждом из сообщений: i(a₁,a₂) = i(a₁) + i(a₂). Логичное требование, не правда ли? Но вероятность того, что источник пошлет оба эти сообщения, одно за другим, равна произведению вероятностей появления каждого из сообщений: P(a₁,a₂) = Р(а₁)·Р(а₂). Как известно, при умножении двух величин их логарифмы складываются. Поэтому и количество информации должно выражаться логарифмической функцией.

Ввиду широкого использования двоичных сигналов в вычислительной технике и связи, чаще всего используют логарифм по основанию два. При этом количество информации оказывается выраженным в битах. Если в примере с влюбленными вероятность ответов «Да» и «Нет» одинакова и, следовательно, составляет 0,5, то количество информации в одном ответе составляет 1 бит.

Ну а что если выбор надо осуществить не из двух сочетаний, а из множества? У древних индейцев Центральной Америки существовало узелковое письмо. Писали, завязывая узелки на веревке. Совершенно очевидно, что при таком способе письма можно использовать двоичный код: есть узелок в данном месте единица, нет узелка — нуль. Если на каждом сантиметре длины веревки разместить по узелку, то метровая веревка будет нести 100 бит информации. Согласитесь, это не так уж мало.

В одном романе Жюля Верна собака, увидев игрушечные кубики с буквами, выбрала из них вполне определенные, с буквами, которые составили имя ее пропавшего хозяина, чем и приоткрыла завесу над тайной его исчезновения. Здесь мы видим выбор определенных знаков из 26, составляющих английский алфавит.

Еще один пример, но теперь из реальной жизни — 1943 год, англо-американские войска готовятся к высадке на итальянский остров Сицилию, занятый фашистскими войсками. В это время в одной из тюрем США сидел очень влиятельный гангстер Лучано, выходец из Сицилии. Американская разведка, пользуясь всяческими средствами, вступила с ним в сговор, пообещав досрочное освобождение. В результате с самолета над Сицилией был сброшен вымпел — шелковый платок с вышитой на нем буквой L. Сицилийские мафиози, в то время не ладившие с немецко-фашистскими оккупантами, прекрасно поняли смысл сообщения: Лучано за союзников! Эффект был поразителен — американская армия практически не понесла потерь при освобождении Сицилии, так как мафиози основательно помогли ей, начав партизанскую войну против немцев.

Сейчас нас интересует не значимость для истории сообщения на вышитом платке, а лишь количество переданной информации. В английском алфавите 26 букв, добавим еще служебные знаки препинания — всего 32 знака. Значит, осуществлялся выбор одного из 32 знаков. Пример характерен тем, что при передаче любых телеграмм, на любом языке в приемном устройстве происходит выбор одной буквы из алфавита, который чаще всего содержит 32 знака. Если вероятность появления каждого из знаков одинакова и, следовательно, составляет 1/32, то при передаче одного знака сообщается log₂32 = 5 бит информации. Ту же цифру мы можем получить и иным способом. Перенумеруем все буквы алфавита по порядку.

Буква L стоит на двенадцатом месте, и ее порядковый номер будет 12. Теперь для выбора этой буквы достаточно передать ее порядковый номер. Число 12, выраженное в двоичном коде, выглядит как 01100. Для передачи любого из 32 чисел двоичным кодом нужно пять разрядов, а любого из N чисел log₂N. Вы еще не умеете переводить числа из десятичного исчисления в двоичное и обратно?

Научитесь, это не так уж сложно! Вам поможет приведенная таблица и простое правило: последний разряд двоичного числа дает единицы (2⁰), предпоследний — двойки (2¹), третий разряд справа — четверки (2²), четвертый восьмерки (2³), и т. д. Обозначив символы двоичного кода (1 и 0) в последнем разряде х₁, в предпоследнем х₂ и т. д., получим простую формулу для структуры двоичного числа:

N = х₁·2⁰ + х₂·2¹ + х₃·2³ +…

Для передачи любого числа от 0 до 31 необходимо пять двоичных разрядов, или 5 бит информации. Таким образом, сообщение гангстера Лучано мафиози содержало 5 бит информации.

В народном хозяйстве необходимо передавать значительно больше информации. Не вызовет удивления, например, такая телеграмма, переданная работником снабжения: «В феврале на Чукотку поступило 10 000 грампластинок». Информация здесь такова: во-первых, февраль. Надо думать, поставки товаров подобного рода производятся ежемесячно, поэтому февраль надо обозначить цифрой 2. Отсюда определяем число двоичных разрядов, необходимых для передачи номера месяца: 4 (2⁴ = 16, имеется некоторая избыточность информации). Далее необходимо ввести код Чукотки. Пусть соответствующая организация поставляет товары в 120 краев и областей, причем Чукотке ввиду ее удаленности присвоен последний номер. Тогда для передачи кода Чукотки (120) потребуется 7 двоичных разрядов (2⁷ = 128). После кода области надо указать код товара. Если всего поставляется, например, 512 наименований товаров, то для обозначения грампластинок, скажем № 384, потребуется 9 разрядов (2⁹ = 512). И наконец, число грампластинок 10000 в двоичном коде займет 14 разрядов. Получаем следующую таблицу:

Полное сообщение требует 34 двоичных разряда. Спереди обычно добавляют несколько разрядов служебной информации адрес, знак начала сообщения и т. д. Последовательность кодов и число разрядов каждого кода, указанные в таблице, должны быть и у отправителя, и у получателя сообщения, чтобы они имели возможность закодировать и раскодировать телеграмму. На линии связи эти процессы автоматизированы, соответствующие устройства называют кодерами и декодерами.

В книгах про разведчиков подобные таблицы называются шифрами и ключами к шифрам, скажет сообразительный читатель, и будет совершенно прав. Надеюсь, что наиболее юные и энергичные из читателей придумывают свои собственные шифровальные таблицы для игры в разведчиков, и их шифры, особенно представленные в двоичном коде, вряд ли расшифрует «неприятель». Итак, мы научились представлять информацию в цифровой форме и определять ее объем. А как быть с аналоговыми сигналами? Раньше их обрабатывали в аналоговой форме, теперь все чаще преобразуют в цифровую.