Естествознание. Базовый уровень. 11 класс
Шрифт:
1. «Это государственный деятель?» – «Нет!» – 2. «Занимался искусством?» – «Нет!» – 3. «Занимался наукой?» – «Да!» – 4. «Биологией?» – «Нет!» – 5. «Физикой?» – «Да!» (Теперь можно угадывать либо по времени, в котором жил этот учёный, либо по его национальности. Первый вариант представляется более простым, так как большинство известных нам учёных жили либо в XIX, либо в XX в. Поэтому можно поставить следующие вопросы.) – 6. «Живёт в наше время?» – «Нет!» – 7. «Жил в прошлом веке?» – «Нет!» (Значит, он жил либо в XIX в., либо раньше.) – 8. «Жил в девятнадцатом веке?» – «Нет!» (Значит, этот человек либо из Древней Греции, либо из XVI–XVIII вв., уточним.) – 9. «Жил после пятнадцатого века?» – «Да!» (Большинство учёных этого времени жили в Англии, Италии или во Франции, поэтому попробуем угадывать по национальности.) – 10. «Англичанин?» – «Да!» (Повезло! Из всех англичан, занимавшихся в это время наукой, самым известным был Ньютон. Теперь можно попробовать угадать напрямую.) – 11.
Как уже говорилось, количество содержащейся в сообщении информации неодинаково для каждого получателя этого сообщения и зависит от его предварительного знания. Поэтому объективно можно определить только максимальное количество этой информации, предполагая, что получатель заранее не имеет никаких знаний по этому вопросу. Предположим, что нам сказали, что Юпитер является самой большой планетой Солнечной системы. Какая информация содержится в этом сообщении? Для того, кто это знал заранее, – никакой. Для того, кто предполагал, но сомневался, – определённое количество, точно оценить которое трудно. Поэтому вычислим максимальную информацию, которую получает человек, не имеющий никакого понятия о планетах, и знает только их названия и то, что всего их имеется восемь. Сколько вопросов он должен задать, чтобы узнать, какая из этих планет самая большая? Для удобства он располагает все планеты в алфавитном порядке: Венера, Земля, Марс, Меркурий, Нептун, Сатурн, Уран, Юпитер. Можно попробовать, конечно, просто перечислять планеты в этом порядке, но такой способ угадывания будет неудачным потому, что придётся задать семь вопросов и получить на все ответ «нет», пока мы не доберёмся до самой большой, но последней по алфавиту планеты. Поэтому правильнее будет поступить так: разделить все планеты на две равные группы и спросить, принадлежит ли самая большая к одной из них. Поскольку наш персонаж ничего не знает о планетах, кроме их названий, он может спросить: «Буква, с которой начинается название этой планеты, стоит в алфавите до Н?» – и получить отрицательный ответ. Вторым вопросом будет «Находится ли эта буква после С?». Ответом будет «да». Теперь осталось только выяснить, Уран это или Юпитер, с помощью одного вопроса. Таким образом, человеку, абсолютно несведущему в данной области, достаточно задать три вопроса, чтобы получить верный ответ. Следовательно, информация, содержащаяся в сообщении «Юпитер – самая большая планета Солнечной системы», равна 3 битам.
Предположим теперь, что в тексте наугад выбрана одна из 32 букв кириллицы (не будем учитывать «ё»). Как должен поступить человек, не знающий языка, чтобы, действуя наугад, узнать эту букву? Очевидно, он должен сначала выяснить, в какой половине алфавита находится эта буква. Затем он должен разбить эту половину, состоящую из 16 букв, на две восьмёрки и задать соответствующий вопрос. С помощью третьего вопроса он определит четвёрку, с помощью четвёртого – пару букв и, наконец, в результате пятого вопроса он узнает загаданную букву. Следовательно, информация, указывающая на определённую букву тридцатидвухбуквенного алфавита, равна 5 битам.
1. Может ли информация полностью определяться сообщением?
2. В каком случае сообщение не содержит информации?
3. Какое сообщение содержит 1 бит информации?
4. В каком случае и для какого получателя информация, содержащаяся в сообщении, оказывается наибольшей?
5. Где в биологии используется подобное пошаговое (повопросное) движение с двумя возможными вариантами ответов («да»/«нет»)?
Попросите вашего одноклассника загадать кого-нибудь из ваших общих знакомых. Задавая вопросы, на которые он может отвечать «да» или «нет», определите, кого он загадал. Оцените в битах объём полученной вами информации.
§ 10 Информация, вероятность и энтропия
Быть объектом удивления приятно уже потому, что с этим связан почёт.
Попытаемся найти закономерность в проведённых выше вычислениях. Рассматривая примеры угадывания, мы неоднократно обращали ваше внимание на то, что все возможные варианты были для угадывающего равновероятными. Следовательно, вероятность правильности каждого ответа была равна единице, разделённой на число возможных вариантов. То есть чем больше вариантов, тем меньше вероятность справедливости каждого из них и тем больше вопросов надо задать, чтобы узнать правильный ответ. Мы уже видели, что, для того чтобы выяснить, какой из двух возможных вариантов правилен, надо задать один вопрос, при восьми вариантах – три вопроса, а при тридцати двух – пять вопросов. Если немного подумать, то нетрудно будет сообразить, что при четырёх вариантах достаточно задать два вопроса, при 16 – четыре, а при 64 – шесть. Для большей ясности составим таблицу (табл. 1).
Чем меньше вероятность правильного ответа, тем большую информацию мы получаем, выяснив его. То есть количество информации зависит от «невероятности» полученного сообщения. Чем невероятнее, чем удивительнее кажутся полученные сведения, тем больше информации в них содержится. А эта «невероятность»
равна числу возможных вариантов, об истинности которых нам ничего не известно. Теперь остаётся найти формулу для этой зависимости. Посмотрев на таблицу, мы убедимся в том, что число вариантов во всех случаях равно двойке, возведённой в степень, равную полученной информации:N = 2J.
Следовательно, информация равна степени, в которую надо возвести 2 для того, чтобы получить N, т. е.
J = log2 N.
Эта величина называется логарифмом N по основанию 2 или двоичным логарифмом числа N.
Конечно, число возможных вариантов правильного ответа необязательно должно быть целой степенью числа 2. Это не должно нас смущать, потому что количество информации необязательно должно выражаться целым числом.
Таблица 1
Зависимость количества полученной информации от вероятности правильности ответа
Например, если число вариантов равно пятидесяти, то, когда мы узнаем единственный правильный ответ, полученная информация будет равна степени, в которую надо возвести двойку для того, чтобы получить число 50. Нетрудно выяснить, что эта информация будет равна с точностью до третьего знака 5,644 бита.
Полученная формула информации практически в точности соответствует формуле Больцмана для энтропии (§ 8). Напрашивается предположение, что между энтропией и информацией существует большое сходство.
Рассмотрим этот вопрос подробнее. От чего зависит максимальная информация, которую можно получить, установив абсолютно точный ответ на поставленный вопрос? Чем более неопределённым было наше знание, чем меньше была вероятность угадать правильный ответ, тем большую информацию содержит сообщение, из которого мы этот ответ узнаем. По сути, наибольшая информация, которую мы можем получить из сообщения, равна количеству нашего первоначального незнания правильного ответа. Это первоначальное незнание можно измерить энтропией по той же формуле, по которой измеряется информация. Обозначив энтропию буквой Н, получаем:
H = log2 N.
Мы видим, что формула такой энтропии совпадает с формулой Больцмана и, так же как и она, выражает степень беспорядка. Только если в термодинамике речь шла о беспорядке в расположении и движении молекул, то в теории информации этот беспорядок характеризует степень нашего незнания, неосведомлённости в данном вопросе, хаотичность и беспорядочность в поиске выбора верного ответа. Энтропия по существу представляет собой отрицательную информацию, и её точно так же можно измерять в битах.
Когда мы получаем сообщение, содержащее неизвестную прежде информацию, энтропия нашего незнания уменьшается. Величина этого уменьшения как раз и определяет количество полученной информации. Если до получения сообщения энтропия как мера нашего незнания была H0, а после его получения стала H1, то содержащаяся в сообщении информация будет равна H0 – H1.
Большая часть экзаменационных тестовых заданий построена так, что требуется выбрать один правильный ответ из четырёх предложенных. Если вам ничего не известно по заданному вопросу и у вас нет никаких предположений о верности любого из вариантов, то энтропия задания для вас равна двоичному логарифму четырёх, т. е. 2. Когда вы узнаете точный ответ, энтропия станет равной нулю, и вы получите два бита информации. Теперь представим себе более сложный вид теста. Предлагается пять вариантов ответов и сообщается, что три из них верны. Количество способов, которыми можно выбрать три варианта из пяти, равно десяти [4] . Энтропия этого задания, следовательно, составляет для вас log2 10, что приблизительно равно 3,3. Как видно, эта энтропия выше, чем в предыдущем случае, и решение этого теста содержит больше информации. Узнав точный ответ, вы получите 3,3 бита. Допустим, что какая-то «добрая душа» подсказала вам, что варианты ответов А и В верны. Если предположить, что вы доверяете этой подсказке, сколько бит информации вы получили? Для этого надо выяснить, какой стала для вас энтропия теста после получения подсказки. Вам теперь известно, что единственный оставшийся правильный ответ надо выбрать из вариантов Б, Г и Д, а следовательно, энтропия равна log2 3, что равняется примерно 1,6. Подсчитаем убыль энтропии, которая будет равна количеству содержащейся в подсказке информации. До получения подсказки энтропия задания была Н0 = 3,3 бита. После её получения она составила H1 = 1,6 бита. Отсюда получаем, что подсказка содержит 3,3 – 1,6 = 1,7 бита информации. Но пока вы продолжаете думать над тестом, другая «добрая душа» подсказывает, что ответ Д неверен. Сколько информации содержится в этом сообщении? Вы теперь не знаете ответа только на варианты Б и Г, один из которых верен, а другой – нет, и вероятность правильности любого ответа равна 1/2. Значит, оставшаяся энтропия теста составляет для вас 1 бит, в то время как до получения второй подсказки она равнялась 1,6 бита. А это означает, что последняя подсказка содержала 0,6 бит информации.
4
Правильными могут оказаться ответы: 1 (АБВ), 2 (АБГ), 3 (АБД), 4 (АВГ), 5 (АВД), 6 (АГД), 7 (БВГ), 8 (БВД), 9 (БГД), 10 (ВГД).