Машины создания

Было бы сложно предсказать исход гонки вооружений с открытым концом между силами, вооружёнными самовоспроизводящимися ассемблерами. Но до того, как эта ситуация может возникнуть, ведущая сила, кажется вероятным, что приобретёт временное, но принципиальное военное преимущество. Если исход гонки вооружений – под сомнением, то ведущая сила вероятно использует свою силу, чтобы гарантировать, что никаким противникам не будет позволено её догнать. Если она это сделает, то активные щиты не будут должны противостоять атакам, обеспечиваемым ресурсами половины континента или половины солнечной системы; вместо этого они будут походить на силы полиции или иммунную систему, встречающие атаки, обеспечиваемые какими бы то ни было ресурсами, которые могут быть собраны в тайне в пределах защищаемой территории.

В каждом случае успешной обороны, которые я упомянул выше, атакующие и щиты развивались по во многом схожим процессам. Иммунная система, сформированная генетической эволюцией, встречает угрозы также сформированные генетической эволюцией. Армии, сформированные человеческими умами, также встречают аналогичные угрозы. Подобным образом и активные щиты, и опасные репликаторы будут сформированы эволюцией мимов. Но если ведущая сила может разработать системы автоматического инжиниринга, которые будут работать в миллионы раз быстрее людей-инженеров, и если она может использовать их в течение всего одного года, то она сможет построить активные щиты, основанные на усилиях, эквивалентных миллионам лет технического прогресса. С такими системами мы можем быть способны исследовать пределы возможного достаточно хорошо, чтобы построить щит против всех физически возможных угроз.

Даже если мы не знаем детали угроз и щитов, кажется разумным считать, что щиты возможны. И примеры мимов, контролирующих мимы, и институтов, контролирующих институты также подсказывают, что системы ИИ могут контролировать системы ИИ.

В построении активных щитов, мы будем способны использовать мощь репликаторов и систем ИИ, чтобы умножать традиционные преимущества защищающейся силы: мы можем дать ей преобладающую силу благодаря изобилию построенных репликаторами технических средств с конструкциями, основанными на эквиваленте миллион-летнего преимущества в технологии. Мы можем строить активные щиты, имеющие силу и надёжность, которая посрамит системы прошлого.

Нанотехнология и искусственный интеллект могли бы принести конечные инструменты разрушения, но они не являются разрушительными по своей сути. С осторожностью мы можем их использовать, чтобы построить окончательные инструменты мира.

Глава 12. СТРАТЕГИИ И ВЫЖИВАНИЕ

Тот, кто не применяет новых видов лечения, должен ожидать новых видов зла; время – величайший инноватор.

ФРЭНСИС БЭКОН

Личные ограничения

Локальное подавление

Соглашения глобального подавления

Глобальное подавление силой

Односторонний прогресс

Баланс сил

Кооперативное развитие

Синтез стратегий

Активные щиты против космического оружия

Власть, зло, некомпетентность и лень

В ПРЕДЫДУЩИХ ГЛАВАХ я плотно придерживался основательной почвы технологической возможности. Здесь, однако, я должен пойти дальше в область политики и человеческих действий. Эта почва более неустойчивая, но технологические факты и эволюционные принципы всё же обеспечивают устойчивые моменты, на которые можно опираться и исследовать территорию.

Гонка технологий, подгоняемая давлением эволюции, несёт нас к беспрецедентным опасностям; нам нужно найти стратегии, чтобы как-то с ними иметь дело. Поскольку мы видим впереди такую огромную опасность, имеет смысл рассмотреть остановку в нашем стремительном движении вперёд. Но как мы это можем сделать?

Сдерживание себя

Как отдельные люди, мы могли бы воздерживаться от исследований, которые ведут по направлению к опасным возможностям. Действительно, большинство людей будет воздерживаться, поскольку большая часть из них – не исследователи в первую очередь. Но эта стратегия не остановит прогресс: в нашем разнообразном мире, другие будут двигать дело вперёд.

Локальное подавление

Стратегия личного сдерживания (по крайней мере в этом вопросе) отдаёт простым бездействием. Но как насчёт стратегии локального политического действия, лоббирования законов, запрещающих определённые виды исследования? Это было бы личное действие, направленное на оказание давления на коллективное бездействие. Хотя оно могло бы преуспеть в подавлении исследования в городе, районе, стране или даже союзе стран, эта стратегия не поможет нам получить лидерство, вместо этого она бы позволила какой-то силе вне нашего контроля получить это лидерство. Популярное движение этого сорта может остановить исследование только так, где люди имеют власть, и этот величайший возможный успех просто открыл бы дорогу более репрессивным государствам, чтобы стать лидирующей силой.

Там, где затрагивается ядерное оружие, можно доказывать ценность многостороннего разоружения и ненасильственного (или по крайней мере безъядерного) сопротивления. Ядерные вооружения можно использовать, чтобы снести сооружения военного назначения и навести ужас, но они не могут использоваться, чтобы оккупировать территорию и править людьми – не могут прямо. Ядерные вооружения не могли подавить партизанскую войну и социальные беспорядки, поэтому стратегии разоружения и сопротивления имеют определённую долю смысла.

Многостороннее подавление нанотехнологии и ИИ, в отличие от этого, равнялось бы многостороннему разоружению в ситуации, где сопротивление не может работать. Агрессивное государство могло бы использовать эти технологии, чтобы захватывать и властвовать (или истреблять) даже нацию Ганди, или вооружённых и преданных борцов за свободу.

Это заслуживает акцента. Без некоторых новых путей реформирования деспотических государств в мире, простые движения за подавление исследований не могут иметь полного успеха. Без полного успеха, большой успех означал бы несчастья для демократий. Даже если они бы они ни к чему не привели, усилия этого сорта могли бы занять работу и страсть активистов, расточающих редкие человеческие ресурсы на бесплодную стратегию. Более того, усилия по подавлению настроили бы враждебно имеющих отношение к делу исследователей, вызывая столкновения между потенциальными союзниками и растрачивая ещё больше человеческих ресурсов. Эта бесплодность и разделённость заставляет избегать этой стратегии.

Тем не менее подавление имеет привлекательность, которую невозможно отрицать. Оно простое и прямое; "Впереди опасность? Давайте её остановим!" Затем успехи в усилиях по локальному лоббированию обещают краткосрочное вознаграждение: "Впереди опасность? Мы можем её остановить здесь и сейчас, для начала!" Это начало оказалось бы фальстартом, но никто этого бы не заметил. Идея простого подавления кажется вероятным, что совратит многие умы. В конце концов локальное подавление локальной опасности имеет долгую успешную традицию; если остановить тех, кто загрязняет окружающую среду в конкретно взятом месте, например, это сокращает локальное загрязнение. Усилия по локальному подавлению глобальных опасностей кажется аналогичным, однако могут быть другие последствия. Нам будут нужны локальные организации и политическое давление, но они должны быть построены вокруг работоспособной стратегии.

Соглашения глобального подавления

В более многообещающем подходе, мы могли бы применить локальное давление для переговоров о поддающемся проверке запрету на международном уровне. Аналогичная стратегия могла бы иметь шанс контролировать ядерные вооружения. Остановка нанотехнологии и искусственного интеллекта поставило бы проблемы другого порядка, по крайней мере по двум причинам.

Во-первых, эти технологии менее хорошо определённые, нежели ядерные вооружения: поскольку данная ядерная технология требует определённые изотопы редких металлов, она имеет отличие от других видов деятельности. Она может быть определена и (в принципе) запрещена. Но современная биохимия ведёт малыми шажками к нанотехнологии, а современная компьютерная технология ведёт малыми шажками к ИИ. Нет никакой определённой линии, которая определяет естественную линию, где нужно остановиться. И поскольку каждое маленькое продвижение будет приносить медицинские, военные и экономические выгоды, как можем мы проводить переговоры по поводу мирового соглашения о том, где остановиться?