Роботы-убийцы против человечества. Киберапокалипсис сегодня

Представляется, что данное определение позволит разработчикам, планировщикам, администраторам и военным говорить на одном языке. С технической точки зрения данное определение позволяет выделить основные направления развития автономии в военном деле. К ним относятся:

• автономные системы оружия, которые после своей активации действуют на всех фазах боевого цикла самостоятельно, без участия человека-оператора, и даже человека-контролера;

• системы автономного оружия, предполагающие контроль оператора. В этих системах участие оператора сводится лишь к возможности отменить миссию, обеспечив автономный возврат на места дислокации или принять решение об уничтожении автономного оружия;

• полуавтономные оружейные системы. В этом типе систем человек остается участником «петли управления и контроля» и выполняет те или иные функции в дополнительном или параллельном по отношению к программно-аппаратному блоку режиме. Человек может в силу каких-либо обстоятельств взять управление оружием на себя и т. п.

Необходимо отдавать себе отчет, что повышение уровня автономности одновременно может способствовать росту эффективности и жизнеспособности систем оружия и повышать риски его избыточного или нецелевого применения. Два эти процесса пока идут параллельно, и разделить их не удается.

Возможно, могут быть предложены и другие подходы к определению автономности оружия. Однако данный подход представляется наиболее оправданным не только с точки зрения его больших описательных возможностей, но и поскольку он анализирует оружие с единственно правильной точки зрения. А именно, с точки зрения человека-оператора и контролера.

Представляется, что в будущем даже при наличии технических возможностей создания полностью автономных военных систем в строгом, формальном смысле слова, надо много раз подумать и еще больше раз поэкспериментировать, прежде чем ставить такие системы на вооружение. С ростом интеллектуальности автономных систем и повышением их огневой и иной поражающей мощи, параллельно возрастают риски не только утраты контроля, но и вообще способности человека управлять и контролировать подобными системами.

Уже сегодня в вооруженных силах США применяются программно-аппаратные комплексы для анализа и прогнозирования, которые человек не контролирует. Т. е., он, конечно, контролирует их работу, именно человек пишет программу, но строго говоря, не только непосредственные потребители – военные, но и возможно разработчики и программисты не могут проконтролировать правильность рекомендаций, анализов и прогнозов, полученных аппаратно-программным комплексом. Уже сегодня в определенных случаях военные становятся заложниками компьютерных вычислений.

Представляется, что определение, базирующееся на здравом смысле и опирающееся на анализ распределения участия человека и автомата в решениях и действиях на разных фазах боевого цикла – от обнаружения цели до ее поражения, позволяет уйти от «мутных тем» искусственного интеллекта, человеко-машинного разума и свободы воли роботов. Оставим их писателям-фантастам, философам, психологам и т. п., а вместо этого сосредоточимся на конкретной работе, связанной с автономным оружием.

Выводы

Стремительное развитие информационных технологий означает, что возможности, сегодня кажущиеся труднореализуемыми, либо невероятными, завтра станут обыденностью и будут воплощены в конкретных системах, аппаратах, решениях и механизмах. Мы не думаем, что процесс развития информационных технологий является полностью управляемым. Более того, мы не думаем, что можно даже, понимая ту или иную опасность, остановить динамику. Например, всем понятны опасности, связанные с постоянно повышающейся автономностью в сочетании с ростом интеллектуальности вооружений. На эту тему очень много рассуждают различного рода активисты и политики. Они, вероятно, правы в своих опасениях. Но эта правота ничего не меняет. Каждая из потенциально враждебных сторон будет резонно полагать, что противоположная сторона стремится обеспечить свое преимуществ. Соответственно она не будет верить, что противоположная сторона займет сдержанную позицию по отношению к автономии интеллектуальных систем оружия. В итоге гонка в автономии, интеллектуальности и живучести вооружений неостановима до тех пор, пока будут иметься хотя бы две не доверяющие друг другу стороны.

Этот материал нацелен на выработку общего понимания автономии. Слишком часто в прошлом те или иные политические и административные решения принимались в нашей стране, за рубежом и в международном масштабе без понимания сути дела. Отдавая отчет в долговременной тенденции повышения автономности роботизированных систем, в том числе в военном деле, мы, с учетом этой тенденции и должны принимать различного рода законодательные и административные акты, формировать бюджет. Если они не будут соответствовать тенденции, при всех благих намерениях они не будут выполняться.

Видя опасность повышения автономности, интеллектуальности и живучести систем вооружений, мы должны отдавать себе отчет, что эти тенденции имеют и свою положительную сторону. Например, они позволяют резко снизить потери в вооруженных силах Соединенных Штатов, позволяют при использовании высокоточного оружия на порядки уменьшить жертвы среди гражданского населения в зонах вооруженных столкновений и конфликтов.

Общей тенденцией эволюции систем вооружений в будущем будет их нарастающая автономия, все более активный переход от полуавтономных БАРС и АРС различных типов к автономным системам и полностью автономным системам в формальном смысле. Целесообразно, прежде всего, отработать автономные системы, не несущие на себе летального оружия, а связанные с разведкой, транспортировкой, логистикой и применением нелетального оружия. Наработав опыт в этой сфере и приучив к такого рода системам общественное мнение, а главное, сделав их привычными для солдат и офицеров, можно переходить к следующей стадии – к БАРСам.

Мы полагаем, что в ближайшем будущем на вооружении США и их союзников и партнеров будут находиться в основном полуавтономные, а также небоевые АРС. Что касается врагов и противников Америки, то в ближайшем будущем их технологические возможности вряд ли позволят создать эффективные БАРС. Однако такой риск тем не менее сохраняется вследствие исчезновения барьеров между гражданским и военным секторами технологий, бизнеса и т. п. Поскольку враги, в том числе, негосударственные акторы, потенциально могут купить, получить или создать БАРС, уже сегодня Соединенные Штаты, их союзники и партнеры должны заранее сосредоточить усилия на создании БАРС, действующих исключительно против БАРСов противника.

Сосредоточившись на теме автономии вооружений, важно не забывать и о других характеристиках. Эти характеристики в определенных условиях могут быть не менее, а даже более важными, чем автономность.

Например, статическая система автономного оружия, расположенная вдоль границы страны, будет гораздо более уязвима, чем автономная мобильная система. Хорошо известно, что в годы Холодной войны самым страшным оружием Советов были неуловимые поезда, несущие на себе стратегические ракеты, запускаемые непосредственно с колесных платформ. В отличие от легко обнаруживаемых стратегических сил США, расположенных либо в шахтах, либо на подводных лодках, Соединенные Штаты до последних дней существования СССР не знали, где и когда может быть нанесен удар этими подвижными железнодорожными монстрами, не распознававшимися со спутников, для которых они выглядели также, как составы с песком или коровами.

Точно так же, как динамичность, огромное значение может иметь и среда использования автономного оружия. Например, автономные боевые системы, рассчитанные на поражение в подводной среде, как правило, на порядок дешевле подобных систем для сухопутной и даже воздушной среды. Дело в том, что для сухопутной и воздушной сред больших затрат требует создание средств тонкого распознавания с тем, чтобы по ошибке или необоснованно не атаковать мирную цель и не нанести потери гражданскому населению. В случае подводного оружия такой задачи нет.