Сингулярность

Эта «проблема бессмертия» возникает и куда более прямыми способами. Для практичного рационализма последних веков фундаментом служит понятие «я» и самосознания. Но сейчас понятие самосознания находится под атакой со стороны разработчиков ИИ («самосознание и другие самообманы»). Усиление интеллекта подрывает важность «я» с иного направления. Постсингулярный мир будет включать в себя весьма высокоскоростные сети. Центральной чертой сильно сверхчеловеческих сущностей станет, вероятно, их способность общаться на различной широте полосы пропускания, в том числе на скоростях куда больших, чем нужно для речи или письменных сообщений. Что произойдет с фрагментами «я», когда их можно будет копировать и сливать, когда размер самосознания сможет расти или сокращаться в соответствии с решаемой задачей? А это ведь будут весьма существенные черты сильно сверхчеловеческого и Сингулярности. Думая об этом, начинаешь чувствовать, насколько по сути своей странной и совсем иной станет постчеловеческая эра – независимо от того, насколько разумной и благожелательной она задумывалась.

С одной стороны, такая перспектива отвечает многим из самых счастливых наших мечтаний: бескрайний простор, где мы можем поистине знать друг друга и понимать глубочайшие тайны вселенной. С другой стороны, оно весьма напоминает худший сценарий, который я представлял себе выше в этой работе.

Какая же точка зрения валидна? На самом деле я думаю, что новая эра просто будет слишком иной, чтобы уместиться в классических рамках добра и зла. Эти рамки основаны на идее об изолированных неизменных умах, соединенных слабыми низкоскоростными связями. А мир пост-Сингулярности отвечает более широкой традиции перемен и сотрудничества, которая зародилась, быть может, даже раньше биологической жизни. Все же я думаю, что какие-то понятия этики будут применимы и в той эпохе. Исследования в области УИ и широкополосных коммуникаций должны помочь нам в этом разобраться. Я уже вижу проблески понимания в золотом метаправиле Гуда и, быть может, в правилах для различения себя и окружающего мира на основе широкополосности или узкополосности связи. И так как ум и самосознание будут куда более лабильны, чем раньше, многое из того, что мы ценим (знание, память, мысль), не будет утеряно. Я думаю, Фримен Дайсон правильно это понимал, когда сказал [8]: «Бог – это то, чем становится разум, когда выходит за масштаб нашего восприятия».

(Я хотел бы выразить благодарность Джону Кэрролу из Университета штата Сан-Диего и Ховарду Дэвидсону из «Сан микросистемз» за обсуждение черновика этой статьи.)

Аннотированные источники [и кое-где просьбы библиографической помощи]

[1] Alfve'n, Hannes, под именем Olof Johanneson, The End of Man?, Award Books, 1969, ранее опубликовано как «The Tale of the Big Computer», Coward-McCann, переведено из книги © 1966 Albert Bonniers Forlag AB, английский перевод © 1966 by Victor Gollanz, Ltd.

[2] Anderson, Poul, «Kings Who Die», If, March 1962, p. 8–36. Перепечатано в Seven Conquests, Poul Anderson, MacMillan Co., 1969.

[3] Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle. Oxford University Press, 1986.

[4] Bear, Greg, «Blood Music», Analog Science Fiction-Science Fact. June, 1983. Развернуто в роман Blood Music. Morrow, 1985.

[5] Cairns-Smith, A. G., Seven Clues to the Origin of Life. Cambridge University Press, 1985.

[6] Conrad, Michael et al., «Towards an Artificial Brain», BioSystems, vol. 23, p. 175–218. 1989.

[7] Drexler, K. Eric, _\Engines of Creation, Anchor Press/Doubleday, 1986.

[8] Dyson, Freeman, Infinite in All Directions, Harper & Row, 1988.

[9] Dyson, Freeman, «Physics and Biology in an Open Universe», Review of Modern Physics, vol. 51, p. 447–460. 1979.

[10] Good, I. J., «Speculations Concerning the First Ultraintelligent Machine», in Advances in Computers, vol. 6, Franz L. Alt and Morris Rubinoff, eds, p. 31–88. 1965, Academic Press.

[11] Good, I. J., [Прошу помощи! Никак не могу найти источник золотого метаправила Гуда, хотя ясно помню, что слышал о нем где-то в 1960-х. С помощью сети я нашел указатели на некоторые связанные тексты: G. Harry Stine и Andrew Haley написали об этом метазаконе в том виде, в каком он мог бы относиться к внеземным существам: G. Harry Stine, «How to Get along with Extraterrestrials… or Your Neighbor», Analog Science Fact – Science Fiction. February, 1980, p. 39–47.]

[12] Herbert, Frank, Dune, Berkley Books, 1985. Однако этот роман печатался сериями в Analog Science Fiction-Science Fact в 1960-х.

[13] Kovacs, G. T. A. et al., «Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation», IEEE Transactions on Biomedical Engineering, vol. 39, nr 9, p. 893–902.

[14] Margulis, Lynn and Dorion Sagan, Microcosmos, Four Billion Years of Evolution from Our Microbial Ancestors. Summit Books, 1986.

[15] Minsky, Marvin, Society of Mind. Simon and Schuster, 1985.

[16] Moravec, Hans, Mind Children. Harvard University Press, 1988.

[17] Niven, Larry, «The Ethics of Madness», If, April 1967, p. 82–108. Reprinted in Neutron Star. Larry Niven, Ballantine Books, 1968.

[18] Penrose, R., The Emperor’s New Mind, Oxford University Press, 1989.

[19] Platt, Charles, Частное сообщение.

[20] Rasmussen, S. et al., «Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks», in Emergent Computation. Stephanie Forrest, ed., p. 428–449. MIT Press, 1991.

[21] Searle, John R., «Minds, Brains, and Programs», in The Behavioral and Brain Sciences, vol. 3. Cambridge University Press, 1980. Это эссе перепечатано в The Mind’s I, edited by Douglas R. Hofstadter and Daniel C. Dennett. Basic Books, 1981. В перепечатке содержится превосходная рецензия на эту статью.

[22] Sims, Karl, «Interactive Evolution of Dynamical Systems», Thinking Machines Corporation, Technical Report Series (опубликовано в Toward a Practice of Autonomous Systems: Proceedings of the First European Conference on Artificial Life. Paris, MIT Press, December 1991.

[23] Stapledon, Olaf, The Starmaker. Berkley Books, 1961 (но из вещи, написанной предположительно до 1937 года).

[24] Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress. The Natural History Press, 1969.

[25] Swanwick Michael, Vacuum Flowers, печаталось сериями в Isaac Asimov’s Science Fiction Magazine, December(?) 1986 – February 1987. Переиздано Ace Books, 1988.

[26] Thearling, Kurt, «How We Will Build a Machine that Thinks», семинар в Thinking Machines Corporation. Личное сообщение.

[27] Ulam, S., Tribute to John von Neumann, Bulletin of the American Mathematical Society, vol. 64, nr 3, part 2, May, 1958, p. 1–49.

[28] Vinge, Vernor, «Bookworm, Run!», Analog, March 1966, p. 8–40. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.

[29] Vinge, Vernor, «True Names», Binary Star Number 5. Dell, 1981. Перепечатано в True Names and Other Dangers. Vernor Vinge, Baen Books, 1987.