Мюррей Шанахан. Технологическая сингулярность

Это довольно небольшая книга по очень обширной теме. Фактически, это только введение в проблему. Основное внимание уделяется будущему искусственного интеллекта, а сопутствующие темы, такие как нанотехнологии и биотехнология, затрагиваются лишь вскользь. Попутно автор затрагивает интересные философские вопросы, заставляя читателя размышлять, к примеру, о том, чего мы хотим как биологический вид.

Первое упоминание сингулярности принадлежит Джону фон Нейману (1903-1957): поскольку технологический прогресс, определяющий то, как мы живём, постоянно ускоряется, должен наступить такой момент, когда люди не смогут поспевать за технологиями — наступит то, что математики называют сингулярностью. Главным популяризатором термина стал Рэй Курцвейл в бестселлере Singularity is Near (2005). Многие из тех, кто читает эти строки, доживут до точки технологической сингулярности, которая случится через несколько десятилетий, примерно в 2040 году. После этого момента наступит вообще непонятно что, невозможно понять и предсказать.

Сингулярность в истории человечества может настать, если экспоненциальный технический прогресс принесет с собой такие масштабные перемены, что всякой деятельности человека, как ее понимают сейчас, придет конец. Привычные институты — экономика, правительство, государство, закон — не сохранятся в нынешнем виде. На смену базовым общечеловеческим ценностям — неприкосновенность жизни, стремление к счастью, свободе выбора — могут прийти другие ценности. Даже наше представление, что означает быть человеком, личностью, живым, осознавать себя, занимать положение в обществе, — все это может быть оспорено, причем не философски, а практически в силу прямых и непосредственных обстоятельств.

«Технологическая сингулярность» Мюррея Шанахана из серии «Базовые знания» издательства MIT Press посвящена гипотезе о технологической сингулярности — воображаемой точке технологического прогресса, означающей масштабные перемены в жизни и обществе. В книге исследуются два варианта возникновения технологической сингулярности — путем развития искусственного интеллекта и нейротехнологий. Решительно всё изменится, если сбудется то, что обещают нам искусственный интеллект и нейротехнологии. ИИ станет не только источником технологий, но и их продуктом. Причем цикл обратной связи приведет к непредсказуемым и потенциально взрывоопасным последствиям. Если конструируется разум, который одновременно является автором такого конструирования, он может вступить в цикл самосовершенствования. Но даже если умственные способности ИИ будут равны человеческим, такой интеллект уже станет сверхразумом, так как разум человека несовершенен — он медлителен и непродуктивен, отключается на метаболизм и сон, не способен долго концентрироваться на одной задаче и часто отвлекается.

Сегодня в новостях прочитал: в Новой Зеландии официально признано, что все животные являются разумными существами, обладают чувствами и с ними следует обращаться как с разумными тварями. Пока не ясны многие детали, все ли виды животных признаны в Новой Зеландии равными и одинаково разумными, как обстоят дела с сельскохозяйственными животными, как определяется наличие разума и т.п. Но в любом случае создан невероятный прецедент.

В книге Мюррея Шанахана приведен пример спонтанной инновации в мире животных. В 2002 году ученые из Оксфорда изучали содержащихся в неволе новокаледонских ворон, которые славятся изобретательностью. Экспериментальное оборудование состояло из маленького ведерка с едой и высокой трубы. Ведерко опускали в трубу так, чтобы ручка не выступала из трубы. Птицам давали куски изогнутой проволоки, которые они быстро научились использовать как крюки, чтобы вытаскивать ведерки с пищей. Но в одном эксперименте в клетке оставили только кусок прямой проволоки. Без всякого предварительного обучения ворона вставила один конец проволоки в отверстие клетки и изогнула его в виде крюка, с помощью которого затем вытащила свою еду.

Интеллект — это сочетание изобретательности и здравого смысла. Чтобы догадаться сделать крюк, нужна изобретательность, а чтобы понимать, какого результата можно ожидать, нужен здравый смысл и жизненный опыт в физическом мире о природе пластичных материалов. Сегодня мы знакомы с некоторыми образцами ИИ в различных автоматических речевых системах, бойко отвечающих на самые разные задаваемые им вопросы. Но такие системы не имеют опыта соприкосновения с физическим миром, что нередко приводит их в тупик. На вопрос: «Если подвесить крысу за хвост, что будет ближе к земле — нос или уши?» ответить может даже ребенок, хотя никогда не вешал крысу за хвост и не видел такого. Но ИИ может попасть в тупик, так как не может смоделировать подобный сценарий.

Искусственный интеллект способен к автоматическому самообучению (machine learning), и как показывают исследования Google, в этом огромную роль способны играть Большие данные (Big Data) — человек не в состоянии переваривать большие объемы данных, а для машины чем больше массивы данных, тем качественно точнее оказывается ее интеллект.

В 1950 году знаменитый физик, лауреат Нобелевской премии Энрико Ферми выразил нерадостную мысль, которая получила название парадокса Ферми. В Галактике колоссальное количество звезд, у многих из которых наверняка есть планеты, имеющие подходящие условия для возникновения жизни. Там вполне вероятно появление интеллекта и технически развитых цивилизаций. Поэтому, логически рассуждая, можно решить, что космос должен кишеть этими внеземными цивилизациями. «Ну, и где же они в таком случае?» — воскликнул Ферми.

Тишине космоса есть много всяких объяснений. Но все они грустные: цивилизации долго не живут, а сами себя уничтожают. В том числе, возможно, при помощи враждебного искусственного интеллекта. В заключение автор книги отмечает, что если мы одиноки во Вселенной, на нас лежит особая ответственность: мы должны решить, что делать с этой технологией, и не только во имя человека, но и во имя будущего самого сознания в Галактике. Остается лишь надеяться, что искусственный интеллект не уничтожит нас, а будет обращаться с нами как с разумными животными.

Мюррей Шанахан. Технологическая сингулярность (The Technological Singularity). — М.: Издательская группа «Точка», 2017. — 256 с. — Твердый переплет. — (Серия «Завтра это будут знать все»)