3.5

Это одна из книг, которые благодаря "животрепещности" темы имеют шанс мне очень понравиться. И автора я ценю за глубину взгляда, которую он показал в предыдущей книге ("Математическая Вселенная").
Эта книга тоже хороша, но могла бы быть лучше.

Есть очень интересные мысли, например, об ограничениях, накладываемых физикой на действия любого актора во Вселенной (в т.ч. и сверхразумного).
Очень важна постоянно развиваемая автором мысль, что нам уже сейчас надо задумываться о безопасности при исследованиях в области искусственного интеллекта. И речь идёт не только о безопасности отдельных людей или всего человеческого вида. Макс Тегмарк смотрит дальше, на безопасность и смысл всей Вселенной! В таком масштабе мы вообще не имеем права на ошибку.
А для этого надо задуматься о многом. И речь идёт не о достаточно понятных проблемах вроде технологической безработицы:

Один мой друг недавно пошутил, что, возможно, последней профессией, доступной для людей, будет самая древняя из них — проституция. Но в разговор вмешался японский робототехник, сразу запротестовавший: «Нет-нет, роботы в подобных вещах очень хороши!».

Перед нами встают гораздо более сложные вопросы:

мудрое решение относительно разработок интеллектуальных систем для нас, людей, предполагает необходимость [кроме прочего и] решать некоторые из самых упрямых вопросов философии.

И это действительно так. Если мы делегируем сверхразуму принятие решений об общем развитии разума и Вселенной, значит, он не может всё время оставаться в подчинении у человеческого разума, довольно туповатого, если судить по нашей собственной хаотичной истории.

На нашем нынешнем уровне интеллектуального развития и эмоциональной зрелости мы, люди, проявляем особый дар к просчетам, недомыслию и незнанию, отчего наша история полна несчастными стечениями обстоятельств, войнами и разными невзгодами, к которым, если разобраться, никто особенно не стремился.

Искусственный разум должен получить соответствующие права и свободу действий. Но действовать он должен, по крайней мере вначале, в направлении, совместимом с нашими сегодняшними целями и идеалами.
Это важно. Думать об этом надо прямо сегодня. Потом будет поздно.

Что они надумали, это отдельный вопрос. Значительное количество книг, на которые ссылается Макс Тегмарк, я читал, но мои выводы сильно отличаются от его.
Почему-то наше собственное существование ценится неоправданно, на мой взгляд, высоко. В конце концов все мы умрём, поэтому идеи о какой-то особенной ценности нашего существования мне чужда.
Ценны наши достижения, а они никуда не денутся, даже если наше место и займёт полностью сверхразум.
Мне нравится идея "благодарных потомков". Пусть они делают, что хотят, когда станут намного умнее нас. А нас пусть вспоминают с благодарностью за то, что мы обеспечили им фундамент развития, как я благодарен тому неизвестному предку, который первым догадался принести в свою пещеру огонь. Я отдал ему должное в меру собственных сил. И я совершенно не жалею, что того предка давно нет, как нет и, вероятно, всего его племени. Дело его живёт -- и слава ему и ныне, и присно, и вовеки веков.
Пусть наши суперумные потомки помнят и о нём тоже.

Автор очень неясно обозначил своё отношение к некоторым вопросам. Например, он представил примерно дюжину общих возможностей для будущего. Каждый может пойти и проголосовать на сайте за тот или иной вариант. Я проголосовал за Благодарных потомков. Так и не понял, за какой вариант проголосовал сам Макс Тегмарк.
Нахожу также абсолютно пустыми почти все рассуждения о том, что случится через миллиард лет и далее. Мы не можем представить себе, что будет лет через сто, а тут миллиард! Впрочем, кое что могу сказать наверняка, да я это уже и сказал. Повторю немного другими словами.
Если нам суждено просуществовать ещё миллиард лет, то за это время сверхразум точно возникнет -- таким образом, как мы сегодня предполагаем, или совсем другим. И тогда сегодняшние спекуляции Макса Тегмарка покажутся тому сверхразуму не более интересными, чем мне сегодня кажутся рассуждения улитки в пруду.

Однако, покуда я не сверхразум, идеи Макса Тегмарка мне интересны и важны. В особенности приведённые в самом конце Асиломарские принципы разработки искусственного интеллекта.
Это очень примечательный документ. Он представляет собой сильно детализированные Принципы робототехники Айзека Азимова и создан коллективным разумом большой группы выдающихся специалистов. "Список Азимова" породил множество парадоксальных умственных экспериментов. Асиломарские принципы содержат ещё больше вдохновения как для писателей-фантастов, так и для научных работников. Последний из них, например, такой:

Сверхразум может создаваться только для служения всеми разделяемым этическим идеалам и во благо всего человечества, а не какого-то одного государства или какой-то одной организации.

Не первый день зная Homo sapiens, я сильно сомневаюсь, что существуют "всеми разделяемым этические идеалы" или "благо всего человечества". Тем не менее документ сильный. Намного сильнее трёх знаменитых постулатов Азимова. Так и должно быть: время не стоит на месте, всё развивается.
Будем надеяться, что развитие продолжится.

Самое большое возражение вызывает у меня взгляд Макса Тегмарка и всей его Асиломарской команды вместе с Институтом будущего жизни (FLI) на сознание.
Подход "всё или ничего" меня не устраивает абсолютно. Нет и не может быть никакой теории, которая однозначно ответит на вопрос, обладает ли сознанием конкретный набор кварков и электронов (это терминология Макса Тегмарка).
Сознание, как и большинство (или все) сложные признаки, имеет много градаций. Возможно, бесконечно много.
Плюс к тому (или минус): в книге не делается различия между сознанием и самосознанием. Это две большие разницы, и обе они важны, когда речь идёт о разуме, искусственном или естественном.
На эту тему могу долго говорить, но не место здесь для того.

При всех плюсах и минусах книга ценна тем, что поднимает вопрос безопасности растущего разума. О безопасности для нас и Вселенной.
Не могу сказать, оптимистична она или пессимистична. Всё зависит от того, как мы сами будем вести себя сейчас и в будущем.

Мне почему-то кажется, что мы не успеем создать сверхразум. Самоуничтожимся по какой-нибудь дурацкой причине типа термоядерной войны. Она вполне может начаться хоть в следующий четверг из-за какого-то совершенно тривиального недоразумения.
И всё же -- а вдруг?
Пока дышу надеюсь?.. Оставь надежду всяк?..
Не знаю. Поживём -- увидим :)