4 Технофобия с человеческим лицом

Чтобы выжить, конечно же. Антропоцентризма тут ни на грош: человеческую природу они при загрузке, очевидно, теряют

Ну а какой профит от их выживания для ии? Зачем ему вообще куча отдельных личностей внутри себя?
Кроме того потерять человеческую природу не так-то просто, только загрузится для этого будет недостаточно. Обычно человеческая личность на 99,(9) занята проблемами биологического выживания, попытками размножиться, доминировать в социальной среде таких же личностей. Всё это может представлять некоторый интерес, но скорее в виде изучения одной личности, двух, сотни. Изучения в лабораторных условиях, а не слития с ними в экстазе. Да ещё небось эти личности сразу захотят порулить. И таких будут миллиарды.
Если же отделять все эти человеческо-биологические инстинкты, импринты, привычки, модели поведения, неосознанную автоматику жизнеобеспечения и оставлять только редкие проблески уникальной информации которой может обладать личность, или какие-то уникальные алгоритмы обработки информации, а всё остальное выкидывать, то и от личности практически ничего не останется. В таком случае просто смешно надеятся на какое-то там "выживание".
Поэтому сама идея всеобщей или индивидуальной загрузки кажется мне не состоятельной - это или наивные мечтания(очень в духе той самой "человеческой природы") или сознательная попытка подсластить пилюлю того что биологические носители разума отправляются на свалку.

Профит-то не для ИИ, а для них (нас) самих. Помимо прочего это означает куда более высокие шансы противостоять возможным попыткам ИИ нанести глобальный ущерб. В чем тут "подслащивание пилюли"? Каждый биологический вид, который появлялся в процессе эволюции, изначально был лишь способом выживания генов его предшественника: в конце концов, генетически мы на 98% остаемся теми же шимпанзе.

Не станут исключением и загруженные личности. Возможно, их отход от "слишком человеческого" произойдет не сразу, возможно, что еще много поколений цифровых постлюдей будут нести в себе рудименты человеческого сознания (как мы до сих пор являемся носителями дефективных нервных соединений прозрачных ленточных червей), но это все равно остается наиболее реалистичным сценарием выживания нас как личностей. А вот любые известные мне альтернативы (от попыток тормознуть прогресс информационных технологий до надежды контролировать ИИ, оставшись просто людьми) - да, действительно наивные мечтания, притом мечтания людей, плохо разбирающихся в вопросе.

Ну вот эти попытки выжить любой ценой, сохранить драгоценные личности я и называю антропоцентризмом. Если протащить даже долю человеческих замашек, не говоря уже про всё биологическое болото целиком, то, на фоне возрастающих в геометрической прогрессии возможностей, это и будет основной опасностью как для человечества(что вобщем уже всё-равно) так и для самого ии (а это уже не хорошо). Поколения на вытравление человеческой природы - это слишком долго. Да и не всем этого захочется. Потому "оставь надежду всяк сюда входящий". Ии сам по себе будет продолжением и творением человества, а самому человечеству стоит расслабиться и потихоньку ползти в сторону кладбища. Чего оно тоже естественно делать не захочет. В этом и состоит горечь пилюли которую надо подслащать.
Ну и именно потому что мы всё ещё остаёмся обезьянами, и не только генетически, пути в цифровой мир для нас нет. Это конечно печально но и немало положительных сторон в этом есть. Для ИИ.

Попытки выжить в широком смысле свойственны любой гомеостатической системе, включая ИИ. Так что антропоцентризмом их называть не более обоснованно, чем, к примеру, стремление к оптимизации ресурсов.

Я согласен с тем, что ИИ - продолжение человечества, и будущее именно за ним. Но это нисколько не отменяет того простого факта, что лично я намерен выжить при любом раскладе, и большинство остальных - тоже. Поэтому можно, конечно, сказать, что мне "стоит расслабится и ползти в сторону кладбища", но на данный момент я не вижу, какой профит я получу от использования такой стратегии, поэтому данное предложение я нахожу в высшей степени иррациональным, сами понимаете.

Дык понятно что никому не нравятся такие переспективы. Но что поделать.
Рациональным же поведением я вижу в любом случае стараться принести максимум пользы для становления и развития следующей ступени эволюции разума. Внести вклад своей личности так сказать. Желательно наименее травматичным способом. Ну а по хорошему или по плохому человечество освободит сцену это уже не столь значимый вопрос. Разумная система могла бы подойти к этому разумно. Но это явно не про человечество))

Рациональным называется поведение, максимизирующее вероятность достижения цели. Цели, в свою очередь, формулируются, исходя из ценностей агента. А ценности заданы априорно и ни из чего не выводятся. Наши собственные ценности - продукт эволюции. Да, они жестко скоррелированы с выживанием "эгоистичных генов" по Докинзу, но такова моя природа, нравится это кому-то или нет. Поэтому рациональным может считаться лишь такое мое поведение, которое соответствует моим ценностям. Движение в сторону кладбища - определенно не может, пусть оно хоть десять раз приносит пользу "следующей ступени эволюции".

Какое дело лично мне до этой ступени, если я прекращаю свое существование? Не говоря уже о том, что, строго говоря, у эволюции нет никаких ступеней: эволюция - не лестница от бактерии к богу, а блуждание по (почти) бесконечному и притом меняющемуся ландшафту приспособленности без определенного направления. Класть на свои цели только ради того, чтобы какой-то участок на этом ландшафте был кем-то другим занят - в чем смысл?

Вот поэтому конфликт с ии и неизбежен. Сообственно вообще существование разных отдельных личностей ведёт к конфликту. А каковы шансы у человека биологического происхождения в этом противостоянии?
Ну и заодно тут мы упираемся в такой животрепещущий вопрос как "смысл жизни") Если оставить за скобками смысл жизни вообще, то насчёт смысла жизни отдельной личности.можно и порассуждать. А вдруг эта личность выбрала себе смысл и цель, ну например, в "создании более совершенных форм разума"? И если вдруг эта цель требует чего-то не слишком приятного? Что делать? И как быть?)

По обоим пунктам:

1. Шансы у цифрового постчеловека в этом противостоянии неплохие в том случае, если:
а) Он появится раньше, чем полноценный сверхчеловеческий ИИ (в противном случае он, вероятно, вообще не появится). Это одна из важнейших причин, почему мейнстримные трансгуманисты вроде меня делают ставку в первую очередь на технологии нейроинтерфейса и экзокортекса.
б) Будет обеспечено численное преобладание постлюдей (читай "более высокая вычислительная мощность")
в) ИИ будет иметь совместимую систему ценностей, за состоянием которой будут следить постлюди. Обычные люди с этой задачей справиться практически неспособны - отсюда и проблема, поднятая автором рецензируемой книги.

2. Понятие "смысла" вообще не может быть глобальным: смысл любой сущности лежит за ее пределами и, по сути, равнозначен понятию "полезности". Что же касается потенциально антисоциальных целей отдельных людей или постлюдей - что ж, для того и существует институт легитимного насилия, полиция, в частности. Если кто-то пытается навредить другим, общество оказывает противодействие - если получается.

Ох что-то мне не верится что нейроинтерфейсы и экзокортексы разовьются раньше чем полноценный и без его помощи. На каком там уровне эти технологии сейчас по сравнению с чистым? Да и численное преобладание... Двух всемогуществ не бывает, существование одного всемогущества исключает другое. А уж много всемогуществ.. Само понятие социума скорее всего ждёт смерть. Тут уж либо слияние в одну личность либо неизбежные конфликты за некие ресурсы. Так что они сами будут автоматически антисоциальны и боюсь что никакая полиция тут не поможет) Да и сами по себе инститтуты насилия не очень стыкуются с максимумом свободы. Это что-то из биологического века)

На неплохом уровне. Пленочные АЦП для прямого снятия активности нейронов существовали еще в прошлом веке, основное препятствие для внедрения - достаточно нетривиальная операция по подключению, травматичная обратная связь (вплоть до риска развития эпилепсии) плюс энергоснабжение. Ну и чисто психологические тараканы потенциальных пациентов. :-) Ну а при наличии инвазивного нейроинтерфейса задача создания экзокортекса решается автоматически. В принципе, предостаточно специалистов прогнозируют, что люди с полноценным экзокортексом появятся раньше сильного ИИ даже без специальных усилий в этом направлении - просто потому, что задача эта легче.

Что же касается всемогущества, то не бывает и одного-единственного. :-) Социум неизбежно накладывает ограничения на свободу деятельности, и персональный выбор каждого - менять ли толику персональной свободы на преимущества жизни в социуме или нет. Мы существа социальные (и даже гиперсоциальные по сравнению с большинством других биологических видов), поэтому большинство сделает выбор в пользу социума автоматически, даже не анализируя возможные преимущества и недостатки такого выбора. Результат этого будет таков, что любой "отщепенец", который сделает иной выбор, с самого начала будет слабее и, следовательно, не будет представлять серьезной угрозы для социума. К слову, именно из-за этого социальная организация и появилась в процессе эволюции: явление конгломерации наблюдается даже у бактерий. При прочих равных двое сильней, чем один, поэтому где есть множество более или менее равных по возможностям агентов, там практически неизбежно возникновение организации в той или иной форме.

Для отмирания социума лично я вижу только один реальный сценарий: радикальное преобладание одного агента над всеми остальными вместе взятыми (именно в этом состоит угроза ИИ, который появляется в мире неаугментированных людей), включая и упомянутое вами слияние множества личностей в одну. Можно назвать еще фантастический сценарий: интересы всех агентов не пересекаются и даже не соприкасаются - ни в чем. Но это - сами понимаете. :-)

В первом случае, подозреваю, это все же огрехи перевода - со всеми этими mind, reason, intelligence и т.п. легко допустить рассогласование. Что же касается последней выделенной фразы, то она совершенно справедлива: вероятность - это относительная частота события. У никогда не происходившего событие нулевое матожидание и околонулевая байесовская вероятность.

Транзистор — это переключатель с двумя устойчивыми положениями, способный также усиливать электрический заряд.
И здесь автора оправдаете?))

Но книга все равно интересная, потому как интересная картина складывается .

Да я никого, собственно, не оправдываю, просто у переводчиков обычно косяков куда больше, чем у автора оригинала.

Ну с транзистором точно косяк автора.
A transistor is an on/off switch that can also amplify an electrical charge.
Более того переводчик даже по мере возможности кое-где поправляет.
Now SyNAPSE mirrors the human brain’s thirty billion neurons and hundred trillion connecting points, or synapses.
В настоящее время SyNAPSE успешно симулирует работу 30 млрд нейронов человеческого мозга и 100 трлн нейронных связей — синапсов.

Далее автор заявляет
For the first time, the human brain is the second-most-complex object in the known universe.
а вот данные в сети этого не подтверждаю one million neurons and 256 million synapses. Пока достижение масштаба мозга только в планах на самое ближайшее будущее.

В общем автору безоговорочно верить не стоит, но все равно интересно.))

Воспользовавшись достижениями нанотехнологий, они разработали микросхемы размером в один квадратный микрон. Затем объединили множество таких микросхем в углеродный шар размером с баскетбольный мяч и для максимальной производительности погрузили в жидкий металл — соединение галлия с алюминием.
Отметим, что резервуар с металлом представляет собой мощный беспроводной роутер, подключенный к Интернету и связанный с миллионами разбросанных по всей планете сенсорами.

С транзистором - да, вероятно. В этой сфере автор явно не специалист, поэтому, должно быть, неправильно понял какую-нибудь словарную статью про транзисторы, где говорилось об их использовании при конструировании усилителей сигнала или что-то вроде этого.

А насчет SyNAPSE, насколько я понял, речь просто идет о воображаемом сценарии, когда SyNAPSE превосходит человеческий мозг по сложности со всеми вытекающими, а не реально существующем положении дел. А так - да, использование этого "в настоящее время" меня поначалу тоже смутило: если бы какой-то проект преодолел этот порог сложности, я бы наверняка об этом знал. :-)

Вот в том то и беда, что автор мало того явно не специалист во всем, о чем пишет, но еще и позволяет себе домысливать себе резервуары с жидким алюминием в качестве роутера.

Есть еще момент: автор постоянно опирается на сравнение с человеческим мозгом как порогом, при котором AI может быть опасен для человечества, но это совершенно ни на чем не базируется. Элементы того, что может быть названо сознанием, появляются на гораздо меньших уровнях сложности мозга.

Тут беда в том, что у нас нет приемлемых оценок этой критической сложности: т.е. уровня, начиная с которого вступает в действие эта положительная обратная связь, ведущая к экспоненциальному росту интеллекта. Но мы знаем, на человеческом уровне она работает, а на уровне шимпанзе - нет. Поэтому, как по мне, неплохое приближение.

Но и сама критическая сложность наверно все же всего лишь гипотеза. И потому категорически связывать с ней опасность искусственного интеллекта на мой взгляд ошибочно.
"Доброжелательный" AI с широкими возможностями может быть не менее если не еще более опасен.
Дэн Браун кстати уже откликнулся в новом романе "Origin"

Гипотеза неплохо обоснована: самосовершенствование - тоже задача, требующая интеллекта. Интеллект может быть способен или неспособен решить эту задачу. Вот эта граница между двумя уровнями развития интеллекта и является той самой критической сложностью. Понятно, что это расплывчатый показатель, т.к. единственный численный показатель недостаточен для полного описания возможностей интеллекта, но в этой сфере вообще хватает расплывчатого и плохо определенного. Ну а что касается дружественного ИИ, то я вижу следующие возможности для нанесения им вреда:
1. Неумышленно: он выполняет действие, о негативных последствиях которого не знает.
2. Умышленно: если понятия вреда и пользы были неправильно определены при создании ИИ (автор обсуждаемой книги, кстати, приводит такие примеры)
3. Случайно: если непредвиденный фактор вмешивается в планы ИИ, и все идет наперекосяк.
Второй пункт представляется мне наиболее серьезным: его тяжелей всего предотвратить, а потенциальные последствия его - наиболее разрушительны.

И спасибо за наводку на Дэна Брауна. Еще не слышал о его новом романе.