Больше рецензий

M_Aglaya

Эксперт

Эксперт Лайвлиба

19 ноября 2017 г. 22:15

1K

2

Уфф... Что за адский трэш. А ведь, казалось бы, издано в научно-популярной серии Альпины, так должен быть какой-то определенный качественный уровень! ((

О чем: буквально в двух словах. Автор усердно задвигает тему про искусственный интеллект, который вот-вот уже будет создан безответственными учеными и компьютерщиками, и это будет означать гибель для человечества! Потому что ИИ будет людей превосходить в каких-то чудовищных степенях! И люди не смогут его контролировать! И конечно, он будет враждебным к расе людей и постарается ее уничтожить, а что люди будут делать, если ИИ настолько их превосходит и они не могут его контролировать, и никогда не смогут - так, все, пошли по кругу. ((

И ради этой единственной мысли автор не поленился исписать триста страниц.

Сразу скажу - я не компьютерщик и в во всей этой информатике, в программировании ничего не понимаю! (автор, правда, тоже не компьютерщик, не программист и даже не ученый, как я поняла, а чисто деятель СМИ) Но, лично на мой взгляд, создается впечатление, что либо у автора серьезные психические проблемы на почве компьютеров и компьютерных технологий - либо он отрабатывает чей-то конкретный заказ. И то, и другое отвратительно. (((

Касательно психиатрии - это, условно говоря, первая половина книги. Где автор многословно, не стесняясь повторений, рассуждает об опасности ИИ, о том, как он будет враждебен... основываясь при этом большей частью на материале научной, и псевдо, и околонаучной фантастики! Законы робототехники Азимова, например, ага. Но, извините, какими бы прекрасными и удивительными не были НФ-книги, какие бы гранды их не писали - это все-таки беллетристика. Это никоим образом не научные исследования. Да, это перебор различных вариантов, моделирование с учетом того фактора или этого - в лучшем варианте. Но это не дает какой-либо твердой определенности! как мне кажется. В смысле, на каждого автора, пишущего об опасности и враждебности ИИ можно найти автора, который пишет об их полезности и, скажем так, спокойном с ними сосуществовании. Да у того же Азимова есть рассказы с враждебными ИИ, с дружественными ИИ, начисто безразличными ИИ, что угодно.

Вот тут и засада - автор заявляет острую, проблемную тему, но он не пытается в ней разобраться! Заслушать (представить аудитории) мнения за, мнения против, все такое. Он уже все для себя решил. Поэтому упорно бьет в одну точку. Он тут собрал, так сказать, список авторитетов, но - подробно описывает и рассказывает только о тех, кто поддерживает тему опасности ИИ. Если кто-то пытается смотреть на вопрос с разных сторон - автор будет приводить только те моменты, когда его точка зрения подтверждается. Про остальное будет сказано мельком и в таком ключе "но несмотря на это, он все же отметил, что..." и пошло-поехало. Если же кто последовательно отстаивает идею невраждебного ИИ, автор будет его слова помещать в свой контекст, всячески демонстрируя читателю, что это неправильное и совершенно безответственное мнение! Больше всего в этом плане достается злосчастному Курцвейлу, который осмеливается смотреть в будущее с оптимизмом и верить в НТП. Я этого Курцвейла не знаю (если не считать упоминаний в Коте Шредингера )) ), но тут прониклась к нему сочувствием. )))

Лично я, будучи махровым чайником и гуманитарием, продираясь через все эти панические изложения крутости ИИ и невозможности его одолеть, все ожидала, когда автор осветит мне элементарный вопрос, просто таки напрашивающийся. Имею в виду - как, в его понимании, ИИ будет грозить человечеству, захватывать и порабощать, если его существование зависит от кнопки выключения электричества? Первое, что приходит в голову. Не говоря уж о тупо производстве комплектующих, добыче нужных для этого полезных ископаемых... что происходит отнюдь не в виртуальности... То есть, почему вместо этих сложностей, угрожаемое человечество просто не вырубит компьютер? Ну, я этого так и не дождалась.

Ну вот, а вторая половина книги уже вызывает подозрение в наличии варианта заказа. Начинают невзначай проскальзывать какие-то моменты, которые производят неоднозначное впечатление. Как, например, автор восклицает, что ах, военные в своих целях продолжают разрабатывать все более мощные компьютеры и программы, но самое ужасное, что эти же разработки могут производиться и нехорошими организациями и государствами, несущими миру зло и угрозу, и вообще не проверишь, чего они там у себя делают! В числе таких жутких государств называются - ясное дело - Россия, Китай, Северная Корея, Иран... Ага. Не тут ли собака порылась... Дело просто все в том же старом добром классовом принципе... в современном исполнении. То есть, западноевропейская цивилизация вообще, и англосаксы в частности, или там, скажем, пресловутый золотой миллиард, претендуют на то, чтобы определять допуск не только к ядерным программам, но и к компьютерным, информационным технологиям. Контролировать их.

Это, товарищи, бесит. С какой стати какие-то белые господа должны решать, что в том же Иране могут пользоваться благами НТП и современными технологиями или должны находиться на уровне позапрошлого века.

О да, если эти страшные государства (вышеперечисленные) не контролировать, так они несомненно, само собой, будут нести угрозу благословенным США. Ну и Западу вообще. Точно так же как гипотетически в скором времени ожидающийся ИИ.
Возникает вопрос - а может, дело не в ИИ и его враждебности, а во враждебности и нетерпимости одной определенной цивилизации? (( Как говорится, каждый судит по себе и т.д.

О России (также СССР) автор несколько раз изложил, что - вот всем известно, что русские не разработали свое ядерное оружие с нуля, а украли его у американцев! Да, ну и что? Надо же, зайки какие. Вообще-то также известно, что и американцы не разрабатывали ядерное оружие прямо с нуля, а в значительной степени воспользовались разработками нацистской Германии, присвоив их вместе с соответствующими специалистами (среди которых, однако, были и военные преступники) и подмяв все под себя. Дальше что?

А вот еще совершенно прелестный эпизод, прямо таки иллюстрирующий известный анекдот "а нас-то за шо?" В общем, короче говоря, после всех этих авторских стенаний об ужасных государствах, несущих угрозу мировому сообществу, вдруг оказывается, что это, например, не страшный Иран, а именно просветленные США разработали вирусную программу и совершили масштабную кибер-атаку на иранские компьютерные сети, в результате чего было почти полностью разрушено производство... что-то там по ядерным реакторам... ядерная программа Ирана была сильно отброшена назад... Ну, я тут даже комментировать ничего не буду. Автор, правда, высказывает порицание. Но не за то, что США грубо вмешались во внутренние дела другого государства, причинили колоссальный ущерб, уничтожили производство. А за то, что они не до конца продумали последствия, и что эта самая вирусная программа сейчас попала в руки мало ли кому. Оказывается, что не только американские военные ведомства и ЦРУ могут разрабатывать кибер-оружие и планировать вирусные атаки, но и другие тоже.

Дальше автор принялся во всех подробностях излагать, куда эти хакеры враждебных государств могут наиболее эффективно нанести удар на территории США, чтобы причинить как можно больший ущерб экономике, финансам и людским жизням вообще. Это мне вообще совершенно не понравилось. Не говоря уж о том, что публиковать такие чуть ли не инструкции в общем доступе по меньшей мере безответственно... в чем автор только что обвинял кибер-специалистов ЦРУ и Пентагона... Но и как-то в свете всего этого - а вот завтра, скажем, те же кибер-специалисты ЦРУ и Пентагона таки устроят обвал вот в этом самом звене. И обвинят в этом Россию, Китай и т.д. Северную Корею. Кто их проверять будет - вот, скажут, и книжка даже есть с предупреждениями! И эта самая их представитель в ООН будет стучать книжкой автора по трибуне, и все такое прочее. Они же так работают.

В общем, очень как-то тревожно от всего этого. ((

Комментарии


Боюсь, что вы несправедливы. На мой взгляд, автор очень доходчиво изложил, почему, по его мнению, ИИ представляет собой экзистенциальную угрозу. Большинство экспертов в области ИИ с этим соглашаются: дискуссии ведутся главным образом о том, можно ли эту угрозу предотвратить (я сам даю утвердительный ответ) или нет (автор склоняется к этому варианту). При этом автор вовсе не аппелирует к научной фантастике: напротив, критикует постоянные ссылки на законы Азимова. Вы как-то не очень внимательно читали, наверное.


Возможно. Автор мне с первых страниц не понравился. ))
Тем не менее, автор определенно дает информацию только в одном ключе, допускает массу передергиваний и голословных утверждений.)))


Во всяком случае, по наиболее интересной части - не заметил. Собственно, главная мысль автора проста, адекватна и хорошо обоснована: появление сильного ИИ (сверхчеловеческого уровня) - практически неизбежно, а контролировать посредством нашего слабого человеческого интеллекта - задача, близкая к невозможной. При этом ИИ вовсе не обязан быть настроенным к нам враждебно, чтобы представлять для нас угрозу: ему достаточно быть безразличным, и при этом испытывать нужду в ресурсах, которые требуются и нам самим.

С тем, что это чей-то заказ, согласиться не могу: антитехнологические мракобесы и традиционалисты, как правило, тщатся доказать, что сверхчеловеческий ИИ вообще невозможен или призывают к запрету исследований в этой сфере, а крупные корпорации и правительства любых стран кровно заинтересованы в скорейшем развитии ИИ, поскольку любые инвестиции в этой сфере почти моментально окупаются и обеспечивают нехилое конкурентное преимущество. По-хорошему, эту книгу следовало написать Элиезеру Юдковскому: его техническая экспертиза бесспорна, он умеет доходчиво излагать, и при этом тоже осознает экзистенциальные риски ИИ.


Не буду спорить, так как все равно каждый останется при своем. ))
Разве только уточню, что пока что глобальную угрозу для существования цивилизации успешно представляет обычный человеческий интеллект (агрессивная международная политика, уничтожение среды обитания и т.д.), однако же автор не беспокоится по этому поводу - хотя любой может заметить, что с контролем над самим собой человечество не справляется. )))


С обычным человеческим интеллектом мы имеем дело на протяжении всего нашего существования: эта угроза нам известна, понятна и на данный момент не имеет экзистенциального статуса. Т.е. да, навредить сами себе мы способны, но в большинстве случаев этот вред затрагивает сравнительно небольшую часть населения. Вторая мировая война, к примеру, была самым масштабным военным конфликтом за всю нашу историю, но погибли от нее лишь 2.8% населения, считая с последствиями в виде голода и разрушения инфраструктуры. Для сравнения: эпидемия испанки угробила порядка 5% населения, а Великие монгольские завоевания отправили на тот свет около 16%. При этом на протяжении нашей истории средний уровень жизни и ее продолжительность растут, так что по сумме последствий интеллект - скорей положительный фактор. ИИ - тоже, но при условии его дружественного характера или подконтрольности, а вот уже это, в свою очередь, является заметной технической задачей, на которую автор и обращает внимание в меру способностей. С его финальным вердиктом я не согласен, но об этом - уже в моей собственной рецензии.


Вторая мировая война, к примеру, была самым масштабным военным конфликтом за всю нашу историю, но погибли от нее лишь 2.8% населения, считая с последствиями в виде голода и разрушения инфраструктуры.

???
откуда такие данные? )) Просто я сейчас попробовала посмотреть по гуглу (я тут не большой специалист), но в общем, пишут, что цифра потерь до сих пор окончательно не высчитана и постоянно меняется, а в Китае, например, вообще не представляется возможным составить подсчеты.


"Окончательно не высчитана" - это значит могут быть некоторые расхождения. К примеру, не 2.8, а 3.0 или 2.5. Но это не делает погоды, в том числе и в Китае, где число жертв Второй мировой оценивается в 15.5 миллионов. На данный момент общее число жертв оценивают примерно в 71 млн человек, что в процентном соотношении к тогдашней численности населения как раз и составляет названную мной величину. Да, в общем, это неудивительно: с каждым столетием среднестатистическая вероятность гибели в военном конфликте снижается. Есть и другая зависимость: чем мощней оружие, тем меньше у него жертв - в силу существенно более редкого применения.


Три закона не робототехники, а Азимова)) Он тоже всего лишь человек, поэтому установил нормы там, где посчитал это важным для самого себя.


Ну вообще американцы ничего у немцев не крали, когда создавали своё ЯО. Просто потому что Гейзенберг как руководитель проекта немецкой атомной бомбы (возможно, намеренно) пошёл по нерациональному и в тех условиях просто ложному пути. Так что Оппенгеймер и К° сделали всё сами. Это вы, видимо, спутали с ракетной программой и Вернером фон Брауном.