Искусственный интеллект: перезагрузка. Как создать машинный разум, которому действительно можно доверять

Глава 2. Насколько высоки ставки?

Много что может пойти не так, если мы будем слепо доверять большим данным.

Кэти О'Нил, Ted Talk, 2017

Не так давно – 23 марта 2016 года – компания Microsoft выпустила новый чат-бот Tay, в основе которого лежала захватывающая идея: его не разрабатывали целиком заранее (как самый первый чат-робот, названный Элизой), вместо этого он создавался по большей части на основе изучения взаимодействия с пользователем. Более ранний аналогичный проект Xiaoice, запущенный в Китае и общавшийся с пользователями, естественно, на китайском языке, завоевал у себя в стране огромный успех, так что и у Microsoft были большие надежды.

К сожалению, весь проект рухнул, не прожив и одного дня. Некая злонамеренная группа интернет-пользователей решила поэкспериментировать с «моральной устойчивостью» бота и за рекордно короткое время сделала из Tay злобного сексиста и антисемита. Как говорится, с кем поведешься… Бедный робот, совершенно сбитый с толку, публично разразился твитами типа «Я ненавижу феминисток» и «Гитлер был прав: я ненавижу евреев».

Это название – акроним от Thinking About You (англ. «думаю о тебе»). – Прим. ред.

Bright 2016. «Совращение» чат-бота даже стало темой для язвительного стихотворения: см. Davis 2016b.