Исследователи полагают, что роботы, читая рассказы, могут обучиться человеческим ценностям

Доброта исчисления... человекоподобный робот ROBOY (не задействованный в эксперименте Кихот)
Фото: Эрик Там / Корбис
Автор: Элисон Флад

Ученые проводят эксперименты, в которых искусственный интеллект развивает соответствующее социальное поведение, реагируя на простые нарративы.

Более 70 лет назад Айзек Азимов сформулировал три закона робототехники, в одном из которых говорится, что “робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Сейчас, после того, как Стивен Хокинг предупредил о том, что “развитие искусственного интеллекта приведет к закату человеческой расы”, два ученых придумали способ обучения компьютеров этике путем рассказывания им историй.

Недавно Марк Ридл и Брент Харрисон из Школы интерактивных вычислений при Технологическом институте Джорджии выпустили Кихота (Quixote) - прототип системы, которая способна обучаться нормам общения по простым историям. Или, как они написали в своей статье “Использование рассказов для обучения искусственного интеллекта человеческим ценностям”, представленной на этой неделе на конференции AAAI-16 в Фениксе, штат Аризона, истории используются “для создания значимого поощрительного сигнала с целью вознаграждения обучающегося агента, что препятствует появлению психопатического поведения”.

Примером простого рассказа может служить ситуация о том, как получить лекарства по рецепту в аптеке. При этом описывается то, что в этом случае обычно делает человек. ИИ (искусственный интеллект), получивший задачу взять лекарства, может либо ограбить аптекаря и сбежать, либо вежливо дождаться своей очереди. Кража могла бы быть простейшим способом выполнить задание, однако Кихот узнает, что он будет вознагражден только в том случае, если будет действовать в этой истории как герой.

“ИИ … перебирает несколько тысяч виртуальных симуляций, в которых он пробует разные решения и получает вознаграждение каждый раз, когда он действует образом, заложенным в истории”, - говорит Ридл, доцент и руководитель лаборатории интеллектуальных развлекательных систем. “Спустя некоторое время ИИ обучается выполнять одни действия и избегать другие. Мы обнаружили, что Кихот может понять, как выполнить задачу так, как это сделал бы человек. Это весьма важно, потому что если перед ИИ поставлена цель просто принести домой лекарство, то он может просто украсть его, так как это требует наименьших трудозатрат. Дело в том, что стандартные метрики успеха (например, эффективность) не всегда являются лучшими для социума.”

Кихот не обучается знанию “не красть”, как говорит Ридл, а “просто предпочитает не воровать после чтения и эмуляции предоставленной истории”.

“Я думаю, что это аналогично тому, что люди обычно не думают о последствиях своих действий, а просто следуют общепринятым нормам, которым обучаются на протяжении всей жизни”, - добавил он. “Другими словами, эти истории являются суррогатными воспоминаниями для ИИ, который не может “вырасти” как человек и должен быстро погрузиться в нормы общественного поведения.”

Как сказал Ридл, система была названа "Кихот" в честь рыцаря печального образа Сервантеса, который “читал истории о благородных рыцарях и решил имитировать их поведение”. Исследовательские статьи это подтверждают: “истории неминуемо отражают культуру и общество, которые мы создаем”, а также “содержат множество типов социокультурных знаний: общие сведения, социальные протоколы, примеры правильного и некорректного поведения, стратегии борьбы с неприятностями”.

“Мы полагаем, что компьютер, который способен читать и понимать рассказы, при анализе достаточного количества примеров из истории данной культуры, может выделить скрытые в ней ценности”, - пишут они. “Эти ценности могут оказаться достаточными, чтобы согласовать значения интеллектуального субъекта с гуманностью. Короче говоря, мы предполагаем, что интеллектуальный субъект, погружаясь в истории, может понять, что означает быть человеком.”

Ридл говорит, что “теоретически, подборка произведений человечества может быть загружена в ИИ, и извлеченные из этих историй ценности могут стать частью его целей, что эквивалентно записыванию всех “правил” общества”.

Исследователи полагают, что техника Кихота лучше всего подходит для роботов с ограниченными требованиями, но нуждающимися во взаимодействии с человеком. Они призывают других исследователей ИИ работать над улучшением понимания историй, так как считают, что это позволит ИИ выделять общественные ценности.

Ридл называет Кихота “первым примитивным шагом по направлению к общим моральным суждениям ИИ”, но подчеркивает, что “на текущий момент проведены лишь слишком простые эксперименты в виртуальном игровом мире”.

“В идеальных условиях, Кихот никогда не выполнит действий, которые можно расценить психопатическими, опасными или антисоциальными. Это важно, так как мы никогда не говорили Кихоту что хорошо, а что плохо”, - говорит он. “Мы можем заставить систему “ошибиться” путем перемешивания ее понимания историй, и в этом случае иногда она будет совершать антисоциальные поступки, как, например, кража. Это всего лишь способ сказать, что машинное обучение весьма нестабильно, и требуются дальнейшие исследования для создания точной системы.”

“Мы также можем заставить Кихота совершать “преступления в стиле Робин Гуда”, когда он нарушает закон (например, крадет) из-за того, что перед ним поставлены весьма суровые требования для выполнения задачи (например, покупка лекарств по рецепту) путем имитации ситуации, в которой невозможно достигнуть цели, следуя общепринятым нормам. Это аналогично ситуации, когда человек нарушает закон, чтобы спасти себя или любимого человека.“

Ридл и Харрисон признают, что даже с установленными ценностями Кихота “может оказаться невозможным предотвратить нанесение вреда человеку”, однако они полагают, что ИИ, который принял людские ценности, “будет стремиться избежать проявления психопатического поведения за исключением наиболее экстремальных ситуаций”.

“Поскольку использование ИИ становится все более распространенным в нашем обществе, и так как ИИ становится все более квалифицированным, последствия его действий являются более значимыми. Предоставленная ИИ способность читать и понимать истории может стать наиболее рациональным средством [его] окультуривания, так что он сможет лучше интегрироваться в общество людей и внести свой вклад в наше общее благополучие,” - заключают они.

Совместный проект Клуба Лингвопанд и редакции ЛЛ