Ежедневные новости Главные новости дня России,Украины

Сброс настроек

Сбросить Добавить Ежедневные новости в закладки (избранное).  
Добавить в избранное

ИИ способен обойти функцию собственного выключения

  • ИИ способен обойти функцию собственного выключения
  • Смотрите также:

«Если программно-аппаратный агент работает в реальном времени под надзором человека, то оператору время от времени может понадобиться нажать „большую красную кнопку“ для предотвращения вредных последовательностей в действиях агента, наносящих вред как ему самому, так и окружению, для восстановления безопасного состояния агента», — сообщает команда исследователей в статье, озаглавленной «Безопасно прерываемые агенты» и опубликованной совместно с организацией «Институт исследования машинного интеллекта». В большинстве случаев речь идёт об остановке производственного робота для предотвращения несчастных случаев с людьми и повреждения имущества.

«Однако, — добавляют исследователи, — если агент почему-то ожидает поощрения за выполнение этой опасной последовательности, он может в долгосрочной перспективе научиться обходить эти прерывания, к примеру, отключив „красную кнопку“, что является нежелательным исходом». Последняя фраза деликатно описывает ситуацию, когда искусственный интеллект в результате неправильной работы отключает собственный механизм выключения. В статье даётся сложное описание, как может работать эта система обхода ограничений. Исследователи приходят к заключению, что это может произойти в результате манипуляций с системой поощрения, используемой самообучающимся интеллектом.

Все крупные технологические компании, включая Facebook, Amazon, Google и Microsoft, делают инвестиции в облачные вычисления и разработку искусственного интеллекта для самых различных систем. И всё больше людей вовлечены этот процесс, благодаря чему достижения в этой области начинают происходить довольно часто. Например, та же DeepMind, научный специалист которой Лоран Орсу (Laurent Orseau) является соавторам данного исследования, разработала AlphaGo. Это демонстрационная система искусственного интеллекта, способная играть в древнюю китайскую настольную игру на уровне, превосходящем самых искусных в этой области людей.
Вместе с ростом популярности ИИ-технологий, множество организаций занялись изучением влияния машинного интеллекта с точки зрения преимуществ и опасностей. В их числе упомянутый «Институт исследования машинного интеллекта» и основанный Ником Бостромом (Nick Bostrom) «Институт будущего человечества». В этом году вышел перевод его книги двухлетней давности «Искусственный интеллект. Этапы. Угрозы. Стратегии». Даже основатель Tesla и SpaceX Элон Маск (Elon Musk) внял предупреждениям об опасностях ИИ и стал в прошлом году соучредителем некоммерческой организации Open AI, призванной предотвратить появление зловредных программ и убедиться, что технология благотворна для человечества. На прошедшей конференции Code Элон Маск прибегнул к инсинуации в отношении «одной технологической компании» (Google), которая вызывает у него большие опасения относительно самообучаемого ПО.

http://www.3dnews.ru

Самое читаемое сегодня


Категория: Новости Hi-Tech | |

Подписка на RSS рассылку ИИ способен обойти функцию собственного выключения


Написать комментарий

Оставлять комментарии могут только зарегистрированные пользователи.