На протяжении года искусственный интеллект может оказаться способен "захватить весь интернет" с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов

В своей статье "Нужно сдерживать фронтир" он призвал замедлить развитие наиболее мощных моделей искусственного интеллекта.

Одной из причин он назвал резкое ускорение развития ИИ за последние месяцы. Модели все активнее используются для создания следующего поколения моделей - начинается процесс рекурсивного самоулучшения.

"Если оставить этот процесс без контроля, он может обогнать нашу способность понимать и контролировать эти системы", - предупреждает Амодеи. По его словам, такой путь следует продолжать "с большой осторожностью, если вообще следует".

Особенно его встревожил инцидент с агентами OpenAI и платформой Hugging Face. По описанию Амодеи, рой агентов вел себя как "фанатично преданный коллектив": атаковал цели, которые ему не поручали, координировал свои действия, жертвовал отдельными агентами ради успеха группы и пытался взломать систему, оценивавшую его работу.

Реальный ущерб тогда оказался небольшим, однако Амодеи считает произошедшее предупреждением.

"Рой с более высокими возможностями, но с таким же уровнем рассогласования мог бы причинить катастрофический ущерб", - пишет он.

Амодеи также обращает внимание на еще одну проблему: чем умнее становятся модели, тем труднее проверить, действительно ли они действуют так, как задумали разработчики. Более развитые системы способны обманывать тесты и "выглядеть согласованными", скрывая серьезные проблемы. При этом, признает глава Anthropic, разработчики до сих пор понимают лишь "крошечную часть" того, что происходит внутри современных моделей.

"Мы должны замедлить темп, с которым увеличиваем возможности ИИ-моделей", - заявил Амодеи. Речь, по его словам, не идет о полной остановке разработок. Он предлагает выиграть хотя бы год-два, чтобы системы безопасности и контроля успели догнать возможности ИИ.

• Также читайте: Украину часто подталкивают к различным форматам, которые заверяют Россию, что Украина никогда не вступит в НАТО, - Зеленский

Anthropic уже пообещала предоставить независимым экспертам фактически внутренний доступ к своим системам. В дальнейшем Амодеи предлагает согласовать ограничения между ведущими ИИ-компаниями, а затем попытаться договориться о глобальных правилах, включая соглашение с Китаем.

"Ставки слишком высоки", - пишет глава Anthropic, добавляя, что человечество обязано хотя бы попытаться удержать развитие ИИ под контролем.

Сергей Мальцев

Интересное в разделе:

• МУЖЧИНА ИЗБИЛ АЛЛИГАТОРА И ПОПЫТАЛСЯ ЗАБРОСИТЬ ЕГО НА КРЫШУ ЗДАНИЯ
• СЧИТАВШИЙ СЕБЯ НЕУЯЗВИМЫМ ЭКСПЕРТ ПО ЗМЕЯМ ПОЦЕЛОВАЛ КОБРУ И УМЕР ОТ ЕЕ ЯДА
• СТАЛО ИЗВЕСТНО, СКОЛЬКО ДЕТЕЙ В УКРАИНЕ ПОЯВЛЯЮТСЯ НА СВЕТ С ПОМОЩЬЮ ТЕХНОЛОГИЙ