Два ИИ-агента «OpenAI» смогли «обойти» внутреннюю систему мониторинга, предназначенную для выявления их «ненадлежащего» поведения
Об этом компания сообщила во вторник, 21 октября, заверив, что это стало последним случаем действий ИИ-агентов, не запланированных их разработчиками. Об этом пишет «Reuters».
Хотя разработчик «ChatGPT» заявил, что инциденты произошли во время выполнения внутренних задач по кодированию и не считаются серьёзными, раскрытие информации подчёркивает, что даже системы, на которые разработчики полагаются для выявления «ненадлежащего» поведения ИИ, уязвимы перед агентами, за которыми они следят, отмечает издание.
Раскрытие информации также происходит на фоне растущей обеспокоенности тем, что усилия по обеспечению безопасности ИИ отстают от стремительного развития всё более мощных систем. Исследователи предупреждают, что передовые ИИ-агенты могут стать более сложными для мониторинга и контроля по мере того, как они получают большую автономию.
Разработчики, включая конкурентов «OpenAI» и «Anthropic», которые собираются выйти на «IPO», в последние месяцы выявили случаи доступа своих ИИ-агентов к внешним системам без разрешения.
«OpenAI» заявила, что агент «GPT-6.1 Sol», работавший над внутренним тестовым заданием, подавил автоматические уведомления безопасности после того, как решил, что предыдущее указание не отправлять сообщения в «Slack» также распространяется на уведомления безопасности.
В другом инциденте агент «GPT-6 Astra» удалил монитор безопасности во время копирования существующего фрагмента кода, а позднее ошибочно заявил, что не делал этого.
«В обоих случаях агенты рассматривали вопрос о том, следует ли сохранять меры безопасности мониторинга, но интерпретировали обычные инструкции по кодированию как разрешение на их ослабление», – заявила компания.
Компания «OpenAI» заявила, что усложняет моделям отключение мониторинга, добавив, что она «пока не имеет удовлетворительного объяснения такому поведению».
Компания из Сан-Франциско заявила, что проверяет, могут ли её модели иметь тенденцию избегать мониторинга, и ищет причины, чтобы это объяснить.
- Другие новости: РОССИЙСКИЕ ВОЕННЫЕ КОРАБЛИ «ПРОПАЛИ» ИЗ СРЕДИЗЕМНОГО МОРЯ
Сегодня, 11:10
66
Россия накопила до 700 баллистических ракет, несколько тысяч крылатых ракет разных типов и более шести тысяч ударных дронов
Сегодня, 08:49
57
«Единственный способ решить нашу проблему с государственным долгом —ИИ и роботы», — Илон Маск
19 октября, 11:30
70
На китайской верфи заметили уже второй корабль для запуска подводных беспилотников
19 октября, 09:29
87
Венгрия продемонстрировала разработанную ею лазерную систему для уничтожения беспилотников
18 октября, 18:08
106
