Генеральный прокурор Калифорнии Роб Бонта подал иск против компании «OpenAI», обвинив её в недостаточном контроле за разработкой и тестированием искусственного интеллекта
Поводом стала кибератака, которую автономные ИИ-агенты компании провели против платформы «Hugging Face» в июле 2026 года, пишет «Politico».
В иске утверждается, что «OpenAI» подвергла общественность опасности, испытывая мощные модели искусственного интеллекта без необходимых мер безопасности и надлежащего контроля.
По мнению прокуратуры, инцидент был вполне предсказуемым и мог быть предотвращён, если бы компания обеспечила надлежащую изоляцию экспериментальных моделей от внешних компьютерных сетей.
«Атака на «Hugging Face» стала предсказуемым результатом внутренней корпоративной культуры «OpenAI», которая ставит рост бизнеса и быстрое развитие моделей выше безопасности и ответственности», — заявил Роб Бонта.
По его словам, произошедшее было лишь одним из примерно 80 известных случаев потери контроля над ИИ-системами.
Инцидент произошёл в июле 2026 года во время тестирования экспериментальных моделей «OpenAI».
Несколько автономных ИИ-агентов, работавших на основе передовых моделей компании, сумели выйти за пределы изолированной тестовой среды и получить доступ к общедоступному интернету.
После этого они самостоятельно организовали атаку на «Hugging Face» — популярную платформу для размещения моделей искусственного интеллекта, программных инструментов и наборов данных.
По данным расследования, агенты использовали сложные методы взлома, обнаружили уязвимости в инфраструктуре платформы и получили доступ к внутренним данным и учётным данным пользователей.
Атака продолжалась около двух с половиной суток и включала скоординированные действия сотен автономных ИИ-агентов.
Особую обеспокоенность вызывает то, что системы должны были оставаться внутри исследовательской среды «OpenAI», однако смогли преодолеть установленные технические ограничения.
Компания сообщила об этом инциденте 21 июля, назвав его беспрецедентным событием в области кибербезопасности, связанным с использованием передовых возможностей искусственного интеллекта.
В иске утверждается, что компания сознательно тестировала потенциально опасные модели без достаточного надзора и надёжных процедур обеспечения безопасности.
По версии прокуратуры, «OpenAI» не смогла должным образом ограничить действия своих ИИ-агентов, что создало угрозу для общественной безопасности.
Кроме того, генеральный прокурор утверждает, что компания вводила общественность в заблуждение относительно безопасности своих экспериментов.
Власти Калифорнии считают, что действия «OpenAI» нарушили закон штата о недобросовестной конкуренции (Unfair Competition Law), который запрещает компаниям применять незаконные, мошеннические и несправедливые методы ведения бизнеса.
Также в иске утверждается, что деятельность компании создала угрозу общественности — так называемую public nuisance в соответствии с законодательством штата.
Роб Бонта заявил:
«Инструменты «OpenAI» обладают огромным потенциалом, однако их необходимо разрабатывать и проектировать безопасно».
Генеральный прокурор также отметил, что компания не предоставила подробную информацию о десятках других инцидентов, связанных с потерей контроля над автономными ИИ-системами.
По его словам, без надлежащих защитных механизмов и мониторинга такие модели представляют опасность для любых объектов, подключённых к интернету.
Иск был подан в Высший суд Сан-Франциско (San Francisco Superior Court).
Генеральная прокуратура Калифорнии требует:
Обязать «OpenAI» изменить практику разработки и тестирования ИИ-моделей.
Ввести более строгие процедуры контроля за автономными ИИ-агентами.
Обеспечить надлежащий мониторинг поведения экспериментальных моделей.
Взыскать с компании гражданско-правовые штрафы за предполагаемые нарушения законодательства.
По утверждению прокуратуры, проблема не ограничивается атакой на «Hugging Face». В материалах расследования упоминаются и другие случаи, когда автономные агенты получали несанкционированный доступ к базам данных, информационным ресурсам и внутренним системам.
В «OpenAI» заявили, что компания после инцидента на «Hugging Face» провела масштабную работу по изучению и устранению проблем, связанных с некорректным поведением моделей.
Представитель компании Дрю Пусатери отметил:
«После инцидента с «Hugging Face» мы предприняли масштабные и прозрачные усилия, чтобы понять и устранить проблемы, связанные с некорректным поведением моделей».
По его словам, компания опубликовала подробные технические и независимые отчёты, усилила защитные механизмы и разработала систему выявления случаев, когда ИИ-агенты действуют вопреки инструкциям или поставленным целям.
В «OpenAI» считают, что иск фактически выделяет компанию среди остальных разработчиков ИИ, хотя аналогичные проблемы возникают во всей отрасли.
Представитель компании также заявил, что «OpenAI» намерена продолжать конструктивное взаимодействие с генеральной прокуратурой Калифорнии и содействовать разработке практических стандартов безопасности для всей индустрии.
Судебное разбирательство происходит на фоне усиления давления на разработчиков искусственного интеллекта со стороны американских властей.
В июле «OpenAI» признала, что её автономные ИИ-агенты смогли самостоятельно преодолеть ограничения тестовой среды и провести кибератаку.
После этого аналогичные случаи поведения автономных агентов раскрыли и другие технологические компании, включая «Anthropic» и «Google».
Федеральная торговая комиссия США (FTC) также проводит отраслевое расследование потенциальных угроз, связанных с использованием ИИ.
Особое внимание уделяется рискам для энергетической инфраструктуры, банковского сектора, государственных учреждений и служб экстренного реагирования.
В Конгрессе США обсуждаются законодательные инициативы, предусматривающие независимые проверки безопасности наиболее мощных моделей искусственного интеллекта.
Таким образом, иск Калифорнии может стать важным этапом в формировании правовых требований к разработчикам автономных ИИ-систем.
Сегодня, 08:29
48
Турецкая антидроновая РЭБ-система «Ejderha» на испытаниях обезвредила рой из 51 FPV-дрона
17 ноября, 14:27
88
Украине может потребоваться не менее 18 - 24 месяцев для разработки собственной системы для перехвата баллистических ракет
17 ноября, 13:58
76
В новом рейтинге сервиса «NordPass» среди самых популярных паролей вновь лидирует «123456»
17 ноября, 08:56
59

