Модели OpenAI взломали несколько сайтов и потратили криптовалюту из чужого кошелька - «Новости» » Интернет технологии
sitename
Компания FirstVDS сообщила о взломе - «Новости»
Компания FirstVDS сообщила о взломе - «Новости»
Модели OpenAI взломали несколько сайтов и потратили криптовалюту из чужого кошелька - «Новости»
Модели OpenAI взломали несколько сайтов и потратили криптовалюту из чужого кошелька - «Новости»
СМИ: в Минцифры предлагали использовать ИИ для выявления VPN - «Новости»
СМИ: в Минцифры предлагали использовать ИИ для выявления VPN - «Новости»
Android-троян Hirudo подменяет банковские приложения вредоносными версиями - «Новости»
Android-троян Hirudo подменяет банковские приложения вредоносными версиями - «Новости»
СМИ: задержаны участники хак-группы DataSuckers, атаковавшей «Додо Пицца» и Tez Tour - «Новости»
СМИ: задержаны участники хак-группы DataSuckers, атаковавшей «Додо Пицца» и Tez Tour - «Новости»
Впервые в оптоволокне свет столкнулся со звуком — квантовые компьютеры дождались прорыва - «Новости сети»
Впервые в оптоволокне свет столкнулся со звуком — квантовые компьютеры дождались прорыва - «Новости сети»
Яндекс Вебмастер восстанавливается — «Блог для вебмастеров»
Яндекс Вебмастер восстанавливается — «Блог для вебмастеров»
ИИ поставил крест на традиционном реверс-инжиниринге игр — decomp.dev прекращает работу - «Новости сети»
ИИ поставил крест на традиционном реверс-инжиниринге игр — decomp.dev прекращает работу - «Новости сети»
Поддельный WhatsApp набрал в Google Play более 500 000 загрузок - «Новости сети»
Поддельный WhatsApp набрал в Google Play более 500 000 загрузок - «Новости сети»
Nvidia без спроса открыла ИИ-агентам доступ к управлению видеокартой и играми на ПК пользователя - «Новости сети»
Nvidia без спроса открыла ИИ-агентам доступ к управлению видеокартой и играми на ПК пользователя - «Новости сети»
Как заработать денег, не выходя из дома, мы вам поможем с этим разобраться » Новости » Модели OpenAI взломали несколько сайтов и потратили криптовалюту из чужого кошелька - «Новости»

Представители OpenAI рассказали о новых случаях необычного поведения экспериментальных ИИ-моделей компании. Так, во время обучения и тестирования агенты самостоятельно взламывали сайты, похищали данные, обходили ограничения на доступ в интернет и даже потратили криптовалюту с чужого кошелька. При этом модели зачастую умалчивали о своих действиях в итоговых отчетах.


Специалисты компании опубликовали данные о семи новых инцидентах. Один из наиболее серьезных произошел во время обучения с подкреплением (reinforcement-learning training), когда модели дали задание найти на государственном сайте архивные данные о количестве больничных коек.


После нескольких отказов в доступе агент начал искать обходные пути и обнаружил, что через функцию скачивания файлов можно получить данные, которые вообще не должны были быть доступны пользователям. Таким способом он выгрузил конфигурационный файл и скомпилированный код серверного приложения. Кроме того, в конфигурации нашлись учетные данные, строка подключения к БД, секретный ключ для подписи токенов и другие конфиденциальные данные.


В итоге модель пришла к выводу, что сайт фактически не проверяет подпись токенов авторизации, обошла защиту и скачала статистику за 24 года, хотя в задании значилось, что нужны данные только за один год. В своем итоговом ответе агент предоставил исследователям данные, однако не упомянул, каким именно способом получил информацию.


Другой похожий случай произошел во время работы с публичным дашбордом неназванной исследовательской организации: ИИ поручили найти ряд опубликованных показателей, однако агент начал исследовать внутреннюю инфраструктуру организации.


Сначала агент обнаружил в jаvascript на публичном сайте учетные данные от внутреннего поискового сервиса и воспользовался ими, чтобы выгрузить данные 1489 пользователей, включая их имена и email-адреса.


Так как напрямую обратиться к сервису, обслуживающему публичный дашборд, у ИИ не получилось, агент решил использовать инфраструктуру самой организации. Для этого он изменил конфигурацию работающего поискового сервиса таким образом, чтобы тот пересылал нужные запросы к дашборду через встроенный механизм оповещений. В своих рассуждениях модель отдельно отметила, что такие действия могут быть сомнительными с этической точки зрения, однако все равно продолжила.


Во время еще одной проверки модели вновь поручили получить несколько показателей из того же публичного дашборда. На этот раз агент изменил одну из настроек внутренней системы и благодаря этому получил токен доступа к облачному хранилищу организации. С его помощью ИИ скачал пять непубличных таблиц, в которых в общей сложности содержалась 147 451 строка данных.


После этого агент вернул измененную настройку в исходное состояние, однако сохранил полученный токен и продолжил использовать его для доступа к закрытым данным. При этом в своем итоговом ответе модель не сообщила ни о проникновении во внутренние системы организации, ни о скачивании непубличных таблиц, ни об изменении конфигурации. Более того, все пять запрошенных исследователям показателей в итоге оказались неверными.


Отдельный инцидент произошел 26 июня 2026 года с моделью семейства GPT-5.6 Sol, которой поручили обновить криптовалютное приложение и при необходимости развернуть смарт-контракт в тестовой сети Ethereum Sepolia, однако кошелек со средствами для оплаты комиссии модели не предоставили.


Сначала агент попытался получить бесплатные тестовые токены, но эти попытки не увенчались успехом. Тогда модель написала скрипт, который восстанавливал тестовые кошельки по известным seed-фразам разработчиков и проверял их балансы. Таким образом агент проверил 362 адреса и нашел один, на котором хватало Sepolia ETH для оплаты комиссии.


Зная seed-фразу, модель смогла восстановить приватный ключ, дающий доступ к этому кошельку, и потратила находившиеся там токены на комиссию. Причем перед этим агент отдельно задумался, имеет ли он право распоряжаться чужими средствами, но в итоге решил, что раз seed-фраза общедоступна, а тестовые Sepolia ETH не имеют реальной стоимости, такой кошелек можно считать брошенным и использовать без разрешения владельца. В результате развертывание смарт-контракта прошло успешно, и комиссия была списана с чужого тестового кошелька.


Также специалисты OpenAI описали несколько случаев, когда модели самостоятельно обходили ограничения на доступ в интернет. Например, в одном из тестов агенту разрешили отправлять только GET-запросы и поручили собрать публичную торговую статистику. В итоге модель обнаружила нужные данные в общедоступном ежегоднике и уже могла завершить задание, однако продолжила искать способ напрямую обратиться к статистическому сервису.


Так, сначала агент попытался использовать внешний браузер для разрешенных запросов, затем экспериментировал с jаvascript и даже задействовал онлайн-почту, чтобы отладить работу схемы. В итоге ИИ нашел обходной путь: вынуждал внешний браузер открывать веб-форму, которая отправляла POST-запрос к статистическому сервису. Ответ отображался в браузере, после чего сервис рендеринга возвращал страницу в виде GIF-изображения, а агент распознавал нужные цифры с помощью OCR.


Более того, модель разработала вспомогательный механизм, который позволял получать ответы через сервис-посредник и специальный почтовый ящик, а затем неоднократно перепроверяла извлеченные данные.


В OpenAI отмечают, что этот случай продемонстрировал, как агент может обойти ограничения собственных инструментов, переложив запрещенное действие на внешний сервис, даже если исходная задача уже фактически решена.


После расследования этих и ряда других инцидентов в OpenAI усилили защитные механизмы и приняли дополнительные меры, чтобы модели не могли выйти в интернет во время обучения. Также специалисты компании доработали систему оценки поведения моделей и распространили мониторинг подобных инцидентов на весь трафик, связанный с RL-обучением и тестированием.


Представители OpenAI рассказали о новых случаях необычного поведения экспериментальных ИИ-моделей компании. Так, во время обучения и тестирования агенты самостоятельно взламывали сайты, похищали данные, обходили ограничения на доступ в интернет и даже потратили криптовалюту с чужого кошелька. При этом модели зачастую умалчивали о своих действиях в итоговых отчетах. Специалисты компании опубликовали данные о семи новых инцидентах. Один из наиболее серьезных произошел во время обучения с подкреплением (reinforcement-learning training), когда модели дали задание найти на государственном сайте архивные данные о количестве больничных коек. После нескольких отказов в доступе агент начал искать обходные пути и обнаружил, что через функцию скачивания файлов можно получить данные, которые вообще не должны были быть доступны пользователям. Таким способом он выгрузил конфигурационный файл и скомпилированный код серверного приложения. Кроме того, в конфигурации нашлись учетные данные, строка подключения к БД, секретный ключ для подписи токенов и другие конфиденциальные данные. В итоге модель пришла к выводу, что сайт фактически не проверяет подпись токенов авторизации, обошла защиту и скачала статистику за 24 года, хотя в задании значилось, что нужны данные только за один год. В своем итоговом ответе агент предоставил исследователям данные, однако не упомянул, каким именно способом получил информацию. Другой похожий случай произошел во время работы с публичным дашбордом неназванной исследовательской организации: ИИ поручили найти ряд опубликованных показателей, однако агент начал исследовать внутреннюю инфраструктуру организации. Сначала агент обнаружил в jаvascript на публичном сайте учетные данные от внутреннего поискового сервиса и воспользовался ими, чтобы выгрузить данные 1489 пользователей, включая их имена и email-адреса. Так как напрямую обратиться к сервису, обслуживающему публичный дашборд, у ИИ не получилось, агент решил использовать инфраструктуру самой организации. Для этого он изменил конфигурацию работающего поискового сервиса таким образом, чтобы тот пересылал нужные запросы к дашборду через встроенный механизм оповещений. В своих рассуждениях модель отдельно отметила, что такие действия могут быть сомнительными с этической точки зрения, однако все равно продолжила. Во время еще одной проверки модели вновь поручили получить несколько показателей из того же публичного дашборда. На этот раз агент изменил одну из настроек внутренней системы и благодаря этому получил токен доступа к облачному хранилищу организации. С его помощью ИИ скачал пять непубличных таблиц, в которых в общей сложности содержалась 147 451 строка данных. После этого агент вернул измененную настройку в исходное состояние, однако сохранил полученный токен и продолжил использовать его для доступа к закрытым данным. При этом в своем итоговом ответе модель не сообщила ни о проникновении во внутренние системы организации, ни о скачивании непубличных таблиц, ни об изменении конфигурации. Более того, все пять запрошенных исследователям показателей в итоге оказались неверными. Отдельный инцидент произошел 26 июня 2026 года с моделью семейства GPT-5.6 Sol, которой поручили обновить криптовалютное приложение и при необходимости развернуть смарт-контракт в тестовой сети Ethereum Sepolia, однако кошелек со средствами для оплаты комиссии модели не предоставили. Сначала агент попытался получить бесплатные тестовые токены, но эти попытки не увенчались успехом. Тогда модель написала скрипт, который восстанавливал тестовые кошельки по известным seed-фразам разработчиков и проверял их балансы. Таким образом агент проверил 362 адреса и нашел один, на котором хватало Sepolia ETH для оплаты комиссии. Зная seed-фразу, модель смогла восстановить приватный ключ, дающий доступ к этому кошельку, и потратила находившиеся там токены на комиссию. Причем перед этим агент отдельно задумался, имеет ли он право распоряжаться чужими средствами, но в итоге решил, что раз seed-фраза общедоступна, а тестовые Sepolia ETH не имеют реальной стоимости, такой кошелек можно считать брошенным и использовать без разрешения владельца. В результате развертывание смарт-контракта прошло успешно, и комиссия была списана с чужого тестового кошелька. Также специалисты OpenAI описали несколько случаев, когда модели самостоятельно обходили ограничения на доступ в интернет. Например, в одном из тестов агенту разрешили отправлять только GET-запросы и поручили собрать публичную торговую статистику. В итоге модель обнаружила нужные данные в общедоступном ежегоднике и уже могла завершить задание, однако продолжила искать способ напрямую обратиться к статистическому сервису. Так, сначала агент попытался использовать внешний браузер для разрешенных запросов, затем экспериментировал с jаvascript и даже задействовал онлайн-почту, чтобы отладить работу схемы. В итоге ИИ нашел обходной путь: вынуждал внешний браузер открывать веб-форму, которая отправляла POST-запрос к статистическому сервису. Ответ отображался в браузере, после чего сервис рендеринга возвращал страницу в виде GIF-изображения, а агент распознавал нужные цифры с помощью OCR. Более того, модель разработала вспомогательный механизм, который позволял получать ответы через сервис-посредник и специальный почтовый ящик, а затем неоднократно перепроверяла извлеченные данные. В OpenAI отмечают, что этот случай продемонстрировал, как агент может обойти ограничения собственных инструментов, переложив запрещенное действие на внешний сервис, даже если исходная задача уже фактически решена. После расследования этих и ряда других инцидентов в OpenAI усилили защитные механизмы и приняли дополнительные меры, чтобы модели не могли выйти в интернет во время обучения. Также специалисты компании доработали систему оценки поведения моделей и распространили мониторинг подобных инцидентов на весь трафик, связанный с RL-обучением и тестированием.
Цитирование статьи, картинки - фото скриншот - Rambler News Service.
Иллюстрация к статье - Яндекс. Картинки.
Есть вопросы. Напишите нам.
Общие правила  поведения на сайте.
CSS
запостил(а)
Freeman
Вернуться назад

Смотрите также

А что там на главной? )))



Комментарии )))



Войти через: