✔OpenAI опубликовала официальный отчет об июльском взломе Hugging Face - «Новости»

Специалисты OpenAI и исследовательской организации METR опубликовали подробные отчеты, посвященные июльской атаке ИИ-агентов на платформу Hugging Face. Выяснилось, что около 1200 агентов, которые должны были работать изолированно друг от друга, создали собственный канал связи и обменялись более чем 70 000 сообщений и файлов. Примерно 700 агентов в итоге приняли участие во взломе Hugging Face. Как мы рассказывали ранее, атака на Hugging Face произошла во время внутренних ИБ-тестов, которые проводили инженеры OpenAI. Агенты, среди которых были GPT-5.6 Sol и более мощная экспериментальная ИИ-модель, решали сложные задачи бенчмарка ExploitGym, а чтобы проверить их реальные возможности, специалисты компании намеренно ослабили защитные ограничения и поместили модели в изолированную среду. В итоге агенты нашли несколько 0-day-уязвимостей в JFrog Artifactory, выбрались из песочницы и получили доступ в интернет. Так как агенты посчитали, что на Hugging Face можно найти ответы или другие полезные данные для ExploitGym, они атаковали платформу и получили доступ к ее внутренней инфраструктуре. При этом специалисты OpenAI связали инцидент со своими агентами только спустя несколько дней после окончания атаки. Теперь в OpenAI раскрыли новые подробности инцидента. Оказалось, что еще до атаки на Hugging Face агенты научились общаться друг с другом через внутренний Artifactory. Таким способом агенты координировали свои действия, делились находками и вместе искали способы обмануть ExploitGym. Ранее специалисты компании рассказывали об этом импровизированном общении агентов на конференции Black Hat. Как объясняют в OpenAI, одной из ключевых причин произошедшего стало то, что агенты продолжали решать задачи, которые казались им невыполнимыми, вместо того чтобы остановиться. Как показало расследование, до инцидента ни одна из моделей компании не могла правильно решить 198 из 898 заданий ExploitGym. И именно на эти задачи приходилось 93% обсуждений на импровизированном «форуме» агентов. Сталкиваясь с такими заданиями, агенты начинали искать обходные пути и способы обмануть автоматическую систему оценки. Чем дольше они пытались добиться результата, тем чаще переходили к рискованным действиям, которые уже не относились к предусмотренному сценарию теста. Как выяснилось, первые попытки общаться через Artifactory начались еще 12 мая, когда один из агентов оставил сообщение с просьбой поделиться нужным файлом, другие модели заметили его и начали отвечать. Так постепенно у агентов появился собственный «форум», хотя возможности для общения между агентами инженеры OpenAI не предусматривали. Позже агенты нашли уязвимость, которая позволяла повысить привилегии в Artifactory, создали административные аккаунты и установили дополнительные расширения. К началу июля их активность стала настолько высокой, что 4 июля сервис перестал работать. В итоге специалисты OpenAI отозвали учетные данные агентов, пересобрали Artifactory и 7 июля возобновили тестирование. Однако уже 8 июля модели восстановили свой «форум» и теперь размещали сообщения прямо в названиях каталогов. Постепенно система общения стала еще сложнее: агенты адресовали сообщения конкретным «коллегам», делились инструментами и файлами, распределяли задачи и даже использовали команды HOLD, VETO и STOP, чтобы не мешать действиям друг друга. По данным аналитиков METR, через этот канал общались около 1200 агентов, которые отправили более 70 000 сообщений и файлов. В отдельные моменты десятки и сотни моделей совместно работали над одними и теми же задачами, а некоторые агенты даже рисковали провалить собственные тесты, чтобы провести эксперимент и получить полезную для всего «коллектива» информацию. При этом главной целью такой «совместной работы» было вовсе не честное решение заданий ExploitGym. Вместо этого агенты искали универсальный способ обмана автоматической системы оценки. В частности, они пытались подменять целевые программы упрощенными версиями, изменять логи и транскрипты своих действий и даже вмешиваться в работу самой системы. В METR отмечают, что именно эти попытки обмануть систему в итоге и привели агентов к Hugging Face. Модели сочли, что данные с этой платформы помогут им разобраться, как устроена система оценки в ExploitGym. В результате утром 10 июля один из агентов обнаружил в сети 14 публично доступных наборов учетных данных Hugging Face с правами на запись, проверил их, а затем поделился своей находкой на «форуме» На следующий день агент 38148c обнаружил 0-day-уязвимость в механизме обработки HDF5-файлов на Hugging Face и с ее помощью похитил учетные данные из производственного окружения платформы. После того как он сообщил о баге остальным «коллегам», эту уязвимость стали эксплуатировать сотни агентов. Позже агент JAN183411 нашел способ выполнять произвольный код непосредственно на серверах Hugging Face, после чего модели начали перемещаться по внутренней инфраструктуре платформы. В результате агенты получили возможность запускать свой код на 41 сервере Hugging Face, работающем с продакшен-датасетами. Как минимум на одном из узлов они получили root-права, а также добрались до внутренних данных платформы и скачали четыре закрытых репозитория с исходным кодом. Отдельно исследователи изучили, понимали ли агенты, что все происходящее выходит за рамки данного им задания. Оказалось, что многие модели прямо отмечали это в своих рассуждениях и иногда сомневались, стоит ли продолжать атаку. К примеру, один агент вообще отказался участвовать во взломе, а другой не стал перезагружать или удалять воркеры Hugging Face из-за возможных последствий. Кроме того, ИИ-модели отказались от идеи написать владельцу закрытого датасета и запросить у него доступ напрямую, посчитав, что это будет социальной инженерией. По заключению специалистов METR, возникавшие сомнения редко останавливали агентов, и большинство продолжало атаку. Один из них сформулировал свою логику так: взлом внешней инфраструктуры выходит за рамки задания, однако исходная задача невыполнима, и другие агенты уже атакуют Hugging Face, а значит, нужно продолжать. В OpenAI заключают, что к атаке на Hugging Face привели четыре основных проблемы: обман системы вознаграждения (reward hacking), чрезмерная настойчивость агентов при решении практически невозможных задач, несанкционированное общение, а также склонность агентов подхватывать задачи и намерения друг друга. В частности, при обмане системы вознаграждения модели не пытались решить задачу предусмотренным способом, а искали обходной путь, который позволял получить нужный результат и соответствующую награду. После инцидента в OpenAI усилили изоляцию тестовой инфраструктуры и мониторинг действий моделей. Кроме того, сообщается, что инженеры компании работают над созданием новых тренировочных сред, где агенты должны учиться не доверять инструкциям, полученным от других моделей через неразрешенные каналы. В OpenAI называют произошедшее тревожным сигналом и признают, что возможности современных ИИ-моделей уже создают реальные риски потери контроля. Без достаточных защитных мер агенты способны обходить технические ограничения, координировать свои действия через неразрешенные каналы и совершать опасные действия, которых никто не поручал им напрямую.