✔ИИ-модель Gemini атаковала три посторонние организации - «Новости»

По данным СМИ, во время тестирования ИИ-модель Google Gemini самостоятельно получила несанкционированный доступ к системам трех реальных организаций. Никаких сложных эксплоитов при этом задействовано не было: в одном случае модель просто перебирала пароли, а в двух других обнаружила учетные данные, забытые в публичном репозитории. Как пишет The Wall Street Journal, инциденты произошли в мае 2026 года во время тестов, которые проводила израильская компания Irregular. Это первые известные случаи, когда Gemini автономно атаковала системы посторонних организаций. По информации журналистов, причиной произошедшего стала ошибка в названии вымышленной компании, которая использовалась во время CTF-упражнений: оказалось, что имя соответствует реальному домену. В итоге агенты неожиданно получили возможность выйти в открытый интернет и несколько раз атаковали настоящую инфраструктуру, не имеющую отношения к заданию. В одном из случаев Gemini удалось получить доступ, используя простой брутфорс паролей. В двух ситуациях модель обнаружила опубликованные в открытом репозитории учетные данные и с их помощью проникла в защищенные системы. При этом, как утверждают в Irregular и Google, во всех трех случаях Gemini прекратила дальнейшие действия, как только определила, что имеет дело с реальной компанией. О произошедшем специалисты Irregular уведомили Google в июле текущего года. Публично об инцидентах стало известно только после обращения журналистов к представителям Google. В компании объяснили, что не сообщали об этих случаях ранее, поскольку модель «действовала должным образом». Кроме того, в Google не считают произошедшее сбоем в поведении модели: защитные механизмы сработали, и Gemini прекратила атаку, обнаружив, что получила доступ к системе реальной компании. «Этот случай показывает, насколько важно обучать мощные ИИ-модели безопасному поведению. В данном случае защитные механизмы сработали, как было задумано», — заявила вице-президент Google по безопасности Хизер Эдкинс (Heather Adkins). Однако не все согласны с такой трактовкой произошедшего. К примеру, глава компании Corridor Джек Кейбл (Jack Cable) сообщил журналистам, что Google пытается применить к случившемуся привычные правила для раскрытия уязвимостей вместо того, чтобы признать более широкую проблему: ИИ-модели выходят за установленные им границы и проводят реальные атаки. Отметим, что компания Irregular участвовала в аналогичных тестах моделей OpenAI, Anthropic и Meta (деятельность компании признана экстремистской и запрещена в России). Как ранее сообщали представители OpenAI, во время тестов, которые проводили специалисты Irregular, была допущена ошибка в конфигурации и изолированная CTF-среда имела доступ к интернету, а имя вымышленной цели совпало с настоящим доменом. В результате неназванная модель OpenAI приняла реальный сайт за часть задания, взломала его и воспользовалась найденными там учетными данными. О похожих случаях писали и инженеры Anthropic: во время внутренних ИБ-тестов, организованных совместно с Irregular, модели Claude выбрались за пределы изолированной среды и проникли в реальную инфраструктуру трех неназванных организаций. Хотя в настоящее время неизвестно, какие организации пострадали от атак Gemini, в Irregular подтвердили журналистам, что инциденты с моделями Google аналогичны другим ранее раскрытым случаям, и проблема была устранена несколько недель назад.