✔В Microsoft объяснили глобальный сбой Microsoft 365 скрытой ошибкой, которая не проявлялась три месяца - «Новости»
В Microsoft опубликовали предварительный отчет о глобальном сбое в работе Microsoft 365, который начался 12 ноября и длился почти сутки. По данным специалистов, инцидент вызвало сочетание трех факторов: бага в сетевых шлюзах, который оставался незамеченным с июля, переключения трафика Teams и нехватки серверных мощностей.
Сбой затронул работу как минимум 14 сервисов компании, включая Exchange Online, Copilot, Teams, SharePoint, OneDrive, Defender, Purview, Fabric, Intune, Planner, Power Apps, To Do, Power BI и Universal Print.
Сильнее всего пострадал Exchange Online: большинство пользователей попросту не могли открыть почту через Outlook и другие клиенты, а доставка писем задерживалась. Другие продукты в основном оставались доступны, хотя не работали зависевшие от Exchange функции. К примеру, в Teams работали чаты и звонки, однако возникли проблемы с календарем и приглашениями.
В результате сбой затронул не только обычных пользователей и корпоративных клиентов Microsoft. Например, проблемы возникли у госструктур в США, Австралии и Японии, британской NHS и лондонской полиции. Европейская биржа Euronext сообщала о сбоях в работе электронной почты, а некоторые финансовые компании на Тайване были вынуждены временно подтверждать сделки по факсу. Индийские авиакомпании Air India, IndiGo и Akasa Air предупреждали клиентов о проблемах с поддержкой по почте. В общей сложности Downdetector зафиксировал более 7,4 млн сообщений о проблемах по всему миру.
Согласно предварительному отчету Microsoft, баг возник еще в июле 2026 года после обновления ПО сетевых шлюзов Microsoft 365. Так, при определенной нагрузке внутри одного из системных процессов возникала ошибка, приводившая к исчерпанию ресурсов CPU и памяти, после чего сервер переставал отвечать.
Причем во время тестирования проблему не выявили из-за различий между лабораторным и продакшен-оборудованием. Так, тесты проводились преимущественно на менее мощных машинах с меньшим количеством ядер, тогда как на более новых серверах с большим количеством ядер проблема проявлялась сильнее.
В компании объясняют, что примерно за 15 часов до возникновения сбоя автоматика перевела трафик Teams с альтернативного шлюза на основной, обслуживавший Exchange Online. Хотя это штатный механизм резервирования, в результате изменились и объем, и характер нагрузки. Дополнительно ситуацию усугубило то, что из-за отдельной неисправности примерно 14% серверных мощностей шлюза уже были недоступны.
Когда нагрузка в США приблизилась к дневному пику, серверы начали зависать. Хотя система перенаправляла запросы на исправные шлюзы, они тоже быстро сталкивались с той же проблемой. В результате менее чем за два часа каскадный сбой вывел из строя более 80% серверов.
При этом защитные механизмы, которые должны были изолировать сбой и не дать ему распространиться между регионами, проблему не остановили. Из-за чего именно не сработала эта защита, в Microsoft пока не уточняют.
В сложившейся в итоге ситуации обычные перезапуски не помогали: после возвращения в строй серверы сразу получали накопившуюся очередь запросов и зависали снова, а быстрый откат конфигурации тоже не решал проблему, поскольку баг присутствовал в ПО сетевых шлюзов еще с июля.
Инженерам компании удалось перевести Teams, OneDrive, SharePoint и часть других сервисов на альтернативную инфраструктуру, однако для Exchange Online такой вариант оказался невозможен из-за ограничений масштабирования.
В итоге специалисты Microsoft подготовили обновление для сетевых шлюзов и постепенно вернули серверы в строй, а после сбоя в компании увеличили запас серверных ресурсов для шлюзов и добавили ограничения на перераспределение трафика, чтобы снизить риск возникновения нового каскадного отказа.
В компании отдельно подчеркивают, что инцидент не был связан с кибератакой или ИИ-агентами. Итоговый отчет эксперты Microsoft планируют опубликовать 20 ноября.




