Серверное обновление Firebase обрушило iOS-приложения по всему миру

Утром 29 сентября мобильные разработчики по всему миру столкнулись с массовыми крашами своих iOS-приложений. Причиной, как выяснилось, стало изменение на стороне сервера, внесённое командой Firebase: оно заставляло SDK падать во всех сессиях сразу, лишая приложения какой-либо возможности защититься. О ситуации подробно рассказал Гергей Орос, автор известного издания об инженерной культуре.

Что произошло

Серверное обновление начало обрушивать сразу несколько версий Firebase SDK. Разработчики наблюдали, как краш затрагивает стопроцент сессий их приложений, — но сделать ничего не могли: проблема была не в их коде. Среди пострадавших называют DoorDash. По оценке Ороса, глобальный сбой продлился от двух до шести часов: приложения, закешировавшие некорректный серверный ответ, страдали дольше остальных.

Разработчики опередили Google

Самое неловкое, по мнению Ороса, — то, как повёл себя сам Firebase. Инженеры Google, судя по всему, не заметили аварию: собственный мониторинг молчал. Внешние разработчики сотнями оставляли сообщения в трекере на GitHub, умоляя откатить изменение. Лишь примерно после сотни таких сообщений один из инженеров Firebase наконец обратил внимание на проблему, а затем ещё через час злополучное изменение откатили.

При этом страница статуса status.firebase.google.com даже спустя пять часов не показывала никакого инцидента — хотя два сотрудника Firebase уже подтвердили аварию. Орос язвительно замечает, что в управлении инцидентами обычные разработчики оказались компетентнее самой команды Firebase.

Вопросы без ответов

Главная загадка для Ороса: как серверное изменение вообще попало в прод без всякой проверки? Ведь единственная задача SDK — работать. Если он падает, у Firebase, по его словам, попросту нет права на существование в этом качестве. Кто-то в обсуждении в шутку предположил, что за изменением стоял Gemini.

Орос обещает разобраться в истории подробнее и уже направил вопросы в Google. Пока же остаётся открытым, будет ли вообще опубликован постмортем — для аварии такого масштаба, по его словам, его отсутствие недопустимо.

Источник: Hacker News