Incydent i jego skutki
19 lipca 2024 roku o godzinie 04:09 UTC, firma CrowdStrike, lider w dziedzinie cyberbezpieczeństwa, wydała aktualizację konfiguracji treści dla czujnika Windows, mającą na celu zbieranie danych telemetrycznych dotyczących nowych technik zagrożeń. Aktualizacja ta, będąca częścią dynamicznych mechanizmów ochrony platformy Falcon, okazała się problematyczna i doprowadziła do awarii systemu Windows na komputerach, które otrzymały tę aktualizację.
Zakres awarii obejmował systemy z wersją sensora 7.11 i nowszymi, które były online między 04:09 a 05:27 UTC tego dnia. Systemy Mac i Linux nie zostały dotknięte. Błąd w aktualizacji został cofnięty o 05:27 UTC, co oznacza, że komputery uruchomione po tym czasie lub niepołączone w tym okresie nie były dotknięte problemem.
CrowdStrike dostarcza aktualizacje konfiguracji zabezpieczeń na dwa sposoby: poprzez "Sensor Content" oraz "Rapid Response Content". Problem dotyczył tej drugiej metody, zaprojektowanej do szybkiego reagowania na zmieniający się krajobraz zagrożeń. Sensor Content obejmuje stałe komponenty, takie jak modele AI i uczenia maszynowego, które są gruntownie testowane przed wdrożeniem. Z kolei Rapid Response Content to bardziej dynamiczna treść, pozwalająca na szybkie wprowadzanie zmian w konfiguracji czujnika bez konieczności modyfikacji kodu sensora.
Problem pojawił się w trakcie aktualizacji Rapid Response Content, gdzie błędne dane przeszły walidację i zostały wdrożone. Treść ta, zamiast działać poprawnie, spowodowała odczyt pamięci poza zakresem, co wywołało wyjątek nieobsługiwany poprawnie przez system, prowadząc do awarii Windows (BSOD).
Proces testowania i wdrażania treści jest zazwyczaj wieloetapowy i dokładny. Nowe typy szablonów, jak InterProcessCommunication (IPC), przechodzą przez szereg testów, w tym testy obciążeniowe, które sprawdzają ich wpływ na wydajność systemu. 5 marca 2024 r. typ szablonu IPC przeszedł takie testy i został wdrożony, a kolejne instancje szablonu działały bez problemów do dnia 19 lipca 2024 r.
Tego dnia wdrożono dwie dodatkowe instancje szablonu IPC. Niestety, jedna z nich zawierała błędne dane, które przeszły walidację z powodu błędu w narzędziu Content Validator. W rezultacie problematyczna zawartość została wgrana do sensora, co spowodowało awarie systemu Windows.
Działania naprawcze i zapobieganie przyszłym problemom
CrowdStrike szybko zareagował na incydent, wycofując wadliwą aktualizację i identyfikując problematyczny plik kanału 291. Firma zobowiązała się do przeprowadzenia szeregu działań naprawczych, aby zapobiec podobnym problemom w przyszłości.
W planach są ulepszenia procesu testowania, obejmujące:
- lokalnego programistę testującego,
- testowanie wycofań i aktualizacji treści,
- testowanie obciążeniowe, rozmyte i wstrzykiwanie błędów,
- testowanie stabilności,
- testowanie interfejsu treści.
Dodatkowo CrowdStrike zamierza wprowadzić nowe kontrole walidacji do narzędzia *Content Validator for Rapid Response Content*, aby zapobiec wdrażaniu problematycznych treści. Ulepszone zostaną również mechanizmy obsługi błędów w interpretatorze treści.
Firma planuje również wdrożenie strategii etapowego wdrażania treści Rapid Response, co pozwoli na stopniowe wprowadzanie aktualizacji, zaczynając od małej grupy testowej (tzw. „canary deployment”), a następnie stopniowe rozszerzanie na większą część bazy użytkowników.
Klienci będą mieli większą kontrolę nad wdrażaniem aktualizacji, mogąc samodzielnie wybierać czas i miejsce ich wdrożenia. Szczegóły aktualizacji będą dostępne w notatkach o wydaniach, na które klienci mogą się zapisać.
Zewnętrzne audyty i przyszłe działania
CrowdStrike zamierza również przeprowadzić niezależne przeglądy kodu bezpieczeństwa przez zewnętrzne firmy, co ma na celu zapewnienie dodatkowej warstwy bezpieczeństwa i jakości. Wstępny przegląd po incydencie stanowi ważny krok w procesie poprawy i zapobiegania przyszłym problemom. Firma zobowiązała się do pełnej analizy przyczyn źródłowych, która zostanie opublikowana po zakończeniu dochodzenia. Tymczasem, wszystkie dotknięte systemy zostały zabezpieczone, a problematyczna aktualizacja została usunięta z listy wdrożeń.
CrowdStrike pozostaje zaangażowany w dostarczanie najwyższej jakości usług zabezpieczeń i ciągłe doskonalenie swoich procesów w celu ochrony swoich klientów przed zagrożeniami w cyberprzestrzeni.
