Komentarze (63)

LondoMollari

@Usyrak Nie ma tego złego... pewnie wielu idiotycznych meetingów dzisiaj uda się uniknąć dzięki tej awarii. Jako jeden z niewielu ludzi w mojej branży siedzących w 100% na Linuksie będę miał w końcu spokojny dzień.

Thereforee

@LondoMollari Gorzej, kiedy jesteś takim typowym serwisantem i masz pod sobą te przeklęte urządzenia z bootloopem - takiemu to ja nie zazdroszczę. Szczególnie, że w kombinacji z BitLockerem podobno ciężko się wbić do Safe Mode.

LondoMollari

Szczególnie, że w kombinacji z BitLockerem podobno ciężko się wbić do Safe Mode.


@Thereforee A Bitlocker teraz jest domyślnie włączony przy nowych instalkach.


Cóż, kilka serwerów na Windowsie mam, na szczęście wszystkie w mocno prywatnej sieci, i bez takich gówien poinstalowanych.

LovelyPL

@LondoMollari akurat ten soft nie jest gówniany (w sensie - do dzisiaj działał bardzo dobrze)

NiebieskiSzpadelNihilizmu

@LondoMollari oj tam oj tam. To był po prostu niezapowiedziany test, taki jak to niby biznes ma wpisany w tabelce przy sekcji "odporność aplikacji" Jeszcze możnaby do kompletu zrobić test tego co mają w tabelce na pozycji "disaster recovery RPO i RTO" Dziś po prostu wyszło kto swój biznes traktuje na poważnie i ma swoją własną, lokalną infrę i dba o jej stabilność, a kto dał się nabrać na bajeczki ewangelistów o tym, ze chmura jest szybsza, tańsza i stabilniejsza i przemigrował wszystko wierząc, że to nagle, magicznie stało się niezajebywalne.

HerrJacuch

Już miałem obejścia gotowe, bo mi parę serwerów padło, ale pan Crowrstrike napisał, że mamy sami nie cudować, wiec idę na kawkę. Firma nam dość poważnie stanęła. Rok Linuxa się zbliża, jak nic xD

Thereforee

@HerrJacuch Wiem na pewno, że nie będzie to rok CrowdStrike. xD

HerrJacuch

@Thereforee Źle im się starzeją hasła promocyjne xD

1b16bf08-879e-4acd-b8c4-1887cf63fa54
Thereforee

@HerrJacuch Cyber risk that starts with CrowdStrike...

ends with Microsoft's BSOD.


( ͡° ͜ʖ ͡°)

HolQ

@HerrJacuch u mnie chcą cała fabrykę do chaty wysłać. Siedzę i pije kawkę...fajnie że w piątek xD

HerrJacuch

@HolQ U nas już powoli wstaje wszystko, ręcznie stosujemy poprawkę wspomnianą przez @LovelyPL i jakoś to leci.

Trzymajcie się tam xD

HolQ

@HerrJacuch mam nadzieję, że moi na to nie wpadną xD jest piątek i jest zajebista pogoda xD

0x34

@HerrJacuch teraz Żabka z swoimi systemami 100% na linuxe po przejęciu comarcha powinna sprzedawać systemy Comarch na Linux reklamując się tym że ich rozwiązania zawsze działają xD

NiebieskiSzpadelNihilizmu

@HerrJacuch no, szczególnie że ten sam Crowdstrike na RHELu też zaliczał fakapy w przeszłości xD

LovelyPL

"Na szczęście" tylko tych, które mają oprogramowanie Crowdstrike

Jak się ktoś tutaj taki trafi, to jest sposób na naprawienie tego problemu:


  • "Boot Windows into Safe Mode

  • Navigate to the C:\Windows\System32\drivers\CrowdStrike directory in Explorer

  • Locate the “C-00000291-00000000-00000032.sys” file, rightclick and rename it to “C-00000291-00000000-00000032.renamed”

  • Boot the host normally.


"


Problem jest o tyle powazny, że windows wpada w pętlę bootowania i bez ręcznej naprawy nic nie zrobisz, bo nie ma jak wczytać poprawki. Ktoś nieźle dał ciała (albo sabotował firmę)

HolQ

@LovelyPL ktoś chciał długi weekend xD

VonTrupka

@HolQ będzie miał dużo czasu na szukanie nowej roboty (⌒ ͜ʖ⌒)

ZygoteNeverborn

A tak naprawdę to śmieszne, że pierwszy raz słyszę o sofcie zabezpieczającym, dopiero jak wywołał awarię.

0c4e1526-c0f4-4361-9097-3b1db4439a7e
utede

@ZygoteNeverborn To w sumie słabo bo to bardzo dobry soft i mega drogi.

Thereforee

@ramen Z artykułu to nie wynika, ale mowa o systemie Windows, czas ten sam - więc całkiem możliwe


EDIT. TVN zaktualizowało artykuł i chodzi właśnie o CrowdStrike.

LovelyPL

U nas CrowrdStrike nie jest popularny, więc jakieś tam incydenty mogą być (głównie w korpo, które są tylko oddziałami jakichś firm z USA), ale raczej przejdziemy przez to suchą stopą. No i ci, którzy oparli się na chmurze mają teraz problem.

Mnie zastanawia skala tego problemu - nagle się okazuje, że mnóstwo systemów, które nie powinny być wystawione do sieci, jednak jest wystawiona. Dlaczego? Pewnie dlatego, że coraz więcej oprogramowania wymusza stały dostęp do Sieci, żeby coś tam w chmurze porobić, cały czas się aktualizować itd. I widać jakie tego mogą być skutki.

Czekam na jakąś analizę techniczną, a nie na clickbaitowe nagłówki i artykuły pisane przez ludzi, którzy nie mają pojęcia o czym piszą

NiebieskiSzpadelNihilizmu

@LovelyPL dlaczego? To proste- bo wszelkiej maści wizjonerzy na kiju sprzedali managerom w korpo bajeczki, że jak przejdą do chmury to będzie taniej i niezawodniej. Sprzedali na tyle skuteczne, że managerowie poszli do swoich managerów z przygotowanymi pod tezę wykresikami w pptxach, a ci poszli do management boardu. A temu słysząc słowo "oszczędność" oczy zmieniły się w pięciozłotówki i zanim prezentacja się skończyła, to decyzja już była podjęta. Dziś po prostu było delikatne pierdnięcie jako ostrzeżenie, a i tak obsrali się po całości ci, którzy absolutnie nigdy nie powinny tego problemu doświadczyć. Czemu doświadczyli- chyba wszyscy wiemy.

LovelyPL

@NiebieskiSzpadelNihilizmu

I tak szczerze mówiąc, to ci wizjonerzy mieli rację. Chmura często wychodzi taniej i jest bardziej niezawodna. Nie powiedzieli im tylko o tym, że jak dobrze walnie, to będzie to, co dzisiaj

Jak mi w piwnicy walnie serwer, to ja mam problem. Jak walnie MS parę datacenter, to wszyscy mamy problem.


Ciekaw jestem czy po dzisiejszej lekcji będą jakiekolwiek zmiany w podejściu:

a) do chmury

b) do odpowiedzialności dostawców oprogramowania


Czy po prostu czekamy na kolejny raz ale większy niż dzisiaj.

NiebieskiSzpadelNihilizmu

@LovelyPL no i w sumie to ze wszystkim się zgodzę poza tym fragmentem, że wizjonerzy mieli rację, bo chmura często wychodzi tanio. Chmura prawie nigdy nie wychodzi tanio, a już na pewno nie w rozwiązaniach czysto enterprise'owych, jak musisz postawić maszynę, która ma określone wymagania wydajnościowe, a nie jest jakimś odpowiednikiem t2.micro. Może jakieś jumphosty, albo środowiska DT i od biedy A, ale ujmę to tak- korpo w którym robię świadczy klientom usługi hostingowe, utrzymaniowe, wdrożeniowe itp. I też wpadli na pewnym etapie w to szaleństwo, że chmura to jest tańsza, szybsza, wydajniejsza i niezawodniejsza. Zaczęły się wielkie projekty, wielkie wyliczenia, wielkie prezentacje... przeflancowali bezpiekę, do dziś nie wiem jak patrząc po papierach, które przedstawili, ale dobra, no i doszliśmy do etapu testów. I faktycznie- jakieś jumphosty i inne maszyny typu "siedzę i się nudzę" działały spoko. A potem zaczęły się testy baz danych z naszego scenariusza, gdzie dla klienta liczą się pojedyncze IOPSy i się zrobiło niezręcznie, bo żadna konfiguracja nie dawała stabilnych rezultatów, nawet ta najbardziej wyjebana. A potem się zaczęło robić jeszcze ciekawiej, jak przeliczyliśmy jakie konfiguracje musielibyśmy mieć, żeby odwzorować wydajność nawet normalnych aplikacji i koszty jakie to wygenerowało były takie, że nie było nawet sensu iść do klientów pytać czy chcą iść do "lepszej" chmury, bo znaliśmy z góry odpowiedź. W poprzedniej pracy też brałem udział w projekcie migracji jakichś 8000 serwerów do chmury, w sumie to do dwóch- AWS i Azure i też dziwnym trafem baaaaardzo szybko po przeliczeniu kosztów okazało się, że kurde, jednak taniej jest utrzymywać swój on-prem i wymieniać sprzęt co 4-5 lat i płacić nawet za najbardziej premium support. Ja rozumiem zalety chmury, spoko, ale to naprawdę nie jest tanie rozwiązanie. A już na pewno nie tak elastyczne, jak własny on-prem.

koszotorobur

@Usyrak - to ich nauczyć testować updaty na niższych środowiskach a nie od razu na produkcji

Coś czuję, że nadchodzi rok Linuksa

koszotorobur

@wiatraczeg - dobrze wysmażone poproszę

znany_i_lubiany

@koszotorobur "Nie zawszę robię testy, ale jak już robię, to robię je na produkcji" ( ͡°( ͡° ͜ʖ( ͡° ͜ʖ ͡°)ʖ ͡°) ͡°) Nie powiem w jakiej krytycznej dla funkcjonowania państwa branży się tak robi.

30ohm

Rok linuksa jak nic. Współpracując z zagranicznymi firmami fajnie widać kto oberwał.

kodyak

Pewnie jak zwykle największym wrogiem Microsoftu jest sam Microsoft. Oczywscie zrzuca to na jakiś hakierow

conradowl

@kodyak przecież już się do tego Crowdstrike przyznał, to nawet nie wina MS. Trzeba czytać komentarze przed dodaniem swojego

kodyak

@conradowl a kto im pozwolił się włamać XD


Jakby nie robili na Microsofcie to wszystko było by git XD

sierzant_armii_12_malp

@conradowl Tylko mnie średnio obchodzi, czy zawiniła firma Pajeet Development Bity Parzyste, czy Januszex Zaufany Microsoftu Bity Nieparzyste … jestem przerażony, że awaria jednego komponentu pociągnęła za sobą tak kolosalne skutki na całym świecie.


Internet miał w założeniu przetrwać nawet kilka celnych ataków jądrowych - a centralizacja i wepchanie tylu istotnych elementów w ręce zaledwie kilku korporacji wszystko zaprzepaściły.

Thereforee

@kodyak O jakim ty włamaniu mówisz? xD

conradowl

@sierzant_armii_12_malp internet trwa i będzie trwać. Wymiana informacji istnieje natomiast padają systemy bo się uzależnili wszyscy od usług zewnętrznych. Zamiast mieć swój system i swoich programistów to systemy firm trzecich. Po prostu kasa rządzi. Ale internet działa, choćby na hejto o tym piszemy.

Zresztą z roku na rok zmienia się wszystko coraz bardziej. To, że kilka czy kilkanaście lat temu ktoś mówił, że internet wytrzyma ataki jądrowe nie oznacza, że dziś to wytrzyma. Takie są i będą efekty uzależnienia wszystkiego od AI, ujednolicenia standardów itp.

Coś za coś.

Można w Kambodży płacić Visą i nie trzeba zakładać tam konta w banku czy wymieniać gotówki. Ale za to jak coś padnie to wszędzie.

Może przeciętny Kowalski polecieć do Tajlandii bo są jednolite, ustandaryzowane procedury - ale jak coś padło to wszędzie.

Nie da się mieć ciastka i zjeść ciastko.


I nigdzie nie bronię MS @kodyak po prostu trzymam się faktów. I właśnie - jakie włamanie?

sierzant_armii_12_malp

@conradowl


To, że kilka czy kilkanaście lat temu ktoś mówił, że internet wytrzyma ataki jądrowe nie oznacza, że dziś to wytrzyma


To do kitu, jest zbyt ważny. Swoją drogą, nie można zwyczajnie wyłączyć startowanie demona, który nawalił?


Można w Kambodży płacić Visą i nie trzeba zakładać tam konta w banku czy wymieniać gotówki. Ale za to jak coś padnie to wszędzie.


Doświadczenia z niedziałającymi kartami nauczyły mnie już, że gotówkę trzeba mieć ZAWSZE. Nigdy nie wiesz, kiedy 8 czy 10 kart z różnych banków padnie jednocześnie (zdarzyło się tak, jak z ekipą wyjechaliśmy na urlop), bo jakieś tam prace konserwacyjne we wszystkich bankach na raz. A ty musisz zatankować czy zapłacić za taksówkę.

conradowl

@sierzant_armii_12_malp zdarzenia losowe to jedno. Kiedyś musiałeś po prostu mieć gotówkę, co więcej musiałeś kupić dolary, potem je wymienić na inną walutę itp. Wcale nie tak dawno, jeszcze z 50 lat temu... Wizy, kontrole osobiste, różne standardy bagażu, hoteli, jakości wody itp itd.

Dziś lecisz do Brazylii i McDonald's w Brazylii jest w zasadzie niemal taki sam jak McDonald's w Polsce, Wietnamie czy Alasce o to mi chodzi. Albo mamy globalizację i standardy albo nie. Jednolity system zawsze jebnie.

sierzant_armii_12_malp

@conradowl


Jednolity system zawsze jebnie.


No właśnie, monokultura jest ZAWSZE niebezpieczna, nie tylko w IT. Posadzisz las samych kasztanowców, to przyjdzie szrotówek i wszystko ześrutuje.


Swoją drogą - dobry system operacyjny powinien umożliwiać łatwe podniesienie w przypadku awarii jednej z usług podczas startu. Jeśli Windows ma z tym problem, to bardzo źle o nim świadczy.

kodyak

@Thereforee przypadkowym

conradowl

@sierzant_armii_12_malp i tak się niewiele zmieni, bo firmy mają po prostu taniej kupując Windows, office i usługi chmury itp.

Nie mówiąc o całej masie oprogramowania działającego tylko na windows do obsługi różnych maszyn, baz itp.

Thereforee

@kodyak O czym ty bredzisz? Nigdzie nie ma mowy o żadnym włamaniu.

Thereforee

@kodyak "Jakby nie robili na Microsofcie to wszystko było by git "


Lol, lmao even xD

https://access.redhat.com/solutions/7068083


Kernel panic miesiąc temu na Redhat wywołali XD

Kernel panic observed after booting 5.14.0-427.13.1.el9_4.x86_64 by falcon-sensor process. - Red Hat Customer Portal

Kernel panic observed after booting 5.14.0-427.13.1.el9_4.x86_64 by falcon-sensor process. - Red Hat Customer Portal

eBPF program causes kernel panic on kernels 5.14.0-410+ . Below is an example of a kernel panic on the falcon-sensor process, observed after booting on kernel version 5.14.0-427.13.1.el9_4.x86_64. [ 462.396258] BUG: unable to handle page fault for address: ffff9a4bdb0f2d88 [ 462.396291] #PF: supervisor write access in kernel mode [ 462.396309] #PF: error_code(0x0002) - not-present page [ 462.396327] PGD 14e203067 P4D 14e203067 PUD 0 [ 462.396345] Oops: 0002 [#1] PREEMPT SMP NOPTI [ 462.397204] CPU: 1 PID: 6496 Comm: falcon-sensor-b Kdump: loaded Not tainted 5.14.0-427.13.1.el9_4.x86_64 #1 [ 462.397838] Hardware name: VMware, Inc. VMware7,1/440BX Desktop Reference Platform, BIOS VMW71.00V.21100432.B64.2301110304 01/11/2023 [ 462.398482] RIP: 0010:backtrack_insn+0x408/0x800 [ 462.399131] Code: 30 00 0f 85 64 fd ff ff 41 ba 01 00 00 00 b9 01 00 00 00 45 8d 48 ff 44 89 d0 d3 e0 85 c2 74 0f 89 c6 f7 d6 21 d6 89 74 bb 0c 09 44 8b 0c 83 c1 01 83 f9 06 0f 84 71 01 00 00 44 89 d0 8b 54 [ 462.400531] RSP: 0018:ffffbdf980977a80 EFLAGS: 00010246 [ 462.401231] RAX: 0000000000000002 RBX: ffff9a47db0f2d80 RCX: 0000000000000001 [ 462.401937] RDX: 0000000000000002 RSI: 0000000000000000 RDI: 0000000000000000 [ 462.402631] RBP: ffff9a47db0f0000 R08: 0000000000000000 R09: 00000000ffffffff [ 462.403325] R10: 0000000000000001 R11: 0000000000000001 R12: 0000000000000058 [ 462.404026] R13: ffff9a47db0f0a90 R14: ffff9a47ea2f6000 R15: ffffbdf982a5f300 [ 462.404722] FS: 00007f8228020740(0000) GS:ffff9a48b5e40000(0000) knlGS:0000000000000000 [ 462.405432] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 [ 462.406152] CR2: ffff9a4bdb0f2d88 CR3: 000000012b41a000 CR4: 00000000003506e0 [ 462.406901] Call Trace: [ 462.407611] [ 462.408306] ? srso_return_thunk+0x5/0x5f [ 462.408999] ? show_trace_log_lvl+0x26e/0x2df [ 462.409686] ? show_trace_log_lvl+0x26e/0x2df [ 462.410372] ? __mark_chain_precision+0x166/0x630 [ 462.411058] ? __die_body.cold+0x8/0xd [ 462.411742] ? page_fault_oops+0x134/0x170 [ 462.412429] ? srso_return_thunk+0x5/0x5f [ 462.413135] ? kernelmode_fixup_or_oops+0x84/0x110 [ 462.413823] ? exc_page_fault+0xa8/0x150 [ 462.414512] ? asm_exc_page_fault+0x22/0x30 [ 462.415210] ? backtrack_insn+0x408/0x800 [ 462.415909] ? copy_array+0x4d/0xb0 [ 462.416621] ? __pfx_verbose+0x10/0x10 [ 462.417321] ? __pfx_disasm_kfunc_name+0x10/0x10 [ 462.418023] __mark_chain_precision+0x166/0x630 [ 462.418725] check_cond_jmp_op+0x738/0xbd0 [ 462.419432] ? is_state_visited+0x450/0x740 [ 462.420157] do_check+0x85b/0xac0 [ 462.420854] do_check_common+0x2a9/0x340 [ 462.421566] bpf_check+0xf7c/0x10a0 [ 462.422250] ? srso_return_thunk+0x5/0x5f [ 462.422929] ? __kmem_cache_alloc_node+0x1c7/0x2d0 [ 462.423578] ? __x86_indirect_jump_thunk_r15+0x20/0x5e [ 462.424234] bpf_prog_load+0x636/0x970

Red Hat Customer Portal
ZygoteNeverborn

@Thereforee Lol! Firma prawdziwie interoperacyjna, wykopyrtnie każdy system.

kodyak

@Thereforee XD zbyt serio wszystko bierzesz

pluszowy_zergling

W turystyce panika jakby co

John_polack

@fadeimageone play awaria czy nie problemy są xd

fadeimageone

@John_polack w tym chlewie zawsze tak było i jest

JakTamCoTam

@fadeimageone orange najgorszy dostawca w Polsce zawsze tak ma xD.

Pan_Buk

@Usyrak "Na poczcie masakra. Kolejka nie z tej ziemi, Panie nie mogą sobie poradzić z komputerami, nie działa płatność kartą. Generalnie masakra...

Ps. Nie ma żadnej awarii. Tam tak jest zawsze"

ostrynacienkim

Jak to sie przedostalo do produckji po testach, qa, i innych kuzwa rzeczach...dramat

JakTamCoTam

@ostrynacienkim Pewnie na głównego brancha wewalił jakiś stażysta a potem od razu CI zaciągnął a że CrowdStrike mógł być nieco bardziej niezależnym projektem to może nawet mieli wyłączone testy, bo failowały i tak koniec końców stało co się stało xD.


Inaczej nie potrafię sobie tego wytłumaczyć.

Porsze

Ciekawe jak wysokie będa straty finansowe globalnie

MuojemuKotu

Od kilku dni w pracy pakiet office cały czas rzuca mi błędami. Na tyle częśto, że nie da się na nim w ogóle pracować. Wersja online też. Libre office też.


Dzieki tej awarii, dział IT zdobył wreszcie doskonałą wymówkę, by spuścic mnie i moje problemy na drzewo ( ͡° ͜ʖ ͡°)

JakTamCoTam

Prosta zasada. Kto produkcji nie wyjebie ten nie zazna szczęścia w niebie.

Zaloguj się aby komentować