Wesprzyj nas i przeglądaj Hejto bez reklam

Zostań Patronem

#aws

2
23
#programowanie #aws
Mam sobie taką lambdę która jest mocno używana, ale jej cold start zajmuje 50s, przez co api gateway nie pozwala go wykonać (bo wywala timeout po 30s, i nie moge go zmienić z tego co czytałem).
W związku z tym, chciałem jej dać provisioned concurrency, żeby zawsze była aktywna.

Czy wg tej konfiguracji, ta funkcja będzie aktywna 24/7 i może ogarnąć do 10 requestów naraz?
Wg. kalkulatora to ma kosztować prawie 150$ na miesiąc więc to zmniejszyłem do 1, ale pytam czy dobrze rozumiem co robie XD
a6d1a204-95a2-43e0-9823-337526f80f12
20

@redve 50 sekund cold start ??? Co to za potwor? Jaki jezyk programowania? Java, C ? Lambda jest w VPC? Włącz se X-Ray coś jetsy bardzo bardzo nie tak

@ostrynacienkim @pierdonauta_kosmolony kod w pythonie który wczytuje biblioteke pytorch (jakies 600mb) a potem model pytorch (model ma jakieś 350mb)

jak sie wczyta to jest ok, ale wczytywanie długo trwa

@redve - Nie napisałeś nic o ustawieniach Lambdy jak CPU oraz jej timeout.

CPU skaluje się wprost proporcjonalnie do ustawienia pamięci:

Function memory allocation

128 MB to 10,240 MB, in 1-MB increments.

Note: Lambda allocates CPU power in proportion to the amount of memory configured. You can increase or decrease the memory and CPU power allocated to your function using the Memory (MB) setting. At 1,769 MB, a function has the equivalent of one vCPU.

Maksymalny timeout dla funkcji lambda jaki możesz ustawić to 15 minut:

Function timeout

900 seconds (15 minutes)

Do tego funkcja w kontenerze zmieści więcej (w porównaniu do całkowitych 250 MB standardowej lambdy):

Container image code package size

10 GB (maximum uncompressed image size, including all layers)

Pokombinuj z tymi ustawieniami by wszystko działało jak należy.

Źródło: https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html


Do tego Python 3.12 i wyższy wspiera SnapStart - ale obrazy kontenera nie są wspierane: https://docs.aws.amazon.com/lambda/latest/dg/snapstart.html


A tu masz trzyczęściowy poradnik jak ustawić Lambdę by zminimalizować Cold Start:


  1. https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-1/

  2. https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-2/

  3. https://aws.amazon.com/blogs/compute/operating-lambda-performance-optimization-part-3/

Zaloguj się aby komentować

#programowanie #aws
moja firma wymusiła logowanie przez MFA.
Bez niego nie mogę się przełączyć na rolę admina.
Mimo że wszystkie dane które jej podaje są prawidłowe, dostaje error

Invalid information in one or more fields
Check your information or contact your administrator.

Miałem ten sam problem tydzień temu, i wtedy pomogło przelogowanie. Teraz natomiast walcze z tym gównem od kilku godzin, dodaje i usuwam MFA, przelogowuje sie ale nic nie pomaga.
Ktoś wie o co może chodzić?
14

@redve - zakładam, że próbowałeś na Private Window czy zupełnie innej przeglądarce by wykluczyć gryzące się ciasteczka?

@redve - jakie urządzenie podpięte pod MFA które generuje tokeny? Czy czas na nim i na systemie co się z niego logujesz jest ustawiony prawidłowo (co do sekundy)?

@koszotorobur passkey w bitwardenie + kod na telefonie, ale chyba już wiem jaki jest problem

Dobra, na 95% jestem downem który zabrał sam sobie permisje żeby wejść na tę rolę. Musze pisać do admina xD

@redve - następną rzeczą o jaką pytałbym to jak skonfigurowana rola jaką "assumujesz" bo często nie ma się do przełączenia na nią uprawnień.

@redve nie taki down, skoro ogarnąłeś ( ͡~ ͜ʖ ͡°)

Zaloguj się aby komentować

@Bezkid - warto i AWS i Oracle znać wiadomo 😏

Chociaż AWS ma o wiele większy udział w rynku 🤷

@Bezkid Oracle bardzo lubi usuwać konta bez ostrzeżenia, gdy jakaś aktywność wydaje się być podejrzana i niezgodna z regulaminem (np. postawienie VPNa xD). W usuwaniu największy priorytet mają, oczywiście, konta darmowe.

Ja używam free tier od oracle i polecam.

@Fausto - za darmo to uczciwa cena 😎

@koszotorobur Wiadomo, tym bardziej, że za 24GB ram i 200GB przestrzeni😀

@koszotorobur niezbyt za darmo, bo musisz dodać swoją kartę i pobiera ci 1$


no jest on oddawany po 30 dniach, ale jak zapomnisz wyłączyć maszynek to kasa leci

@konik_polanowy - to nie zapominaj wyłączyć 🤷

With power comes great responsibility więc ustaw sobie tak byś nigdy nie przekroczył free tier - nie po to linkowałem do porad jak to zrobić we wpisie byś marudził 😛

@konik_polanowy zawsze można podpiąć prepaidową kartę wirtualną. Nie pobierze Ci jak nie będzie mieć z czego 🧐

Zaloguj się aby komentować

Otagowałeś AWS. Głęboko w tym siedzisz? Jakaś konferencja?

@lactozzi AWS re:Invent właśnie się zaczyna.

Korzystam w pracy, ale osobiście siedzę głównie w AWS DeepRacer

https://youtu.be/T8y-pQ14qGg

Prowadzę społeczność deepracera

Zaloguj się aby komentować

Zaloguj się aby komentować

siema, chciałbym zrobić cert sysops associate (SOA C02), na różnych stronach mam mylne informacje- raz, że pierw potrzeba mieć solution architect associate, practitionera by do tego podejść, raz, że wystarczy rok doświadczenia i tego nie sprawdzają. Ktoś podpowie jak to w praktyce wygląda?
#aws #devops #pracait #linux
0

Zaloguj się aby komentować

#aws totalnie nie działa w us-east-1, cała firma lata jak po⁎⁎⁎⁎na od ściany do ściany bo nie wiedzą co robić . A ja wpierdalam sobie chipsy i batony bo mam to w d⁎⁎ie. Mam to w d⁎⁎ie, bo zamieniłem sie z kumplem dyżurem "on call".
#programowanie #amazon #devops
2

Tylko hybryda albo interfejsy do więcej niż jednego dostawcy chmury...

Zaloguj się aby komentować

ostatnio sporo siedzę w tematach virtio służbowo, ale chyba to mało dla Ciebie interesujące.

@dotevo co uzywasz do wirtualizacji, i jakiego typu to jest wirtualizacja ? Serwerowa czy użytkownikowa ?

Aby zrozumieć dlaczego virtio jest fajnym rozwiązaniam trzeba się najpierw zagłębić w to jak w ogóle wygląda postawienie systemu np. Androida na urządzeniu. Każdy telefon jest trochę inny. W inne miejsce może być podpięta pamięć, serial itd. Dlatego zawsze kilka tygodni zajmuje pokonfigurowanie kernela. Potem trzeba napisać HAL, który tłumaczy androidowi jak np. używać GPS. To znów wymaga czasu. Każda aktualizacja androida wymaga dopasowania tego co już jest. Często więc dużo czasu i pieniędzy wymaga takie coś - jest też Treble, ale mniejsza z tym teraz.


Konkluzja jest taka:

Różne systemy operacyjne odpalane na czymś w stylu telefonu. Jest system linux host, który przez virtio przekazuje wszystko do guesta (usb, bt, wifi itd) np. Androida i dzięki temu działa od razu bez zabawy w drivery po stronie androida.


To jest o tyle fajne, że jeśli się przyjmie na szeroką skalę to aktualizacja systemu będzie możliwa na dowolnym urządzeniu. Wymiana systemu na dowony inny używający virtio też nie będzie problemem. Może rynek telefonów zacznoe przypominać rynek PC, gdzie możesz sobie podmoenić system i wszystko śmiga.

@Klopsztanga Ostatnio zacząłem się interesować troche fizyką kwantową i okazuje się, że IBM u siebie na stronie ma darmowe narzędzie do budowy obwodów kwantowych - https://quantum-computing.ibm.com/composer/files/new

Niestety póki co nic z tego nie rozumiem 🤣

@radler i za szybko nie potestujesz 😛

Zaloguj się aby komentować

Gadałem sobie dzisiaj z swoim nowym szefem - CTO, który przeszedł do nas z AWS i trochę otworzył mi oczy na jedną kwestię.
Na co? Na te zwolnienia developerów z FANGU. Wszech i wobec wszyscy krzyczą że to koniec programistów, że programiści są zwalniani itp.
A jaki jest fakt? Amazon podczas pandemii prawie podwoił swoje zatrudnienia. Więc po tym szoku covidowym, Amazon wraca do normalnego wzrostu.
No a jak jedna firma zwalnia, to pod trend podłączają się inne firmy, bo to dobra wymówka by łagodnie zejść z "ludzi", tak by nie odbijało się negatywnie na akcjach.
Ot, taka ciekawostka #programowanie #nieprogramowanie #it #technologia #amazon #aws
3

@Klopsztanga tu też nie chodzi o te zwolnienia w dużych firmach, ale po prostu sporo jakichś gówno startupów zaorało gdzie często robiło się niepotrzebne apki typu wpisz ile razy dzisiaj srałeś i one utrzymywały się z tego że jacyś ludzie w nie inwestowali teraz ci ludzie już tak nie szastają pieniędzmi i nie inwestują w byle gówno. Ja sam dla takiego zagranicznego startupu pracowałem ich produkt moim zdaniem nie miał racji bytu ale ktoś to finansował z jakiegoś crowdfoundingu i też ten startup upadł i poleciało 20 osób. No ale ogólnie nadal ofert sporo wszędzie więc no nie wiem

@Legitymacja-Szkolna No nie wiem, z tego co słyszałem to na przykład w takim gdańskim Intelu jest teraz exodus.

Zaloguj się aby komentować

@Jason_Stafford żeby było proeuropejsko, a nie czekaj

Zaloguj się aby komentować

Kiedyś pisałem że ścigam się w lidze samochodzików autonomicznych. Właśnie ruszył nowy sezon i po raz pierwszy jest to ogłoszone też po polsku.
Jest liga ogólna i studencka, a najlepsi dostają bilety do Vegas na konferencję AWS re:Invent. Wyścigi są głównie wirtualnie, ale są też opcje fizyczne.
Tak to wygląda w mistrzostwach
https://youtu.be/O6pUHybSNok
Ogłoszenie:
https://www.hejto.pl/wpis/dolacz-do-ligi-aws-deepracer-2023
Fajnie byłoby mieć polską grupę ścigających. Jeśli ktoś chce dołączyć to zapraszam do kontaktu, pomogę.
#sztucznainteligencja #uczeniemaszynowe #programowanie #naukaprogramowania #aws #deepracer
2

@mrmydlo każdy ma jakiegoś bzika 😀

Utworzyła się sympatyczna społeczność, ludzie się uczą, spotykają, bawią, a i tydzień w Vegas piechotą nie chodzi

Zaloguj się aby komentować

@DOgi Tarot Driven Development

Zaloguj się aby komentować

Niedziela (i pewnie poniedziałkowy poranek) pod znakiem POTĘŻNEGO #backup maszyn wirtualnych i kontenerów z lokalnego serwera #proxmox do #AWS. Bo na bank coś spierdolę albo o czymś zapomnę w swoim homelabie. ( ͡° ͜ʖ ͡°)
Zostały jeszcze niecałe 3TB.
Najważniejsze, to mieć jakiś plan na rozpoczęcie nowego projektu a, do tego mam nawet zamiar użyć testowo Canvas w #obsidian Obsidian który odkryłem przy okazji wpisu: Niedawno #bitwarden (najlepszy manager haseł z którego - AdmiralAwesome - Hejto.pl
#selfhosted #homelab
be92bd11-d126-4935-ab7e-f5dadcafb0ef
0f36f089-d953-43f1-bb86-1057cbba035d
0

Zaloguj się aby komentować

Repost, przepraszam, strefy czasowe się mi pokręciły i wysłałem w nocy.
Konferencja AWS re:Invent w Las Vegas dobiegła końca. W tym roku głównym tematem dla mnie były mistrzostwa AWS DeepRacer. Jest to samochodzik który używa uczenia maszynowego żeby jeździć po torze.
Ukończyłem na dwudziestym miejscu z 52 finalistów. Jestem bardzo zadowolony z mojego modelu, jeździł dość stabilnie. Wiedziałem że nie mam szans z najlepszymi, ale miałem nadzieję że nie będę ostatni. Nie liczyłem na awans do drugiej tury, do top 32 a tu taka niespodzianka.
Stawka była zróżnicowana. Mieliśmy studentów, którzy w zasadzie ścigali się tylko wirtualnie w lidze studenckiej i takich którzy studiują reinforcement learning i deepracer jest jednym z obiektów badań. Byli przedstawiciele partnerów AWS, pracownicy firm gdzie deepracer ma swoje wewnętrzne ligi i ludzie ze społeczności, stali bywalcy i nowi.
Były radości, były zawody, ale sam show stał na całkiem wysokim poziomie. Widać było napracowanie organizatorów.
Ze strony społeczności koordynowałem ścigaczy proxy. 5-6 osób nie mogło przyjechać i ktoś musiał im trzymać tablet przy torze. Kto miał znajomych z firmy na miejscu ogarniał sam, ale dwóch chińskich zawodników jest w lockdownie a jeden z Indii jest w kolejce do złożenia wniosku o wizę, czas oczekiwania 4 lata. Skorzystaliśmy z pomocy zawodników z poprzednich lat i wyszło chyba nieźle, dwóch weszło do drugiej rundy, dostali nagrania i informacje jak poszło, byli zadowoleni.
Przede wszystkim spotkaliśmy się po raz pierwszy od trzech lat w takich ilościach. Nowe pomysły, pełno eksperymentów, rozmów, zabawy. No, Vegas baby.
Powiem szczerze, dobrze że się zaczepiłem szybko. Jest coraz więcej dobrych ścigaczy i takie przeciętniaki jak ja będą miały trochę trudniej. A tak to teraz jestem jednym z liderów społeczności i jest szansa że nawet bez kwalifikacji będę jeździł co roku na re:Invent  tak więc jednym z moich celów jest żeby było trudniej się zakwalifikować. A do tego trzeba więcej zaangażowanych rajdowców, bo wiecie, rozumiecie, co z tego że jestem dwudziesty z ok. 14 tysięcy co w tym roku dotknęli deepracera skoro około 500-1000 ściga się trochę więcej?
Jakby ktoś był zainteresowany to chętnie wspomogę na starcie.
d6e40212-bad6-4784-ad2c-dffcc1ecd8a4
ba9e19ad-5f4d-4102-9a88-2468fbe98d6f
7492d438-57be-49f7-9de1-a3cd40cfdca7
4

Fajny post, nie wiedziałem że coś takiego istnieje. Tak się zastanawiam czy to bardziej zabawa w gotowce czy też by wygrać trzeba głębiej wejść w optymalizację modelu? Na jaki wiek oceniasz próg wejścia w tę zabawę?

@tmg gotowce są świetne żeby zacząć. To jest też narzędzie edukacyjne i marketingowe. Gotowcami mogę kogoś bez wiedzy w godzinę poprowadzić do objechania toru. Po tej godzinie będzie wiedzieć z grubsza jakie mechanizmy działają przy trenowaniu i ściganiu, na czym polega uczenie maszynowe, gdzie znaleźć społeczność, jak mnie w niej znaleźć, jak AWS może wbić do biura z torem na evencik, co to liga, jakie są nagrody i co może zrobić dalej jeśli chce więcej się ścigać.

Zdalnie ogarnę prezentację i pierwszy wyścig w godzinę plus czas zależnie od ilości osób.

@tmg ale jak chcesz poczuć zapach $10000 to już krew pot i łzy. Komp robi za ogrzewanie, trzeba znaleźć miejsce i budżet na tor i godziny analiz, prób i błędów

Zaloguj się aby komentować

Konferencja AWS re:Invent w Las Vegas dobiegła końca. W tym roku głównym tematem dla mnie były mistrzostwa AWS DeepRacer. Jest to samochodzik który używa uczenia maszynowego żeby jeździć po torze.
Ukończyłem na dwudziestym miejscu z 52 finalistów. Jestem bardzo zadowolony z mojego modelu, jeździł dość stabilnie. Wiedziałem że nie mam szans z najlepszymi, ale miałem nadzieję że nie będę ostatni. Nie liczyłem na awans do drugiej tury, do top 32 a tu taka niespodzianka.
Stawka była zróżnicowana. Mieliśmy studentów, którzy w zasadzie ścigali się tylko wirtualnie w lidze studenckiej i takich którzy studiują reinforcement learning i deepracer jest jednym z obiektów badań. Byli przedstawiciele partnerów AWS, pracownicy firm gdzie deepracer ma swoje wewnętrzne ligi i ludzie ze społeczności, stali bywalcy i nowi.
Były radości, były zawody, ale sam show stał na całkiem wysokim poziomie. Widać było napracowanie organizatorów.
Ze strony społeczności koordynowałem ścigaczy proxy. 5-6 osób nie mogło przyjechać i ktoś musiał im trzymać tablet przy torze. Kto miał znajomych z firmy na miejscu ogarniał sam, ale dwóch chińskich zawodników jest w lockdownie a jeden z Indii jest w kolejce do złożenia wniosku o wizę, czas oczekiwania 4 lata. Skorzystaliśmy z pomocy zawodników z poprzednich lat i wyszło chyba nieźle, dwóch weszło do drugiej rundy, dostali nagrania i informacje jak poszło, byli zadowoleni.
Przede wszystkim spotkaliśmy się po raz pierwszy od trzech lat w takich ilościach. Nowe pomysły, pełno eksperymentów, rozmów, zabawy. No, Vegas baby.
Powiem szczerze, dobrze że się zaczepiłem szybko. Jest coraz więcej dobrych ścigaczy i takie przeciętniaki jak ja będą miały trochę trudniej. A tak to teraz jestem jednym z liderów społeczności i jest szansa że nawet bez kwalifikacji będę jeździł co roku na re:Invent 😀 tak więc jednym z moich celów jest żeby było trudniej się zakwalifikować. A do tego trzeba więcej zaangażowanych rajdowców, bo wiecie, rozumiecie, co z tego że jestem dwudziesty z ok. 14 tysięcy co w tym roku dotknęli deepracera skoro około 500-1000 ściga się trochę więcej?
Jakby ktoś był zainteresowany to chętnie wspomogę na starcie.
589033f5-6c2c-4cb9-94e5-eacb438865e4
3

@tptak fajna sprawa, szkoda że wrzuciłeś w nocy, daj jesze raz w dzień to pójdzie na główną

@anervis 8 godzin różnicy. Zaraz poprawię, mam nadzieję że się nikt nie obrazi

@tptak o widzisz jest na głównej i tak 🙂

Zaloguj się aby komentować

Następna