#jaszczomp

22
634
Czy to co zrobiłem, można określić jako data pipeline?

Miałem jedną stronę, która miała w sumie na sobie 1600 linków.
Było to rozmieszczone na podstronach, gdzie każda miała 50 linków (więc trzeba było 32 razy przejść na nową stronę żeby zobaczyć wszystkie linki). Problem w tym że te linki to było zdjęcie albo film, i nie dało się wyekstraktować samych filmów.

Zrobiłem 3 skrypty w pythonie:
-pierwszy wyciągnął z każdej z tych podstron wszystkie linki, i umieścił je w jednym pliku
-drugi skrypt wziął dane z tego pliku, wszedł pod każdy link, sprawdził które z podstron zawierają filmy, i zapisał linki do pobrania filmów do kolejnego pliku
-Trzeci skrypt po prostu pobrał wszystkie filmy i umieścił je w jednym folderze

Wydaje mi sie że to jest pipeline, bo każdy kolejny skrypt posiłkował się wynikiem wykonania poprzedniego skryptu.

Do CV chyba tego nie wpisze co prawda, bo filmy które wyciągałem są z gatunku postów #jaszczomp i rekruter może sie krzywo patrzeć ( ͡° ͜ʖ ͡°)

Do samego zadania użyłem pythona i modułów requerts, threading oraz BeautifulSoup4. Czy jest do tego inne narzędzie, którego mógłbym sie nauczyć żeby sie przydało w pracy data engineera?
#datascience #programowanie

Zaloguj się aby komentować

My użytkownicy Hejto żądamy cycków i igrzysk!

Inaczej bunt!

(Igrzyska się zaraz zaczynają więc właściwie żądamy tylko cycków)

#hejto #cycki #jaszczomp #afera #bunt #rewolucja
Mazski

No to żeby było incluzywnie i nowocześnie... Żądamy też kutasów!

koszotorobur

@Mazski - pchasz się w multikonto kolego - ludzkich narządów płciowych pokazywać na Hejto nie wolno (żadnych - ani pierogów, ani parówek - dla nich nie ma i nie będzie wolność na Hejto).

LondoMollari

Żądamy też kutasów!

@Mazski Podsyłam swojego, ale w internecie łatwo znaleźć całe mnóstwo.

38a7e259-6168-4ee6-afb0-faafad9bfc06
Belzebub

@Fantom_s ? Ratuj Hejto!

Zaloguj się aby komentować

Zostań Patronem Hejto i odblokuj dodatkowe korzyści tylko dla Patronów

  • Włączona możliwość zarabiania na swoich treściach
  • Całkowity brak reklam na każdym urządzeniu
  • Oznaczenie w postaci rogala , który świadczy o Twoim wsparciu
  • Wcześniejszy dostęp, do wybranych funkcji na Hejto
Zostań Patronem
Witam.
Muszę z tego miejsca pochwalić moderację i administrację Hejto.
Wczoraj wieczorem zgłosiłem modowi #oczk chęć zmiany nicku.
Jednak legitymowanie się imieniem i nazwiskiem pod postami #jaszczomp trochę nie przystoi, postawiłem na anonimowość.
Dziś jestem już kimś zupełnie innym. A wszystko to w parę godzin. Bezboleśnie.
Dzięki #oczk, dzięki #hejto
Pan_Buk

@Mewtyla Tylko proszę pamiętać, aby się przelogowywać przy komentowaniu postów, żeby potem nie było przypału panie Donaldzie!

redve

No kurwa

@Oczk zglaszalem sie na discordzie ponad rok temu o zmiane na "redve", bo zrobilem kiedys konto lata temu i zapomnialem passów. Konto od jakis 2 lat jest martwe xd

redve

A potem byla afera z @lubieplackijohn i koniec

Oczk

@redve a no widzisz, nie moje czasy.


I zgłaszałeś na discordzie, po takie rzeczy uderza się na priv :v

VonTrupka

Normalnie można by po prostu dodać opcję jednorazowej zmiany nicka odblokowującej się po uzyskaniu jakieś rangi

np. ciemnozielonki :]


no, ale to trzeba na spokojnie, tak ze 2 lata poczekać

Zaloguj się aby komentować

#stopyprocentowe spadną czy wzrosną przez najbliższe 4 lata, jak myślicie?

Biorę leasing i mam do wyboru stałe i zmienne. Kwota nieduża więc nic się nie stanie jak wybiorę źle ale lepiej wybrać dobrze

Stała rata jest trochę niższa niż zmienna, co by sugerowało że bank przewiduje spadek stop procentowych...

#gospodarka #jaszczomp
maximilianan

Spadną pewnie jeszcze przed wyborami bo czemu nie xD

wombatDaiquiri

@NatenczasWojski


Stała rata jest trochę niższa niż zmienna


Pamiętaj - stała już bardziej nie urośnie, a zmienna może rosnąć bez końca. Zastanów się, czy warto oszczędzać na spokoju ducha?

John_polack

Traktat sopocki będzie dotrzymany

Zaloguj się aby komentować

Kapuczino Jaszczop w natarciu? Będą musieli mu kolejne tlenione blondyneczki dostawić jak wyjdzie makao/po makale/poker.
https://twitter.com/Macronextcom/status/1704814639953907746
#finanse #jaszczomp #glapinski
a0778ab3-2e2d-4791-830c-76af230ad767
AdelbertVonBimberstein

@Anty_Anty Bank Norwegii jak taki mądry to niech zbiera kurs korony z podłogi (a jest dramat).

Już zaczynają pracownicy zmieniać kierunek emigracji.

Zaloguj się aby komentować

Następna