Chciałbym zachęcić was do podzielenia się źródłami, z których korzystacie, żeby być w miarę na bieżąco z nowinkami w branży #programowanie.
Ja od siebie niestety nic nie zaproponuję, bo piszę tego posta właśnie dlatego, że potencjalnych źródeł jest tyle, że nie wiem na co warto zwrócić uwagę. Część wygląda na martwą, a bez sensu marnować czas na bezwartościowy chłam, jeśli ktoś inny zna coś godnego uwagi
Głównie chodzi mi o kwestie związane z data engineering, ale jak macie coś innego, to też chętnie zerknę.
@cweliat - Kaczka ma zakładkę News - często jej używam: https://duckduckgo.com/?q=data+engineering&iar=news&ia=news
@koszotorobur kurde, dobre to jest
Może nie do końca w temacie, ale jakby ktoś był zainteresowany, to znalazłem bardzo zgrabne zestawienie umiejętności do zmasterowania, jeśli chodzi o data engineering. Razem ze źródłami do nauki.
@cweliat to podpinając się pod wątek data dorzucam coś od siebie. Właśnie działam w kierunku Data Scientist, trochę węgla przerzuciłem i polecam roadmapę od Codebasics. Bardzo porządnie rozpisane + źródła do nauki (w większości darmowe). Nie jest to jakiś randomowy bootscamp nastawiony tylko na $$$
Omówienie roadmapy: https://www.youtube.com/watch?v=PFPt6PQNslE
Roadmapa: https://codebasics.io/resources
Trochę niezbyt precyzyjne pytanie, bo to ma być inżynieria oprogramowania, inżynieria danych, jak widzę tu linki, architektura czy jeszcze coś innego?
Moim zdaniem data engineering podpada pod osobna dziedzinę, wcale nie programowanie.
@maly_ludek_lego daleko mi do bycia ekspertem w tej dziedzinie, ale jak najbardziej podciągnąłbym to pod programowanie. Jest dużo elementów, jak projektowanie baz danych, modelowanie danych, różne narzędzia, ale żeby to wszystko zaaplikować trzeba to zwykle spiąć jakimś kodem.
Jak ktoś pracuje przy tradycyjnych hurtowniach danych, to zwykle robi rzeczy w SQL. Niektórzy będą mówić, że to nie programowanie, ale tworzenie architektury i ETL w SQL jak dla mnie jest programowaniem.
Ale już nawet abstrachując od tradycyjnych baz, obecnie pracuję z data streamingiem i wszystko co robimy, to python i C#. Jest masa zewnętrznych narzędzi, z których korzystamy, ale w większości obługiwane są programistycznie (w większości python, ale też np. java w przypadku Apache Flink). Jest dużo teorii, która mówi jak takie pipeline'y powinny być zbudowane itp, ale ostatecznie implementujesz to kodem.
Jak się nie zgadzasz z tym co mówię, to chętnie poczytam kontrargumenty.
A co do pytania, to napisałem, że najbardziej mnie interesuje inżynieria danych, ale zawsze jestem otwarty na inne okołoprogramistyczne tematy
Mi chodzi o to, że praca na danych i ich analiza jest tak rozleglą dziedziną samą w sobie, że bez wskazania kierunku czego szukasz, za bardzo można sie rozwodnić? To tak jakby ktoś z gamedevu pytał o machinę learning. Mam nadzieję, że łapiesz analogię.
@maly_ludek_lego Tak, to racja. Pewnie kwestia tego, jak kto rozumie dany "tytuł". Dla mnie w pracy inżyniera danych analizujesz dane na tyle, żeby dostarczyć użytkownikowi to, czego potrzebuje. A już po stronie użytkownika (jakiś Quantitative Analyst na przykład) leży analiza właściwa.
Zaloguj się aby komentować