myślę że to pewien krok milowy w ramach #lajko - mam wygodny workflow do dodawania nowych źródeł i zakończyłem scraper contentu z #hejto (posty + komentarze)

  1. IDE, w którym edytuję kod. Ja używam Goland, bo jak zaczynałem pracować to darmowe narzędzia do go były ciągłą walką.
  2. test który odpalam, żeby stworzył plik out.html
  3. hot-reloadowane out.html (hot reload zapewnia IDE, ale pewnie da się to zrobić jakimś standardowym narzędziem w linuxie xD
  4. treść nad parsowaniem której pracuję

teraz muszę jeszcze wymyślić jak dodać referencje między contentem oraz jak zrobić dociąganie danych o autorach. A potem to już masówka - wp, onet, rp, wykop, hejto, wszystko może być źródłem treści

#programowanie #tworczoscwlasna
02ea70dc-b5db-4e36-bb41-157c139bf86d
koszotorobur

@wombatDaiquiri - jako, że mam zrobienie takiego scrapera za sobą to możesz wrzucać wszystko w bazę SQL (ja używałem SQLite a później PostgeSQL) i mieć różne tabele gdzie indeksem jest ID posta (to co wygląda jak UUID). Ja mam osobne tabele do wpisów, tagów, komentarzy i potem robię JOIN w zapytaniu SQL po właśnie tym ID.

wombatDaiquiri

@koszotorobur mój pomysł jest trochę inny. Ja chcę sprowadzić wszystkie newsy do jednolitego „contentu” a potem sam sobie wyświetlać z różnych stronek w ramach jednej apki. Jeśli można spytać - ile tu jest realnie ruchu dziennego?

koszotorobur

@wombatDaiquiri - to robisz agregator treści z różnych portali?

A ruch mogę ocenić jedynie po ilości dodanych wpisów i komentarzy - gdyż nie mam dostępu do ilości wyświetleń - zaraz Ci te dane podam.

koszotorobur

@wombatDaiquiri - masz tu dane - ilość postów i ilość komentarzy na dzień - dane za okres marzec - październik włącznie.

e1f3cff7-e6d0-406c-805f-636d425011ee
6c734a19-36af-4720-8257-924cc8f4b5ec
wombatDaiquiri

@koszotorobur zgadza się, agregator treści. Bardzo Ci dziękuję za wykresy, staram się estymować ile miejsca będę potrzebował.

Zaloguj się aby komentować