Olx Scraper.
Czasami przeglądam #olx w poszukiwaniu rzeczy do naprawy lub teraz auta bo moje zostało skasowane. Każdorazowe wyszukanie produktów i ustawienie odpowiednich filtrów zajmuje sporo czasu, dlatego kiedyś napisałem sobie skrypcik w #python który to automatyzował. Teraz postanowiłem opakować to w #ui . Napisałem apke scrapującą olx, która będzie działać na platformach

  • mobilnych #android #ios
  • desktopowych #windows #linux #macos

Funkcjonalność

  1. Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki.
  2. Zapamiętywanie dodanych wyszukiwań w bazie danych aby nie trzeba było powtarzać powyższej czynności w kółko
  3. Wyświetlanie interesujących nas przedmiotów w rzędach. Po kliknięciu na kafelek z jakimś przedmiotem, apka odpala domyślną przeglądarkę i kieruje nas to strony z opisem przedmiotu ( już na platformie olx)

Jak narazie apka spełnia te założenia ale jest jeszcze sporo do poprawy.

  1. Optymalizacja. Apka działa płynnie na moim 7 letnim #xiaomi ale i tak jest mega nie zoptymalizowana.
  2. Czasami obok ceny pojawiają się artefakty z #html . Pewnie ogarnę to jakimś #regex , bo nie chce mi się już poprawiaćtego scrapera który w 99% przypadków działa.
  3. Jeśli dane ogłoszenie przekierowuje nas z olx na otomoto to po gliknięciu kafelka z nim dostaniemy error 404. ( źle sklejam url)
  4. Apka działa tylko z olx. Zamierzam to zmienić aby działała też z allegro i otomoto.
  5. Na platformach desktopowych., przesuwanie poziomej listy działa tylko jeśli korzystamy z laptopa i używamy touchPada. Na PC trzeba coś wykombinować. Pewnie dodam przyciski przesuwające listę.
  6. Dodanie zdjęcia przedmiotu do kafelka z nazwą i ceną

I to chyba tyle z rzeczy, o których na tą chwile pamiętam. Co o tym myślicie? Co mogę jeszcze poprawić/zrobić? Poniżej zdjęcie wersji desktop i film z mobilnej(android).

https://streamable.com/1yzc1s

#programowanie #diy #webscraping #scraping #flutter
2645c55d-3b54-4b20-8924-85514b8eaa8a
Hejto_nie_dziala

@Gitler w olx można zapamiętać łatwo wyszukiwanie, w czym Twoja apka jest lepsza?

Gitler

@Hejto_nie_dziala w tym że nic nie musisz robić. Możesz zaciągnąć wszystkie wyszukiwania na raz i trwa to 100x krócej. Portal olx działa strasznie wolno

Felonious_Gru

@Hejto_nie_dziala powiadomienia z olx przychodzą dzień - dwa po dodaniu aukcji zgodnej z wyszukiwaniem. Scraper sprawdza wtedy, kiedy ty chcesz

VonTrupka

@Hejto_nie_dziala w tym że może będzie pokazywać nowe itemy z dodanego wyszukiwania zamiast "ops się zjebało" po kliknięciu czy to zmaila o nowościach czy z zakładki z ulubionymi wyszukiwaniami (´・ᴗ・ ` )

pfu

@Gitler dobra robota Tomek!

def

Olx nie blokuje robotow? Allegro blokuje prawie kazda probe scrapowania i trzeba rozwiazywac captche

Gitler

@def no właśnie nie. Co mnie zaskakuje. A oprócz sprawdzenia user agenta w hederze to w jaki sposób sprawdzają czy to scraper czy legit klient

VonTrupka

@def gdyby olyks zaczął blokować gównoscrapery, które rzezają ten serwis jak ted bundy amerykanki, to by zaczęło to działać a nie dusić kota i wywalać ciągle błędy ( ͡° ͟ʖ ͡°)

def

@Gitler po ilości requestów, nie jest to trudne, headery nie mają znaczenia. Jak robisz kilkaset to Cię nie zablokuje, ale kilka tysięcy już tak, 2 lata temu się z kolegą zabieraliśmy za scrapowanie allegro, ale nie dało się (przynajmniej bez drużyny rozwiązywaczy captchy)

Gitler

@dmic coś się popsuło i nie mogę zmienić na public. Jak ogarne to dam znać

5b7de293-c85f-4914-ae76-dffbce269649
mute

_Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki. _


Nie prościej ustawić sobie filtry i dodać do ulubionych, ewentualnie skrót do ekranu głównego w wersji mobilnej.

Gitler

@mute Mówisz o tym ? Imo i tak apką się sprawniej przegląda. Ale kto co lubi

ab25de73-08cd-4705-b571-d1193744b2c5
VonTrupka

to tylko #chwalesie czy owocami pracy zamierzasz częstować? (´・‸・ ` )

Gitler

@VonTrupka kod będzie publicznie dostępny. A jak ktoś będzie chciał to moge podrzucić też skomilowaną wersje

Yellowbike

Tez mnie irytowało to wyszukiwanie w otomoto i olx i napisałem w pythonie skrypt który sprawdza co 5 min czy pojawiła sie jakaś nowa aukcja przy zadanych parametrach filtra i skrypt wysyłał link i opis telegramem na telefon. Tutaj możesz powiadomienia o tym zagnieździć w apce.


Jescze jedno co jest beznadziejne w olx i otomoto. Jeśli ogłoszenie jest zakończone to znika i to tez mogłoby być w powiadomieniach i dodatkowo gdzieś zachowany screenshot strony z oferta albo sam opis.

Gitler

@Yellowbike po czym identyfikowałeś aukcje ?

Yellowbike

W otomoto każda aukcja tzn ogłoszenie ma swój nr i modyfikując filtr o dodanie np &min_id=61158400

Wyświetlają sie tylko te ktore maja wyższe numery czyli sa nowsze.

Miałem tez jakis sposób na konwertowanie nr id z paska adresu ogłoszenia bo tam jest to jakby zaszyfrowane w literach i cyfrach.l ale musiałbym pogrzebać w kodzie bo tak na szybko nie pamietam.

psalek

@Gitler czego używasz do deploy'u pythona na androida?

Gitler

@psalek niczego. Za dużo ebania. Przepisałem skrypt na darta

Zaloguj się aby komentować