Olx Scraper. Czasami przeglądam #olx w poszukiwaniu rzeczy do naprawy lub teraz auta bo moje zostało skasowane. - Gitler

Inspirator

w DIY - Zrób To Sam 2023-10-11T15:54:37+02:00

Olx Scraper.

Czasami przeglądam #olx w poszukiwaniu rzeczy do naprawy lub teraz auta bo moje zostało skasowane. Każdorazowe wyszukanie produktów i ustawienie odpowiednich filtrów zajmuje sporo czasu, dlatego kiedyś napisałem sobie skrypcik w #python który to automatyzował. Teraz postanowiłem opakować to w #ui . Napisałem apke scrapującą olx, która będzie działać na platformach

mobilnych #android #ios
desktopowych #windows #linux #macos

Funkcjonalność

Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki.
Zapamiętywanie dodanych wyszukiwań w bazie danych aby nie trzeba było powtarzać powyższej czynności w kółko
Wyświetlanie interesujących nas przedmiotów w rzędach. Po kliknięciu na kafelek z jakimś przedmiotem, apka odpala domyślną przeglądarkę i kieruje nas to strony z opisem przedmiotu ( już na platformie olx)

Jak narazie apka spełnia te założenia ale jest jeszcze sporo do poprawy.

Optymalizacja. Apka działa płynnie na moim 7 letnim #xiaomi ale i tak jest mega nie zoptymalizowana.
Czasami obok ceny pojawiają się artefakty z #html . Pewnie ogarnę to jakimś #regex , bo nie chce mi się już poprawiaćtego scrapera który w 99% przypadków działa.
Jeśli dane ogłoszenie przekierowuje nas z olx na otomoto to po gliknięciu kafelka z nim dostaniemy error 404. ( źle sklejam url)
Apka działa tylko z olx. Zamierzam to zmienić aby działała też z allegro i otomoto.
Na platformach desktopowych., przesuwanie poziomej listy działa tylko jeśli korzystamy z laptopa i używamy touchPada. Na PC trzeba coś wykombinować. Pewnie dodam przyciski przesuwające listę.
Dodanie zdjęcia przedmiotu do kafelka z nazwą i ceną

I to chyba tyle z rzeczy, o których na tą chwile pamiętam. Co o tym myślicie? Co mogę jeszcze poprawić/zrobić? Poniżej zdjęcie wersji desktop i film z mobilnej(android).

https://streamable.com/1yzc1s

#programowanie #diy #webscraping #scraping #flutter

Chrome

Streamable

Komentarze (20)

Hejto_nie_dziala 2023-10-11T16:00:57+02:00

@Gitler w olx można zapamiętać łatwo wyszukiwanie, w czym Twoja apka jest lepsza?

Gitler 2023-10-11T16:02:30+02:00

@Hejto_nie_dziala w tym że nic nie musisz robić. Możesz zaciągnąć wszystkie wyszukiwania na raz i trwa to 100x krócej. Portal olx działa strasznie wolno

Felonious_Gru 2023-10-11T19:02:56+02:00

@Hejto_nie_dziala powiadomienia z olx przychodzą dzień - dwa po dodaniu aukcji zgodnej z wyszukiwaniem. Scraper sprawdza wtedy, kiedy ty chcesz

VonTrupka 2023-10-11T20:18:03+02:00

@Hejto_nie_dziala w tym że może będzie pokazywać nowe itemy z dodanego wyszukiwania zamiast "ops się zjebało" po kliknięciu czy to zmaila o nowościach czy z zakładki z ulubionymi wyszukiwaniami (´･ᴗ･ ` )

pfu 2023-10-11T17:13:20+02:00

@Gitler dobra robota Tomek!

def 2023-10-11T17:46:14+02:00

Olx nie blokuje robotow? Allegro blokuje prawie kazda probe scrapowania i trzeba rozwiazywac captche

Gitler 2023-10-11T19:31:10+02:00

@def no właśnie nie. Co mnie zaskakuje. A oprócz sprawdzenia user agenta w hederze to w jaki sposób sprawdzają czy to scraper czy legit klient

VonTrupka 2023-10-11T20:22:04+02:00

@def gdyby olyks zaczął blokować gównoscrapery, które rzezają ten serwis jak ted bundy amerykanki, to by zaczęło to działać a nie dusić kota i wywalać ciągle błędy ( ͡° ͟ʖ ͡°)

def 2023-10-11T22:19:24+02:00

@Gitler po ilości requestów, nie jest to trudne, headery nie mają znaczenia. Jak robisz kilkaset to Cię nie zablokuje, ale kilka tysięcy już tak, 2 lata temu się z kolegą zabieraliśmy za scrapowanie allegro, ale nie dało się (przynajmniej bez drużyny rozwiązywaczy captchy)

dmic 2023-10-11T20:01:13+02:00

Github można?

Gitler 2023-10-11T20:25:15+02:00

@dmic coś się popsuło i nie mogę zmienić na public. Jak ogarne to dam znać

mute 2023-10-11T20:07:40+02:00

_Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki. _

Nie prościej ustawić sobie filtry i dodać do ulubionych, ewentualnie skrót do ekranu głównego w wersji mobilnej.

Gitler 2023-10-11T20:20:00+02:00

@mute Mówisz o tym ? Imo i tak apką się sprawniej przegląda. Ale kto co lubi

VonTrupka 2023-10-11T20:23:15+02:00

to tylko #chwalesie czy owocami pracy zamierzasz częstować? (´･‸･ ` )

Gitler 2023-10-11T20:40:44+02:00

@VonTrupka kod będzie publicznie dostępny. A jak ktoś będzie chciał to moge podrzucić też skomilowaną wersje

Yellowbike 2023-10-11T20:44:57+02:00

Tez mnie irytowało to wyszukiwanie w otomoto i olx i napisałem w pythonie skrypt który sprawdza co 5 min czy pojawiła sie jakaś nowa aukcja przy zadanych parametrach filtra i skrypt wysyłał link i opis telegramem na telefon. Tutaj możesz powiadomienia o tym zagnieździć w apce.

Jescze jedno co jest beznadziejne w olx i otomoto. Jeśli ogłoszenie jest zakończone to znika i to tez mogłoby być w powiadomieniach i dodatkowo gdzieś zachowany screenshot strony z oferta albo sam opis.

Gitler 2023-10-11T20:54:04+02:00

@Yellowbike po czym identyfikowałeś aukcje ?

Yellowbike 2023-10-11T22:23:56+02:00

W otomoto każda aukcja tzn ogłoszenie ma swój nr i modyfikując filtr o dodanie np &min_id=61158400

Wyświetlają sie tylko te ktore maja wyższe numery czyli sa nowsze.

Miałem tez jakis sposób na konwertowanie nr id z paska adresu ogłoszenia bo tam jest to jakby zaszyfrowane w literach i cyfrach.l ale musiałbym pogrzebać w kodzie bo tak na szybko nie pamietam.

psalek 2023-10-11T21:29:54+02:00

@Gitler czego używasz do deploy'u pythona na androida?

Gitler 2023-10-11T21:48:10+02:00

@psalek niczego. Za dużo ebania. Przepisałem skrypt na darta

Zaloguj się aby komentować