Czasami przeglądam #olx w poszukiwaniu rzeczy do naprawy lub teraz auta bo moje zostało skasowane. Każdorazowe wyszukanie produktów i ustawienie odpowiednich filtrów zajmuje sporo czasu, dlatego kiedyś napisałem sobie skrypcik w #python który to automatyzował. Teraz postanowiłem opakować to w #ui . Napisałem apke scrapującą olx, która będzie działać na platformach
-
mobilnych #android #ios
-
desktopowych #windows #linux #macos
Funkcjonalność
-
Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki.
-
Zapamiętywanie dodanych wyszukiwań w bazie danych aby nie trzeba było powtarzać powyższej czynności w kółko
-
Wyświetlanie interesujących nas przedmiotów w rzędach. Po kliknięciu na kafelek z jakimś przedmiotem, apka odpala domyślną przeglądarkę i kieruje nas to strony z opisem przedmiotu ( już na platformie olx)
Jak narazie apka spełnia te założenia ale jest jeszcze sporo do poprawy.
-
Optymalizacja. Apka działa płynnie na moim 7 letnim #xiaomi ale i tak jest mega nie zoptymalizowana.
-
Czasami obok ceny pojawiają się artefakty z #html . Pewnie ogarnę to jakimś #regex , bo nie chce mi się już poprawiaćtego scrapera który w 99% przypadków działa.
-
Jeśli dane ogłoszenie przekierowuje nas z olx na otomoto to po gliknięciu kafelka z nim dostaniemy error 404. ( źle sklejam url)
-
Apka działa tylko z olx. Zamierzam to zmienić aby działała też z allegro i otomoto.
-
Na platformach desktopowych., przesuwanie poziomej listy działa tylko jeśli korzystamy z laptopa i używamy touchPada. Na PC trzeba coś wykombinować. Pewnie dodam przyciski przesuwające listę.
-
Dodanie zdjęcia przedmiotu do kafelka z nazwą i ceną
I to chyba tyle z rzeczy, o których na tą chwile pamiętam. Co o tym myślicie? Co mogę jeszcze poprawić/zrobić? Poniżej zdjęcie wersji desktop i film z mobilnej(android).
https://streamable.com/1yzc1s
#programowanie #diy #webscraping #scraping #flutter
@Gitler w olx można zapamiętać łatwo wyszukiwanie, w czym Twoja apka jest lepsza?
@Hejto_nie_dziala w tym że nic nie musisz robić. Możesz zaciągnąć wszystkie wyszukiwania na raz i trwa to 100x krócej. Portal olx działa strasznie wolno
@Hejto_nie_dziala powiadomienia z olx przychodzą dzień - dwa po dodaniu aukcji zgodnej z wyszukiwaniem. Scraper sprawdza wtedy, kiedy ty chcesz
@Hejto_nie_dziala w tym że może będzie pokazywać nowe itemy z dodanego wyszukiwania zamiast "ops się zjebało" po kliknięciu czy to zmaila o nowościach czy z zakładki z ulubionymi wyszukiwaniami (´･ᴗ･ ` )
@Gitler dobra robota Tomek!
Olx nie blokuje robotow? Allegro blokuje prawie kazda probe scrapowania i trzeba rozwiazywac captche
@def no właśnie nie. Co mnie zaskakuje. A oprócz sprawdzenia user agenta w hederze to w jaki sposób sprawdzają czy to scraper czy legit klient
@def gdyby olyks zaczął blokować gównoscrapery, które rzezają ten serwis jak ted bundy amerykanki, to by zaczęło to działać a nie dusić kota i wywalać ciągle błędy ( ͡° ͟ʖ ͡°)
@Gitler po ilości requestów, nie jest to trudne, headery nie mają znaczenia. Jak robisz kilkaset to Cię nie zablokuje, ale kilka tysięcy już tak, 2 lata temu się z kolegą zabieraliśmy za scrapowanie allegro, ale nie dało się (przynajmniej bez drużyny rozwiązywaczy captchy)
Github można?
@dmic coś się popsuło i nie mogę zmienić na public. Jak ogarne to dam znać
_Dodawanie( i usuwanie) przedmiotów do obserwowania poprzez wklejenie linka do nich. Wystarczy wejść na strone olx. Wyszukać co nas interesuje, ustawić sobie filtry jakie chcemy, skopiować link i wkleić je do apki. _
Nie prościej ustawić sobie filtry i dodać do ulubionych, ewentualnie skrót do ekranu głównego w wersji mobilnej.
@mute Mówisz o tym ? Imo i tak apką się sprawniej przegląda. Ale kto co lubi
to tylko #chwalesie czy owocami pracy zamierzasz częstować? (´･‸･ ` )
@VonTrupka kod będzie publicznie dostępny. A jak ktoś będzie chciał to moge podrzucić też skomilowaną wersje
Tez mnie irytowało to wyszukiwanie w otomoto i olx i napisałem w pythonie skrypt który sprawdza co 5 min czy pojawiła sie jakaś nowa aukcja przy zadanych parametrach filtra i skrypt wysyłał link i opis telegramem na telefon. Tutaj możesz powiadomienia o tym zagnieździć w apce.
Jescze jedno co jest beznadziejne w olx i otomoto. Jeśli ogłoszenie jest zakończone to znika i to tez mogłoby być w powiadomieniach i dodatkowo gdzieś zachowany screenshot strony z oferta albo sam opis.
@Yellowbike po czym identyfikowałeś aukcje ?
W otomoto każda aukcja tzn ogłoszenie ma swój nr i modyfikując filtr o dodanie np &min_id=61158400
Wyświetlają sie tylko te ktore maja wyższe numery czyli sa nowsze.
Miałem tez jakis sposób na konwertowanie nr id z paska adresu ogłoszenia bo tam jest to jakby zaszyfrowane w literach i cyfrach.l ale musiałbym pogrzebać w kodzie bo tak na szybko nie pamietam.
@Gitler czego używasz do deploy'u pythona na androida?
@psalek niczego. Za dużo ebania. Przepisałem skrypt na darta
Zaloguj się aby komentować