Śmiesznie, pisząc takiego jakby scrapera lub ładniej ujmując narzędzia do pobierania danych użytkownika z #wykop natrafiłem na zabawnego buga na ich stronie.
Mianowicie wystarczy wejść na profil jakiegoś użytkownika i dajemy na mikroblog i następnie na zakładkę z plusowanymi wpisami. I teraz jeżeli jakiś użytkownik ma ponad 500 stron plusowanych wpisów to po przejściu na jakąkolwiek stronę ponad 500 klikając ze spisu stron na dole to strona załaduje się normalnie. Ale teraz jeśli odświeżymy stronę, albo przejdziemy na nią wklejając link w przeglądarkę to wywali error 404 xD.
Napisałem im wczoraj wiadomość z tym błędem to odpisali odpisali jeszcze w ten sam dzień ale dopiero teraz zauważyłem maila. Twierdzą, że błąd znają i nad nim pracują xd.
Tymczasowo musiałem dodać do swojego skrypta, że na strony powyżej 500 przechodzi dosłownie klikając w linki na dolnym spisie stron zamiast bezpośrednio z adresu po pętli xD.
A co do samego buga to zgaduje, że to jest jakiś problem z routingiem w #vue ale czemu akurat ponad 500 to nie mam pojęcia xD.
@Catharsis - a po co ich użytkowników scapujesz? Mają w ogóle jakiś rate limiting?
@koszotorobur
Po co?
-
chciałem się tego nauczyć
-
przy okazji zrobić backup swojego konta na wykopie
-
bo przy użyciu tego skrypta miałem zamiar go też całego wyczyścić aby moje istnienie na tej stronie zostało wymazane xd, bo jak się usuwa konto to wpisy czy to co się plusowało zostaje
Mają w ogóle jakiś rate limiting?
- tego jeszcze nie wiem i będę to dopiero sprawdzać, na ten moment i tak ten skrypt jest mega powolny bo niestety od czasu nowego wykopu część kontentu na stronie jest ładowana dynamicznie poprzez JS'a i nie da się poprostu pobrać strony tylko trzeba tak jakby otworzyć ją przez przeglądarke. Używam do tego Puppeteera, a że to jest po prostu Chromium tylko bez renderowania okna to nie da się otworzyć zbyt dużo procesów na raz bo komp mi nie daje rady xd
@Catharsis - cool - rzeczowa odpowiedz - szacuneczek
A no i jeszcze chciałem też pobawić się danymi i poszukać jakiś powiązań między kontami które wykopują rosyjską czy pisowską propagandę na Wykopie. Nie mam za dużo doświadczenia w czymś takim to stwierdziłem, że połącze przyjemne z pożytecznym.
Może mi się uda zrobić jakąś gotową listę kont do czarnolistowania która się będzie automatycznie aktualizować wraz z nowymi multikontami spamerów czy coś.
Pomaganie wykopkom, nie szanuję.
Zaloguj się aby komentować