Cześć,
potrzebuję pomocy z jedną rzeczą w #python . Nie jestem programistą, a robię to właściwie w celach edukacyjnych i utknąłem.
Robię webscraping za pomocą biblioteki BeautifulSoup dla kilkuset stacji Infopasazer, ktore znajdują się na różnych adresach URL. Kwestia dotyczy tego, że czasami strony tych stacji działają, a czasami nie i w momencie, gdy skrypt napotka problem zatrzymuje się i nie robi webscrapingu kolejnych stron. Próbowałem dodać
try:
except (AttributeError, requests.exceptions.Timeout):
pass
natomiast to sprawia, że po prostu nie wywala mi błędów w konsoli, a nie kontynuuje pracę.
Czy ktoś ma pomysł jak można sobie z tym poradzić? Jak będzie trzeba więcej kodu to udostępnię.
Dzięki
wonsz

@kolorado którą drogę ninja wybrałeś?


try:

....pobierz_wszystkie(urls)

except (AttributeError, requests.exceptions.Timeout):

....pass


for url in urls:

....try:

........pobierz_jeden(url)

....except (AttributeError, requests.exceptions.Timeout):

........pass

Bolec39

@kolorado mam nadzieję, że dostaniesz odpowiedź, ja natomiast mam pytanko. Korzystasz z jakiegoś vpna przy scrapowaniu czy yolo bomba na swoim ip? chciałbym zesrapować parę stron, ale boję się, że dostanę bana na ip xD

kolorado

@wonsz doszedłem do tego, zamiast dla każdego URL dodać osobny try except zrobiłem jeden na cały kod. Dodałem na szybko brakujące dla każdej podstrony i działa.


@Bolec39 myślałem o tym, ale wydaje mi się, że 450 zapytań na godzinę to nie jest chyba jakaś tragedia, dodatkowo to są osobne mikroserwisy więc może się tam nie obrażą

wonsz

@kolorado no bo tak to mniej więcej z tego zdawkowego opisu wynikało że tu będzie problem.

Zaloguj się aby komentować