Wesprzyj nas i przeglądaj Hejto bez reklam

Zostań Patronem
Hejto.pl
Hejto
/Wpisy
/Dyskusja
letsscrape
Kompan
w Hydepark
Cześć Wszystkim!
To znowu my! 😉 Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.
Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a!
Ostatnio zajmowaliśmy się rozgryzaniem kodu Steama o czym możecie przeczytać tutaj:
👉 https://letsscrape.com/posty/rozgryzamy-kod-steama/ - gorąco zachęcam!
Mając już tę wiedzę dzisiaj będziemy pisać kod scrapujący dane z listingu gier.
👉 https://letsscrape.com/posty/kod-pobierania-danych-ze-steam-store/
Co się w najnowszym poście znalazło?
- trochę kodu w csharp
- dodatkowa rozkmina działania serwisu
- testowanie kodu
Zapraszamy do lektury!
Komentarze, pytania, uwagi (krytyczne) oraz okejki mile widziane!
#programowanie #selenium #webdriver #webscraping #scraping #datamining #csharp
Piszemy Steam Store scraper | Rozgryzamy kod Steama - Let`s Scrape

Piszemy Steam Store scraper | Rozgryzamy kod Steama - Let`s Scrape

W tym artykule rozgryzamy kod Steam Store aby odczytać date jakie chcemy przechwycić do naszego scrapera. Zapraszamy do lektury!

Let`s Scrape
84116dac-28a4-4890-92ab-b5e691b96942
12

Komentarze (12)

dsol17

Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.


I jak na tym niby zarabiacie ? W sensie ok,rozumiem, pozyskujecie jakieś dane,może nawet są one sensownie sformatowane ale kto to potem głównie kupuje ? Oczywiście nie żebym chciał od was info o konkretnych klientach czy coś,TO JEST OCZYWIŚCIE WASZA TAJEMNICA PRZEDSIĘBIORSTWA itd,ale na jakiego typu dane najczęściej macie klientów to może napisać możecie ?


z mojego wstępnego OSINTu na waszej stronce wychodzi,że to jakieś statystyki pod marketing - mam rację?


W sensie - surowiec do #datamining to jest,ale tylko surowiec,więc dziwi mnie trochę,że tak wąska specjalizacja i jakoś to jedzie. No chyba,że startupem jesteście,wtedy mniej dziwi.

Pawlosek

@dsol17 Raczej nie jedzie, ale jakaś próba swojego biznesu jest 😀

Ze swojego doświadczenia takie scrapery są bardzo słabo opłacalne jeżeli nie robisz tego na bardzo szeroką i profesjonalną skalę a liczysz na to, że uda ci się trafić w trend użyteczności (np. zescrapowanie nr ksiąg wieczystych dla każdej działki w momencie, gdy to było możliwe na geoportalu itp).


Napisałem kilka scraperów bardziej pod siebie typu OLX, otomoto, allegro czy inne, zazwyczaj opłacalność tego kończy się już zanim stworzysz projekt, więc raczej jest to dla własnej satysfakcji 😆

parapet-inferno

Komentarz usunięty

Lolekdrugi

Nie chciałbym komukolwiek podcinać skrzydła ale czy czasem scrapowanie za pomocą selenium to najbanalniejsza rzecz w programowaniu?! Coś jak jazda autem do przodu.

Pawlosek

@Lolekdrugi Tak, zależy też jak bardzo te dane chcesz przerobić i jak niezawodne to ma być.

letsscrape

@dsol17 tak, agencje marketingowe ale tez sklepy internetowe, czy też firmy zajmujące się "szerokopojętymi" analizami 😃 wiem, że ogólnie, ale sam rozumiesz...

letsscrape

@Pawlosek wszystko zależy jeśli chodzi o sprzedaż. Największą bolączką dla firm jest to, że w każdej chwili możesz zniknąć, więc to dla klienta duże ryzyko. Zbudują system oparty na Twoich danych, potem coś się wywali odechce Ci się tego robić i już są w tarapatach. Albo źródła staną się ... mniej przyjazne do pozyskania danych. Klient na gwałt zacznie się szukanie wykonawcy i będzie nerwowo. Dlatego trudno sprzedać takiego scrapera.


LetsScrape to nasz próbny "produkt" można powiedzieć "startup" jak to dobrze nazwał @dsol17. Chcemy się zmierzyć z nowymi rzeczami. Nie żyjemy z tego projektu, jest to próba wyjścia do mniejszych podmiotów. Tworzymy produkt, gotowy do użycia jakim jest scraper + API do niego.


Głównym naszym zajęciem jest pisanie dedykowanych projektów dla klientów + postawienie całej infrastruktury + utrzymaniówka + reakcja na błędy/zmiany itd.

letsscrape

@Lolekdrugi i tak i nie, selenium też ma swoje (duże) wady, przez co jest wybierany ostateczności jak wszystkie inne sposoby zawiodą

letsscrape

@Pawlosek o! bardzo dobrze napisane, dorzucę jeszcze kwestię "wagi" selenium i obciążenia maszyn. Ale to nie tylko takie problemy powoduje selenium.

Lolekdrugi

@letsscrape to nie lepiej playwrightem i js? Rozwiązuje 99% problemów.

YebacWykop

Ooo kocham takie kodowanie, pisałem kilka wtyczek do aplikacji jakie mamy u mnie w firmie i to jak słabo zaprogramowane są aplikacje topowych firm to nóż się w kieszeni otwiera. Przeszedłem piekło z elementami iframe więc już za dużo mnie nie zaskoczy

Zaloguj się aby komentować