Najnowsze wpisy o #datamining

letsscrape

Kompan

w Hydepark 2023-05-04T11:29:43+02:00

Cześć Wam!

Trochę czasu minęło od naszego ostatniego posta, ale już po naszym sezonie urlopowym, więc wracamy do gry!

Przypomnę, że ostatnio scrapowaliśmy podstronę Steama: Wiedźmin III:

https://letsscrape.com/posty/steam-store-scraping-strony-gry/

Natrafiliśmy na znany problem każdemu programiście: zmiana kodu spowodowała wywrotkę w innym miejscu w kodzie.

Wtedy podjęliśmy decyzję, że już czas wprowadzić testy! (Dlaczego teraz a nie na samym początku? Przecież testy się pisze przed kodem!)

Zobaczcie jak my do tego podchodzimy w projektach webscrapingowych:

https://letsscrape.com/posty/steam-store-scraper-testy/

Do następnego posta!

ps wszelkie reakcje na post mile widziane, to nam daje siłę aby tworzyć tego typu treści

#programowanie #selenium #webdriver #webscraping #scraping #datamining #csharp #tdd #testowanie #testowanieoprogramowania

Piszemy Steam Store scraper | Scraping strony gry - Let`s Scrape

Piszemy Steam Store scraper | Scraping strony gry Wstęp HejRead More

Let`s Scrape

Thereforee 2023-05-04T11:45:06+02:00

O, to się zdecydowanie przyda do moich dziesiątek scraperów rozsianych tu i tam. xD

Zaloguj się aby komentować

letsscrape

Kompan

w Hydepark 2023-04-18T10:08:07+02:00

Cześć Wszystkim!

To już nasz czwarty post pokazujący jak wygląda nasza praca!

A co robimy? Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.

Pisząc scraper do Steam'a staramy się opisać, ze szczegółami czego można się spodziewać w takich projektach.

Po krótkim wstępie:

https://letsscrape.com/posty/steam-store-scraper-wstep/

wzięliśmy się za analizę i rozgryzanie kodu Steama:

https://letsscrape.com/posty/rozgryzamy-kod-steama/

po skutecznej znalezieniu mechanizmów jakie rządzą na Steamie, przeszliśmy do pobieraniem danych z listingów gier:

https://letsscrape.com/posty/kod-pobierania-danych-ze-steam-store/

natomiast dzisiaj, będziemy pisać wyciąganie danych z samej strony gry:

https://letsscrape.com/posty/steam-store-scraping-strony-gry/

a jest tych danych sporoooOOooooOooo.

Grę jaką wieliśmy na warsztat chyba każdy (Polak) zna lub o niej przynajmniej słyszał!

Zapraszamy do lektury!

Komentarze, pytania, uwagi (również te krytyczne) mile widziane!

#programowanie #selenium #webdriver #webscraping #scraping #datamining #csharp #chwalesie

Piszemy Steam Store scraper | Wstęp - Let`s Scrape

Przeżyjcie razem z nami przygodę: Scraper - Steam store API. Dowiedzcie się jak wygląda praca w fimie zajmującej się pisaniem scraperów.

Let`s Scrape

letsscrape 2023-05-04T11:30:26+02:00

Zapraszamy wszystkich do przeczytania nowego posta https://www.hejto.pl/wpis/czesc-wam-troche-czasu-minelo-od-naszego-ostatniego-posta-ale-juz-po-naszym-sezo

Cześć Wam! Trochę czasu minęło od naszego ostatniego posta, - letsscrape - Hejto.pl

Cześć Wam! Trochę czasu minęło od naszego ostatniego posta, ale już po naszym sezonie urlopowym, więc wracamy do gry! Przypomnę, że ostatnio scrapowaliśmy podstronę Steama: Wiedźmin III: https://letsscrape.com/posty/steam-store-scraping-strony-gry/ Natrafiliśmy na znany problem każdemu

Hejto.pl

Zaloguj się aby komentować

letsscrape

Kompan

w Hydepark 2023-04-11T20:10:58+02:00

Cześć Wszystkim!

To znowu my! Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.

Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a!

Ostatnio zajmowaliśmy się rozgryzaniem kodu Steama o czym możecie przeczytać tutaj:

https://letsscrape.com/posty/rozgryzamy-kod-steama/ - gorąco zachęcam!

Mając już tę wiedzę dzisiaj będziemy pisać kod scrapujący dane z listingu gier.

https://letsscrape.com/posty/kod-pobierania-danych-ze-steam-store/

Co się w najnowszym poście znalazło?

- trochę kodu w csharp

- dodatkowa rozkmina działania serwisu

- testowanie kodu

Zapraszamy do lektury!

Komentarze, pytania, uwagi (krytyczne) oraz okejki mile widziane!

#programowanie #selenium #webdriver #webscraping #scraping #datamining #csharp

Piszemy Steam Store scraper | Rozgryzamy kod Steama - Let`s Scrape

W tym artykule rozgryzamy kod Steam Store aby odczytać date jakie chcemy przechwycić do naszego scrapera. Zapraszamy do lektury!

Let`s Scrape

dsol17 2023-04-11T21:57:11+02:00

Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.

I jak na tym niby zarabiacie ? W sensie ok,rozumiem, pozyskujecie jakieś dane,może nawet są one sensownie sformatowane ale kto to potem głównie kupuje ? Oczywiście nie żebym chciał od was info o konkretnych klientach czy coś,TO JEST OCZYWIŚCIE WASZA TAJEMNICA PRZEDSIĘBIORSTWA itd,ale na jakiego typu dane najczęściej macie klientów to może napisać możecie ?

z mojego wstępnego OSINTu na waszej stronce wychodzi,że to jakieś statystyki pod marketing - mam rację?

W sensie - surowiec do #datamining to jest,ale tylko surowiec,więc dziwi mnie trochę,że tak wąska specjalizacja i jakoś to jedzie. No chyba,że startupem jesteście,wtedy mniej dziwi.

Pawlosek 2023-04-11T22:51:08+02:00

@dsol17 Raczej nie jedzie, ale jakaś próba swojego biznesu jest

Ze swojego doświadczenia takie scrapery są bardzo słabo opłacalne jeżeli nie robisz tego na bardzo szeroką i profesjonalną skalę a liczysz na to, że uda ci się trafić w trend użyteczności (np. zescrapowanie nr ksiąg wieczystych dla każdej działki w momencie, gdy to było możliwe na geoportalu itp).

Napisałem kilka scraperów bardziej pod siebie typu OLX, otomoto, allegro czy inne, zazwyczaj opłacalność tego kończy się już zanim stworzysz projekt, więc raczej jest to dla własnej satysfakcji

parapet-inferno 2023-04-12T05:14:48+02:00

Komentarz usunięty

YebacWykop 2023-04-11T23:16:13+02:00

Ooo kocham takie kodowanie, pisałem kilka wtyczek do aplikacji jakie mamy u mnie w firmie i to jak słabo zaprogramowane są aplikacje topowych firm to nóż się w kieszeni otwiera. Przeszedłem piekło z elementami iframe więc już za dużo mnie nie zaskoczy

letsscrape 2023-04-18T10:08:49+02:00

hej Wszystkim! wrzuciliśmy nowego posta zapraszamy!

https://www.hejto.pl/wpis/czesc-wszystkim-wave-to-juz-nasz-czwarty-post-pokazujacy-jak-wyglada-nasza-praca

Cześć Wszystkim! :wave: To już nasz czwarty post pokazujący - letsscrape - Hejto.pl

Cześć Wszystkim! :wave: To już nasz czwarty post pokazujący jak wygląda nasza praca! A co robimy? Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu. Pisząc scraper do Steam'a staramy się opisać, ze szczegółami czego można się spodziewać w takich

Hejto.pl

Zaloguj się aby komentować

letsscrape

Kompan

w Hydepark 2023-04-04T20:35:05+02:00

Cześć Wszystkim!

Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu.

Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a!

Ostatnio zrobiliśmy mały zarys pracy oraz napisaliśmy scrapowanie tagów:

https://letsscrape.com/posty/steam-store-scraper-wstep/

Dzisiaj zajmiemy się analizą i rozgryzaniem kodu Steam'a.

Brzmi fajnie, lecz post jest dosyć ciężki i skomplikowany.

Z drugiej jednak strony pokazujemy jak wygląda praca z namierzaniem danych i próbami ekstrakcji ich. Oczywiście można uprościć ten kod korzystając z np. Selenium, ale jak poprzednio pisaliśmy sęk w tym, aby scraper był szybki i zużywał jak najmniej zasobów. Dlatego zostajemy przy HttpClient mimo, że wymaga to więcej pracy od nas.

https://letsscrape.com/posty/rozgryzamy-kod-steama/

Zapraszamy do lektury!

Komentarze, pytania, uwagi (krytyczne) oraz PIORUNY mile widziane!

#programowanie #selenium #webdriver #webscraping #scraping #datamining #csharp

Piszemy Steam Store scraper | Wstęp - Let's Scrape

Przeżyjcie razem z nami przygodę: Scraper - Steam store API. Dowiedzcie się jak wygląda praca w fimie zajmującej się pisaniem scraperów.

Let's Scrape

szoz 2023-04-04T21:09:14+02:00

Scrapowanie danych często wymaga takiej analizy i zabawy w detektywa ale daje to satysfakcję.

Czasami trzeba używać Selenium jak na stronie dużo danych doładowywanych jest dynamicznie albo są zabezpieczenia antybotowe.

letsscrape 2023-04-05T08:42:42+02:00

@szoz świetnie to określiłes "w detektywa", dokładnie tak jest! najlepsza zabawa jest właśnie z zabezpieczeniami antybotowymi "pokonanie" jakiegoś rozwiązania, z którego duże sajty korzystają daje rzeczywiście satysfakcję!

nazwa_uzytkownika 2023-04-04T22:54:09+02:00

Scrapowanie nie podchodzi czasami pod celowe bombardowanie serwerów zapytaniami? Jak to wygląda pod względem prawnym?

WolandWspanialy★2023-04-05T01:44:18+02:00

@nazwa_uzytkownika

https://informatykzakladowy.pl/nieliczni-fani-portalu-albicla/#more-3975

wspomniany już LinkedIn koncertowo przewalił sprawę w sądzie. Scrapowanie publicznie dostępnych danych (w tym profili na Albicli) jest w pełni legalne i nie różni się niczym od ręcznego odwiedzania profili. Zupełnie inną sprawą byłoby gdyby scraping spowodował niedostępność usługi i to już mogłoby być potraktowane jako atak DoS i tutaj Albicla miałaby w sądzie pole do popisu.

Nieliczni fani portalu Albicla

Po półtora roku od ostatniego artykułu wracamy do Albicli, by sprawdzić, jak dziś wygląda popularność tej sieci społecznościowej

Informatyk Zakładowy

letsscrape 2023-04-05T08:43:25+02:00

@nazwa_uzytkownika zależy jak się zorganizuje scrapowanie. Zawsze można sie przyczepić ale generalnie jak to się robi z głową to jest wszystko OK

letsscrape 2023-04-11T20:12:18+02:00

Zapraszamy wszystkich do zapoznania się z nowym postem! https://www.hejto.pl/wpis/czesc-wszystkim-to-znowu-my-wink-prowadzimy-firme-zajmujaca-sie-pisaniem-scraper

Cześć Wszystkim! To znowu my! :wink: Prowadzimy firmę - letsscrape - Hejto.pl

Cześć Wszystkim! To znowu my! :wink: Prowadzimy firmę zajmującą się pisaniem scraperów i pobieraniem danych z internetu. Chcielibyśmy Wam pokazać jak wygląda nasza praca na przykładzie scrapowania danych ze Steam'a! Ostatnio zajmowaliśmy się rozgryzaniem kodu Steama o czym możecie

Hejto.pl

Zaloguj się aby komentować

#datamining

Popularne artykuły

Popularne dyskusje

Kategorie

Popularne tagi