Dyskusja użytkownika redve

@Cybulion jakość kodu leży, ale pisałem na szybko z oczywistych przyczyn xD

https://pastebin.com/4eXwbW2E

@redve XD

Ważne że działa

@redve coomer.su XDDDDDDD

Imagine, że napisałem w node.js cały skrypt na 2k linii kodu który służy do pobierania i archiwizowania twórców według nazwy i odpalałem go co jakiś czas i automatycznie sprawdzał czy pojawiło się coś nowego od ostatniego uruchomienia i zaciągał nowe wrzuty na dysk.

Znudziło mi się gdy zaczęło mi się kończyć miejsce na dysku.

P.S. coomer i kemono mają publiczne i darmowe API więc nie musisz scrapować strony.

P.S.2 są na githubie gotowe programy i skrypty do pobierania z tej strony nie musisz się męczyć z pisaniem własnego, ja to bardziej dla sportu robiłem xd

EDIT: Przypomniałeś mi w sumie, że miałem ten skrypt kiedyś dokończyć, dopracować i wrzucić na alternatywne konto na githubie xD

@wombatDaiquiri to nie był pornhub, tylko spiracone filmiki onlyfansiary ( ͡° ͜ʖ ͡°)

@redve Czysta ciekawość, której? Ciekawi mnie czy ja i moje uzależnienie od porno ją kojarzy xD.

@redve A to ją jak najbardziej kojarzę, ma kilka fajnych filmów na PH xD.

@koszotorobur asyncio spoko, ale aiohttp wydaje sie bardziej pod serwery a nie zwykły scrape

@redve - to jest też klient:

Asynchronous HTTP Client/Server for asyncio and Python.

Tu masz przykład jak używać aiohttp z beautifulsoup4: https://www.zenrows.com/blog/asynchronous-web-scraping-python#parse-with-data-with-beautifulsoup

@globalbus - aby użyć jq , które służy do parsowania JSONa, to trzeba wydobywać rzeczy z jakiegoś API które zwraca JSONa - Op zdaje się wydobywał rzeczy z HTMLa.

Notabene jq to świetne narzędzie, które stało się właściwie standardem do parsowania JSONa z CLI (i nie tylko na Linuksie) i do szybkich rzeczy jest niezastąpione - niemniej do poważniejszych rzeczy gdy kod staje się bardziej skomplikowany i ma powyżej około 200 linii to sprawny DevOps najczęściej użyje Pythona.

@koszotorobur jak kod staje się skomplikowany, to przestaje to być robota dla pojedynczego devopsa

Python to używam tylko do pisania wtyczek do nagiosa. Plus ansible używa pod spodem.

@globalbus - pojedynczy DevOps to może w jakiejś małej firmie - albo dopiero jak dział startuje w korpo - wtedy to wręcz musi myśleć o innych ludziach którzy całe to gówno po nim przejmą i będą musieli dalej utrzymywać. Ale wtedy to przede wszystkim musi myśleć o sobie za kilka miesięcy by nie deszyfrować swoich spaghetti shell skryptów pisanych pod jednego taska, które się rozrosły - więc w takiej sytuacji Python jest wręcz niezbędny - i mówię tutaj przede wszystkim ze swojego doświadczenia jako ktoś kto bardzo nielubił Pythona kilkanaście lat temu ale zaczął go doceniać gdy musiał sam budować DevOpsowe teamy od podstaw.

Nagiosa to ja już nie używałem od lat - chociaż to nie był taki zły tool - niemniej wiele firm przeszło na SaaS typu Datadog - i ja z tego powodu wcale nie płaczę.

Ansible to świetne i potężne narzędzie - do momentu jak ktoś jego nie używa jak młotka widząc wszędzie gwoździe - wtedy niektórzy zaczynają niezłe potworki w nim tworzyć - zamiast używać narzędzi, które się lepiej do pewnych rzeczy nadają (jak choćby Terraform).

@koszotorobur ansible to kwestia podejścia. Jak masz całą firmę na redhacie, to nie stawiasz terraforma, tylko manageiq, a ono sobie wywołuje playbooki.

Ma to pewną zaletę, admini są po redhatowych szkoleniach, to nie musisz ludzi uczyć obsługiwać nowe młotki.

@globalbus - całe moje korpo stało do tej pory na Red Hacie - ale coś się mojemu korpo obecnie odwidziało i idzie troszkę w inną stronę (zostawiając jedynie RHELa jako OS do serwerów w colo). Na szczęście mamy chociaż Ansible Tower i mamy OpenShift więc zanim nam to zaorają to zajmie kilka lat.

Ale z korpo jest zawsze ten problem, że wierzą za bardzo vendorom i robią "strategiczne" deale na lata (bo przecież się tak oszcędza pieniądze ) - moje korpo wpierw uwierzyło Microsoftowi w Azure a teraz zaczyna wierzyć w bajeczki opowiadane przez Googla (jak to jeden wielki Kubernetes na GKE rozwiąże wszelkie problemy).

No ale ja i mój zespół jesteśmy elastyczni - jakąkolwiek technologie na nas wymuszą - poradzimy sobie bo to nie nasze pierwsze rodeo