Już 26.06.2021 od 11 do 18! na naszym discord Data Society Community, aż 7 prelekcji pełnych praktycznej wiedzy. Tematyka od data science, ML, AI i projektowanie architektury. Zapraszam!!! https://summer-data-society-conf.carrd.co/

Best-of Machine Learning with Python - lista najpopularniejszych repozytoriów aktualizowana co tydzień. Przejrzałem zawartość i śmiało mogę polecić jako jedną z lepiej zorganizowanych list typu "awesome". Na + zasługuje duża przejrzystość, ogrom kategorii i posortowanie narzędzi po liczbie gwiazdek na GitHubie/ich jakości.
https://github.com/ml-tooling/best-of-ml-python
Polecam też sprawdzić resztę list "best of" od powyższych autorów (link znajdziecie w repo)

Jednym z bardziej ciekawych wzorców architektonicznych jest architektura zwana Pipe And Filters.
Co nam daje?
Polega ona na utworzeniu za pomocą modułów w kodzie idempotentych przepływów danych.
Przykład na ML flow:
Dane => Mapowanie danych => Analiza danych => Imputacja danych => Transformacja danych (np scalowanie) => Uczenie na danych => Weryfikacja modelu => Deploy modelu
Co nam daje P&F?
Możemy bez problemu każdą z tych części zrównoleglić od siebie i użyć tak zwanych collectors do zbierania wyników i przekazania ich do kolejnego modułu.
Dane => 1..N osobnych procesów => Mapowanie danych => Analiza danych => Imputacja danych => Transformacja danych => Kolektor => Uczenie na danych => weryfikacja modelu => Deploy modelu
P. S. Co to podziału analizy statystycznej na mniejsze batche opieram się na Centralnym Twierdzeniu Granicznym, dlatego mogę robić na zatomizowanych ilościach
Z ciekawości czy ktoś chciałby coś o ML/DS ?