#datascience

6
24
#programowanie #datascience #matematyka
Mam na studiach zajęcia z projektu zespołowego (mamy coś zrobić w grupie 4 studentów).
Prowadzący nam podsunął żeby zrobić coś z algorytmami genetycznymi.
Umówiliśmy sie ze ekipą że przez tydzień poprzeglądamy literature na ten temat, i sprawdzimy czy jest to coś co damy radę ogarnąć.
Temat wydaje sie w miare łatwy, i nawet zrobiłem prosty program który wykorzystuje algorytm genetyczny (narazie tylko do szukania ekstremów funkcji 1 i 2 zmiennych, i faktycznie umie je dobrze przybliżać nie wiedząc jaki wzór ma funkcja), i tu pojawia się pytanie:

znacie jakiś praktyczny projekt który by wykorzystywał taki algorytm?
Nie musi być skomplikowany, ale zwykłe szukanie ekstremum funkcji zadanej znanym wzorem jest dosyć nudne.
Chce zrobić coś, co nie będzie nudne przy pracy, tylko faktycznie będzie można poobserwać jakieś ciekawe rezultaty

EDIT: Pytam sie o coś na czym można fajnie zaprezentować taki algorytm
b62a559b-2bb1-49d1-9149-fa06e0493bbb
inskpektor

@redve123 znajdowanie drogi w labiryncie

TryingMyBest

Na studiach rozwiązywaliśmy problem n-queens za pomocą genetycznego ale to chyba trochę mało jak na projekt zespołowy.

jakibytulogin

U mnie na studiach był problem optymalnego użycia elektrowni różnych rodzajów (węglowe, szczytowo-pompowe itd.) na podstawie dobowego wykresu zapotrzebowania i parametrów poszczególnych elektrowni. Zadanie na 6: dokładamy el. wiatrowe losowo generujące prąd.

Zaloguj się aby komentować

()
#datascience #programowanie #heheszki
c9e40e0e-1d8e-403b-b601-6e955c5d6241
koszotorobur

@GrindFaterAnona - to jest czyste zło - na szczęście w miarę łatwe do wychwycenia jak ma się jakikolwiek linter...

jestem_na_dworzu

@GrindFaterAnona ty zły człowieku xD zaraz jakiś junior zejdzie na zawał

the_good_the_bad_the_ugly

@GrindFaterAnona That’s evilest thing I could ever imagine. xD

Zaloguj się aby komentować

#nauka #medycyna #biologia #datascience #matematyka
czy da się jakoś uniwersalnie sprawdzić "jak bardzo pijany/naćpany jestem"?
Nie mam na myśli alkoholu w wydychanym powietrzu, czy ilości substancji we krwi.
Chodzi mi stricte o to, czy da się określić przykładowo, że jestem pijany tak na 76.5pkt w skali redve123
Pytam, bo chciałem zrobić porównanie stan upojenia / ilość substancji, bo jestem ciekawy jakie jest optimum opłacalności.

Zgaduje że we wzorze na to pojawiłaby się jakaś całka po czasie, ilość substancji, czas od zażycia, i tempo półrozpadu (żeby określić stężenie), parametry ciała, no generalnie byłby to pojebany wzór. Ale czy w ogóle tak się da?
m-q

Amerykańska drogówka każe przejść po linii prostej

GrindFaterAnona

@redve123 nie jesteś w stanie nawet koncepcyjnie opisać co to znaczy, ze dwie osoby są pijane/naćpane tak samo, a chcesz to matematycznie opisywać.

Niepowtarzalny2

Możesz zbudować własną skalę wykonując szereg testów po różnych stanach spożycia.

Przykadowe testy:

- przejście w Lini prostej 20m w funkcji czas

- rozwiązanie 3 równianie matematycznych z mnożeniem i dodawaniem w funkcji czasu i ilości podejść

Itp.


Na podstawie zebranych wyników możesz określić w jakim stopniu upośledzone są twoja percepcja otoczenia, logiczne myślenie itp

Zaloguj się aby komentować

#programowanie w pierwszej pracy jestem odpowiedzialny za developowanie nowych aplikacji, czyli wywoływanie REST-a w pythonie. Chciałem iść w branżę data science, gdzie mogę pracować z matematyką i analizowaniem danych zamiast samego klepania kodu (chce klepać kod który coś przeliczy, a nie coś monotonnego i tak prostego że nawet chatgpt to kiedyś pewnie będzie pisać).
Mam pracę w której robię bardzo mało, i płacą mi bardzo dużo. Na tyle dużo że mając ten rok doświadczenia dalej ciężko żeby mi ktoś chciał tyle dać. Problem w tym że wywoływanie REST-a to kiepskie doświadczenie dla analizy danych (chociaż stanowisko ma w sobie nawet data governence), a szczególnie takiej w której mi dobrze zapłacą.

Czy dobrym pomyslem byłoby poszukanie roboty gorzej płatnej, w której będzie zapierdol, ale która będzie powiązana ściśle z analizą danych? Tym sposobem za 2 lata miałbym 2 lata doświadczenia w branży DS i mógłbym wołać wyższe stawki w branży która mnie interesuje, a tak miałbym 3 w kodzeniu REST-a z tytułem data governence, ale chyba nic wybitnego do DS.
Przy okazji, czy w DS coś pomoże tytuł licencjata z matematyki?
#datascience #pracbaza
GrindFaterAnona

@redve123 lepiej sobie zostaw dobrze platna prace, w ktorej nie musisz duzo robic. Skoro nie musisz duzo robic, to masz czas zeby sobie robic projekty DS na boku. Hobbistyczne do portfolio na gicie, male zlecenia. Licencjat z matmy dobrze widziany ale zrob tez jakies certyfikaty z rozwiazan chmurowych pod DS od Azure albo AWS i bzikaj. Doswiadczenie w budowaniu aplikacji i kodowaniu w ogole zawsze mile widziane

rakokuc

@redve123 musisz sobie odpowiedzieć na jedno zajebiście, ale to zajebiście ważne pytanie: co chcesz robić w życiu – i zacząć to robić.

koszotorobur

@redve123 - nawet wywołani RESTa można ulepszyć - jeśli nie używasz to polecam asyncio i asynchroniczne moduły zewnętrzne jak aiohttp.

Do analizy danych koniecznie jest ogarnięcia Pandas, Polars, Numpy, Plotly - polecam też Dash do robienia stron z wizualizacjami.

Wiedzieć jak optymalizować kod pod duże obliczenia to już chyb standard - najlepsze rezultaty daje Numba i Cython ale są też inne możliwości więc zacznij robić to kiedy się nudzisz w obecnej pracy.

Do tego warto ogarnąć chmurę i minimum ich usługi do analizy danych - AWS chyba najpopularniejszy - do tego można zrobić oficjalne certyfikaty i one są całkiem poważane.

Konteneryzacja to plus - więc ogarnięcie Dockera, Podmana, Compose to podstawa.

Linux oczywiście zawsze na propsie - minimalne musisz ogarniać WSL na Windowsie i jak developować na Windowsie lub Macu ale uruchamiać na Linuksie.

Pewnie są jakieś inne rzeczy co pominąłem ale powyższe to podstawy.

Zaloguj się aby komentować

#datascience #programowanie
Póki co mam stanowisko data governence engineer, ale chciałem iść bardziej w stronę analizy danych.
Mam na studiach rachunek prawdopodobieństwa i statystykę, i myślałem nad jakimś projektem żeby dostać faktycznie pracę gdzie dostaję zestaw danych, i proszą mnie o informacje co robić.
Co uważacie o takim projekcie/serii "projektów":
Wszedłem na Kaggle, pobrałem losowy zestaw danych (tutaj informacje o osobach z ryzykiem zawału serca), i przez jakiś czas będę sobie z niego wyciągał różne informacje (korelacja zmiennych losowych, wartości oczekiwane etc.). Następnie zrobię prosty skrypt który z całego zestawu danych wylosuje mi kilka obiektów, i ukryje kilka wartości (jak np. wiek pacjenta etc.). Moim zadaniem jest na podstawie reszty danych wydedukować te zakryte wartości. Oceniane będzie to jak blisko będę prawdziwej wartości.
Całość dokumentuję w postaci notatek w latexu, z dodatkową konwersją do markdown i całość wrzucam na serwer gita, dzięki czemu można podejrzeć notatki online.
f1e4fb55-975d-4ad5-b713-b476b854508f
GrindFaterAnona

@redve123 jesli chcesz w tym pracowac to dobry pomysl, zawsze to jakis wpis do cv. Zasugeruję jedynie model klasyfikacyjny zamiast regresyjny - pisales, ze chcesz przewidywac wartosc jakichs parametrow, przewiduj po prostu czy ktos zachoruje czy nie. Jak bys mial jakies pytania to pisz, 5 lat juz jako ds.

wombatDaiquiri

@redve123 


Oceniane będzie to jak blisko będę prawdziwej wartości.


Overfitting?

redve123

@wombatDaiquiri dla każdej zmiennej losowej liczę ile wyniesie: X / (|X-GX|)

Gdzie X to faktyczna wartość, a GX to moje przewidywanie (Guess)

Finalnie będę miał wektor z punktami które opisują, jak blisko byłem prawdziwej wartości

Roboczo mam taką formułę, ale już wiem że ostatnia linijka będzie do zmiany bo nie jest to dobry sposób zliczania sumy punktów (jeżeli na 10 strzałów 1 będzie prawie idealny, a reszta totalnie zła, to i tak uzyskam dużo punktów przez ten jeden strzał)

086327e4-c8df-4917-a6c5-fa87a6f73bca
dolitd

@redve123 I zmień attemt na attempt.

koszotorobur

@redve123 - ciągle narzekasz, że nic nie umiesz, że niepełnosprawność, że się już poddałeś... a tu taka pozytywa NIESPODZIANKA!

To co zaprezentowałeś to już są podstawowego umiejętności analizy danych!

Myślę, że masz problem z samooceną która nie przystoi do stanu faktycznego i jesteś dla siebie za surowy.

Jeśli chcesz kontynuować naukę to dobrze też znać narzędzia - najpopularniejsze obecnie są Python w połączeniu z Pandas lub Polars. Do tego Jupyter Notebooks oraz coś do rysowania wykresów jak Plotly czy robienia całych stron www prezentujących dane jak Dash.

Życzę Zaciętości i Powodzenia!

redve123

@koszotorobur nigdzie nie narzekam że nic nie umiem. W życiu jestem generalnie na całkiem niezłym etapie. A poddałem się dlatego, bo umiejętnościami czy pieniędzmi z pracy nie zasypię niektórych problemów. Praktycznie wszystko co osiągnąłem, osiągnąłem dlatego żeby odciągnąć uwagę od "nieco mniej optymistycznych" myśli.


Dzięki za rekomendacje tooli, próbuje właśnie sie przyzwyczaić do jupytera w neovimie

Zaloguj się aby komentować

#programowanie #datascience polecicie jakąś większą społeczność związaną z data science, i szeroko pojętą analizą danych? Obecnie pracuje na stanowisku związanym z archiwizacją danych, i chcę się przebranżowić na analizę. Oprócz doświadczenia z kodem, mam raczej solidny background matematyczny, więc takie pojęcia jak współczynnik korelacji, kowariancja zmiennych losowych, czy nierówność Czebyszewa mnie nie przerażają, ale od policzenia czegoś do bardziej użytecznych danych jeszcze daleka droga. Myślę jak zacząć iść w tym kierunku.
qdco

@redve123 Polecam kursy od Andrew Ng na coursera, wielu od tego zaczynało. Były za free, jak nie chcesz certyfikatu oficjalnego, nie wiem czy nadal tak jest.

GrindFaterAnona

@redve123 jak chcesz spolecznosc to na medium.com jest masa artykulow od podstaw

Zaloguj się aby komentować

@rakieciara dodała fajny zbiór danych do wykrywania hejtu na podstawie moderacji serwisu wykop.pl
https://www.hejto.pl/wpis/polski-zbior-danych-do-wykrywania-hejtu-powstal-przy-wspolpracy-z-wykop-pl

Znalazłem kilka cytatów o partii:
8292,"> uważaj kolego już raz oddziały specjalne [pseudonym] skasowały ten obrazek
{USERNAME}: jebać pis też kasują za to jebać biedę już jest legalne
! debile",1

3548,"Jak myślicie, będzie coś dzisiaj w #tvpis o zabójstwie irańskiego generała? Czy standardowo broszurka wyborcza PiS i udajemy, że świat poza Polską nie istnieje? ( ͡° ͜ʖ ͡°)
#bekazpisu #kurwizja #polityka",1

8540,"Na S8 do Warszawy wjeżdża okolo 30 policyjnych suk. Czyby Pis coś szykował?
#warszawa #jebacpis",1

2763,No j mamy pierwsze blokady dróg . Jebac PiS ( ͡° ͜ʖ ͡°),1

Na szybko przejrzałem, ale jebać + OPA/Ciebie/[nazwisko]/grupę społeczną/policję/kraj jest na liście ale
jebać + inna niż pis partia nie ma w tym zbiorze albo jest w minimalnych ilościach

Znalazłem też w sumie 0 wystąpień dla jebać biedę i tagu jebacbiede

Jak ktoś będzie trenował na tym sieci neuronowe to niemożliwe będzie wypowiadanie się negatywnie o partii bo automoderacja nie pozwoli

#sztucznainteligencja #datascience #programowanie #ai
entropy_ userbar
GrindFaterAnona

@entropy_ a co to z lista? Tego typu algorytm powinien wylapywac szerszy kontekst niz ograniczac sie do zlepku slow

entropy_

@GrindFaterAnona tyle, że tam jest negatywnie w 99% o Pisie.

Algorytm nauczy się, że negatywne komentarze o pisie to mowa nienawiści i nie będziesz mógł nic napisać złego o partii.

Zobacz przykład 3548. To nie jest mowa nienawiści ale uczysz algorytm banowania takich tekstów, które są partii nieprzychylne.

Szczerze to nie znalazłem za dużo o innych partiach

GrindFaterAnona

@entropy_ i dont care, wykop moze mi possać. Wolalbym porozmawiać o algorytmach pod tagiem #datascience

Zaloguj się aby komentować

Cześć,
czy jest tu jakiś ekspert z #datascience, który zechciałby mi pomóc w stworzeniu prostego modelu predykcyjnego? Mam wstępnie obrobione dane w .csv, ale utknąłem na modelowaniu, tj. nie jestem pewien w jaki sposób dobrać parametry żeby to miało ręce i nogi i żeby móc z tego wyciągnąć jakiekolwiek poprawne wnioski.
Z góry dzięki za pomoc!
plemnik_w_piwie

@kolorado a opiszesz po krotce co tam masz? Co chcesz zrobić?

kolorado

@plemnik_w_piwie tak, potrzebuję zrobić model predykcyjny, którego zadaniem będzie sprawdzenie szansy na to, że dany pociąg będzie opóźniony. Dane, które posiadam zawierają informacje o konkretnych pociągach, stacjach, datach i godzinach przyjazdu/odjazdu oraz o opóźnieniach na danych relacjach. Próbowałem to wszystko wymodelować w SAS Miner, ale wyniki raczej nie były satysfakcjonujące.

plemnik_w_piwie

@kolorado no to zacznij od prostej statystyki dla danej linii:

Wykres opożnienia linii w czasie, to od razu ci pokaże trendy.

Średnie opóźnienie i odchylenie standardowe ci pokażą, która linia ma ogolnie niejwieksze opóźnienia

Potem sprawdziłbym korelacje między nimi, bo spożnienia mogą chodzic parami.

Cykliczność i ogólnie postarał się zrozumieć przyczynę opóźnień, bo jeśli np na twoich liniach bywają opóźnienia z powodu problemów z pociągi spoza twojej listy, to powinieneś rozszerzyć badanie. Pkp kiedyś podawało powody opóźnienia pociągu przy portali z ich śledzeniem. Ale to trzebaby studiować na bieżąco, bo nie kojarzę archiwalnych danych z tego. Fajne zajęcie ogólnie:)

Zaloguj się aby komentować

Czy możesz mi wysłać CSV? Otworzyłbym to sobie u siebie w Excelu...
¯\_(ツ)_/¯
#datascience #pracbaza
95341885-6016-4994-b98a-9d71093f0520
kolorado

@motoinzyniere R powinien udźwignąć?

tellet

@motoinzyniere


CSV


anetko wyślę ci tego eksela bo u mnie coś się nie otwiera, pewno musze po informatyka dzwonić!

SzalonyNalesnik

sporo, najwieksza jaka ja widzialem byla 5x większa, tylko przy tych wielkościach to każdy select trzeba 10x przemyslec bo full backup leci 30 godzin na pure macierzach, strach dotykac:)

Zaloguj się aby komentować

tl;dr: założylem bloga o statystyce/danych jak narazie czekam na informacje zwrotne o tym czy jakoś to wygląda
Witajcie! Jestem właścicielem nowego polskiego bloga o danych https://datachaint.me i chciałbym Wam opowiedzieć trochę o tym, czego możecie się spodziewać od tej strony.
Dane to dziś jeden z najważniejszych zasobów, którymi dysponujemy. Mogą nam pomóc w podejmowaniu decyzji, rozwijaniu biznesu czy w codziennym życiu. Jednakże, by korzystać z danych należy wiedzieć jak je pozyskać, przetwarzać oraz interpretować. A to właśnie będzie tematem naszych artykułów.
Chcemy, aby nasz blog był miejscem, gdzie każdy, niezależnie od poziomu swojej wiedzy, mógł znaleźć interesujące informacje o danych i sposobach ich wykorzystania oraz dodać swój własny artykuł. Będziemy starali się pisać w prostych i zrozumiałych dla każdego słowach, tak aby nawet osoby, które nie są specjalistami w tej dziedzinie, mogły łatwo zrozumieć, o czym mówimy.
Nasze artykuły będą poruszać różne tematy, począwszy od podstawowych pojęć związanych z danymi, poprzez analizę danych, po machine learning i sztuczną inteligencję. Postaramy się również pisać o różnych zastosowaniach danych, takich jak marketing, zarządzanie firmą czy nauka.
Jeśli interesujesz się tematyką danych, chciałbyś nauczyć się czegoś nowego lub po prostu poszerzyć swoją wiedzę, to nasz blog jest dla Ciebie. Będziemy publikować artykuły regularnie, więc warto zaglądać na naszą stronę co jakiś czas.
Mamy nadzieję, że nasz blog stanie się dla Was cennym źródłem wiedzy o danych. Jeśli macie jakieś sugestie czy pytania, to zachęcamy do kontaktu. Chętnie odpowiedzielibyśmy na Wasze pytania i wysłuchalibyśmy Waszych sugestii.
Pierwszy post pojawił się 16 kwietnia, jednak dopiero dzisiaj staram się jakoś rozpromować moją stronę. Blog wystartował kilka dni temu i jestem świadom tego, że nie wszystkie funkcje działają (np. newsletter). Moim celem jak na tą chwile jest sprawdzenie tego czy chociażby jedna osoba byłaby zainteresowana taką działalnością. Jeżeli macie jakieś pomysły na poprawę lub chcielibyście dodać swój artykuł, prosiłbym o wysłanie informacji na email: datachaint@gmail.com
Dziękujemy, że jesteście z nami i zapraszamy do czytania naszych artykułów! https://datachaint.me
#blog #analizadanych #statystyka #statystyki #machinelearning #programowanie #python #datascience #nauka
Jason_Stafford

@datachaint przecież tam nic nie ma ¯\_(ツ)_/¯

datachaint

@Jason_Stafford witam co mógłbym zrobić, żeby coś się tam pojawiło, za wszelką pomoc dziękuje

Jason_Stafford

@datachaint Ty prowadzisz bloga o danej tematyce i pytasz się innych co tam umieścić? Coś mi się wydaje, że nie miałeś pomysłu i tak sobie o, zrobiłeś z nudów.

Zaloguj się aby komentować

Hej(to)!
Kiedy udostępniałam tu meetup Polish Machine Learning Community kilka osób pisało, ze nie mogą się pojawić, ale chętnie obejrzeliby nagrania po. I oto nagrania są dostępne, playlista na youtube.
Było to moje pierwsze poważne wystąpienie publiczne i stres trochę zjadł, ale będzie tylko lepiej!
#programowanie #naukaprogramowania #ai #python #datascience #machinelearning #astronomia #radioteleskop
10936156-4699-4719-9761-2852da987bdf
Opornik

@rakieciara brawo:)

biskitus

Super! Z każdym kolejnym będzies się czuć swobodniej. Wyobraź sobie że na sali siedzą twoi znajomi i opowiadasz im o swoim hobby

Zaloguj się aby komentować

Uwaga! 10 grudnia odbędzie się pierwsza konferencja zorganizowana pod marką Order of Devs.
Darmowy bilet oraz więcej informacji możesz znaleźć: https://www.subscribepage.com/orderofdevsconference
Na konferencji pojawią się 3 ścieżki tematyczne:
  • data science,
  • cloud,
  • frontend.
Każda osoba posiadająca bilet dostanie linki do transmisji mailem w dniu wydarzenia, dzięki czemu będzie mogła uczestniczyć w wydarzeniu online lub odtworzyć nagranie w innym momencie.
Właściciele biletów zostaną również zaproszeni do przedsprzedaży dostępu do naszego programu mentoringu grupowego.
Zapraszamy! Zapraszamy też do udostępniania
https://www.facebook.com/Order-of-Devs-238944198047414/
lubieplackijohn

@hackerman No dzień dobry

Zaloguj się aby komentować

Następna