#machinelearning

4
47

Poprzednią pracę znalazłem przez Hejto. Po roku niestety się rozstaliśmy (zmiany priorytetów w firmie i przesunięcie kasy na inne działy) ale może uda się ponownie:

Zacząłem magistra z matematyki ze specjalizacją w analizie danych. Mam prawie 3 lata doświadczenia jako data engineer i ML developer.

Przez poprzedni rok wykonywałem obowiązki praktycznie każdej roli jaka jest w data science:

-Ogarniałem dane żeby je potem przeanalizować

-Analizowałem je

-Przygotowywałem raporty, wizualizacje, rekomendacje

-Zbierałem dane do uczenia modeli ML

-Uczyłem modele ML

-Oceniałem i dokumentowałem modele ML

-Dotrenowywałem istniejące


A oprócz tego byłem python developerem i pracowałem z chmurą.


Znacie kogoś kto by był mną zainteresowany? Najlepiej praca zdalna, a finansowo się dogadamy. Mam większe CV, ale na hejto chce skrótowo

#programowanie #datascience #machinelearning #pracbaza #praca #pracait

ttoommakkoo

Z tego co piszesz nie powinno być problemu w dłuższej perspektywie. Powodzenia!

P.S. Wysłałem coś na priv.

Hugs

Powodzenia! Z ciekawości sprawdziłem czy mamy coś u nas. Niby jest coś z Data and Analytics, ale chyba bardziej od strony zarządzania platformą na której to działa.

plemnik_w_piwie

@redve ej ziom, wysłałem Ci priv. Rzuć okiem. Piszę bo mogłeś nie widzieć bo notki z privów też tu leżą

redve

@plemnik_w_piwie nie widzialem, dzieki ze piszesz

Zaloguj się aby komentować

https://arxiv.org/abs/2504.13126 Ja wiem, że ten temat niewielu zainteresuje, więc nawet tagi przyciąłem, żeby nie spamować zbytnio. Mnie za to interesuje bardzo .

Artykuł proponuje nową metodę symulacji przepływów turbulentnych opartą na ML. Wykorzystuje hybrydową architekturę U-Net i operatora Fouriera (Fourier to był gość, gdzie się nie obrócisz w AI/ML to się nań natykasz), co pozwala na szybsze i dokładniejsze przewidywanie turbulencji nad przeszkodami. Model łączy zalety sieci konwolucyjnych i operatorów Fouriera, dając lepsze wyniki niż choćby LES (Large Eddy Simulation) i to mniejszym kosztem. Model dobrze radzi sobie z różnymi warunkami początkowymi i kształtami przeszkód - a to bynajmniej nie standard.

#turbulencje #uczeniemaszynowe #machinelearning #fizyka

Machine-learning-based simulation of turbulent flows over periodic hills using a hybrid U-Net and Fourier neural operator framework

Simulating massively separated turbulent flows over bodies is one of the major applications for large-eddy simulation (LES). In the current work, we propose a machine-learning-based LES framework for the rapid simulation of turbulent flows over periodic hills using a hybrid U-Net and Fourier neural operator (HUFNO) framework. The newly proposed HUFNO model integrates the strengths of both the convolutional neural network (CNN) and Fourier neural operator (FNO) in a way that the FNO is applied in the periodic directions of the flow field while the non-periodicity is handled by the CNN-based U-Net framework. In the \emph{a posteriori} tests, compared to the original FNO and the U-Net framework, the HUFNO model shows a higher accuracy in the predictions of the velocity field and Reynolds stresses. Further numerical experiments in the LES show that the HUFNO framework outperforms the traditional Smagorinsky (SMAG) model and the wall-adapted local eddy-viscosity (WALE) model in the predictions of the turbulence statistics, the energy spectrum, the invariant characteristics of velocity gradients, the wall stresses and the flow separation structures, with much lower computational cost. Importantly, the accuracy and efficiency are transferable to unseen initial conditions and hill shapes, underscoring its great potentials for the fast prediction of strongly separated turbulent flows over curved boundaries.

arXiv.org
onlystat

@ataxbras tomek, uspokoj sie

az mi sie mechanika plynow przypomniala ze studiow i sie niedobrze zrobilo...

ataxbras

@onlystat Aż tak dawałeś w palnik na studiach?

onlystat

@ataxbras daleko od prawdy nie jestes

Zaloguj się aby komentować

Pytanie do ogarniających ludzi #machinelearning #uczeniemaszynowe #sztucznainteligencja #datascience

Dopiero wczoraj ogarnąłem podstawy PyTorch na tyle, żeby zrobić prosty model do klasyfikacji danych ze zbioru MNIST.

Ogólnie coś tam matematyki i ML ogarniam (wcześniej używałem tensorflow), więc to nie jest też tak że wczoraj sie nauczyłem co to jest ML.


Trafiłem na pracę Microsoftu o modelu do czytaniu struktury tabel ze zdjęć https://arxiv.org/pdf/2208.04921

Problem w tym że model nie został nigdzie opublikowany, ogólnie niewiele znalazłem na ten temat poza pracami naukowymi od tych samych ludzi.


Wg waszej oceny, jak bardzo możliwe odtworzenie tego modelu, i uzyskanie chociaż zbliżonej skuteczności?

Znalazłem nowszą, bardziej rozbudowaną wersje tej samej pracy https://arxiv.org/pdf/2303.11615 w które jest jakby więcej szczegółów. Niestety moja wiedza jest zbyt skromna żeby po przeczytaniu ocenić na podstawie tej pracy czy uda mi sie to powtórzyć

31a3cb2e-818d-489c-bd5d-8d4efe75c6f6
redve

@ataxbras trafiłem na to, ale wcześniej sie mu nie przyglądalem. Rozumiem że to jest coś do wykrywania wielu obiektów (nieznanej ilości) ze zdjęcia, na przykład linii które wyciągam w module SegRETR split module, do wykrywania linii?

ataxbras

@redve Tak. Głębiej w strukturę, zwyczajnie ustawiasz matching pod określone FFT i robisz segmentację. Linii, komórek, itp. Jest gdzieś tego paper.

Zaloguj się aby komentować

Tomki, chce sobie kupić nowy kąkuter, głównie do obrazów i video AI. Teraz pytanie, czy procesor od AMD będzie bez większych problemów działał? Karte biorę od NVidia. Na teraz używam comfyui


#programowanie #ai #machinelearning #aiart #sztucznainteligencja

Catharsis

@Jadlem-rogale Generalnie to różnice między procesorami nie są aż tak istotne i zauważalne jak różnice między kartami graficznymi. O co mi chodzi dokładnie? No że procesor wsadzisz do kompa i będzie działał, jeden szybciej drugi wolniej ale generalnie nie licząc obsługi jakiś kosmicznych technologii to większość funkcjonalności jest taka sama i głównie różnią się szybkością i kulturą pracy (o ile nie mają wad fabrycznych xD).


Nie ma czegoś takiego jak przy kartach graficznych, że sterowniki różnią się znacząco, albo że np jeden system operacyjny działa gorzej na którymś procesorze jak to w wypadku Linuxa i kart Nvidii. Nie ma też np takich różnic jak obsługa jakiś funkcjonalności AI, RT, NVENC i innych. Ofc Intel ma tam jakiś swój enkoder video itp ale i tak teraz to raczej będzie się enkodować video na kartach, zwłaszcza po spopularyzowaniu AV1.


Wiadomo zawsze była wojenka Intel vs AMD ale tak naprawdę to w tym wypadku zawsze najlepiej kierować się po prostu opłacalnością i jakością. Kupiłem kompa we wrześniu i wziąłem AMD bo teraz jest lepsze i bardziej zaufane, jak kilka lat temu kupowałem kompa to procek był od Intela bo się bardziej opłacał i tyle.


Generalnie teraz to raczej wszyscy biorą AMD bo jak wiadomo Intel jest w czarnej d⁎⁎ie, dopiero co mieli aferę z niestabilnością i wadami fabrycznymi procków plus najnowsza premiera była nieudana. Ale też z tego powodu procesory AMD poszły cenowo w górę. Więc jak chcesz oszczędzić to możesz próbować Intela xD, te wolniejsze procki raczej są bez wad fabrycznych bo to tyczyło się tylko tych najszybszych modeli. A co do AI na prockach AMD to od dłuższego czasu korzystam np z Whispera do transkrypcji audio i działa znakomicie na samym procku. Ale ogólnie wszystkie rzeczy AI robi się teraz na kartach więc nie ma znaczenia jaki masz procesor póki nie będzie jakiś zbyt wolny żeby nie ograniczał karty.

Zaloguj się aby komentować

#sztucznainteligencja #programowanie #machinelearning

polecicie jakieś źródła gdzie zajrzeć, żeby nauczyć się dopierać lepiej parametry przy tworzeniu modeli do NLP?

Obecnie tworzę model który ma z tekstu wyciągnąć dane takie jak data rozpoczęcia czy data zakończenia, i ćwiczę go pod Named Entity Recognition. Używam Spacy.


No chyba że to w całości eksperymentowanie metodą prób i błędów, to wtedy może uda się dobrać te parametry algorytmem genetycznym?

84a26be1-dfcc-48ba-95c9-b1c7e55c99c1

Zaloguj się aby komentować

Python jest obecnie najczęściej używanym językiem w serwisie GitHub!


Sztuczna inteligencja wprowadziła Pythona do czołówki języków programowania w 2024 roku.


Wiąże się to ze wzrostem liczby programistów "data science" oraz "machine learning" na świecie, przez co Python wyprzedził JavaScript jako najpopularniejszy język programowania na GitHubie.


Źródło: https://github.blog/news-insights/octoverse/octoverse-2024/


#programowanie #python #programista15k #sztucznainteligencja #machinelearning #datascience #github

AureliaNova

Ja nie uznaje za język coś, gdzie bloki się robi intendami i można pisać bez średników, brrr (⁠╯⁠°⁠□⁠°⁠)⁠╯⁠︵⁠ ⁠┻⁠━⁠┻

koszotorobur

@AureliaNova - a ja uznaję tak i tak - przecież i tak kod we wszystkich językach się formatuje wcięciami dla lepszej czytelności

Poza tym przeszedłem przez wszystkie popularne języki programowania i jak trzeba jestem w stanie w nich napisać całkiem skomplikowane rzeczy - bo języki programowania to tylko narzędzia - głupio by było ich nie używać gdy ma to największy sens do danego zadania

AureliaNova

@koszotorobur ja wiem, tylko sobie śmieszkuję. Na pewno kwestia przyzwyczajenia.

Ale moment, gdy mi apka nie chciała się kompilować, bo miałem niespójne wcięcia i musiałem w kilkunastu plikach zamieniać spacje na tab, ostatecznie przekreslił go w moich oczach :P

lurker_z_internetu

No i bomba, bo to świetny język, a popularność nadaje trakcji rozwojowi, bo i pieniążki się znajdują dla fundacji. Jest starszy niż Java, a wiele osób myśli, że to świeży język, bo długo był w cieniu.

VonTrupka

@Opornik ci sami zoomerzy co dupią fleka "bardzo wolno mi się wszystko wczytuje, a ten komputer/telefon nawet roku nie ma" ( ͡~ ͜ʖ ͡°)

Orzech

@koszotorobur A jakie duże aplikacje webowe/desktopowe sa napisane w Pythonie? Serio pytam, bo jak wieki temu wybierałem technologie pod jakieś mikroserwisy to Python może i był najwolniejszy, ale za to nie dało się go utrzymać in the long run. Może coś się zmieniło

koszotorobur

@Orzech - tylko największe aplikacje dostępne w sieci: https://insights.daffodilsw.com/blog/top-10-applications-built-using-python

Poza tym w korpo Python niesamowicie też urósł do pełnoprawnego języka i w moich 3 ostatnich korpo (wliczając obecne) Pyhon jest używany do:


  • Napisania mega skomplikowanych prezentacji danych w formacie strony internetowej używając modułu Dash od firmy Plotly

  • Obróbki danych typu ETL używając modułów jak Pandas oraz Polars

  • Automatyzacji zbierania i obróbki danych potrzebnych do generowania raportów typu "security compliance" z wewnętrznych serwerów oraz różnych dostawców chmurowych

  • Budowania modeli finansowych używając uczenia maszynowego

  • Automatyzacji zadań administratora systemów przy pomocy Ansible

  • Tworzenia infrastruktury chmurowej z kodu (Infrastructure as a Service) używając Pulumi

Orzech

@koszotorobur No z tych wymienionych w artykule to w większości jest to przekłamanie - chociazby w FB, Netflixie i innych backend nie jest napisany w Pythonie, jest to głównie tooling, rzeczy dookoła głównego codebaseu, który jest w C++, Javie, Go I podobnych. W Uberze przepisują Pythona na Go. Spotify jest napisane w Javie. Możesz mi uwierzyć, że YouTube nie jest napisany w Pythonie Tam piszą też o Firefoxie, a przecież źródła są dostępne.


Z tych wymienionych w artykule chyba tylko Instagram jest napisany w Pythonie, ale Meta ma swojego forka Pythona który jest kilka razy szybszy od zwykłego.

Zaloguj się aby komentować

Czy ktoś zna jakiś fork SD który umożliwia użycie multi-gpu do inferencji?


Nie chodzi mi o dzielenie batcha pomiędzy GPU bo to chyba potrafi StableSwarmUI tylko o generowanie jednego obrazu równolegle na >1 GPU.


#stablediffusion #ai #sztucznainteligencja #uczeniemaszynowe #bukmacherka#machinelearning #sztuka #grafika #sd

Amebcio

@NrmvY Nie jestem pewien czy to w ogóle da się zrobić. Firmy nie bawiłyby się w mega układy gdyby można było to zwyczajnie podzielić na kilka mniejszych

NrmvY

@Amebcio LLM się da, ale z tego co widziałem w SD nie ma takiej możliwości.

Zaloguj się aby komentować

Teraz mamy super serwerownie, do odpalenia GPT 4, później będzie można go odpalić na byle laptopie, przez co sztuczna inteligencja bardzo się rozmnoży i upowszechni, a w dalekiej przyszłości będziemy mieli możliwość łatwego przeobrażania dowolnego przedmiotu w inteligentny, tak że sztuczna inteligencja będzie się sama rozmnażała w ten sposób.

#strumienmysli #rozkminydlazabawy #ai #sztucznainteligencja #artificialintelligence #machinelearning #uczeniemaszynowe #si

Alky

@fewtoast symulakr czwartego rzędu.

Zaloguj się aby komentować

Czy już używamy AI do zrozumienia DNA? Wyobrażam sobie że AI pozna jak działa DNA i AI będzie modyfikowało DNA naszych dzieci, zgodnie z wytycznymi przekazanymi jej na czat GPT. ;D

To by było totalnie nieprzewidywalne kombo. xD

#strumienmysli #rozkminydlazabawy #ai #sztucznainteligencja #artificialintelligence #machinelearning #uczeniemaszynowe #si #genetyka #dna #ewolucja

smierdakow

A nauczyło się już palce robić na generowanych grafikach? Bo jak nie, to czeka nas rozwój w branży rękawiczek

Zaloguj się aby komentować

https://newatlas.com/good-thinking/facial-recognition-clothes/


Jak ja gardzę firmami co produkują ubrania które pokonują "facial recognition". Jak przykład z tego obrazka gdzie rzekomo algorytm zgłupieje, bo zobaczy na rynku głównym miasta żyrafę. Beka, genialne, maskowanie jak w dżungli! Tylko to k⁎⁎wa nic a nic nie działa, bo najłatwiej wyszkolić algorytm na śledzenie mord i olanie wszystkiego innego. O ile chaotyczne kolorki mogą pomóc, bo algorytm od razu nie zobaczy 2 nóg i 2 rąk żeby potwierdzić głowę jak szuka kształtów to większość ogarnie twarz bez problemu, a stojąc na chodniku nawet taka pokraka się będzie odcinać.


#sztucznainteligencja #machinelearning

5142f9c2-cc07-4e7c-8c22-5d8d82eb0988

Zaloguj się aby komentować

Czy ktoś umi pokierować do papieżowego stacku, tj jakichs modeli/aplikacji podmieniających twarze w video? Potrzebuję dla kolegi ( ͡° ͜ʖ ͡°)


Pojawiało się tu kilka filmików tego typu


#2137 #heheszki #machinelearning

Przewężenia API dla AI dla lepszego zrozumienia AI

Pofragmentowanie i zaizolowanie AI, zmuszenie jej do komunikacji przez bardzo wąskie otypowane i zrozumiałe przez człowieka API.

Nawet jeśli te przewężenia byłby ustalane przez AI, to byłyby w pełni wyjaśniane i opisane i stałe dla określonych zadań.

w ten sposób, uzyskamy bezpieczniejsze AI, które wiemy co robi, nie jest całkowitą czarną skrzynką, nie może robić co chce, jest ograniczone i określone.

Przykład z AI chwytającym, rozbitym na AI badające parametry chwytanego przedmiotu, oraz AI określające jak chwycić. Te dwa AI komunikują się wąskim otypowanym i zrozumiałym API, dzięki czemu jedno AI nie robi wszystkiego, oraz jest bardziej zrozumiałe co taki system wielu odrębnych AI robi.

Nadal nie znamy i nie rozumiemy algorytmów, ale wiemy co takie AI robi, jeśli poda błędne dane, które spowodują np. zgniecenie przedmiotu, to wiemy który parametr API był błędnie określony. Możemy rozbijać AI na drobniejsze kroki, aż człowiekowi to wystarczy do poczucia bezpieczeństwa.


UWAGA! #strumienmysli #rozkminydlazabawy #ai #sztucznainteligencja #artificialintelligence #machinelearning #uczeniemaszynowe #si

34f84d07-3f76-440d-82d1-bad0903004a5
dsol17

@jimmy_gonzale i poręczne. Ale też taka hybrydowa struktura neuronowo-algorytmiczna będzie chyba trochę bardziej skomplikowana w implementacji na hardware.

jimmy_gonzale

@dsol17 jestem totalnym laikiem w dziedzinie AI ale jako wyrobnik informatyk jestem wstanie trochę zrozumieć. Rozumiem koncept, zdefiniowanie API pomiędzy różnymi bytami AI. Taka mam rozkminę: Czy to nie ograniczy rozwoju tego konkretnego bytu(zbioru)?

Po drugiej stawiając właśnie "nieograniczone" AI, które "szybciej" i się nauczy, mając nieograniczony, lub mniej, dostęp do danych? Będzie, nie wiem, "sprytniejsze", szybciej pozna słabości przeciwnika. Ma to w ogóle sens? 🤔

anervis

@fewtoast nic nie rozumiem, piorunek.

StepujacyBudowlaniec

@fewtoast jest tylko jeden problem - Ty będziesz się bawił w rozbijanie AI na małe API a ktoś inny zrobi za 1/1000 Twojego budżetu pełne AGI i pozamiata

jimmy_gonzale

@StepujacyBudowlaniec o, chyba o to mi chodziło.

Zaloguj się aby komentować

Udało mi się upolować H200, najnowszą kartę NVdii do machine learningu xddd


Normalnie kosztuje setki tysięcy dolarów, a tu używka sie trafiła za kilkaset dolców xddddd


pewnie idiota nie wiedział co sprzedaje xd


#machinelearning #komputery #pcmasterrace

7b113336-c416-43ef-b3ae-e0011dc25349

Zaloguj się aby komentować

Następna