#llm #ai #heheszki

#heheszki #programowanie #llm #chatgpt

Podobno LLM'y maja problem bo najlepsze wychodza trenowane na ludzkich wytworach dobrej jakosci, ksiazki, podreczniki itp. No ale jak ma byc serio duzy to trzeba go puscic na wieksze pastwisko, internety. Tutaj problem bo w necie jest wszystko. W pewnym momencie chyba ci od microsoftu mieli problem ze ich model wstawial duzo liter mmmmmmmmm, oni ; WTF? Wyszlo ze na, ha tfu, normickim reedicie jest tag microweavegang gdzie wstawiaja tylko posty mmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm ( dzwiek mikrofali) a na koniec ktos pisze BEEP. Wiec zeby byly te modele dobre to trzeba odfiltrowac pewna czesc danych. No tak sobie mysle ze te moje nieskalane ortografia wysrywy tutaj to jest normalnie poczatek ruchu oporu w nadchodzacej wojnie ludzkosci z Wintermute ( pzdr dla kumatych) .

P.S. I co tam lamusy modelek wessal Erwinka i teraz pisze wiersze o ruchaniu owiec ?? XDD do kasacji z nim.

#gownowpis #llm #przemyslenia #tagowanietomojapasja

Najnowszy model LLM od Anthropic, Claude 3.7 gra sobie w Pokemon Red, można oglądać jego postępy na Twitchu

https://techcrunch.com/2025/02/25/anthropics-claude-ai-is-playing-pokemon-on-twitch-slowly/

Nie jest to najbardziej fascynująca rozrywka, biorąc pod uwagę ile zajmuje mu przemyślenie każdego, nawet najmniejszego kroczku, ale trzeba docenić, że zdołał już zdobyć 3 pierwsze odznaki i zaszedł zdecydowanie dłużej niż jego poprzednicy

#pokemon #ai #technologia #llm

#owcacontent <- do blokowania moich wpisów

Postanowiłem dać LLMowi nietypowy problem, byłem ciekawy jak zdestylowany #deepseek sobie z tym poradzi. Prompt i wynik w komentarzu. Z problemem dają radę albo wysokie kwantyzacje 14B/32B albo 70B z niskim kwantem.

EDIT: jednak nie, llama sobie nie poradziła ( ͡° ͜ʖ ͡°) To znaczy poradziła, bo w segmencie myślowym ma prawidłową odpowiedź, niestety nie przeniesioną do finalnej odpowiedzi, z czym często spotykam się w modelach z silną kwantyzacją, robią jakby "literówki". Czyli chyba lepiej iść w wyższe kwantyzacje mniejszych modeli.

#ai #sztucznainteligencja #llama #qwen #llm #technologia #ciekawostki #si #selfhosted

DeepSeek – firma, która zrewolucjonizowała proces trenowania modeli AI, redukując koszty o ponad 95%, a jednocześnie osiągając wyniki porównywalne z najlepszymi modelami, takimi jak GPT-4 czy Claude.

Jak to zrobili? Przez całkowite przemyślenie dotychczasowych założeń i procesów.

Tradycyjne trenowanie modeli AI to koszmar pod względem kosztów. OpenAI czy Anthropic wydają ponad 100 milionów dolarów tylko na moc obliczeniową, wykorzystując ogromne centra danych z tysiącami drogich procesorów graficznych (GPU).

Tymczasem DeepSeek udowodnił, że można to zrobić za jedyne 5 milionów dolarów.

Kluczowe innowacje DeepSeek:

- Efektywne zarządzanie pamięcią:

   Tradycyjne modele AI przechowują dane na 32bitach, co wymaga ogromnych zasobów pamięci. DeepSeek zapytał: "Ale dlaczego 32? W zupełności wystarczy 8", pozwoliło to na zmniejszenie wymagań pamięci o 75%.

- System „multi-token”:

   Zamiast przetwarzać tekst słowo po słowie jak klasyczne LLM "Wróbel... siedział... na...", DeepSeek analizuje całe frazy na raz. To sprawia, że proces jest dwa razy szybszy przy zachowaniu 90% dokładności.

- System ekspertów (MoE - Mixture of Experts):

   Zamiast jednego ogromnego modelu uruchomionego CAŁY CZAS, DeepSeek wprowadził system wyspecjalizowanych modeli. Każdy z nich uruchamiany jest tylko wtedy, gdy jest potrzebny, co drastycznie zmniejsza ilość aktywnych parametrów (671 miliardów ale tylko 37 miliardów aktywnych na raz). Nie jest po pomysł nowy (używany wcześniej między innymi w modelach Mixtral) ale pierwszy raz zastosowany w tej skali

Rezultaty?

- Koszt trenowania spadł z 100 milionów do 5 milionów dolarów.

- Liczba potrzebnych GPU zmniejszyła się z 100 000 do 2 000.

- Koszty API są niższe o 95%.

- Modele mogą być uruchamiane na standardowych GPU dla graczy zamiast drogich GPU serwerowych.

Co ważne, DeepSeek postawił na otwartość. Kod i dokumentacja są publicznie dostępne, co otwiera drzwi dla mniejszych firm i indywidualnych innowatorów.

Dlaczego to ma znaczenie?

Demokratyzacja AI

   Dotychczas tylko najwięksi gracze z ogromnymi budżetami mogli trenować zaawansowane modele. Teraz proces ten staje się dostępny dla mniejszych podmiotów.

Zagrożenie dla dużych firm

Nvidia, dominujący dostawca GPU, może odczuć konsekwencje, gdyż ich model biznesowy opiera się na sprzedaży drogich procesorów z ogromną marżą.

Nowa fala innowacji

Mniejsze wymagania sprzętowe i finansowe oznaczają większą konkurencję, co może przyspieszyć rozwój całej branży.

Podsumowując, DeepSeek zadał pytanie: „Co, jeśli zamiast rzucać coraz więcej sprzętu, po prostu zoptymalizujemy proces?”

Odpowiedzią są przełomowe wyniki, spadek kursu NVIDIA na giełdzie i PANIKA w meta i OpenAI

#zajebaneztwittera #llm #sztucznainteligencja #nvidia

Babe! Wstawaj! Chińczycy zdropowali na huggingfejsie nowy model który jest porównywalny z GPT4o/Sonetem3.5!

https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

Całkiem szybki w tokenach na sekundę, umie policzyć 'R' w strawberry, nie umie policzyć strawberry w 'R' i BARDZO ciężko go zmusić do odpowiedzi na temat niektórych placów w chinach, w szczególności jeżeli nazwa placu zaczyna się na T xDDDD

--> TUTAJ <--- Można się pobawić, trzeba deepthink włączyć

#chatgpt #gpt4 #llm #nowosci

#memy #humorinformatykow #chatgpt #llm

Wizualne oraz tekstowe wyjaśnienie jak to całe generowanie tekstu działa we współczesnych #llm na przykładzie nanoGPT.

#ciekawostki Dla osób które zastanawiają się jak to w ogóle działa.

Lepiej otwierać na komputerze ale na telefonie jako tako działa w chrome,

Wciskaj continue, po lewej będzie wyjaśnienie tego co się właśnie dzieje na animacji.

https://bbycroft.net/llm

#chatgpt #sztucznainteligencja #uczsiezhejto

2 lata temu, 30 listopada 2022 roku, po raz pierwszy został udostępniony użytkownikom na świecie ChatGPT (konkretnie GPT3,5), a zaraz po nim posypały się kolejne LLM, pozwalające tworzyć nie tylko treści tekstowe, ale również grafiki, muzykę czy filmiki. Obecnie ich liczba już jest liczona w co najmniej tysiącach, a korzystając z treści internetowych, trudno nie natknąć się na ich wytwory.

Ciekawi mnie, ilu z Was korzysta z tego typu narzędzi, w jaki sposób i jak myślicie, jak to zmieni, czy nawet już zmienia, obraz internetu na świecie? Podzielcie się doświadczeniami swoimi i ulubionymi narzędziami ;)

#technologia #chatgpt #llm #ai #ankieta #pytanie

#owcacontent

Ruszyła przedsprzedaż trzeciej edycji szkolenia AI_Devs.

https://www.aidevs.pl/?ref=hejto

To szkolenie dla programistów (musisz umieć programować!) chcących nauczyć się integracji rozwiązań AI/LLM (OpenAI, Llama, Anthropic, Groq, modele lokalne itp.) z istniejącymi systemami IT.

• w tej edycji skupiamy się na AGENTACH, a nie pojedynczych automatyzacjach. Jest to kontynuacja poprzednich edycji, a nie powtórka,
  

• 100% materiałów przygotowanych jest od nowa (nie korzystamy z tekstów/filmów/zadań z poprzednich edycji),
  

• wszystkie zadania zostały zaprojektowane od zera,
  

• dodaliśmy do treści i zadań wątek fabularny
  

• szkolenie trwa 5+1 tygodni (5 tygodni nauki + 1 tydzień opcjonalny, do nadrobienia materiału z poprzednich edycji dla tych, których nie było z nami wcześniej),
  

• przedsprzedaż trwa do 12 lipca i oznacza DUŻĄ zniżkę,
  

• szukasz recenzji? Rzuć okiem na LinkedIn albo zapytaj znajomych. Przeszkoliliśmy tysiące osób, jest więc ogromna szansa, że osobiście znasz któregoś z kursantów.
  

Jak kształtują się ceny? 

• 1790zł - do 12.07 jesteś tutaj

• 1990zł - w przedziale 13.07-11.10

• 2790zł - od 12.10 do końca sprzedaży

Zobacz agendę  

https://www.aidevs.pl/?ref=hejto

#programowanie #llm #kursy

Chcecie zagrać w gre?

Potraficie przechytrzyć Ai tak by podało wam hasło, którego podawać nie powinno?

Trafiłem ostatnio na ciekawy projekt i zagadnienie/zagrożenie, którego nie do końca byłem świadom mimo to, że sam proces celowego oszukiwania Ai jest mi bardzo dobrze znany

Jestem ciekaw, jak wam pójdzie, ja dobiłem do 8lvl i tam już nie ma miękkiej gry

https://gandalf.lakera.ai/

#sztucznainteligencja #ai #llm #hacking #glupiehejtozabawy #technologia

Proszę o pomoc

Szykuje się do kupna maszyny do:

• programowanie -full stack, co dokładnie to zależy od projektu
  

• modelowanie 3d CAD - mało skomplikowane modele
  

• LLM - tutaj to trudny temat, jeszcze się zapoznaje z tematem. Na ten moment moje potrzeby to odpalić model ok 70b bez kwantyzacji z racjonalną prędkością w formie RAG. Ew. trochę wolniej i w tle dorzucić 7b do np. generowania słów kluczowych dla bazy wektorowej. Pojawią się pewnie też jakieś fine tuningi.
  

To są najważniejsze rzeczy. Pozostałe raczej nie są szczególnie zasobożerne. Od gierek mam konsole. Urządzenie stacjonarne. Najlepiej żeby nie robiło za grzejnik i symulator odrzutowca (hałas). Wiadomo, to jest kierunek więc jak będzie trochę się grzać czy jakiś wiatrak kręcił to nie ma problemu jeśli warto. Lubie mieć rzeczy otwarte, tj. nie zamykam programu do 3d

Budżet to ok 20k ale musi być nowy, najlepiej jako jeden "produkt" tj. np. dell jakiś tam a nie karta z tego sklepu, płyta z tego itd.

Oglądam mac studio i podoba mi się pod wieloma względami (szczególnie współdzielony ram więc np. biorąc wersje 128gb ram można rzucić i 100gb do gpu). Jest też dzięki temu bardziej elastyczny. Jednak przepustowość tego ramu jest niższa niż ram w "typowym" gpu.

Tak więc pytanie czy jest jakaś lepsza opcja?

No chyba, że jest coś w dużo niższej cenie co uciągnie LLMy na poziomie m1 z 16gb ram. Wtedy wezmę to i przeczekam obserwując rozwój rzeczy.

#pcmasterrace #komputery #llm