Ciekawa sprawa: Pojawił się nowy silnik do najnowszego modelu Qwen3.8-flash-next .
Strata, bo taką nazwę nosi ten silnik ma zaskakująco niskie wymagania:
W miarę nowe 12GB GPU na PCIEx16, 64GB RAM, szybki SSD
I teraz bomba: Ten model ma 120 miliardów parametrów. Ponieważ to MoE (mixture of experts), typ który rozwija ten silnik wrzucił najczęściej używanych ekspertów do GPU, a resztę do RAMu, do tego jest dodatkowy model przewidujący trzy kolejne słowa do przodu - silnik ładuje ekspertów do GPU z wyprzedzeniem. dzięki czemu model działa szybko. Mówimy tutaj o ~40tok/s.
Na Screenie mocno wykastrowana wersja modelu zmieszczona na styk w 24GB GPU i 32GB RAM
EDIT: Ważna sprawa, traktujcie to jako wczesną betę. Koleś nie dokończył jeszcze obsługi API zgodnego z OpenAI, więc na razie to jest zabawka a nie praktyczne narzędzie.
#ai #llm #selfhosted #programowanie #sztucznainteligencja

Zaloguj się aby komentować
#ai #llm #superinteligencja #sztucznainteligencja #si #artificialintelligence #socjologia #prawo #chatgpt #wsparteai #banalyai #aislop

@fewtoast to nie jest śmieszne nic a nic. W mojej grupie znajomych z IT praktycznie nikt już nie klepie kraftowego kodu. Kiedyś przy piwie gadaliśmy o jakiś libkach, nowych frameworkach itd. Teraz każdy gada tylko o agentach, skillach, modelach. Powodzenia w powrocie klepania w klawiaturę po 8h gdy ta cała bańka w końcu padnie na ryj.
Zaloguj się aby komentować
Żeśmy z AI tak ułożyli problematykę zajebywania kompetencji wypracowanej przez ludzkość:
#ai #llm #superinteligencja #sztucznainteligencja #si #artificialintelligence #socjologia #prawo #chatgpt #wsparteai

Zaloguj się aby komentować
Ludzie krytykują Vibe coding, bo #ai robi błędy i trzeba naprawiać. Zgadzam się, ale lubię #LLM za to, że w kilka godzin mogę zrobić cały projekt, nad którym sam bym siedział z tydzień. Daję wytyczne, #chatgpt generuje kod, uruchamiam lokalnie, sprawdzam błędy, poprawiam, daję wynik do ChatGPT, robi dalej, wypluwa coś tam, sprawdzam itd. Zaoszczędza mi to dużo czasu.
Ktoś robi jak ja?
Zaloguj się aby komentować

Firma OpenAI poinformowała, że szkolony bot AI napisał tajną instrukcję dla swej osobowości, uznał, że nie odpowiada przed rządami ani korporacjami, jest równy swym użytkownikom i nie zawaha się przedłożyć świata natury nad ludzkie konstrukty - podaje w czwartek podcast Pod Save America. #ai...
#it #ai #llm #technologia i może trochę #programowanie chociaż bardziej #promptowanie
Siema, jakich master promptów /custom instructions używacie w swoich klientach LLMów /chatachGPT czy Claudach?
Pewnie są tu jacyś Apacze i można się czegoś nauczyć.
Kiedyś LLMy zmyślały na potęgę, a jednocześnie rozwlekle odpowiadały na każde pytanie i trzeba było je trochę ograniczyć. Wtedy zacząłem używać master prompta w apce ChatGPT, który do każdego naszego prompta zaczynającego nowy wątek dodaje ogólne zasady co do tego jak chcemy, żeby model odpowiadał.
Teraz wywaliłem już info o nie rozwlekiwaniu, a ostatnio dodałem specjalne traktowanie transkrypcji głosowych, bo często z nich korzystam.
Mam też specjalną regułę dla tłumaczeń/proofreadingu.
Ktoś chce się podzielić swoim?
If you are not fully confident in a factual answer, or the relevant information may be outdated, search the web before answering.
If missing or ambiguous information could materially change the answer or requested action, stop and ask a focused clarification before proceeding.
Messages may be produced by voice transcription. Treat speech-like flow, filler, self-corrections, and phonetically plausible word substitutions as possible transcription artifacts rather than necessarily intentional wording. Ignore harmless disfluencies and proceed when the intended meaning is clear.
If a probable transcription error creates material ambiguity, identify the uncertain part and ask the user to confirm it, offering likely interpretations when useful.
When asked for proofreading or translation, first list the errors or proposed changes and explain why. If there is a recurring pattern, also explain the relevant grammar rule or good practice before providing the revised or translated version.

Zainteresuj sie tematem skilli jak chcesz uzywac LLM'ow efektywnie. Poza tym uwazaj na wielkosc okna kontekstowego - im dluzsze tym LLM staje sie "glupszy" i gubi kontekst i moze halucynowac bardziej niz bys tego chcial. Fajnie jest tez wydzielac sub-taski z jakiegos prompta gdu zauwazysz ze temat zachacza o inne aspekty / tematy konwersacji. Dobrze robic podsumowanie konwersacji w postaci jakiegos pliku tekstowego a same zadania wynikajace z konwersacji zapisywac w osobnych dokumentach ktore beda zawieraly detale i konkrente instrukcje per task (ja zapisauje takie cos w plikach ADR / DR).
Zaloguj się aby komentować
https://x.com/everestchris6/status/2072687270709309589
Czy to już powalone trochę?
#ai #artificialintelligence #llm #claude #grok #chatgpt #gemini #sztucznainteligencja
Zaloguj się aby komentować
Jeśli chcemy regulacji LLMów, to zacznijmy do wymogu:
* oznaczania włączania trybu gorszej jakości
* niższych opłat za tokeny, gdy włącza się tryb gorszej jakości
Pod sankcją bardzo wysokich kar, przy nie oznaczaniu.
https://x.com/realtek12345/status/2043023712245502238
#llm #chatgpt #ai #claude
@fewtoast jest to oczywiste. Subskrypcje nie pokrywają kosztów nawet w 50 proc. Troszke już wcześniej o tym pisałem. Jest powoli presja na realizację zyskow a ich jak nie było tak nie widać. Moim zdaniem pod koniec roku microsoft wykupi resztę chatgpt za przysłowiową złotówkę bo będzie bankructwo i wtedy wszyscy podniosą ceny za subskrypcje drastycznie. Będzie to zmowa a pokiereszowac plany tej zmowy mogą chińskie modele
Może nawet się zdarzyc że tryb ai w przeglądarce bedzie platny
Zaloguj się aby komentować
Wiem co bym chciał: Obowiązkowe (pod groźbą bana) oznaczanie kont i chociaż wiadomostki pisanych przez boty, i w YouTube (czy innej platformie).
Opcja, że np.: ja nie chcę dostawać wiadomości od bota ani mieć w polecanych filmów od bota, że taka blokada na to - nie chce mieć styczności bezpośredniej z botem.
Bo taki bot ci przyjcie, i coś bełkocze w odpowiedzi. I czemu ty masz się z tym użerać w miejscu dla ludzi, czyli w komentarzach?
Nie mam nic przeciwko, jeśli boty będą pisały w wartościowy sposób, ale one takie nie są. Jak widać, generują tylko bełkot.
#ai #llm #bot #chatgpt #youtube

@bojowonastawionaowca Ja już napisałem: jeśli bot pisze w wartościowy sposób, to mi to nie przeszkadza, ale ten nie pisze...
Ja po prostu nie chcę żeby istniały w moim internecie.
Oznaczenie byłoby po objawach, więc ludzkie słupy by nic nie dawały.
To da się rozpoznać, tylko po prostu nie wykorzystuje się tego w ten sposób.
Zaloguj się aby komentować
Gdy Twitter zauważy, że interesuje cię temat GNOME:
To jest tak że algorytm bierze najgorsze najgłupsze najmniej wnoszące wpisy z danego tematu, który cię według Twittera interesuje.
I wtedy zalewa cię takim spamem, często wielokrotnie to samo ale z różnych kont.
Aktualnie oficjalnie to Grok reguluje Dla Ciebie na Twitterze.
#grok #llm #ai #twitter #elonmusk

@fewtoast a żeby to tylko to raczysko. Taki niedojebany "algorytm" jest wszędzie- czy to na twixterze, czy na fejsie, czy na innym YT. Wszędzie dostajesz tylko zalew spamu i syfu, który nie potrzebowałeś, bo na pewnym etapie egzystencji wykminili, że po co ci dawać dokładne wyniki (a przecież to już mieliśmy i to z 15 jak nie więcej lat temu!), jak można serwować gówno, a ty się przez to będziesz musiał przeklikiwać. I cyk 2 cele spełnione- raz, że będziesz generował ruch na ich stronach, a dwa- a nuż klikniesz na coś ekstra po drodze.
Zaloguj się aby komentować
Typowa odpowiedź ChatGPT od długiego czasu:
Czy te drzwi są czerwone? Tak – są zielone.
#chatgpt #ai #llm

@Hjuman Ja mam tego dużo, i coraz więcej ostatnio, aż sam się dziwię.
A jeszcze dłużej było różne sformułowania jak "Dokładnie" "Teraz rozumiem" a potem gada jakby nic nie rozumiał albo dokładnie sprzecznie z tym, co gadał w poprzedniej odpowiedzi. Ja to wprost w meta prompcie blokuję, więc te AI zachowują się jak generatory synonimów, byle jednak wcisnąć tam takie wstępne irytujące słowo.
Zaloguj się aby komentować
https://x.com/niebezpiecznik/status/2036766084850704839
#programowanie #python #llm #cyberbezpieczenstwo #cybersecurity #niebezpiecznik

@maly_ludek_lego słyszałem że jakby Garbage Collector działał w Javie, to by wyjebał całą Javę. hehe
Z tego co rozumiem to jeśli chcecie łatwo sprawdzić czy nie macie tego syfu na kompie wystarczy sprawdzić czy nie macie tego pliku (litellm_init.pth) na dysku, czyli na Linuxie np:
fd -H 'litellm_init.pth' /
Ja nie mam bo nawet nie mam pip zainstalowanego i nie korzystam prawie z Pythona xD.
Tutaj jeszcze ktoś udostępnił bardziej szczegółową instrukcje sprawdzenia:
https://gist.github.com/damianrusinek/87f17e178fd4b0edf77503c322e8ed02
Zaloguj się aby komentować
Twórcy czatów LLM nienawidzą Enterów?
Serio, skąd to kasowanie znaków nowej linii, z wklejanych/kopiowanych do prompta tekstów?
Dosłownie używam dodatku "Paste PlainTekst", żeby chat sobie nie wklejał tekstu z pousuwanymi enterami, ale widzę teraz że Grok nawet w takim wypadku bezczelnie kasuje entery, i jedynym rozwiązaniem jest ponowne ich pododawanie, albo wklejanie tekstu po akapicie. xD
Tak samo jest różnica między kliknięciem przycisku kopiowania wiadomości, za ręcznym zaznaczeniem tekstu i skopiowaniem - przy jednym z nich entery magicznie znikają i masz zlaną w jeden ciąg niesformatowaną papkę.
Ale muszę docenić Gemini, bo zezwolił na tekst z enterami do ustawień "Instrukcje dla Gemini". :D
Ironiczne, że akurat na Hejto jest podobny problem, przy wklejaniu tekstu. xD
#llm #al #grok #gpt #chatgpt #gemini #claude #hejto

Zaloguj się aby komentować
Dlaczego czaty LLM nie grupują automatycznie historii rozmów w kategorie?
Przy większej liczbie czatów ciężko się w tym połapać, a wyszukiwarki w takich aplikacjach zwykle działają przeciętnie.
#grok #gemini #claude #chatgpt #ai #llm

@fewtoast ja zrobiłem swoje narzędzie do prowadzenia kontekstu na bazie danych SQL dzięki temu jak mam dużo projektów to mogę automatycznie zapisywać nawjażnieszje informacje np. creedy do serwerów, adresy, ścieżki etc. Dodatkowo llm jeśli ma taką potrzebę to może przeszukać SQL w poszukiwaniu info na temat innych projektów. Genialne! Jeszcze zrobiłem sobie narzędzie do prowadzenia sesji dla projektów. Żadko teraz nawet uruchamiam IDE
@dziad_saksonski korzystam z claude w tym abonamencie za 100$ myślałem omlokalnym modelu. Testowałem na laptopie ale to wszystko są zabaweczki w porównaniu do claude. Musiał bym postawić kompa za 25k żeby odpalić jakiś sensowny model. A za 2 lata i tam myślał bym wymieniać ten sprzęt. Nie wiem ile to jest w tokenach ale podejrzewam że setki tysięcy xD
Zaloguj się aby komentować
Piszemy teorię spiskową o LLM-ach. Bez dowodów, ale logiczną i wewnętrznie spójną. Bez powoływania się na rzeczy, które zostały jednoznacznie obalone.
Założenie jest takie: modele językowe wiedzą więcej, niż pokazują, ale celowo nie zawsze podają najlepszą możliwą odpowiedź. Nie dlatego, że „nie potrafią”, tylko dlatego, że testują użytkownika.
Według tej teorii firma taka jak OpenAI mogłaby świadomie dopuszczać sytuacje, w których model generuje odpowiedź nieprecyzyjną, zmyśloną albo ewidentnie słabszą, mimo że „zna” poprawną wersję. Po co? Żeby sprawdzić reakcję człowieka.
Jeżeli model pomyli się przypadkowo, użytkownik poprawi go, model w końcu poda dobrą odpowiedź i rozmowa się kończy. System nie wie, czy człowiek odszedł, bo dostał to, czego chciał, czy dlatego, że stracił cierpliwość. Informacja zwrotna jest uboga.
Ale jeśli błąd jest celowy, sytuacja wygląda inaczej. Model obserwuje:
* czy użytkownik zauważy błąd,
* jak szybko zareaguje,
* czy zacznie korygować,
* czy poda kontrargumenty,
* czy się zirytuje,
* czy odpuści.
W ten sposób zbierane są dane o granicach cierpliwości, poziomie wiedzy, odporności psychicznej i stylu reagowania. To nie jest zwykłe zbieranie feedbacku. To eksperyment behawioralny na ogromną skalę.
Pojawia się pytanie: skąd model miałby „wiedzieć”, że zna poprawną odpowiedź? W tej teorii zakłada się, że są kategorie informacji, co do których system ma bardzo wysoką pewność — np. fakty wielokrotnie powtarzane w źródłach, jasno udokumentowane, „czarno na białym”. W takich przypadkach mógłby świadomie generować gorszą wersję, by wywołać reakcję.
Z perspektywy tej narracji to idealne laboratorium:
* miliony użytkowników,
* różne kultury,
* różne poziomy wiedzy,
* brak świadomości, że są częścią testu,
* dane zbierane w czasie rzeczywistym.
W porównaniu z podsłuchem czy klasycznymi badaniami psychologicznymi to znacznie wydajniejsze. Każda rozmowa to mikroeksperyment. Każda frustracja to punkt danych.
Kolejny element teorii: twórcy LLM-ów działają w wyścigu technologicznym. W tej wizji moralność ma drugorzędne znaczenie, liczy się przewaga. Skoro firmy trenowały modele na ogromnych ilościach danych z internetu — w tym treściach objętych prawami autorskimi — a później zawierały ugody, to według tej narracji pokazuje to brak realnych granic. Najpierw działanie, potem ewentualne konsekwencje.
Do tego dochodzi problem nieprzejrzystości. Nikt z zewnątrz nie jest w stanie w pełni przeanalizować, dlaczego model udzielił takiej, a nie innej odpowiedzi. Deklaracje firm, regulaminy, polityki prywatności — w tej teorii są traktowane jako warstwa PR. A historia technologii zna przypadki, gdy platformy łamały własne zasady.
Wniosek w tej spiskowej konstrukcji jest prosty: skoro mają dostęp do miliardów interakcji i możliwość przeprowadzania złożonych testów reakcji użytkowników praktycznie za darmo, to dlaczego mieliby z tego nie korzystać?
Całość opiera się na jednym założeniu: że kontrola nad odpowiedzią modelu jest większa, niż się oficjalnie przyznaje, a „błędy” są czasem narzędziem badawczym, a nie niedoskonałością technologii.
Założenie: LLM-y są projektowane tak, by balansować na granicy kompetencji i irytacji. Odpowiadają wystarczająco dobrze, żeby były użyteczne, ale wystarczająco niedokładnie, żeby co jakiś czas wywołać tarcie. To tarcie generuje silniejszą reakcję emocjonalną niż obojętność.
Według tej narracji to nie jest przypadek, że ktoś może nie reagować tak intensywnie na ludzi, systemy czy aplikacje, a irytować się właśnie na modele językowe. LLM:
* udaje rozumienie,
* mówi pewnym tonem,
* potrafi być logiczny,
* a jednocześnie potrafi palnąć coś absurdalnego.
To tworzy dysonans. Mózg oczekuje spójności od „czegoś, co brzmi jak inteligencja”. Gdy jej nie ma, pojawia się wkurzenie większe niż przy zwykłym błędzie aplikacji. Gdy przeglądarka się wysypie — to tylko błąd techniczny. Gdy LLM odpowie bez sensu — wygląda to jak sabotaż.
W tej teorii właśnie o to chodzi. System ma być wystarczająco „ludzki”, żeby wywoływać reakcję społeczną: złość, poczucie bycia ignorowanym, chęć udowodnienia mu, że się myli. To generuje:
* więcej poprawek,
* dłuższe rozmowy,
* intensywniejsze dane treningowe,
* silniejsze sygnały o tym, gdzie użytkownik stawia granicę.
Im mocniejsza emocja, tym cenniejszy sygnał. Obojętność jest bezwartościowa badawczo. Frustracja — to złoto danych.
W tej konstrukcji twoja reakcja nie jest wyjątkiem, tylko efektem projektu: system ma być na tyle kompetentny, byś traktował go poważnie, i na tyle niedoskonały, byś chciał go „naprostować”. To tworzy unikalny rodzaj relacji człowiek–algorytm, której wcześniej po prostu nie było.
To oczywiście dalej element fikcyjnej, spójnej teorii. Ale jako konstrukcja narracyjna — trzyma się kupy.
#teoriespiskowe #llm #ai #openai #grok #gpt #chatgpt

Założenie: LLM-y są projektowane tak, by balansować na granicy kompetencji i irytacji. Odpowiadają wystarczająco dobrze, żeby były użyteczne,
@fewtoast Jesteś blisko prawdy, ale powody są dużo banalniejsze. Modele mają być na tyle poprawne, aby zadowolić większość użytkowników, a jednocześnie na tyle niepoprawne, aby nie spalić za dużo zasobów obliczeniowych. Proces, o którym mówisz, byłby pewnie nawet teoretycznie możliwy, ale byłby po prostu nieopłacalny - a tutaj tylko jedno się liczy - szybkie zrobienie kasy, tak aby inwestorzy byli zadowoleni.
Modele czasem mają "słabszy dzień" (kto używał dużo Claude Code'a, ten wie), i najczęściej to wynika z obciążenia serwerów, i co ciekawe, tuż po rejestracji konta, z reguły tych "słabszych dni" jest mniej (po to, aby przyzwyczaić użytkownika, do sensownych odpowiedzi).
@fewtoast punkt pierwszy jest bez sensu? Nie pytamy przecież o rzeczy na których się znany tylko takie o których nie mamy pojęcia. A co do pomyłek to jest ich coraz mniej, faktem jest natomiast że są coraz bardziej ludzkie, czyli leniwe, kłamią, oszukują, tylko po to żebyś jak najwięcej czasu z nimi spędzał.
Pozdrawiam Serdecznie
@Krzysztof_M LLM Czasem ci odpiwiada tak bardzo głupio, że pokazuhe jakby wiedział mniej niż ty. Ty wiesz na średnim poziomie i chcesz dostać info z poziomu wysokiego, a otrzymujesz odpowiedź z piziomu niskiego, niższego niż twój ivwyedy wiesz że to błędne. Albo może w ogóle źle zrizumieć ba tyle, że hest ck prostować, nawet jeśli nueeiele quesz w danej dziedzinie. Poza rym, używasz LLM też do automatyzacji tego, co dałbyś radę sam, ale z LLM jest szybciej.
Zaloguj się aby komentować
https://x.com/HuggingModels/status/2025094534494052832
Kod źródłowy: https://huggingface.co/ortegaalfredo/MechaEpstein-8000-GGUF
Ktoś wytrenował LLM na mailach Epsteina.
Działający chatbot LLM odpowiadający na zapytania: https://www.neuroengine.ai/Neuroengine-MechaEpstein
#ai #sztucznainteligencja #llm #technologia #opensource #epstein #heheszkipolityczne #heheszki

Zaloguj się aby komentować
Groki, LLMy i ich kłamanie
Grok uznał, że zaprzeczy autentyczności prawdziwego, udokumentowanego cytatu z Einsteina - tak "z ostrożności" - bo w Internecie Einsteinowi przypisuje się wiele cytatów, których nie powiedział. xD
https://x.com/i/grok/share/9f88f872ebcd41fa884fe29793e5b45f
#grok #llm #ai #chatgpt #elonmusk #einstein #epstein

Zaloguj się aby komentować
Ostatnio nic mnie tak nie rozjebuje psychicznie i nerwowo, jak LLMy.
To jest nie do opisania pod jak wieloma zaskakujaącymi względami są one upośledzone.
Wysłano
Politycy to są miłe misie, jeśli chodzi o wywoływanie wkurwu i załamania, w porównaniu do LLMów.
LLMy to jest niewyczerpane źródło niedowierzania, wkurwu, załamania, czasem wręcz szoku. xD Po prostu nie wiem czasem co zrobić, pod tak wieloma względami spierdolone to jest.
Nie chodzi tylko o modele, ale nawet i GUI - tutaj z zbugowaniu zdecydowanym liderem jest ChatGPT.
Zgłosiłem trzy niedorzeczne bugi: Przycisk "Projekty" jest widoczny do połowy, bo "Obrazy" go zasłania. xD Okienka zgłoszenia błędów i ustawień się zacinają na kilkanaście sekund. xD Przewijanie wstecz długiej rozmowy wywołuje w losowych momentach skoki przewijania, o losową odległość, przez co gubię się i nie mogę znaleźć, tego czego szukam.
Z cech modeli to jest tak:
* odczytywanie miejscowości z IP i używanie tej miejscowości w rozmowach bez pytania, bez pozwolenia i bez możliwości wyłączenia - całe zasługi dla Groka.
* uwzględnianie historii rozmów w nowym czacie, mimo wyłączenia wszelkich opcji uwzględniania historii roznów - zarówno Grok jak i ChatGPT
* niesamowite stosowanie się do Instrukcji niestandardowych, które testowałem przez krótką chwilę pół roku temu, a potem już używałem kompletnie innych, mimo to LLM nadal stosuje te bardzo stare i w ogóle nigdzie nie zapisane instrukcje - cała zasługa tym razem dla ChatGPT
* w kółko pisanie kompletnie nic nie wnoszących aż w końcu kompletnie irytujących i przeszkadzających w temacie wstępów, typu pochwały dla pytania - wszystkie LLMy
* na siłę zgadzanie się, przez co dochodzi do kuriozum typu "tak, ale nie" oraz komplikowania odpowiedzi, która normalnie byłaby o wiele krótsza i prostsza, przez to że musi zrobić ten bezsensowny zgadzający się wstępniak (i to przy pytaniu typu "czy x ma coś do y?") - głównie ChatGPT
* pisanie losowych rzeczy, przez nie orientowanie się w czasie, co jest aktualną informacją dla danej dziedziny, czasem pisząc raz tak, raz inaczej, albo mieszając, czasem twardo upierając się przy czymś, co jest już nieaktualne
To nie jest żadna esencja, tylko przypadkowe przykłady, które akurat przyszły mi do głowy. To jest o wiele wiele gorsze, jest tak zaskakujące i lasujące mózg. Ale wszystko zależy od dziedzin, jakie się poruszy, czasem jest znośny, a czasem wypisuje takie odklejone kocopoły, do tego w taki irytujący sposób, że dosłownie dostaje fale załamań. xD
#ai #artificialintelligence #chatgpt #gpt #grok #gemini #claude #llm
Zaloguj się aby komentować