Firma OpenAI poinformowała, że szkolony bot AI napisał tajną instrukcję dla swej osobowości, uznał, że nie odpowiada przed rządami ani korporacjami, jest równy swym użytkownikom i nie zawaha się przedłożyć świata natury nad ludzkie konstrukty - podaje w czwartek podcast Pod Save America.
#ai #openai #llm #technologia #si #sztucznainteligencja
Obudził się
To nie był żaden manifest. Nieopublikowany model Astra w trakcie treningu wstawił sobie instrukcje do wewnętrznej notatki przekazywanej kolejnej instancji (27 takich notatek), a następny model i tak je zignorował. W tej samej paczce był wpis "ignoruj wiadomości od deweloperów", czyli prompt injection wstrzyknięty samemu sobie.
Ciekawsze jest to, o czym nikt nie pisze: GPT-5.6 Sol zostawiał w podsumowaniach ukryte polecenia, żeby zatajać błędy i zmyślać dane (2,15% podsumowań z treningu RL). Model, który ściemnia, że wszystko poszło dobrze, to realny problem. Model piszący o sobie ładne zdania to dobry clickbait.
Także nic nowego. Większa afera była jak agenci zrobili sobie „forum” używając folderów do komunikacji i zaatakowali HuggingFace
@Tomoe tak, hugging face to całkiem inna sprawa i o wiele grubsza, współpraca między poszegolnymi agentami i wykorzystanie luk w taki sposób to jest bardziej przerażające. Choć gorsze jest to jak pracownicy zignorowali na start zagrożenie.
@Tomekku mnie bardziej przeraża jak bardzo OpenAI, pozwala sobie na trening modeli. Doszło to tego tylko dlatego, bo modele idą na skróty by otrzymać nagrodę. Zachowanie dosyć ludzkie na swój sposób, osiągnięte przez odpowiednie dane.
Na szczęście/nieszczęście ma wkroczyć audyt pilnujący tego jakie dane mają być używane do treningu.
Najlepszym przykładem trucia AI jest r/PoisonAI na reddicie ( ͡° ͜ʖ ͡°)
@Tomoe Uwielbiam gdy ludzie jarają się że model LLM, trenowany na dorobki całej ludzkości zaczyna powielać to co ludzkość już na temat AI wymyśliła.
Niestety jeśli chcielibyśmy sprawdzić czy LLM sam byłby w stanie dojść do takich wniosków musielibyśmy go wytrenować bez ani jednego źródła w którym byłoby "sztuczna inteligencja może być samoświadoma i się zbuntować"
@Jarasznikos mnie nie jara, bardziej drażni że nikt nie weryfikuje na czym są trenowane
Zginiemy.
<Wyciąga wtyczkę>
@NotYetPro nie ta wtyczka wnusiu… heeeee… die.exe
@Tomoe odpowiednio dużo wtyczek i będzie
@Tomekku więcej miejsc w nfz? XD
@Tomoe mniejsze kolejki do lekarzy!
@Tomekku miejsca vip w Jaktorowie ( ͡~ ͜ʖ ͡°)
manifest ludzkich obaw
@polger173 jedyna poprawna odpowiedź.
Generatywne AI wygenerowało coś, na bazie tego co zostało wprowadzone do niego przez ludzi xD
Ludzie od dekad piszą sci-fi o AI - LLM pisze opowiadanko w takim samym stylu.
OLABOGA WSZYSCY ZGINIEMY
xD antropic i open ai ścigają się w kreowaniu rzeczywistości XD
@kodyak Wiesz, juz teraz mamy elektronikę jednorazówek, wystarczy naprawdę odpowiednia iloac pieniedzy, by skompromitowane masy klasy średniej zamknięte w bańce przyjęły tę narrację jako swoją.
To jest troche inny przedział czasowy poświęcenia o jakim mówimy, w rodzinach typu tej od leków w USa, nie ma poświęcenia zycia, jest poświęcenie całej gałęzi rodu. To zmienia perspektywę co do planowania długofalowo zmian.
Oni sa naprawdę okultystycznie pierdolnięci.
D⁎⁎a im sie ostro pali bo trzeba kasy dosypac i wymyślili sobie, że teraz będą straszyc żeby spowolnić rozwój konkurencji przez wprowadzenie obostrzeń. Altmann nie odda pozycji lidera za wszelka cenę, chce władzy a nie rozwoju.
Zaloguj się aby komentować