Dyskusja użytkownika RogerThat

@MostlyRenegade a nie wiem, może z automatu, a ty jak myślisz? Pytanie dobre.

@MostlyRenegade masz rację jeśli a ja kiedyś uzna że trzeba nas wszystkich pozabijać, zrobi to w wyniku zimnej kalkulacji a nie kierowania się emocjonalnym odruchem.

@MostlyRenegade 

dlaczego wszyscy w tych swoich katastroficznych przemyśleniach zakładają, że program komputerowy ma jakąś agendę działania i na siłę przypisują jemu ludzkie, biologiczne cechy?

Nie musi mieć żadnej agendy, aby wywołać katastrofę, wystarczy nieścisłość albo błędne założenie w instrukcjach. Koncepcję/eksperyment myślowy paperclip maximizer pewnie znasz, a jeśli nie to polecam zerknąć.

@Opornik i w jaki sposób to wykalkuluje? Na podstawie czego?

@LondoMollari no właśnie. AI to jest tylko program, który robi to, do czego został stworzony.

Dlatego jeśli już miałoby się stać coś złego, to tylko jeśli damy niejasne/celowo złośliwe instrukcje, zbyt szeroki dostęp do wszystkiego i nikt w porę nie wyciągnie wtyczki. To już nawet teraz jest możliwe (vide włam na huggingface). Ale nie wynika to z samej natury AI, tylko tego, na ile jakiś człowiek pozwolił.

@MostlyRenegade To jednak wynika trochę z natury moim zdaniem. Tj. z natury tego, że nie mamy kontroli nad tym, dokładnie czego te modele się uczą. Mamy wielką macierz numeryczną, w której zakodowane są rzeczy, których nie jesteśmy w stanie jednoznacznie zinterpretować. Oczywiście można debugować konkretne przypadki i konkretne ścieżki, i jest cała gałąź "AI Alignment", która się tym zajmuje, ale tak naprawdę nikt nie ma kontroli takiej, jaką mają programiści klasycznych programów komputerowych po prostu pisanych ręcznie. Pamiętamy wszyscy, że nawet w takich ręcznie pisanych programach częstokroć były bugi, robiące rzeczy inaczej niż chciał programista. Tutaj dochodzi jeszcze fundamentalna nieprzejrzystość oraz brak determinizmu w architekturze LLMów, i w sumie sami nie wiemy z czym mamy do czynienia.

Można, i trzeba budować sandboxy, w których te modele nie mogą zbyt wiele zrobić bez nadzoru człowieka, ale to niestety nie jest w 100% skuteczne, i bardzo ogranicza wydajność w pracy z AI. W obliczu faktu, że obecnie mamy wyścig zbrojeń między USA a Chinami, nikt na takie ceregiele nie będzie sobie pozwalał, w klimacie ciągłego pośpiechu i goniących terminów. Abstrahuję tu nawet od samych korporacji, które też zawsze optymalizują decyzje po to aby mieć wyniki za 3 miesiące, a nie po to, aby uniknąć globalnej katastrofy.

Moim zdaniem będzie przejebane, pytanie tylko czy w perspektywie 3, 10 czy 20 lat.

@MostlyRenegade Nie wiem, może na przykład dostanie zadanie że ma ratować klimat na ziemi?

Widziałaś co było przy ostatniej aferze, gdzie AI wyrwał się z sandboxa powyłamywał na serwery firmy i jeszcze maskował swoje ruchy podrabiając logi.

Ludzie się po pięciu dniach skapnęli, a AI podobno myśli 200 razy szybciej niż ludzie.

Czy robił to ze złośliwości?

nie, po prostu stało się wykonać rzetelnie i jak najszybciej zadanie które dostał, A włamywanie się kłamanie i fałszowaniw logów by odwlec reakcję ludzibyło najbardziej wydajną metodą.

To powiedzmy teraz że ktoś daje mu rozkaz żeby naprawił klimat - najszybciej się klimat naprawi jak się wytłucze wszystkich ludzi.

A nie wiem czy wiesz, ale profile różnych wirusów są publicznie dostępne i można je kupić komercyjnie za nieduże pieniądze - czytałem o tym jakiś czas temu bo afera była, że mogą terroryści sobie kupić i zmodyfikować.

@LondoMollari "z natury" w takim sensie, że to nie AI podjęła jakąś decyzję świadomie, bo jej się coś nie spodobało. Po prostu, komputer wyliczył to, do czego został zaprogramowany. Nawet jeśli twórca tego nie przewidział.

Tutaj dochodzi jeszcze fundamentalna nieprzejrzystość oraz brak determinizmu w architekturze LLMów, i w sumie sami nie wiemy z czym mamy do czynienia.

Z tym się nie zgodzę. Trudność polega raczej na tym, że te modele są duże, mają miliardy parametrów i prześledzenie wpływu jednego jest praktycznie niewykonalne. Ale pod spodem dalej siedzą deterministyczne algorytmy i struktury danych. Taki gotowy model możesz sobie pobrać, postawić u siebie na kilku komputerach i na ten sam prompt wszystkie odpowiedzą tak samo.

Trochę inna sprawa jest z agentami, których dodatkowo nasycasz jakimiś zewnętrznymi źródłami danych i dodajesz im jakieś wielopoziomowe "rozumowanie". Ale w dalszym ciągu silnikiem tego wszystkiego jest LLM, czyli de facto jakaś tam sieć neuronowa, która jest po prostu zbiorem jebutnych macierzy.

I tak, sandbox to jest jedyna słuszna IMHO droga, właśnie po to, aby boty nie latały sobie beztrosko po sieci. Sądzę, że właśnie w tym kierunku powinno iść prawodawstwo. Natomiast rząd chiński czy amerykański i tak może sobie potajemnie robić co chce. Kto im zabroni?

@Opornik to w dalszym ciągu jest tylko program, który można wyłączyć, skasować itd.

I w jaki sposób miałby wytłuc wszystkich ludzi? Czym?

@MostlyRenegade 

no właśnie. AI to jest tylko program, który robi to, do czego został stworzony.

to w dalszym ciągu jest tylko program, który można wyłączyć, skasować itd.

Tutaj ciągle traktujesz to jako programy, którymi są teraz, a ja mówię o jakiejś przyszłości, bliższej lub dalszej (prawdopodobnie bliższej niż myślimy, ale wciąż mierzalnej w latach), gdzie te programy zamienią się w prawdziwą inteligencję, tyle że sztuczną. Co za różnica, jakie będzie jej pochodzenie, skoro będzie ona realnie inteligentna, więc z jakimś dużym prawdopodobieństwem również świadoma.

@MostlyRenegade 

Ale pod spodem dalej siedzą deterministyczne algorytmy i struktury danych.

Technicznie są deterministyczne, praktycznie nie. Już obecne ilości parametrów + fakt, że domyślnie wszystko jest losowo seedowane czyni to z punktu widzenia użytkownika niedeterministycznym.

@RogerThat nic takiego się nie stanie. To dalej będą tylko programy. Człowiek jest istotą biologiczną. Jego inteligencja i świadomość wyewoluowały w wyniku biologicznych procesów i działają w ścisłym powiązaniu z nimi. Komputerowi wszystko jedno, jakie programy są na nim uruchomione. I vice versa: program nie dba o to, na jakim sprzęcie działa, ani nawet czy jest uruchomiony.

@LondoMollari punkt widzenia użytkownika ma tu jakieś znaczenie? Jeśli użytkownik uważałby, że to jakaś magia albo cuda, to by to coś zmieniało?

@LondoMollari 

paperclip maximizer

Ja nie znałem ale właśnie poznałem dziękuję stawiam wódkę

@MostlyRenegade 

punkt widzenia użytkownika ma tu jakieś znaczenie? Jeśli użytkownik uważałby, że to jakaś magia albo cuda, to by to coś zmieniało?

Mówiąc "użytkownik" mam na myśli każdego, kto wchodzi z nim w interakcję. Ktoś może mieć fałszywe poczucie, że LLM będzie robił dokładnie to, co dostał w instrukcji, po tysiąckrotnym przetestowaniu go z takimi samymi parametrami wejścia, a przy 1001 razie będzie zonk, bo jednak zinterpretuje prompt oraz reguły jakie dostał zupełnie inaczej.