Dyskusja użytkownika PaJaC

@maximilianan Dzięki, praca która pozwala odpocząć od życiowych problemów to skarb. Przy okazji zrozumiałem że to jest to co chcę robić całe życie.

@ataxbras jest problem; jak chodzimy na rozprawy i pełnomocnik strony przeciwnej łączy się zdalnie i ty i sąd widzicie że mecenas rżnie z zapytaj kodeks to wygląda to żenująco. Wiesz; dla prawników w zawodzie od 20/30lat wystarczy chwila żeby widzieć że młodym mecenasom po prostu brakuje wiedzy, a ci coraz częściej zamiast łatać ją doświadczeniem, łatają ją AI. Niejednokrotnie zdarzyło się że strona przeciwna zupełnie nie zwróciła uwagi na sprzeczność z kodeksem. O cytowanym orzecznictwie nawet nie wspomnę.

Ale tak. Taki zapytaj kodeks jest nieoceniony dla każdego Kowalskiego który chce założyć sprawę, firmę, wyjaśnić sytuację życiową itp.

A praca notariuszy? To zwykła praca urzędnika. Absolutnie najnudniejszy zawód jaki można obrać po tych studiach.

@PaJaC Pracuję właśnie nad systemem nieco bardziej zaawansowanym, niż zapytaj kodeks.

Docelowo, zawody prawnicze wymrą w całości. Bo zestaw adwersarialnych modeli, pracujących wielopoziomowo, przebije każdego prawnika proteinowego, niezależnie od zawodu. Notariusze to najsłabsze ogniwo. Potem komornicy, adwokaci i radcowie i wreszcie sędziowie.

@ataxbras bardzo dobrze, liczę też że w końcu Intel core 2 duo zastąpi sejm na wiejskiej i zarządy spółek skarbu państwa. Albo jakiś nowoczesny niskoprzepięciowy procesor. Ale byśmy mieli oszczędności w budżecie! I w barku sejmowym...

A ja? Ja to sobie mogę pracować w misjach dyplomatycznych albo w UE. Tam łączysz zarabianie ze zwiedzaniem i utrzymaniem przez państwo. 3 w 1.

@ataxbras W jaki sposób AI zastąpi notariuszy, jak w tym zawodzie głównie chodzi o to, żeby osoba do tego uprawniona złożyła podpis, którym, przynajmniej w teorii, poświadcza, że transakcja, czy jakieś inne gówno, zostaje uznane przez państwo

@PaJaC Sejm postawiłbym na RPi :D

Misje dyplomatyczne - brzmi fajnie, dobry sposób na bezkosztowe zwiedzanie świata

@cweliat Czynności notarialnych jest więcej, niż tylko poświadczenie tożsamości. A i tak zależy ono od człowieka, więc przekręty się zdarzają.
AI to nie tylko robienie tekstów i obrazków. To także weryfikacja biometrii dla przykładu. Jeśli chcesz zweryfikować tożsamość bez poważnych wątpliwości, to przy jakiś urzędach stawiasz kabiny z czytnikiem linii papilarnych i kamerami. I masz weryfikację w takim stopniu, jak się tylko rosądnie da (linie papilarne są w dowodzie biometrycznym). Zostawiasz 20 notariuszy w całym kraju, żeby działali w sytuacjach, gdy ta metoda nie da rady (brak rąk, brak nowego dowodu).
Pozostałe czynności notarialne nie wymagają takiego zachodu.

@ataxbras a co z filozofią prawa? Czy uważasz że AI może zastąpić człowieka w tej dziedzinie?

@Marcus-Aurelius-64 Oczywiście. Szczególnie, że mechanizmy wnioskowania statystycznego są w stanie ująć i powiązać znacznie więcej czynników regulujących życie społeczne, niż cała armia profesorów prawa. Co więcej, adwersarialyjne ustawienie wielu modeli pozwala na wyeliminowanie ich dziur poznawczych. Coś co niezdarnie robi się w pracy naukowej poprzez dyskusję. Niezdarnie, bo z niemierzalnymi odchyleniami od obiektywizmu.

@Marcus-Aurelius-64 Poza tym, dobrze zorganizowany system debatujący nad filozofią prawa mógłby być bazą dla generowania samego prawa w sposób spójny z potrzebą.

@ataxbras Albo sobie jaja ze wszystkich tutaj robisz, albo po prostu nie masz pojęcia o czym mówisz xD

Po pierwsze i najważniejsze: prawo to system społeczeny, a nie logiczny. Od przynajmniej 15 lat istnieje technologia pozwalająca na znacznie lepszą klasyfikację prawną czynów, a mimo to prawnicy trzymają się mocno i trzymać się mocno będą.

Poza tym, dobrze zorganizowany system debatujący nad filozofią prawa mógłby być bazą dla generowania samego prawa w sposób spójny z potrzebą.

Czy my dalej mówimy o tej samej AI, czyli generatywnej sztucznej integligencji, czyli LLMs opartych na architekturze transformerów? Ona nigdy nie będzie w stanie debatować ani "wymyślać" nowych koncepcji z jedno prostego powodu - jej architektura ma ograniczenia i dopóki nie wysmyśli się nowej to ona dalej będzie "tylko" bardzo dobrze przewidywać kolejne zdania. A to zdecydowanie z mało aby tworzyć prawo.

Szczególnie, że mechanizmy wnioskowania statystycznego są w stanie ująć i powiązać znacznie więcej czynników regulujących życie społeczne, niż cała armia profesorów prawa

Oczywiście, to już było przerabiane bardzo dawno temu - Cambridge Analytica i wybory prezydenckie w USA, kiedy to po raz pierwszy wygrał Trump.

AI to nie tylko robienie tekstów i obrazków. To także weryfikacja biometrii dla przykładu. Jeśli chcesz zweryfikować tożsamość bez poważnych wątpliwości, to przy jakiś urzędach stawiasz kabiny z czytnikiem linii papilarnych i kamerami. I masz weryfikację w takim stopniu, jak się tylko rosądnie da (linie papilarne są w dowodzie biometrycznym). Zostawiasz 20 notariuszy w całym kraju, żeby działali w sytuacjach, gdy ta metoda nie da rady (brak rąk, brak nowego dowodu).

Ale przecież to też potrafi technologia istniejąca od przynajniej 15 lat xD Sieci neruonowe robiły to już dawno temu.

Co więcej, adwersarialyjne ustawienie wielu modeli pozwala na wyeliminowanie ich dziur poznawczych.

Nie pozwala. Ich nie da się wyelimonować z powodu ograniczeń mechanizmu atencji i architektury transformerów. Kilka dyskutujących ze sobą agentów NA PEWNO poprawi output, ALE nie wyeliminuje błędów, które wynikają z samej natury LLM.

Chyba, że pracujesz nad jakimś całkowicie modelem, który działa w zupełnie inny sposób niż obecne modele.

@Bylina_Rdestu Pracuję nad kaskadą modeli i LLMy nie są główną częścią wykonawczą. Bo modele to nie tylko LLMy.

Zajmuję się sieciami neuronowymi i pokrewnymi od jakiś 30 lat. ML od jakiś >15.

Ale widzę, że moja opinia, z jakiegoś powodu mocno Cię ubodła. Oszczędzę sobie traktowania Cię z buta, jak Ty to zrobiłeś (xD), i odpowiem w taki sposób, jak powinno się odpowiadać w kulturalnej dyskusji. Internetowy styl konwersacji siada ludziom na łbach i powoduje, że ciężko prowadzić merytoryczną dyskusję na forach publicznych.

Po pierwsze i najważniejsze: prawo to system społeczny, a nie logiczny. (...) prawnicy trzymają się mocno i trzymać się mocno będą.

Właśnie dlatego, że to system społeczny, kształtowany przez zależności statystyczne, opanowanie tej niszy staje się proste wraz z rozwojem technik AI/ML. Dokładnie dlatego, że prawo nie posługuje się, pomimo chęci, logiką formalną.

Około 2000 roku namiętnie dyskutowałem z pewnymi akademikami kwestię ujęcia prawa w bardziej restrykcyjne ramy, umożliwiające przetwarzanie cyfrowe. Było to wtenczas wyłącznie ćwiczenie umysłowe z powodu braku odpowiednich narzędzi. Teraz jest inaczej.

A że prawnicy "będą się trzymać"? Pewnie, że będą. Tylko że "trzymanie się" nie jest argumentem o możliwościach technologii - to argument o socjologii branży. W XIX-wiecznym Londynie firmy dorożkarskie były potęgą: kapitał, wpływy, tysiące koni i ludzi, lobbing. Pojawił się silnik parowy, potem samochód - i mimo całej tej potęgi liczba wielkich, wpływowych firm dorożkarskich spadła dziś niemal do zera. Nie dlatego, że przestały się "trzymać", tylko dlatego, że trzymanie się przestało cokolwiek znaczyć wobec zmiany technologicznej. Prawnicy są dokładnie w pozycji tych dorożkarzy: wpływowi do momentu, w którym wpływ przestaje być barierą wejścia.

Czy my dalej mówimy o tej samej AI, czyli (...) LLMs opartych na architekturze transformerów? Ona nigdy nie będzie w stanie debatować ani "wymyślać" nowych koncepcji (...)

Nie, i to jest sedno nieporozumienia. Wspomniałem o kaskadzie, gdzie LLM jest interfejsem i jednym z klocków, a nie całym silnikiem. Atakujesz coś, czego nikt tu nie broni.

"Nigdy" - do pierwszego razu. Po pierwsze - transformer to nie koniec historii; SSM/Mamba, modele dyfuzyjne dla tekstu, podejścia neurosymboliczne istnieją już dziś, więc "dopóki nie wymyśli się nowej architektury" jest spełnione w tym momencie. Po drugie - "wymyślanie nowych koncepcji" przez ML to nie spekulacja: AlphaTensor znalazł nieznane wcześniej algorytmy mnożenia macierzy, AlphaFold rozwiązał problem, nad którym biologia siedziała dekady. Ach, jest jeszcze AlphaGo. I sporo innych. Żaden z nich nie jest "przewidywaczem kolejnego zdania". Modele to nie tylko LLMy.
Człowiek, tak przy okazji, też nie wymyśla niczego ex nihilo, więc skoro tutaj nie ma czarów, to da się to zrobić maszynowo.

(...) Cambridge Analytica (...)

Tu się zgadzamy - i sam dostarczasz mi argumentu. Skoro wnioskowanie statystyczne ogrywało tłum ludzi już za czasów CA, to znaczy, że to nie kwestia "czy się da", tylko "od jak dawna się da". Dzięki za potwierdzenie tezy.

(...) Ale przecież to też potrafi technologia istniejąca od przynajmniej 15 lat xD

Po pierwsze - przedstawiłem przedpiścy, jak to zrobić już dziś. I tak - to istnieje od dawna. Ta sfera czynności notarialnych mogłaby już nie istnieć. Jeśli to dojrzała, sprawdzona technologia, to wdrożenie jest kwestią woli i regulacji, a nie zdolności. Cały czas mówię o tym samym: składaniu dojrzałych komponentów w system, a nie o czekaniu na cud z jednego LLM.

Nie pozwala. (...) nie wyeliminuje błędów, które wynikają z samej natury LLM.

Nigdzie nie twierdziłem, że błędy znikają do zera. Redukcja to nie eliminacja, zgoda. Ale wniosek wyciągasz odwrotny do mojego: skoro pewne błędy są wpisane w naturę LLM, to się je z LLM-a wyprowadza, a nie próbuje wygładzić kolejnym LLM-em. Po to jest kaskada: warstwy nie-LLM (weryfikatory formalne, reguły, narzędzia, modele dyskryminacyjne) wyłapują to, czego generatywny klocek z definicji nie udźwignie. Ty obalasz architekturę "agenci-gadają-i-jakoś-wyjdzie". Ja takiej nie buduję. Co więcej, adwersarialyjne LLMy też mają sens, o którym również wspomniałem - wypełniają dziury poznawcze samych LLMów.
Poza tym, w przypadku wnioskowania maszynowego możesz ocenić poziom błędu i wiele innych metryk. W przypadku tłumu ludzi możesz jedynie liczyć na cud.

Chyba, że pracujesz nad jakimś całkowicie modelem, który działa w zupełnie inny sposób (...)

Pracuję nad systemem, nie nad jednym modelem — i to właśnie czyni Twój główny zarzut bezprzedmiotowym.

@ataxbras Po pierwsze to wybacz, pisząc "xD" nie miałem na myśli traktować Cię z buta. Zastosowałem to, ponieważ przyjąłem taki luźny format wypowiedzi, nie miałem zamiary traktować nikogo z góry.

Ja się w pełni zgadzam i też jestem zdania, że praktycznie wszystko można sprowadzić do reprezentacji numerycznych, zamknąć je w macierzach czy embeddingach i wytrenować nimi model, również zjawiska społeczne, kwestie prawne, nawet etyczne. Tylko nie ma i nie zanosi się na to, aby była ku temu wolna społeczna. Przykładem mogą być radiolodzy - przecież ich praca w teorii jest bardzo łatwo zastępowalna przez modele ML, zdjęcia tomograficzne są od razu wrzucane do modelu z niskim tresholdem, który ma wyłapywać najmniejszą wątpliwość dotyczącą skanu np. głowy.

A pomimo to, radiolodzy trzymaja się mocno, tak jak prawnicy będą się trzymać jeszcze długi czas.

Cała moja wypowiedź dotyczy tego, że dyspnujemy narzędziami, które mogłyby z powodzeniem zastąpić całą masę profesji. Ale jakoś i tak nie jest to przedmiot jakiejkolwiek dematy publicznej typu: usługi prawnicze są za drogie, chciałbym wrzucić mój case do modelu i niech sam mi napiszę linię obrony etc. Podobnie jest z architektami czy programistami: ich też już dawno możnaby zastąpić. A mimo to jako społeczeństwo do tego nie dążymy.

Nigdzie nie twierdziłem, że błędy znikają do zera. Redukcja to nie eliminacja, zgoda. Ale wniosek wyciągasz odwrotny do mojego: skoro pewne błędy są wpisane w naturę LLM, to się je z LLM-a wyprowadza, a nie próbuje wygładzić kolejnym LLM-em. Po to jest kaskada: warstwy nie-LLM (weryfikatory formalne, reguły, narzędzia, modele dyskryminacyjne) wyłapują to, czego generatywny klocek z definicji nie udźwignie. Ty obalasz architekturę "agenci-gadają-i-jakoś-wyjdzie". Ja takiej nie buduję. Co więcej, adwersarialyjne LLMy też mają sens, o którym również wspomniałem - wypełniają dziury poznawcze samych LLMów.
Poza tym, w przypadku wnioskowania maszynowego możesz ocenić poziom błędu i wiele innych metryk. W przypadku tłumu ludzi możesz jedynie liczyć na cud.

Przyznaję, że dokładnie masz rację - takie założenie przyjąłem i taką teze chciałem obalić.

Czyli jak rozumiem chodzi o TDD tylko dla LLM? Nie jestem w temacie za bardzo, podrzuciłbyś jakieś słowa klucze do sprawdzenia albo jakieś źródła. Chętnie zgłębie temat.

Dzięki za wyczerpującą odpowiedź.

@Bylina_Rdestu Spoko, nie ma sprawy - przyjmuję wyjaśnienie bez urazy. I dzięki, dobrze się rozmawia, kiedy schodzimy z internetowego tonu na taki bardziej merytoryczny.

Zgadzamy się co do sedna bardziej, niż się początkowo wydawało. Ale w jednym miejscu nadal się rozjeżdżamy i to chyba najciekawszy punkt całej dyskusji.

A pomimo to, radiolodzy trzymają się mocno, tak jak prawnicy będą się trzymać jeszcze długi czas. (...) jako społeczeństwo do tego nie dążymy.

Tu tkwi, moim zdaniem, błąd perspektywy czasowej. Opór zawodu jest zawsze wysoki na starcie i zawsze słabnie - pytanie nie brzmi "czy", tylko "jak szybko". I prawie nigdy nie zaczyna się od debaty publicznej, debata przychodzi po fakcie, kiedy zmiana się już dokonała.

Nikt nie organizował referendum, czy zastąpić telefonistki centralami automatycznymi. Nikt nie debatował, czy bankomat ma wyręczyć kasjera, czy aparat cyfrowy ma pogrzebać Kodaka, i tak dalej. Przykładów są setki. Po prostu w pewnym momencie różnica ceny i oporu stawianego przez technologie robi się na tyle duża, że adopcja dzieje się sama, a "wola społeczna" zostaje dorobiona jako racjonalizacja ex post.

Radiolodzy to zresztą podręcznikowy przykład - pamiętasz słynne "za 5 lat nie będzie radiologów"? Prognoza chybiła w terminie, nie w kierunku. To, co ich trzyma, to nie brak możliwości modeli, tylko odpowiedzialność prawna, refundacje, certyfikacje i workflow szpitalny. Czyli dokładnie bariery instytucjonalne - te same, co u dorożkarzy. A bariery instytucjonalne erodują, tylko wolniej niż technologiczne.

Co do "nie dążymy jako społeczeństwo" - moim zdaniem już dążymy, tylko nieformalnie. Ludzie masowo wrzucają swoje sprawy prawne i objawy chorobowe do modeli, zanim pójdą (albo zamiast) do prawnika czy lekarza. Debata "usługi prawnicze są za drogie, chcę wrzucić swój case do modelu" już trwa - po prostu toczy się w prywatnych oknach czatu, a nie w mediach. Popyt oddolny zwykle wyprzedza oficjalną akceptację.

Przyznaję, że dokładnie masz rację - takie założenie przyjąłem i taką teze chciałem obalić.

Mierzalność błędu to przewaga sama w sobie. Profesor prawa też się myli, tylko jego poziomu błędu nikt nie skalibrował. Model z policzalnym poziomem fałszywych trafień, choćby niedoskonały, jest zarządzalny w sposób, w jaki tłum ekspertów nigdy nie będzie.

Czyli jak rozumiem chodzi o TDD tylko dla LLM? Podrzuciłbyś jakieś słowa klucze?

Częściowo tak - z tym, że test jest tu szerszy niż w klasycznym TDD, bo wejście jest probabilistyczne. Słowa klucze do grzebania (żeby nie było - poniższą listę wyrzucił mi mój LLM; sprawdziłem - ma sens, bo jest zbieżne z dokumentami i projektami nad którymi pracuję; polerowanie kontekstu daje efekty )

LLM evals / evaluation harnesses - systematyczny pomiar jakości outputu

LLM-as-a-judge - model oceniający output innego modelu

guardrails / constrained decoding - wymuszanie poprawnej struktury wyjścia

red-teaming - adwersaryjne testowanie pod kątem błędów i nadużyć

neurosymbolic AI - łączenie sieci z weryfikacją symboliczną/formalną (to ta warstwa "nie-LLM", o której pisałem)

tool use / function calling + RAG z weryfikacją - wyprowadzanie faktów i obliczeń poza model

property-based testing - testowanie własności wyniku, nie pojedynczych przypadków

Od tych haseł bym zaczął.