Kluczowe wnioski z mojej agenturalnej pracy z AI, którymi chce się podzielić.
Na początek, ostatnio wszedł nowy Opus 4.7, co zaóważyłem -> potrafi ciągnąć długie wątki zadaniowe, nie rozprasza się. Jest bardzo dokładny i wielokrotnie waliduje i porpawia sam siebie. Co ciekawe to jest out of box -> po prostu go uruchamiam i bez żadnych reguł on po prostu tak działa. Oczywiście dodatkowe rules, zawsze spoko.
I teraz uwaga, każdy model różni się od poprzednich. Różnice są znaczące. Jedne modele będą podejmowały inne decyzje ale każdy z nich dostarczy zupełnie inny output. Co za tym idzie nigdy nie wiemy jak nowy model poradzi sobie z danym zadaniem i nigdy nie będziemy mieli 100% pewności czy wykona zadanie czy nie.
Ich zachowanie jest w pełni niedeterministyczne, przypomina brainstorming w działaniu. ALe narzucenie jażma determinizmu, zdecydowanie poprawia wyniki pracy. Po zamknięciu schematu w workflow, wymuszeniu semi-deterministycznego podejścia do zagandienia znacząco poprawia wyniki pracy. Po takim zabiegu zadania wykonywane przez system agenturalny są dużo bardziej powtarzalne, a wyniki bardziej spójne. To jest props.
Są problemy -> największym problemem we współpracy z agentami(akurat bardzo podobnie jak z prawdziwymi ludźmi) jest ustalenie zakresu wymagań i potrzeb. Często jest tak że te 3 czynniki -> to czego oczekuje operator systemu AI, to co agent wykona, i to co rzeczywiście jest potrzebne i wystarczające mocno się rozjeżdża. ALe takie jest rzycie(doceńcie błędy ortograficzne, dzisiaj to oznaka autentycności, róbcie błedy, lpieje się to czyta niż slopy AI xD)
I kolejny problem to problem walidacji. Przy pierwszym podejściu, modele agenturalne raczej domyślają się że coś działa niż faktycznie to walidują. Owszem, widzę, zmienia się to w mocniejszych modelach. Stopniowo są one coraz bardziej srkupulatne w walidacji i sprawdzaniu wyników swojej pracy, ale ten wątek jest w powijakach. Często dostaniemy w wyniku piękną i spójna architektórę, ale w naszej aplikacji zabraknie przycisku ACCEPT na końcu i okno się nie zamknie.
Rola architekta AI na dziś to:
-
Ustalanie wymagań i potrzeb
-
Ustalanie workflow pracy dla agenta
-
Dobór skills oraz rules do pracy nad projektem
-
Ewentualny wybór technologii
-
Wysoka świadomość systemowa(Warto w początkowych wymaganiach umieć określić zestaw narzędzi, infrastruktuwy czy ogólnego podejścia, i tutaj jest moment w którym większość Juniorów czy nawet midów odpada, nie wiedzą co można zrobić i nawet nie mają pojęcia czy można to zrobić, a to wymaga lat doświadczenia, może dekad...)
-
Korekcja błędnych kieruków pracy AI - warto patrzeć na logi co robi żeby go klepnąć w kark i kazać wrócić na dobre tory
-
Najważniejsze - finalne testowanie i sprawdzenie wyników pracy, żaden AI tego nie zrobi
-
Jeśli projekt jest złożony to warto wymusić techniki takie jak TDD, Solid, Struktura projektu, Architektura, Modularność - to załatwiamy właśnie rules i skilles ale trzeba wiedzieć jak to ustawić
-
Dokumentacja techniczna! AI sam tego nie zrobi - trzeba mu kazać
I jeszcze pare innych rzeczy ale już nie chce mi się o tym pisać. Generalnie główny wniosek jest taki że jedna osoba dzisiaj może robić za zespół. Aplikacja dobrze prowadzona przez operatora systemu agenturalnego będzie działać dobrze, ale nie może to być vibe coding, to musi byc przłożenie inżynierskiej pracy na system AI -> one tego nie potrafią bo to nie jest coś co jest opisane w książece, nie ma o tym wiedzy ogólnie, to się zdobywa krwią i potem w projektach i to są dziesiątki tysięcy przepracowanych godzin i przebyte załamania nerowowe(miałem to wszystko).
Napisałem cały tekst z palaca i nawet nie poprawiam błędów -> dla autentycznościdoceńcie :D
#ai #sztucznainteligencja #rozkminy #programowanie
