AI jest cholernie drogie. W cyklu produkcji software najwięcej tokenów zjadają budowa, recenzja, testy i poprawki, a dokładniej kolejne iteracje dwa i cztery, bo AI nadal ma duże problemy z pracą z kontekstem.
W sumie większość optymalizacji procesów związana jest teraz z tym, by na bieżąco poprawiać również i kontekst, by dodać struktury do markdownow, by specjalizowania agenci pilnowali, by aktualna baza kontekstowa była ogarnialna.
Czytałem trochę artykułów o Fable i Mythosie, i z tego co widzę to są to modele samoorganizujace i samoskalujace. Do poszczególnych zadań powoływani są specjalizowani agenci, którzy są mniejsi i szybsina zarządzają nimi nadzorcy...
I było by to może i fajne, gdyby nie następujące problemy:
-
Koszt. Zamiast jednego modelu zatrudniasz dziesiątki. Może te dziesiątki potrzebują mniejszych pół zasobowych, może szybciej wykonują zadania, ale nadal całościowy koszt będzie wyższy, zwłaszcza, że projekty (zadania wieloagentowe z dynamicznie rozwijającym się planem zadaniowym) mogą łatwo przekraczać budżet. Znamy to z codzienności.
-
Koszt jest kryty. Twórcy AI walczą o dominację na rynku licząc, że pozostali padną. Najlepszy dowód na to, jak niewyobrażalna kasa idzie na AI to zapaść na rynku dostawców produktów krytycznych dla AI: pamięci, oraz jak szybko do przodu idzie architektura pod AI (wielowątkowość i RISC). To wszystko napędzane jest wyścigiem AI.
-
Dług technologiczny ery AI. Masa kodu, którego nikt nie ogarnia, a za który odpowiedzialność prawna nikt nie chce wziąć. Bo AI nie ma osobowości prawnej. Ten dług będzie stanowić ukryty koszt utrzymaniowy, zwiększona powierzchnie ataku i te de.
AI stanie się narzędziem, ale po kilku głośnych procesach sądowych o odszkodowania entuzjazm raczej mocno opadnie.