Metoda DisTrO może być rewolucyjna, ponieważ umożliwia dużo łatwiejsze trenowanie wielkich modeli AI, takich jak GPT-4, które obecnie wymagają dziesiątek tysięcy GPU oraz synchronizacji zawartości ich pamięci pomiędzy wszystkimi kartami. Tradycyjnie wymaga to przepustowości setek i więcej GB/s, co jest osiągalne jedynie w najpotężniejszych centrach danych.
DisTrO obniża te wymagania przepustowości od 1000 do 10000 razy, co oznacza, że synchronizacja stanu może odbywać się przy użyciu zwykłych połączeń internetowych. To otwiera możliwość trenowania dużych modeli AI nie tylko w centrach danych najbogatszych korporacji, potencjalnie umożliwiając otwarte i rozproszone trenowanie modeli AI na zasadzie projektów takich jak Folding@Home czy BOINC.
https://github.com/NousResearch/DisTrO/tree/main
#ai #sztucznainteligencja #nauka #technologia #ciekawostki #eacc #agi #si #komputery
