Czy słyszeliście już o RVC?
Dzięki technologii RVC możemy teraz zamieniać głosy w prawdziwe piosenki lub nawet udawać kogoś innego za pomocą modelu głosowego. To wydaje się trudne, ale wcale takie nie jest!

Od czerwca 2023 roku trenuję modele głosowe przy użyciu lokalnej karty graficznej. Dzięki temu mogę korzystać z tej technologii do różnych celów związanych z głosem. Od tworzenia dawniej popularnych na youtube AI coverów po udawanie znanych osobistości i tworzenie memów - możliwości są praktycznie nieograniczone.

Jedyne co potrzeba to trzy rzeczy:

1.Gui
Czyli Interfejs graficzny np. RVC Gui lub Gradio, które zamienia dane wejściowe (Mp3,wav) na Głos z modelu RVC

2.Model głosowy -
Model głosowy to nic innego niż plik .py (Python) w którym zapisany jest wytrenowany model głosu danej osoby, najlepiej współgra z plikiem .index, który jest niczym innym niż unikalnym zbiorem cech charakterystycznych dla głosu danej osoby (zająknięcia przecinki). Polska baza modeli głosowych jest udostępniania na stronie weights.gg oraz różnych discordach poświęconym Ai ale modele z discord są czasami trenowane "Na szybko" i robione przez mało doświadczone osoby

3.Plik Mp3 który zamienimy na głos znanej osoby / przyjaciela itp -
Jeśli mamy już model i audio wystarczy, że przerzucimy je do programu zmieniającego głos RVC GUI lub Gradio gui,
Nie możemy przerzucić piosenki pobranej z youtube w formie mp3 w całości, więc musimy wyciąć wokal, ja używam Ultimate Vocal Remover są też dostępne za darmo narzędzia w sieci nie bazujące na karcie graficznej. Gdy mamy wokal i stworzyliśmy sobie zamiane głosu przerzucamy do programu np. fl studio gdzie połączymy go z odseparowaną częścią muzyki

Jeśli to dla was zbyt skomplikowane i chcielibyście odsłuchać jakiegoś przykładu to:

Możecie odsłuchać sobie snippetu mojej niepublicznej parodii Cypisa- Gdzie jest biały węgorz mojego autorstwa pod linkiem:
https://jumpshare.com/s/wjqcE4eKJwPn94wTt4Kz
3zet

@Chio możesz powiedzieć coś więcej? Jaki hw jest potrzebny? Mam radeona, opencl wystarczy czy muszę muszę mieć nvidię i cuda?

Chio

@3zet Potrzebna jest mocna karta graficzna, posiadam rtx 4090 i model trenuje się w 20 minut na próbkowaniu 20 z interwałem epoch 700, możesz też użyć collabów google, które działają świetnie i są szybkie

3zet

@Chio radek 6800XT po paru modach, dobija do fabrycznej nvidii 3080, nie powinno być tak źle.

3zet

@Chio doczytałem, dla amd jest osobny build, będzie się trzeba pobawić 😏

korfos

Tu raczej jest ważna ilość dostępnej pamięci VRAM. Szybkość karty to sprawa drugorzędna.


Na huggingface rvc masz już gotowe paczki gdzie wrzucasz tylko audio na którym ma się uczyć model i z tego co wiem gui jest na każdą platformę.

Zaloguj się aby komentować