Klonowanie głosu (tylko angielski) Opad szczęki!!!

Szkoda że nie wyłapuje akcentu i przestawia każdego na standardowy amerykański. Akurat mam na dysku nagranie dla porówniania:

nagranie - https://vocaroo.com/1a6vhmhs9Mt8

wynik - https://vocaroo.com/1ipEWdTgnuKN

Niesamowite

@MurrayRothbard Ale i tak robi wrażenie.

Szkoda, że nie działa na polskim. Można by sobie audiobooki z głosami jakie chcemy robić.

@Vorlon Jan Brzechwa czytany głosem lektora chłopaków z baraków

Ciekawe - w cenniku (https://beta.elevenlabs.io/subscription ) mają model Enterprise (cena do negocjacji) ,a w nim Multiple Languages...

@Vorlon Za dobrze by było, ktoś musi zarobić!

„To, co robimy inaczej, polega na tym, że bierzemy tekst i kontekst tego, co piszesz, aby wygenerować tonację głosów. Rozumie tekst i może wiedzieć, jak poprawnie wymówić [emocje]” – powiedział w wywiadzie dla Voicebot, współzałożyciel i dyrektor generalny ElevenLabs, Mati Staniszewski. „Działa wyjątkowo dobrze w dłuższych tekstach, ponieważ może zachować ten kontekst. Żaden inny nie bierze pod uwagę tego rodzaju kontekstu. Wyróżniamy się również sposobem, w jaki podchodzimy do replikacji lub klonowania głosu. Opracowaliśmy moduł klonowania, który nie wymaga szkolenia, tylko kilka sekund nagrania, choć najlepiej całą minutę”.

ElevenLabs pracuje nad stworzeniem systemu dla użytkowników do projektowania nowego sztucznego głosu przy użyciu sztucznej inteligencji i rozpoczęło rozszerzanie swojej istniejącej stabilnej głosu o głosy aktorów, którzy otrzymają część dochodów, jeśli użytkownik zdecyduje się użyć swojego klona głosu. Istnieją anglojęzyczne modele głosowe i polskojęzyczne modele głosowe, choć w tej chwili nie pozwalają one na nakładanie się. Staniszewski i współzałożyciel Piotr Dabkowski są rodzimymi użytkownikami języka polskiego, ale niekoniecznie uprościło to proces projektowania narzędzi do zamiany tekstu na mowę w języku polskim.

„[Modele zamiany tekstu na mowę] wymagają ogromnej ilości danych. Dla angielskiego to proste; w przypadku języka polskiego jest to trudniejsze zarówno w przypadku tekstu, jak i mowy” — powiedział Staniszewski. „Z pozytywnej strony, jeśli poprawisz polską część danych, nasz model jest tak dobry, że jedyne porównanie dotyczy profesjonalnych [aktorów]”.

Przerażające. Teraz tak naprawdę można zrobić wszystko w cgi i weź człowieku udowodnij że to nie Ty

Cóż... z rodziną czy w firmie trzeba będzie jakieś hasła ustalać, żeby nie dać się nabrać na jakiś telefoniczny scam-jak ktoś będzie prosił o pieniądze czy przelew.

Wiedźmin: Ostatnie Życzenie | AI voice cloning https://www.youtube.com/watch?v=ra8xFG3keSs godzina sampli użyta do generowania

Niestety filmik z Wiedźminem zrobili prywatny "Doceniamy demo, ale zdecydowaliśmy się porzucić je na razie i uczynić prywatnym, ponieważ czekamy, aby dowiedzieć się więcej, czy możemy użyć go do celów demonstracyjnych!"

Najnowsze wiadomości od twórców:

How do you plan on QA testing non english services?

Will probably do Polish, Spanish, German, French, Italian (maybe in that order)

we alrdy have data for that just have to preprocess

but we will probably release all in one batch

with bigger model

Swedish maybe

I think we have too little data in Dutch at the moment

we just hope that if we combine all those languages it will perform well even on languages we dont have that much data in

Russian planned,

Speech Synthesis for most popular European languages likely in Q1 this year; Voice Cloning in early Q2. For other languages, we aren't sure just yet, but depends on highest interest.