Sztuczna inteligencja wspiera dubbingowanie filmów
Dubbing z zastosowaniem AI nie jest idealny, ale i tak lepszy niż tradycyjny
Przygotowywanie kopii filmów i programów telewizyjnych dla obcojęzycznej publiczności nigdy nie było idealne. W latach 70. i 80. brak ciągłości między ustami aktora a wypowiadanymi prze niego słowami był często powodem wielu żartów. Do dzisiaj nie ma nic bardziej irytującego w oglądaniu filmu z dubbingiem niż ruchy ust aktora, które „rozjeżdżają się" ze słowami wypowiadanymi przez osobę podkładającą swój głos.
Startup Flawless znalazł rozwiązanie tego problemu: deepfake'i. Często myślimy o nich w kontekście manipulowania całym obrazem osoby lub sceną. Narzędzie wymyślone przez Flawless skupia się tylko na jednym elemencie: ustach. Rzecz jest wyjątkowo prosta: klient dostarcza wideo z filmu lub programu telewizyjnego wraz z dubbingiem nagranym przez aktorów.
Nowe usta mówią
Model uczenia maszynowego tworzy następnie nowe ruchy ust, które pasują do przetłumaczonej mowy i automatycznie wklejają te nowe usta do twarzy aktora. – Kiedy oglądamy tak zdubbingowany materiał, błędny ruch ust ani drażniące słowo nie zakłócają nam przyjemności odbioru – powiedział serwisowi The Verge Nick Lynes, współzałożyciel Flawless. Algorytmy uczenia maszynowego z tego rodzaju zadaniem radzą sobie nieźle – dubbing przy współudziale sztucznej inteligencji nie jest w 100 procentach idealny, ale i tak dużo płynniejszy niż tradycyjny. Jak sobie radzi nowe narzędzie do tworzenia deepfake'ów, można je zobaczyć i usłyszeć we fragmencie filmu, zawierającym francuską wersję klasycznego dramatu prawniczego z 1992 roku „A Few Good Men", z udziałem Jacka Nicholsona i Toma Cruise'a.
Tym, co przekonuje najbardziej, jest fakt, że Deepfake Dubs jest tanie i szybkie w tworzeniu dubbingu, co daje nadzieję, że tak dubbingowane treści mogą łatwiej niż kiedykolwiek dotrzeć na rynki międzynarodowe, zwłaszcza przy udziale takich platform jak Netflix czy Amazon.
fot: YouTube