リップシンクは、SeaArtのアップデートがあるたびに無くなったり復活したりしています。(※ユーザーインターフェース上で。機能そのものではありません。)
少し前のバージョンから復活したので、再びテストしてみたいと思います。
その1 英語と日本語 (音声作成)
英語
Hello SeaArt users. The narration is a kind older sister voice. Is the lip sync working properly this time?
日本語
こんにちは、SeaArtユーザーの皆さん。ナレーションは、優しいお姉さんの声です。今度のリップシンクはうまく機能していますか。
ひらがなで「こんにちは」と入力したにもかかわらず、わざわざ漢字に変換して(「こんにちは」→「今日は」)読み間違えるということが起こりました。
その2 アップロード音声と作成音声 (枕草子より)
アップロード音声
by VOICEVOX 冥鳴ひまり
作成音声
日本語で入力したにも関わらず中国語になってしまいました。
リップシンク
画像生成にしても音声生成にしてもやはり日本語はハードルが高いようです。
肝心の唇の同調度も、やはり日本語が一番違和感があります。
ネットで検索するとリップシンクを作成できるサイトを紹介しているところがヒットします。そちらの多言語に対する処理がどの程度なのか興味があります。勿論、シンクの感じも。
コメント