最近的AI歌手好厲害...我完全聽不出來是合成語音!! (Synthesizer V等合成語音討論串)

本文由 聰明的木頭2022-10-16 發表於 "錄音、MIDI、音樂製作" 討論區

  1. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    本來在查剛推出的Vocaloid 6,結果看到這個SOLARIA (Synthesizer V) 的影片…
    我完全聽不出來是合成語音呀!
    …不用麥克風錄主唱的日子好像越來越近了?


    就算無伴奏也聽不出破綻!!
    (後半段是作者嘗試將SOLARIA用Vocaloid 6新功能VOCALO CHANGER轉換音色)


    SOLARIA官網:
    https://www.eclipsedsounds.com/solaria
     
    已獲得Ray-Huang按 "讚"!
  2. TimoSan

    TimoSan Member

    註冊日期:
    2018-02-11
    文章:
    142
    讚:
    18
    AWESOME!!
     
  3. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    這也就是為什麼要隔壁樓的七千人DAW問卷調查裡做Vocaloid樂曲的用戶排名第二多的原因…
    我們不需要用麥克風錄主唱啦~

    同樣一首歌,不同人調整的Solaria聽起來就有明顯差異:

    下面這個版本已經完全是不同聲音了。


    我、我們不需要錄主唱啦~
     
    Last edited: 2022-10-16
    已獲得Ray-Huang按 "讚"!
  4. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    補一下Synthesizer V的官方網站:
    https://dreamtonics.com/en
    Synthesizer V Studio Basic是免費下載,Synthesizer V Studio則是89美元,
    單個音色庫通常是80~90美元,特色是有許多中文音色庫。

    Synthesizer V前一陣子新推出的中文語音音色庫:星塵 Infinity
    這個也很厲害,根本聽不出是合成語音,而且歌相當好聽~


    還能改唱日文:


    最後…Solaria居然可以唱中文…我聽不出、我真的聽不出這是合成語音呀--!!


    以後"你的歌聲聽起來跟電腦一樣耶"大概會變成讚美詞…
    一些真人主唱錄音過度修音準、修音色修到現在快被合成語音超車了。
     
    Last edited: 2022-10-19
  5. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    Synthesizer V的中文男女對唱,男聲是"牧心"、女聲是"星塵 Infinity"。
    Synthesizer V的男聲包含這首我目前聽到的都還沒有甚麼特別之處,但"星塵"的聲音真的很厲害。
    這首歌非常好聽,建議各位聽聽看,各位有興趣可找胡夏& 郁可唯唱的原曲來聽,但我個人較偏好合成聲音版…
     
    Last edited: 2022-10-26
  6. TimoSan

    TimoSan Member

    註冊日期:
    2018-02-11
    文章:
    142
    讚:
    18
    我覺得中文的部分 一聽就知道是假的 很強的校準效果
     
  7. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    合成聲音軟體除了Vocaloid、Synthesizer V以外再來就是Sony在背後支援的CeVIO AI
    https://cevio.jp/
    不過我個人覺得CeVIO AI表現沒有比Synthesizer V更好。
    CeVIO AI唱Fly me to the moon:


    Synthesizer V的Eleanor Forte AI音色庫..已經不是高下立判的程度而已,根本就是天地之別。
    這個人調整出來的Synthesizer V幾乎無可挑剔…這首強烈推薦必聽!!
     
    Last edited: 2022-10-19
  8. 掌門人

    掌門人 當代校長張超然

    註冊日期:
    2001-08-30
    文章:
    4,579
    讚:
    827
    比較奇怪的是為什麼人聲合成可以做到這麽像,但弦樂、吉他卻還是差那麽多?後來的問題會是什麼時候才會有唱中文和台語的人聲合成軟體可以用?
     
  9. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    人聲合成自Vocaloid以降有一大群用戶、志士 -- 特別是擅長程式的人 -- 在發展與研究這一塊,
    而且還加上不少大學教授以AI人聲合成作為研究主題,
    自然發展得比其它虛擬樂器要快很多,人多好辦事就是這個意思~

    Synthesizer V中文專用的語音音色庫我在前面四樓五樓已經貼過了,個人還是要再推一下五樓貼的"知否知否"這首歌。

    而Synthesizer V就算沒有專用音色庫,好像也可以透過內部轉換來模擬出不同的語言,
    像下面這個就用較早期中文音色庫"蒼穹Cangqiong"的新AI版來唱出25種不同語言的"Let it go" (from Frozen),
    雖然影片留言區有很多母語人士表示發音明顯有待加強,但以非專用音色庫的模擬來說這讓他們非常驚艷:

    1. 0:27 English
    2. 0:34 French
    3. 0:42 German
    4. 0:49 Dutch
    5. 0:56 Mandarin
    6. 1:04 Swedish
    7. 1:12 Japanese
    8. 1:20 Latin American Spanish
    9. 1:27 Polish
    10. 1:34 Hungarian
    11. 1:45 Castilian Spanish
    12. 1:51 Catalian
    13. 1:59 Italian
    14. 2:06 Korean
    15. 2:14 Serbian
    16. 2:21 Cantonese
    17. 2:28 Portuguese
    18. 2:47 Bahasa Malaysia
    19. 2:54 Russian
    20. 3:01 Danish
    21. 3:08 Bulgarian
    22. 3:15 Norwegian
    23. 3:22 Thai
    24. 3:30 Canadian French
    25. 3:38 Flemish
     
    Last edited: 2022-10-18
  10. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    前文提到不少大學教授研究AI人聲合成加速軟體進步一事,
    日本明治大學研究所專任副教授森勢将雅就是一個例子,
    他的研究室專攻"聲音情報處理與Cognitive Speech Processing"
    並且成立No.7 Project來參與免費人聲合成軟體VOICEVOXNEUTRINO
    下面的影片就是No.7 Project參與VOICEVOX的測試影片,抑揚頓挫已經幾乎跟真人一樣了:
    (註:VOICEVOX單純是讀稿軟體,並不能用作歌唱。)


    -------------------------------------------------------------------------------------------------------

    而這邊提到的另一個免費人聲合成軟體NEUTRINO是讀稿歌唱都可使用。
    https://studio-neutrino.com/
    它是由以AI來模擬人聲,擬真度我覺得還好,但挑對歌曲其實意外地真實,
    下面這個影片還真的很像原唱者星野源的聲音:
     
    Last edited: 2022-10-22
  11. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    前面七樓提到由Sony在背後支援的CeVIO AI,其母公司是名古屋工業大学所成立的新創企業,
    它們在2022/09、也就是上個月正式釋出了第二個AI人聲合成軟體:VoiSona
    https://voisona.com/
    軟體本身免費下載,之後推出的音色庫將採取付費訂閱模式。

    跟CeVIO AI、甚至說與大部分人聲合成軟體不同的應該是它們具備VSTi模式,
    目前人聲合成軟體大多都是獨立軟體,沒辦法與DAW協同運作。

    有趣的是…官方特別推出了免費音色庫代言角色的EP,1200日幣…

    我覺得…還好…

    話說日本系統的人聲合成軟體似乎都會特意讓聲音保留一些早期Vocaloid系的機械感,
    據說是不少用戶會覺得人聲合成就是要有一些跟真人不同才能突顯其特色,不然直接找真人錄就好。
     
    Last edited: 2022-10-19
  12. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    這邊藉由這個影片講一下Synthesizer V的內部跨語系轉換功能。
    音色庫是中文女聲"青溯 Qing su",但利用內建的跨語系轉換讓她能夠唱英文,
    各位看影片的第一個反應大概是"這個發音好奇怪、好假",但其實這是有意為之。
    根據Synthesizer V老闆兼主程式設計師的說法:
    • 如果完全讓音色庫的發音變成其它語系,有可能會失去該音色庫原本的特徵,
      所以會保留發音與語調上的細微差異,
      例如發母音a時,中文、日文與英文三者其實會因為嘴型不同產生差異。
    也就是說、跨語系轉換時會特意保留原本音色庫語系的發音習慣。
    實際上大部分人在講外語時難免都會有口音,
    所以跨語系轉換聽起來不道地反而才是最自然的表現方式。

    若不放大檢視故意保留的腔調差異,這首歌的調聲是幾近完美。


    然後…上面影片的調聲師Creuzer跟前面七樓貼過的Synthesizer V版Fly me to the moon為同一人,
    這人應該是目前我聽到最頂尖的Synthesizer V調聲師之一,女聲堪稱極致。
    下面影片是同作者用中英文雙語音色庫Weina製作的影片,
    Weina取樣自知名歌手胡維納,不過大概是129美元太貴了很少人用?
     
    Last edited: 2022-10-22
  13. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    這個也是一流的Synthesizer V調聲師:瑞安Ryan,前面五樓的"知否知否"就是他的作品。
    下面兩個影片他使用中文女聲"蒼穹 Cangqiong"的AI測試版,用來測試跨語系轉換。
    翻唱Adele的Someone like you,這首強烈推薦必聽
    會強烈推薦都是我聽到起雞皮疙瘩的極致調音…這首歌後半段的調音實在是經典…
    (我個人比起原唱更喜歡這首,可能是主唱音色剛好是我偏好的風格吧)


    這首日文歌則是翻唱自中島美嘉
    不知是不是受限於歌曲本身架構的關係,表現沒有上面那首亮眼,
    而且…這個中文口音真的太重了…不要擬真到這種程度呀~
     
    Last edited: 2022-10-22
  14. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    Synthesizer V的一流調聲師Creuzer不僅調女聲堪稱極致,男聲也很有一套,英文男聲音色庫"Kevin":


    再貼一個他調整的英文女聲"Natalie",據說搭配這個真人影像騙倒了很多人:
     
    Last edited: 2022-10-22
  15. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    介紹第三位Synthesizer V的一流調聲師:某只澤,使用中文女聲:"渢漪 Feng Yi"。
    …這些高手調的東西一個比一個邪門(笑),京劇都出來了~
    (雖然說"渢漪 Feng Yi"本來就內建Opera模式)


    Synthesizer V官方"渢漪 Feng Yi"的Demo據說也是他調的,這個聲音很溫柔…


    順便貼個他調整的"青溯 Qing Su"演唱經典名曲 -- 張韶涵的"隱形的翅膀"。
     
    Last edited: 2022-10-22
  16. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    "渢漪 Feng Yi"內建Opera模式讓她唱具有外國民族風格的樂曲時格外合適,
    一流調聲師Creuzer的作品,原曲是十多年前由大越香里kaoling作曲、Vocaloid "初音Miki"演唱。
    喜歡異國民族風樂曲的人必聽~


    一樣是Creuzer的調聲,音色庫英語女聲"Anri",也是少數由美國廠商發行的Synthesizer V音色庫。
     
    Last edited: 2022-10-22
  17. TimoSan

    TimoSan Member

    註冊日期:
    2018-02-11
    文章:
    142
    讚:
    18
    音色庫英語女聲"Anri

    我喜歡這個 但是聲音少了磁性 轉換還是有股唐老鴨味
     
  18. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    跟原曲就是唱成唐老鴨也有關係…這得問問布蘭妮是不是菸抽太多了。


    ======================================================

    一流調聲師"某只澤"的作品。
    現在的AI主唱像這種連說帶唱的樂曲都能演示地幾無破綻了,Solaria實在非常優異。
    順帶一提,他好像是臺灣人。
     
    Last edited: 2022-10-23
  19. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    一流調聲師Creuzer,把日文男聲"Yuma"調成中性女聲~


    對照組,真人配唱版原曲…兩兩比對可以發現合成聲音的表現力是真的進步到幾可亂真的程度了:


    下面為"Yuma"的Synthesizer V官方示範曲。
    明明原本就是青少年的音色,Creuzer可以調成上面影片那種女聲也是一絕~
     
    Last edited: 2022-10-23
  20. 聰明的木頭

    聰明的木頭 Well-Known Member

    註冊日期:
    2004-10-24
    文章:
    10,646
    讚:
    3,062
    補貼Synthesizer V英文女聲音色庫Anri的廠商官網:
    https://audiologie.us/
    話說美國的政治正確也影響到了動漫人物,Anri的外型是高中生形象,結果年齡設定成21歲…

    汶萊調聲師的作品,使用英文女聲"Anri",很典型的美式甜心聲調。

    他另一首樂曲,使用了四個不同女聲:星塵 Infinity、渢漪 Feng Yi、Anri、Solaria。
    聽得出他很擅長調這種甜美女聲。
     
    Last edited: 2022-10-24

分享此頁面