• 網站首頁  電腦游戲  手機游戲  翻譯軟件  動漫下載  電影下載  電視劇下載  游戲攻略

    請輸入您要查詢的游戲攻略：

    　

    標題 3 秒復制任何人的嗓音！微軟音頻版 DALL · E 細思極恐 連環境背景音也能模仿
    分類 熱點事件
    內容 *** 次數：60000 已用完，請聯系開發者***

    只需 3 秒鐘，一個根本沒聽過你說話的 AI，就能完美模仿出你的聲音。

    是不是細思極恐？

    這是微軟最新 AI 成果——語音合成模型 VALL · E，只需 3 秒語音，就能隨意復制任何人的聲音。

    它脫胎于 DALL · E，但專攻音頻領域，語音合成效果在網上放出后火了：

    63be56268e9f090ced1691d0_10244521.jpg有網友表示，要是將 VALL · E 和 ChatGPT 結合起來，效果簡直爆炸：

    看來與 GPT-4 在 Zoom 里聊天的日子不遠了。

    63be56268e9f090ced1691d1_10244521.jpg還有網友調侃，（繼 AI 搞定作家、畫家之后）下一個就是配音演員了。

    63be56268e9f090ced1691d2_10244521.jpg所以 VALL · E 究竟怎么做到 3 秒鐘模仿 " 沒聽過 " 的聲音？

    用語言模型來分析音頻

    基于 AI" 沒聽過 " 的聲音合成語音，即零樣本學習。

    語音合成趨于成熟，但之前零樣本語音合成效果并不好。

    主流語音合成方案基本是預訓練 + 微調模式，如果用到零樣本場景下，會導致生成語音相似度和自然度很差。

    基于此，VALL · E 橫空出世，相比主流語音模型提出了不太一樣的思路。

    63be56268e9f090ced1691d3_10244521.jpg相比傳統模型采用梅爾頻譜提取特征，VALL · E 直接將語音合成當成了語言模型的任務，前者是連續的，后者是離散化的。

    具體來說，傳統語音合成流程往往是 " 音素→梅爾頻譜（mel-spectrogram）→波形 " 這樣的路子。

    但 VALL · E 將這一流程變成了 " 音素→離散音頻編碼→波形 "：

    63be56268e9f090ced1691d4_10244521.jpg具體到模型設計上，VALL · E 也和 VQVAE 類似，將音頻量化成一系列離散 tokens，其中第一個量化器負責捕捉音頻內容和說話者身份特征，后幾個量化器則負責細化信號，使之聽起來更自然：

    63be56268e9f090ced1691d5_10244521.jpg隨后以文本和 3 秒鐘的聲音提示作為條件，自回歸地輸出離散音頻編碼：

    63be56268e9f090ced1691d6_10244521.jpgVALL · E 還是個全能選手，除了零樣本語音合成，同時還支持語音編輯、與 GPT-3 結合的語音內容創建。

    那么在實際測試中，VALL · E 的效果如何呢？

    連環境背景音都能還原

    根據已合成的語音效果來看，VALL · E 能還原的絕不僅僅是說話人的音色。

    不僅語氣模仿到位，而且還支持多種不同語速的選擇，例如這是在兩次說同一句話時，VALL · E 給出的兩種不同語速，但音色相似度仍然較高：

    63be56268e9f090ced1691d7_10244521.jpg同時，連說話者的環境背景音也能準確還原。

    除此之外，VALL · E 還能模仿說話者的多種情緒，包括憤怒、困倦、中立、愉悅和惡心等好幾種類型。

    值得一提的是，VALL · E 訓練用的數據集不算特別大。

    相比 OpenAI 的 Whisper 用了 68 萬小時的音頻訓練，在只用了 7000 多名演講者、6 萬小時訓練的情況下，VALL · E 就在語音合成相似度上超過了經過預訓練的語音合成模型 YourTTS。

    而且，YourTTS 在訓練時，事先已經聽過 108 個演講者中的 97 人聲音，但在實際測試中還是比不過 VALL · E。

    63be56268e9f090ced1691d8_10244528.jpg有網友已經在暢想它可以應用的地方了：

    不僅可以用在模仿自己的聲音上，例如幫助殘障人士和別人完成對話，也可以在自己不想說話時用它代替自己發語音。

    當然，還可以用在有聲書的錄制上。

    63be56268e9f090ced1691d9_10244528.jpg不過，VALL · E 目前還沒開源，要想試用可能還得再等等。

    63be56268e9f090ced1691da_10244528.jpg作者介紹這篇論文所有作者均來自微軟，其中有三位共同一作。

    63be56268e9f090ced1691db_10244528.jpg一作 Chengyi Wang，南開大學和微軟亞研院聯合培養博士生，研究興趣是語音識別、語音翻譯和語音預訓練模型等。

    63be56268e9f090ced1691dc_10244528.jpg共同一作 Sanyuan Chen，哈工大和微軟亞研院聯合培養博士生，研究方向包括自監督學習、NLP 和語音處理等。

    63be56268e9f090ced1691dd_10244528.jpg共同一作 Yu Wu，微軟亞研院 NLP 小組研究員，在北航獲得博士學位，研究方向是語音處理、聊天機器人系統和機器翻譯等。

    63be56268e9f090ced1691de_10244528.jpg感興趣的小伙伴可以戳下方論文地址查看 ~

    論文地址：https://arxiv.org/abs/2301.02111

    音頻試聽地址：https://valle-demo.github.io/

    參考鏈接：https://twitter.com/DrJimFan/status/1611397525541617665

        3 秒復制任何人的嗓音！微軟音頻版 DALL · E 細思極恐 連環境背景音也能模仿 過晨霧彌漫豐富多彩五關，斬六將34. 昏暗的臺燈下，我凝視著這一杯茶，沸水一次又一次的沖擊，讓我感到了茶的清香。那苦澀中略微含著的一點甘甜，也被我貪婪的嘴給霸占了，眼的朦朧，勾勒出朦朧的記憶，可記憶卻已不再朦朧。give sb confidence 給某人信心；lose heart 灰心378.心病終須心藥治，解鈴還是系鈴人。    生怕倚闌干，閣下溪聲閣外山。惟有舊時山共水，依然，暮雨朝云去不還。錦城雖云樂，不如早還家。語音合成,微軟,效果,ai,聯合培養59、Custom makes all things easy.
    隨便看

    　

    哈斯迪拉游戲下載網游戲攻略欄目提供軟件使用教程、手機游戲攻略等方法技巧。

    　

    Copyright © 2002-2024 hsdla.com All Rights Reserved
    更新時間：2025/7/15 6:47:49
    国产CHINESE在线男同|久久97久久97精品免视看秋霞|av无码久久久久久不卡网站|中文字字幕在线精品乱码