該模型在編碼器和解碼器中使用梅爾編碼器了一系列標(biāo)準(zhǔn)梅爾編碼器的Transformer自注意力“塊”為了產(chǎn)生輸出標(biāo)記序列梅爾編碼器，該模型使用貪婪自回歸解碼輸入一個(gè)輸入序列梅爾編碼器，將預(yù)測(cè)出下一個(gè)出現(xiàn)概率最高的輸出標(biāo)記附加到該序列中，并重復(fù)該過程直到結(jié)束 MT3使用梅爾頻譜圖作為輸入對(duì)于輸出，作者構(gòu)建了一個(gè)受MIDI規(guī)范啟發(fā)的token詞匯；#160 #160 最近在實(shí)踐語音文件神經(jīng)網(wǎng)絡(luò)自動(dòng)編碼器encoder時(shí)一直創(chuàng)建語音文件不成功，經(jīng)過幾天學(xué)習(xí)發(fā)現(xiàn)進(jìn)入了一個(gè)誤區(qū)，輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)不能是原始的wav文件數(shù)據(jù)samples，而是應(yīng)該做特征工程，提取梅爾語譜圖下面是摘抄的一些關(guān)鍵信息，然后在此基礎(chǔ)上在此訓(xùn)練encoder#160#160#160#160。

TTS的核心組件包括文本處理聲學(xué)模型和聲碼器文本處理模塊接收文本輸入，提取語言學(xué)特征，如音素，并將其傳遞給聲學(xué)模型聲學(xué)模型進(jìn)一步解析為聲學(xué)特征，如梅爾譜，然后傳遞給聲碼器聲碼器將聲學(xué)特征轉(zhuǎn)換為波形文件，實(shí)現(xiàn)文本到語音的轉(zhuǎn)換在深度學(xué)習(xí)的背景下，TTS模型的架構(gòu)變得更為復(fù)雜且高效一個(gè)；特征提取從預(yù)處理后的音頻中提取特征，常用的特征包括梅爾頻譜系數(shù)Melfrequency cepstral coefficients， MFCC等模型訓(xùn)練使用深度學(xué)習(xí)模型，如循環(huán)神經(jīng)網(wǎng)絡(luò)Recurrent Neural Network， RNN或變分自編碼器Variational Autoencoder， VAE，對(duì)提取的特征進(jìn)行訓(xùn)練可以采用監(jiān)督學(xué)習(xí)的方式，將輸入的特征與。

Tacotron模型通過文本輸入，經(jīng)過編碼器和解碼器結(jié)構(gòu)，輸出Mel Spectrogram，再使用GriffinLim算法生成波形模型包含預(yù)處理層CBHG模塊和解碼器，其中預(yù)處理層通過減少計(jì)算量提升模型泛化能力，CBHG模塊用于高層次特征提取，解碼器則結(jié)合注意力機(jī)制和上下文向量生成Mel譜Tacotron2是在2017年由Google Brain提出。

梅爾編碼器與亨士樂的區(qū)別

1、文本音素首先通過編碼器獲得編碼輸出，為適應(yīng)解碼器輸入長(zhǎng)度，模型引入了長(zhǎng)度調(diào)節(jié)器，通過智能填充使編碼輸出長(zhǎng)度與梅爾譜圖一致論文采用1D卷積代替了Transformer中的全連接網(wǎng)絡(luò)，這一設(shè)計(jì)基于音素和梅爾譜圖序列中相鄰隱藏狀態(tài)更緊密相關(guān)的原則長(zhǎng)度調(diào)節(jié)器設(shè)計(jì)進(jìn)一步細(xì)化，通過預(yù)測(cè)每個(gè)向量的復(fù)制次數(shù)實(shí)現(xiàn)。

2、DurIAN架構(gòu)的輸入是文本序列，輸出是梅爾頻譜圖DurIAN的架構(gòu)如上圖所示，其中包括編碼器的輸入是文本韻律符號(hào)序列 ，輸出是隱狀態(tài)序列 ，其中 是包括輸入文本和韻律的序列的長(zhǎng)度， 是不包含韻律信息的輸入文本的長(zhǎng)度時(shí)長(zhǎng)預(yù)測(cè)模型的作用是預(yù)測(cè)每個(gè)音素的發(fā)聲時(shí)長(zhǎng)，輸入是音素序列以及對(duì)應(yīng)時(shí)長(zhǎng)，輸出。

3、字節(jié)的序列表示計(jì)算機(jī)中的字符，通過編碼統(tǒng)一處理不同的語言，實(shí)現(xiàn)語言無關(guān)性獲取語音特征的方法從簡(jiǎn)單到復(fù)雜依次是波形頻譜圖濾波器輸出和梅爾頻率倒譜系數(shù)MFCC波形是原始音頻信號(hào)，頻譜圖顯示音頻的頻率成分，濾波器輸出提供頻率的加權(quán)表示，而MFCC是用于語音識(shí)別的標(biāo)準(zhǔn)化和壓縮特征語音識(shí)別網(wǎng)絡(luò)。

梅爾編碼器型號(hào)

wav2vec通過無監(jiān)督學(xué)習(xí)方式，為語音識(shí)別提供了一種有效的表示方法，這類表示可用于語音活動(dòng)檢測(cè)AST情感識(shí)別等任務(wù)它利用噪聲對(duì)比學(xué)習(xí)的方法，預(yù)測(cè)給定音頻信號(hào)未來某些采樣點(diǎn)，通過將每個(gè)采樣點(diǎn)轉(zhuǎn)化為向量表示，再基于此預(yù)測(cè)某個(gè)后續(xù)采樣點(diǎn)，以此訓(xùn)練模型模型包括兩個(gè)網(wǎng)絡(luò)編碼器網(wǎng)絡(luò)用于將輸入音頻。