欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Python聲紋識(shí)別實(shí)戰(zhàn):從GMM到深度學(xué)習(xí)全解析

Python聲紋識(shí)別實(shí)戰(zhàn):從GMM到深度學(xué)習(xí)全解析 簡介聲紋識(shí)別作為生物識(shí)別的重要分支正廣泛應(yīng)用于金融風(fēng)控、智能安防和語音交互等場景。其技術(shù)演進(jìn)經(jīng)歷了從傳統(tǒng)概率建模到深度表征學(xué)習(xí)的躍遷早期GMM通過高斯混合分布刻畫個(gè)體發(fā)聲特征GMM-UBM借助通用背景模型實(shí)現(xiàn)少量數(shù)據(jù)下的快速自適應(yīng)ivector則進(jìn)一步將變長語音壓縮為固定維度身份向量。這些經(jīng)典方法雖然實(shí)現(xiàn)簡潔卻為理解說話人建模的底層邏輯奠定了堅(jiān)實(shí)基礎(chǔ)。隨著深度學(xué)習(xí)興起ResNet、TDNN等網(wǎng)絡(luò)與ArcFace損失函數(shù)結(jié)合實(shí)現(xiàn)了端到端的聲紋特征提取大幅提升了復(fù)雜環(huán)境下的魯棒性。本文基于Python開源工程系統(tǒng)拆解GMM-UBM、ivector與深度學(xué)習(xí)聲紋識(shí)別的原理、實(shí)現(xiàn)細(xì)節(jié)及踩坑經(jīng)驗(yàn)幫助開發(fā)者快速搭建從特征提取到模型比對(duì)的完整說話人識(shí)別系統(tǒng)。 開頭先聊一個(gè)點(diǎn)很多人看到“聲紋識(shí)別”四個(gè)字第一反應(yīng)是電影里那種黑科技——對(duì)著麥克風(fēng)說句話系統(tǒng)就能判斷你是不是本人。真實(shí)項(xiàng)目當(dāng)然沒有電影夸張但也沒有想象中那么神秘。這個(gè)項(xiàng)目標(biāo)題把Python、GMM、GMM-UBM、ivector、深度學(xué)習(xí)、聲紋識(shí)別這些關(guān)鍵詞都串在了一起還帶源碼和開發(fā)文檔說明作者想做一個(gè)完整的技術(shù)閉環(huán)從經(jīng)典統(tǒng)計(jì)模型一路做到深度學(xué)習(xí)方案而不是只搭一個(gè)Demo就完事。這類項(xiàng)目我做過幾次最深的體會(huì)是聲紋識(shí)別離不了特征、模型、打分這三件事。傳統(tǒng)的GMM和GMM-UBM能幫你理解“聲紋是怎么建模的”ivector能幫你體會(huì)“怎么把變長語音壓縮成一個(gè)固定向量”深度學(xué)習(xí)則是把“自動(dòng)提特征”這件事做到極致。這篇文章我按實(shí)際工程的推進(jìn)順序來寫先講清楚三條技術(shù)路線各自解決什么問題再給出可落地的源碼實(shí)現(xiàn)思路最后把我在實(shí)操里踩過的坑整理出來。對(duì)想入門說話人識(shí)別的朋友來說這應(yīng)該比直接扔給你一倉庫代碼更有參考價(jià)值。1. 技術(shù)路線全景從GMM到深度學(xué)習(xí)這條路是怎么走過來的1.1 三條路線的核心區(qū)別你建模的到底是什么傳統(tǒng)聲紋識(shí)別和深度學(xué)習(xí)聲紋識(shí)別最根本的區(qū)別不在于“誰更準(zhǔn)”而在于看待聲音的方式。早期的GMM模型本質(zhì)上是把人聲看成一種“分布”。每個(gè)人說話時(shí)聲帶的振動(dòng)頻率、共振峰位置、氣息力度都不一樣這些差異會(huì)體現(xiàn)在頻譜特征上。GMM做的就是把某個(gè)人所有語音幀的特征收集起來用一堆高斯分布去擬合這個(gè)人聲音的分布形狀。你說一句話我提取你的MFCC特征然后在你的GMM模型上算概率概率高就是本人。GMM-UBM是GMM的進(jìn)階版。它先拿大量不同人的語音訓(xùn)練一個(gè)通用背景模型UBM這個(gè)模型代表“普通人說話大概長什么樣”。新來一個(gè)說話人我不需要從零訓(xùn)練GMM只需要在UBM的基礎(chǔ)上用這個(gè)人的少量語音去做自適應(yīng)調(diào)整得到他專屬的模型。這種做法的好處非常明顯數(shù)據(jù)少也能建模且不容易過擬合。ivector則是換了一種思路。它不再為每個(gè)說話人單獨(dú)建模而是把所有說話人的差異壓縮到一個(gè)低維向量里。這個(gè)向量既包含說話人身份信息也包含信道信息所以叫“identity vector”。就像給每個(gè)人發(fā)了一張“聲紋身份證”但這張證上不僅有你的長相還有你今天戴沒戴帽子、換沒換手機(jī)的影響。到了深度學(xué)習(xí)時(shí)代神經(jīng)網(wǎng)絡(luò)直接把“從波形到身份特征”的映射端到端學(xué)出來了。你喂進(jìn)去一段語音網(wǎng)絡(luò)輸出一個(gè)embedding向量這個(gè)向量通過訓(xùn)練被強(qiáng)約束為“說話人相關(guān)的表示”。本質(zhì)目的和ivector一樣都是把變長語音變成固定維度向量但特征提取的能力比傳統(tǒng)方法強(qiáng)了一大截。1.2 為什么先做傳統(tǒng)方法再做深度學(xué)習(xí)我給接手這個(gè)項(xiàng)目的人一個(gè)建議哪怕你最終只想用深度學(xué)習(xí)方案也一定先把GMM-UBM和ivector跑通。原因有三個(gè)。第一傳統(tǒng)方法代碼簡單能幫你從特征提取到模型訓(xùn)練、打分建立起完整的pipeline概念這些概念在深度學(xué)習(xí)里依然適用。第二傳統(tǒng)方法的失敗模式比較規(guī)律方便你排查是特征問題還是模型問題這種調(diào)參手感在深度學(xué)習(xí)中非常寶貴。第三在數(shù)據(jù)量很少的場景下傳統(tǒng)方法往往比深度學(xué)習(xí)更實(shí)用——我見過不少真實(shí)項(xiàng)目標(biāo)注數(shù)據(jù)就幾百條硬上深度學(xué)習(xí)反而不如GMM-UBM穩(wěn)。2. 核心細(xì)節(jié)解析GMM-UBM到底在做什么為什么能拿少量數(shù)據(jù)建模2.1 GMM建模一段語音怎么變成一堆高斯分布說話人識(shí)別里最常用的特征是MFCC梅爾頻率倒譜系數(shù)。每幀語音能算出幾十維特征一秒語音通常有100幀左右。假設(shè)一段語音有2000幀每幀40維MFCC那這段語音在特征空間里就呈現(xiàn)為2000個(gè)離散點(diǎn)。GMM的任務(wù)就是用K個(gè)高斯分布去擬合這2000個(gè)點(diǎn)的分布。每個(gè)高斯分布有均值、方差和權(quán)重三個(gè)參數(shù)。最終這段語音的身份特征被濃縮為這K個(gè)高斯分布的參數(shù)集合也就是一個(gè)“超向量”。在scikit-learn里用GaussianMixture就能完成GMM訓(xùn)練幾行代碼的事。但要注意GMM模型的參數(shù)量和特征維度、K值直接相關(guān)維度太高或者K值太大會(huì)導(dǎo)致參數(shù)爆炸在小數(shù)據(jù)集上極容易過擬合。在項(xiàng)目實(shí)現(xiàn)里有一個(gè)常見誤區(qū)直接對(duì)所有測試語音各訓(xùn)一個(gè)GMM然后拿來互比。這樣做的問題在于每個(gè)模型是在不同條件下訓(xùn)練的可能因?yàn)殇浺粼肼暋⒁袅坎町惖纫蛩貙?dǎo)致模型之間沒有可比性。這也是GMM-UBM出現(xiàn)的原因。2.2 UBM的思路先建?!八腥恕痹傥⒄{(diào)出“某個(gè)人”UBM的訓(xùn)練方式和GMM完全一樣只不過用的數(shù)據(jù)是幾百個(gè)不同人的語音。訓(xùn)練完成后這個(gè)UBM代表了“通用聲學(xué)空間”即人類聲音的普遍分布情況。接下來對(duì)于目標(biāo)說話人我們要做的是MAP自適應(yīng)最大后驗(yàn)概率自適應(yīng)。核心思想是不重新估計(jì)參數(shù)而是在UBM參數(shù)的基礎(chǔ)上用新說話人的語音統(tǒng)計(jì)量去調(diào)整均值。數(shù)學(xué)上可以理解為給定一段語音先計(jì)算每幀特征在每個(gè)高斯分量上的后驗(yàn)概率occupancy根據(jù)這些后驗(yàn)概率計(jì)算新說話人的均值統(tǒng)計(jì)量用插值系數(shù)把新統(tǒng)計(jì)量和UBM均值混合得到說話人的新模型。這種“先求后驗(yàn)、再插值”的過程讓目標(biāo)說話人即便只有幾十秒語音也能得到一個(gè)相對(duì)穩(wěn)定的模型不會(huì)因?yàn)閿?shù)據(jù)少而方差過大。2.3 打分策略為什么要用對(duì)數(shù)似然比當(dāng)UBM和說話人模型都準(zhǔn)備好之后識(shí)別階段要判斷一句話屬于哪個(gè)說話人。這里不能用簡單的絕對(duì)值因?yàn)椴煌Z音的長度、信道、音量都會(huì)影響似然值。標(biāo)準(zhǔn)做法是計(jì)算對(duì)數(shù)似然比對(duì)一句話分別計(jì)算在目標(biāo)說話人模型上的log-likelihood以及在UBM上的log-likelihood兩者相減得到對(duì)數(shù)似然比LLRLLR大于閾值則判定為本人否則為冒認(rèn)者。這個(gè)設(shè)計(jì)的直覺是這樣的UBM是“普通人平均水平”的基線如果在目標(biāo)模型上得分遠(yuǎn)高于UBM上的得分說明這句話和這個(gè)人的聲學(xué)特征的吻合度顯著高于普通水平。用相對(duì)值而不是絕對(duì)值得分能大幅緩解信道不同、錄音設(shè)備不同帶來的偏差。3. ivector方案怎么把一段語音壓縮成一個(gè)身份向量3.1 從超向量到總變化空間核心是降維GMM-UBM有個(gè)繞不開的痛點(diǎn)如果UBM有512個(gè)高斯分量每個(gè)MFCC特征是40維那一個(gè)說話人模型的超向量就是512402均值和方差等于40960維。這個(gè)維度做比對(duì)太費(fèi)勁而且包含大量冗余信息。ivector的提出把問題變成了一個(gè)低維因子分析問題。假設(shè)超向量s可以由一個(gè)全局均值m來自UBM參數(shù)加上一個(gè)低維矩陣T乘以一個(gè)隱變量w來表達(dá)s m T*w這里w就是ivector向量通常只有100到600維。T矩陣稱為總變化空間Total Variability Space它的作用是把高維超向量中與說話人、信道相關(guān)的信息都?jí)嚎s到低維向量中。要訓(xùn)練T矩陣需要做迭代的EM優(yōu)化。這塊自己從零手寫代碼會(huì)很繁瑣好在這個(gè)項(xiàng)目的源碼里有對(duì)應(yīng)的實(shí)現(xiàn)——核心是累積零階統(tǒng)計(jì)量、一階統(tǒng)計(jì)量然后用矩陣運(yùn)算迭代更新T。實(shí)際跑起來訓(xùn)練時(shí)間受T矩陣維度影響很大維度越高越慢。3.2 ivector的后處理從原始向量到可分向量訓(xùn)練好T矩陣后每段語音可以在給定UBM參數(shù)和T矩陣的前提下提取出一個(gè)固定維度的ivector。但直接拿這個(gè)向量做比對(duì)效果往往不夠好還需要做一系列后處理長度歸一化Length Normalization把ivector歸一化到單位長度減少因語音時(shí)長不同帶來的數(shù)值尺度差異白化Whitening讓不同維度的方差一致消除特征尺度不同的影響LDA線性判別分析在說話人維度上降維增強(qiáng)類間距離、壓縮類內(nèi)距離。實(shí)操中長度歸一化是必做的白化在數(shù)據(jù)量充足時(shí)有幫助LDA則需要有多個(gè)說話人的注冊數(shù)據(jù)才能訓(xùn)練。3.3 打分方式最常用余弦距離退而求其次用SVM或PLDAivector之間最常用的度量方式是余弦相似度計(jì)算方便且在大多數(shù)場景下表現(xiàn)穩(wěn)定。如果想更精細(xì)可以用SVM或者PLDA概率線性判別分析。PLDA雖然效果通常更好但對(duì)數(shù)據(jù)量要求更高而且訓(xùn)練和推理的代碼復(fù)雜度不小。我個(gè)人的經(jīng)驗(yàn)是小項(xiàng)目用余弦距離夠用做評(píng)測競賽或追求極限準(zhǔn)確率再上PLDA。4. 深度學(xué)習(xí)聲紋識(shí)別從“手工特征”到“端到端表征”4.1 網(wǎng)絡(luò)架構(gòu)選型為什么說TDNN和ResNet是主流深度學(xué)習(xí)聲紋識(shí)別的整體流程非常簡潔輸入語音經(jīng)過特征提取可以用Fbank或MFCC送入神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)輸出一個(gè)embedding向量然后用這個(gè)向量做比對(duì)。網(wǎng)絡(luò)架構(gòu)的選擇上業(yè)內(nèi)常用三類TDNN時(shí)延神經(jīng)網(wǎng)絡(luò)通過拼接不同時(shí)刻的幀上下文來建模時(shí)序信息參數(shù)量小適合低功耗場景ResNet殘差網(wǎng)絡(luò)通過殘差連接堆疊較深的卷積結(jié)構(gòu)能提取更豐富的頻譜特征準(zhǔn)確率通常比TDNN高ECAPA-TDNN算是TDNN的升級(jí)版加入了SE模塊和更深的通道維度是近年來VoxCeleb評(píng)測上的???。在項(xiàng)目里如果只是入門可以先用小型ResNet比如把ResNet18簡單改造一下把最后的全連接層輸出改成embedding維度。注意不要用ImageNet預(yù)訓(xùn)練權(quán)重初始化語音的Fbank特征分布跟圖片像素差太遠(yuǎn)。4.2 損失函數(shù)從Softmax到基于角度的約束深度學(xué)習(xí)聲紋識(shí)別里損失函數(shù)決定了embedding的分布形態(tài)。最早的思路是把說話人識(shí)別當(dāng)成分類任務(wù)直接訓(xùn)練Softmax分類器然后取倒數(shù)第二層特征作為embedding。這個(gè)做法的問題是Softmax只要求類別可分沒有顯式要求“同類內(nèi)聚”。于是有了各種margin-based損失函數(shù)Angular SoftmaxA-Softmax、AM-Softmax、ArcFace。它們共同的思想是在角度空間里增加一個(gè)margin讓同類特征更聚攏、異類特征更疏散。ArcFace是其中效果最明顯的也是目前聲紋識(shí)別里常用的選擇。用PyTorch實(shí)現(xiàn)一個(gè)ArcFace層并不難核心就是改一下交叉熵?fù)p失中目標(biāo)分?jǐn)?shù)的計(jì)算方式把余弦角度加上一個(gè)固定margin。4.3 訓(xùn)練策略與數(shù)據(jù)增強(qiáng)別忽略這些能漲分的細(xì)節(jié)訓(xùn)練數(shù)據(jù)方面源路徑常用VoxCeleb1/2開源且人群覆蓋廣。項(xiàng)目里如果只想本地快速驗(yàn)證也可以用LibriSpeech里選取一部分說話人或者自己錄幾組語音。數(shù)據(jù)增強(qiáng)值得重視的地方有幾個(gè)加噪聲是最常見的方法可以用MUSAN數(shù)據(jù)集里的噪聲和音樂進(jìn)行疊加模擬混響也可以做通過和RIR數(shù)據(jù)集里的房間脈沖響應(yīng)卷積還可以做速度擾動(dòng)把音頻變速0.9和1.1倍生成兩條新樣本。這些增強(qiáng)手段雖然簡單對(duì)魯棒性和最終準(zhǔn)確率有明顯幫助。訓(xùn)練階段通常用Adam優(yōu)化器初始學(xué)習(xí)率1e-3CosineAnnealing退火batch size越大訓(xùn)練越穩(wěn)定。我自己試下來在VoxCeleb1訓(xùn)練集上訓(xùn)練一個(gè)ResNet34聲紋模型大概需要20~30個(gè)epoch才能收斂如果只有一個(gè)GPU建議先用小模型調(diào)試通流程再擴(kuò)大規(guī)模。4.4 打分階段embedding提取與PLDA訓(xùn)練完成后推理階段很直觀把注冊語音和目標(biāo)語音都輸入網(wǎng)絡(luò)提取embedding然后算相似度。相似度可以用余弦距離也可以用PLDA得分。如果訓(xùn)模型時(shí)用的是Softmax或ArcFaceembedding的分布已經(jīng)比較緊致余弦距離一般來說足夠用。這里有一個(gè)容易踩的坑必須確認(rèn)訓(xùn)練時(shí)和測試時(shí)用的是同一套特征參數(shù)。例如訓(xùn)練時(shí)用的是80維Fbank、25ms窗長、10ms幀移測試時(shí)如果改成了40維MFCC模型的效果會(huì)大幅下降。這類不匹配問題是深度學(xué)習(xí)聲紋識(shí)別里最常見但最容易被忽略的錯(cuò)誤。5. 源碼實(shí)現(xiàn)搭一個(gè)可運(yùn)行的完整聲紋識(shí)別Demo5.1 數(shù)據(jù)準(zhǔn)備沒有VoxCeleb也能快速驗(yàn)證VoxCeleb數(shù)據(jù)集比較大完整下載需要耐心。如果你只是想先跑通流程我推薦一個(gè)輕量級(jí)方案用錄音工具錄制4~6個(gè)人、每人5~8句話作為注冊數(shù)據(jù)另錄每人3句話作為測試數(shù)據(jù)。每個(gè)人單獨(dú)放一個(gè)目錄比如data/train/zhangsan/0.wav。這樣數(shù)據(jù)量雖然少但足以驗(yàn)證代碼邏輯是否正確。在代碼中用librosa加載音頻采樣率統(tǒng)一為16kHz單聲道。需要注意的一點(diǎn)不同錄音設(shè)備和房間環(huán)境會(huì)造成信道差異如果條件允許測試語音和注冊語音盡量在不同時(shí)間錄制避免“同一條錄音既注冊又測試”的作弊現(xiàn)象。5.2 特征提取MFCC和Fbank二選一傳統(tǒng)GMM/ivector方案建議用MFCC通常40維深度學(xué)習(xí)方案建議用Fbank通常80維。直接調(diào)用librosa.feature.mfcc或者python_speech_features都可以但要注意做比較時(shí)特征參數(shù)保持一致。import librosa import numpy as np def extract_mfcc(path, n_mfcc40): y, sr librosa.load(path, sr16000) mfcc librosa.feature.mfcc(yy, srsr, n_mfccn_mfcc, n_fft1024, hop_length160, win_length400) # 加上一階差分?jǐn)U展為80維 delta librosa.feature.delta(mfcc) feature np.vstack([mfcc, delta]) return feature.T # shape: (frames, n_mfcc*2) def extract_fbank(path, n_mels80): y, sr librosa.load(path, sr16000) fbank librosa.feature.melspectrogram(yy, srsr, n_melsn_mels, n_fft1024, hop_length160, win_length400) log_fbank np.log(fbank 1e-6) return log_fbank.T # shape: (frames, n_mels)我在兩個(gè)方案里都開啟了delta差分因?yàn)镚MM-UBM對(duì)幀間動(dòng)態(tài)信息不敏感靠差分能補(bǔ)上一些上下文信息。有些開源代碼省略了這一步識(shí)別率會(huì)掉一截。5.3 GMM-UBM訓(xùn)練代碼先訓(xùn)UBM再M(fèi)AP自適應(yīng)下面這段代碼適合跑通GMM-UBM的核心流程。UBM直接用sklearn的GaussianMixture來訓(xùn)練MAP自適應(yīng)部分手動(dòng)實(shí)現(xiàn)。import os import numpy as np from sklearn.mixture import GaussianMixture def load_all_features(data_dir, n_mfcc40): feats [] for root, _, files in os.walk(data_dir): for f in files: if f.endswith(.wav): path os.path.join(root, f) feats.append(extract_mfcc(path, n_mfcc)) return np.vstack(feats) # 訓(xùn)練UBM用所有人的語音也可以用部分人的語音 all_feats load_all_features(data/train) ubm GaussianMixture(n_components256, covariance_typediag, max_iter100, random_state0) ubm.fit(all_feats) # MAP自適應(yīng)用目標(biāo)說話人的少量語音調(diào)整UBM得到GMM def map_adapt(ubm, data, relevance_factor16.0): 對(duì)單個(gè)說話人的數(shù)據(jù)進(jìn)行MAP自適應(yīng)。data為frames x dim矩陣。 # 計(jì)算每個(gè)高斯分量的后驗(yàn)概率 log_prob ubm._estimate_log_prob(data) responsibilities np.exp(log_prob - log_prob.max(axis1, keepdimsTrue)) responsibilities / responsibilities.sum(axis1, keepdimsTrue) # 零階和一階統(tǒng)計(jì)量 N_k responsibilities.sum(axis0) # (K,) F_k responsibilities.T data # (K, dim) # 歸一化后的一階統(tǒng)計(jì)量 X_hat F_k / (N_k[:, None] 1e-10) # 新均值 (alpha_k * 說話人均值 (1 - alpha_k) * UBM均值) alpha_k N_k / (N_k relevance_factor) adapt_means alpha_k[:, None] * X_hat (1 - alpha_k[:, None]) * ubm.means_ # 復(fù)制模型參數(shù)并替換均值 from copy import deepcopy adapted deepcopy(ubm) adapted.means_ adapt_means return adapted # 為每個(gè)說話人生成模型 speaker_models {} for spk in os.listdir(data/train): spk_dir os.path.join(data/train, spk) if os.path.isdir(spk_dir): feats load_all_features(spk_dir, n_mfcc40) speaker_models[spk] map_adapt(ubm, feats)這段代碼里我設(shè)置了relevance_factor16這是經(jīng)驗(yàn)值數(shù)值越大自適應(yīng)越保守模型越接近UBM數(shù)值越小越容易過度擬合單個(gè)人的少量語音。數(shù)據(jù)很少的時(shí)候建議調(diào)大一些。5.4 ivector實(shí)現(xiàn)用T矩陣投影提取身份向量ivector的完整EM訓(xùn)練代碼比較長這里給出提取部分的關(guān)鍵思路。如果你在源碼中找不到訓(xùn)練好的T矩陣文件可以先從GMM-UBM的超向量加上PCA降維做一個(gè)簡化的ivector變體。def compute_statistics(gmm, data): 計(jì)算語音數(shù)據(jù)的零階、一階統(tǒng)計(jì)量。 log_prob gmm._estimate_log_prob(data) resp np.exp(log_prob - log_prob.max(axis1, keepdimsTrue)) resp / resp.sum(axis1, keepdimsTrue) N_k resp.sum(axis0) # (K,) F_k resp.T data # (K, dim) return N_k, F_k def extract_ivector(ubm, T_matrix, data): 根據(jù)超向量求ivector: w inv(I T^T * Sigma_inv * N * T) * T^T * Sigma_inv * F N_k, F_k compute_statistics(ubm, data) dim data.shape[1] K len(N_k) # 構(gòu)造分塊對(duì)角統(tǒng)計(jì)量矩陣 N_matrix np.zeros((K*dim, K*dim)) for i in range(K): N_matrix[i*dim:(i1)*dim, i*dim:(i1)*dim] np.eye(dim) * N_k[i] F_vector F_k.flatten() sigma_inv 1.0 / (ubm.covariances_.flatten() 1e-10) A np.eye(T_matrix.shape[1]) T_matrix.T (N_matrix * sigma_inv[:, None]) T_matrix B T_matrix.T (F_vector * sigma_inv) w np.linalg.solve(A, B) return w真正的T矩陣EM訓(xùn)練比這個(gè)復(fù)雜需要多次迭代更新T矩陣的估計(jì)。如果你打算深入這塊建議先跑通上面的簡化版理解ivector是怎么從統(tǒng)計(jì)量里提取出來的再去看完整源碼里的EM實(shí)現(xiàn)。否則一開始就被矩陣求逆、分塊迭代這些細(xì)節(jié)繞進(jìn)去很難快速建立整體認(rèn)知。5.5 深度學(xué)習(xí)模型用PyTorch搭一個(gè)小型聲紋網(wǎng)絡(luò)深度學(xué)習(xí)部分我建議用一個(gè)簡化版ResNet把ArcFace損失加上訓(xùn)練出embedding后直接在測試階段用余弦相似度判斷。import torch import torch.nn as nn import torch.nn.functional as F class SimpleSpeakerNet(nn.Module): def __init__(self, in_dim80, embd_dim128, num_speakersNone): super().__init__() self.layer1 nn.Sequential( nn.Conv2d(1, 16, kernel_size3, stride1, padding1), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(2)) self.layer2 nn.Sequential( nn.Conv2d(16, 32, kernel_size3, stride1, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2)) self.layer3 nn.Sequential( nn.Conv2d(32, 64, kernel_size3, stride1, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2)) self.layer4 nn.Sequential( nn.Conv2d(64, 128, kernel_size3, stride1, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(2)) self.embedding nn.Linear(128 * 5 * 5, embd_dim) self.classifier nn.Linear(embd_dim, num_speakers) def forward(self, x): # x: (batch, frames, dim) - (batch, 1, frames, dim) x x.unsqueeze(1) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x x.flatten(1) embd F.relu(self.embedding(x)) logits self.classifier(embd) return embd, logits訓(xùn)練時(shí)輸入特征需要做歸一下處理means和vars隨機(jī)切固定長度段比如4秒不夠就循環(huán)補(bǔ)batch size可以設(shè)64或128。損失只用交叉熵就可以跑起來加ArcFace后續(xù)再優(yōu)化。測試階段提取embedding的方式是輸入整段語音的所有幀網(wǎng)絡(luò)會(huì)輸出每幀對(duì)應(yīng)分?jǐn)?shù)但我們的網(wǎng)絡(luò)是取所有幀特征整體過特征提取器的所以需要先把語音切成段、每段求embedding后求平均。這是和傳統(tǒng)ivector最大的不同之處深度學(xué)習(xí)的embedding提取通常要考慮池化策略簡單平均池化即可入門。6. 常見問題與排查技巧實(shí)錄6.1 特征維度不匹配導(dǎo)致模型訓(xùn)練報(bào)錯(cuò)這個(gè)是最常見的問題。訓(xùn)練UBM時(shí)用的MFCC是40維MAP自適應(yīng)時(shí)加載的數(shù)據(jù)如果多加了delta變成80維GMM模型不匹配直接報(bào)維度錯(cuò)誤。解決辦法統(tǒng)一封裝特征提取函數(shù)訓(xùn)練和測試走同一條路徑。建議在代碼里把特征參數(shù)寫成全局配置不要在不同腳本里各自定義。6.2 GMM訓(xùn)練過慢或存在不收斂GaussianMixture在數(shù)據(jù)量大、混合數(shù)高的情況下EM迭代非常慢。建議先用小規(guī)模數(shù)據(jù)測試比如1000幀確認(rèn)計(jì)算流程OK后再全量跑。收斂出問題通常和初始化和數(shù)據(jù)范圍有關(guān)可以檢查特征是否做了均值和方差歸一化。有些代碼提取MFCC后直接進(jìn)GMM數(shù)值范圍可能很大歸一化后能明顯改善收斂性。6.3 UBM訓(xùn)練時(shí)混合數(shù)怎么選擇UBM混合數(shù)K是一個(gè)需要權(quán)衡的超參數(shù)。K值太小模型表達(dá)能力不足K值太大參數(shù)多、訓(xùn)練慢且容易過擬合。常規(guī)配置是256或512。數(shù)據(jù)只有一到兩小時(shí)、說話人數(shù)量不多時(shí)256足夠想逼近VoxCeleb規(guī)模的評(píng)測水平512更合適。6.4 ivector訓(xùn)練時(shí)內(nèi)存占滿ivector訓(xùn)練涉及分塊矩陣,尤其是統(tǒng)計(jì)量矩陣當(dāng)UBM混合數(shù)K512、MFCC維度40時(shí)統(tǒng)計(jì)量矩陣是512*4020480維的方陣占內(nèi)存非??鋸?。這在源碼實(shí)現(xiàn)里是個(gè)容易卡住的點(diǎn)解決方法是不要一次性把所有話語統(tǒng)計(jì)量都加載進(jìn)內(nèi)存而是分批讀取邊算邊累積T矩陣更新所需的累加量。6.5 深度學(xué)習(xí)訓(xùn)練loss不下降先用很小的數(shù)據(jù)集比如每個(gè)說話人10條語音做overfit測試確認(rèn)loss能到很小值。如果小數(shù)據(jù)都上不去檢查學(xué)習(xí)率建議1e-3、網(wǎng)絡(luò)結(jié)構(gòu)是否太多層但數(shù)據(jù)不足、特征范圍。還有一個(gè)常見坑是batch-size太小導(dǎo)致BN層在batch內(nèi)部統(tǒng)計(jì)不穩(wěn)定特別是語音幀數(shù)變化大的時(shí)候建議加固定長度切幀。6.6 注冊語音與測試語音的時(shí)長差太多無論是傳統(tǒng)方法還是深度學(xué)習(xí)時(shí)長差異都會(huì)影響效果。ivector方面語音太短會(huì)導(dǎo)致統(tǒng)計(jì)量估計(jì)不穩(wěn)定embedding向量的方差變大深度學(xué)習(xí)方面embedding平均池化在短語音上不太穩(wěn)。常規(guī)做法是注冊語音盡量保持不少于3秒測試語音如果太短可以降低判決閾值來換取召回率。6.7 信道/噪聲影響識(shí)別率這是一個(gè)真實(shí)場景里的老問題。同一句話在不同手機(jī)上錄制在GMM-UBM里通常會(huì)看到log似然比下降得很厲害。增強(qiáng)方案可以放在前端做加VAD靜音檢測切掉靜音段或者做語音增強(qiáng)去噪。深度學(xué)習(xí)方法一般對(duì)輕微噪聲魯棒性更好但強(qiáng)噪聲場景下依然建議加數(shù)據(jù)增強(qiáng)讓模型在訓(xùn)練時(shí)就見過說話人帶噪聲的樣子。7. 把這套源碼真正跑起來的順序建議我第一次接觸這類開源項(xiàng)目時(shí)試圖一次把所有代碼都讀懂結(jié)果被ivector的EM訓(xùn)練和深度學(xué)習(xí)腳本同時(shí)卡住。后來總結(jié)出一個(gè)比較順暢的順序先跑GMM-UBM的最小demo用1到2個(gè)人的數(shù)據(jù)確認(rèn)數(shù)據(jù)準(zhǔn)備、特征提取、訓(xùn)練、打分整條流程能通。然后增加人數(shù)和UBM混合數(shù)驗(yàn)證識(shí)別率的變化。再進(jìn)入ivector階段先不訓(xùn)練T矩陣用PCA降維的超向量作為簡化版ivector跑通打分流程再逐步替換為真正的T矩陣EM結(jié)果。最后切換深度學(xué)習(xí)用同樣的數(shù)據(jù)跑一遍Fbank加ResNet和傳統(tǒng)方法的準(zhǔn)確率做對(duì)比。整個(gè)項(xiàng)目調(diào)試下來你獲得的不僅是一個(gè)能用的聲紋識(shí)別系統(tǒng)更重要的是親手驗(yàn)證了技術(shù)演進(jìn)的核心邏輯從概率密度模型到低維因子分析再到端到端表征學(xué)習(xí)每一步都是在解決前一步的某個(gè)痛點(diǎn)。最后提一個(gè)實(shí)用建議源碼目錄里做好版本管理數(shù)據(jù)和模型文件分開存放特征提取模塊用單獨(dú)的類封裝這樣后續(xù)無論是換數(shù)據(jù)集還是加新的深度模型改動(dòng)范圍都會(huì)很小。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
开心五月婷婷激情网| 欧美五月婷婷| 99热大香蕉| 色欲丁香| 婷婷丁香五月高清| 丁香五月天之婷婷影院| 婷婷影院A成人| 亚洲综合色激情色五月| www.婷婷,com| 久久er九九| 丁香五月六月综合欧美| 精国产品一区二区三区A片| 色五月激情五月| 91干婷婷| 99热最新精品| 色噜噜狠狠色综合成人99| 情欲禁地| 婷婷六月丁香激情| 丁香五月在线| 六月丁香五月天| 五月丁香六月婷婷网| 丁香五月天婷婷激情| 五月天色色网站| 色婷婷丁香AV综合| 五月丁香六月激情综合网| 五月丁香婷爱在线| 亚洲精品久久久无码| 高清成人综合| 激情五月婷婷老师| 激情内射人妻1区2区3区| www,99色| 美女100%露全身无挡网站| 色婷婷影音| 黄色AV日韩| 久久婷婷免费| 激情网狠狠干| 激情久久久| 中文字幕综合色| 26uuu淫色| 玖玖爱综合网| 人人做天天爱| 久久大大香| 亚洲婷婷五月草久| 成人做爰高潮A片免费视频| 激情文学第四色婷婷丁香五月| 色色色色色色色色色999| 久9热| 日韩视频女神99| 99爱在线视频观看| 五月婷婷色色网址| 综合婷婷都市激情| 91精品又长又大又粗又爽又猛| 九九成人精品| 激情AV网| 成人网在线视频| 操九色| 综合久久五月天| 日本天天色| 婷婷五月天精品| 亚洲色网址| 婷婷五月精品| 日本色色色| 人人搡人人| 五月丁香婷草| 久久9久久| 久久东京热婷婷五月| 婷婷99热| 色婷婷操逼| 激情五月色婷婷| 午夜成人AV在线| 丁香五月天激情综合| 九九综合九九| 99无码视频| 五月天合网| 国产乱妇无乱码大黄AA片| 99在线精品视频| 另类少妇人与禽zOZZ0性伦| 色情五月天首页| 婷婷五月花.97| 丁香六月色婷婷| 婷婷色六月| 婷婷五月天综合久久| 丁香六月婷婷综情欧美| 人人操9| 色九亚洲| 欧美综合激情| 丁香五月天论坛| 色噜久| 五月天激情四射网站| 亚洲AV无码成人精品电影| 久久人人超| 激情涩涩网| 色和综合网| 一本色道久久综合狠狠躁小说| 97热在线精品| 久草热8精品视频在线观看| 狠狠干在线视频| 午夜激情四射影院| 99热亚洲| 色色色色色色色色网站| 五月天婷婷色五月天| 激情五月丁香五月色| 99在线亚洲| 五月丁香六月婷| 成人片在线播放| 色色国产| 五月激情综合激情五月| 欧美色图片88| 五月丁香激情啪啪| 亚洲人妻AV| WWW.色婷婷.COM| 91综合色| 在线看AV| 久久色情| 久久激情五月婷婷| 久久成人天| 97精品综合久久| 天天色中文字幕女优AV| www.91色| 色五月婷婷丁香五月| 五月丁香色六月激情干大屄| 婷婷综合网伊人| 亚洲激情网| 久久久久婷婷五月热综合| se婷97| 亚洲精品一区中文字幕乱码| 91精品婷婷国产综合久久| 婷婷丁香人妻久久在线观看| 久久ER视频com| 六月婷婷久久| 久久久免费图片视频| 亚洲色99综合天堂| 91狼友视频在线观看| 亚洲综合成人网| 色九九九九| 丁香婷婷久久综合在线| 操碰97| 黄色片区子| 久久思思99| 激情婷| 熟女色色一区二区| 97五月天婷婷| 色婷婷狠狠| 91色在线 | 日韩| 性色做爰片在线观看WW| 伊人99热| 六月婷婷综合| 性欧美大战久久久久久久83| 开心五月深爱五月| 99在线免费观看| 日日夜夜狠狠| 国产露脸150部国语对白| 99激情| 99操视频| 婷婷九月| 六月丁香久久| 欧美在线干| 色五月激情五月| 日韩成人电影AV| 婷婷五月天狠狠搞干| 日操| 婷婷娱乐丁香综合网| 99re26视频| 五月丁香婷婷激情久久| 色综合开心五月深爱五月| 五月的婷婷六月丁香| 4399精品一区二区| 五月色亭丁香| 五月天婷婷色综合| 大香伊人婷婷| 91丨九色丨熟女|新版| 中文无码婷婷| 激情五月婷婷在线区| 色色色色色爱| 丁香五月天色婷婷| 欧洲综合视频| 2018夜夜草| 久re热视频| 超碰人人色| 人人色性网| 五月丁香做爱视频| 五月丁香婷婷色色| 天天干天干| 婷婷丁香五月天综合在线日韩| 久久婷综| 另类综合激情| 婷婷激情五月天色| 色色色热| 五月丁香五月综合欧美| 亚洲V国产V欧美V久久久久久| WWW·色色色·COM| 亚洲婷婷六月天| 玖玖资源站中文| 婷婷五月天奸女| CHINESE熟女老女人HD视频| 精品无码久久久久久久久| 婷婷五月另类网站| www.粉嫩av.com| 99热99精品在线观看| 九月激情综合| 日日影院 | 久热9热| 思思久ren热| 丁五月激情视频免费| 五月婷婷激情五月| 开心五月婷婷综合在线精品素人| 性爱网久久| 秋霞三及片| 这里只有精品视频99| 91在线人| 色丁香综合影院| 任你搞网站| 日韩艹比| 热99国产精品| 色 色 色综合com| 99视频| 五月丁香六月综合情在线观看| 激情五月天激情综合网| 五月婷婷性爱| 久操人| 日韩黄黄| 婷婷亚洲天堂| 激情综合五月激情XXXX| 五月丁香色| 婷婷五月a| 婷婷五月色丁香在线看| 丁香五月婷婷基地| 丁香五月激情欧美| 五月婷婷欲色| 女人高潮内射99精品| 天天综合 99久久婷婷| 视频这里只有精品16| 婷婷在线精品| 色吊丝av中文字幕| 六月丁香网| 99在线综合视频| 五月天婷婷黄色| 少妇人妻丰满做爰XXX| 9久精品| 丁五月激情视频免费| 31色区视频免费看| 综合网五月天123| 五月天综合| 色婷婷五月天中文字幕| 91一起操| 久久综合99| 狠狠穞A片一區二區三區| 天天操天天日天天爱| 操日视频| 伊人91| 婷婷丁香五月麻豆| 五月婷九月| 蜜乳中文字| 国产av一区二区三区| 婷婷色五月久久| 日产精品一线二线三线芒果| ...婷婷国产成人亚洲日韩| 久久这里都是精品| 久久精彩免费视频精彩免费视频| 狠狠操狠狠爱| 婷婷国产日本欧美| 婷婷99综合| 久久精品99久久久久久| 五月婷久久综合| 26uuu最新地址| 婷婷五月综合网激情| 五月婷婷自拍视频| 九色无码| 久久婷综合| 色色色婷婷五月| 人妻视频在线| 亚洲精品操一操、噜一噜、摸一摸、爽 | 久久五月婷| 久久92| 久久免费精品小视频| 天天做天天爱天天高潮| 久久这里都是精品视频| 激情综合色五月丁香| 国产精品香蕉| 婷婷丁香熟妇综合网| 九九综合| 五月天,激情四射,婷婷频道| 五月天天堂久久| 五月色丁香| 99色综合网| www,婷婷,com| 五月天婷婷基地综合网| 色七色九九| 99国产在线精品视频| 夜夜干天天干| 日本的α片xxxwww| www.婷婷.com| 亚州视频九九99| 91碰超| 思思热视频在线| 99热无码首页| 天天日天天插天天操| 国产看真人毛片爱做A片| 日日操日日射| 欧美色97| 五月婷婷激情在线| www.99热| 欧美性爱五月天| 九月丁香婷婷综合激情| 五月天丁香花婷婷| 日韩成人精品中文字幕| 9热精品| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 五月天婷婷婷| www.婷婷五月天| 五月丁香啪啪伦理电影| 欧美婷婷五月激情| 99 热| 一起肏在线视频| WWW.国产| 99精品在线观看视频| 久久视频这里99| 春色激情第四色| 久久久性爱视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 97色女人在线| 天天干天天干天天干天天干天| 欧美日本VA| 欧美精品久| 午夜少妇在线观看视频| 婷婷丁香成人| 久久综合中文| 久久狼人天堂| 亭亭玉月丁香| 亚洲va在线∨a天堂va欧美va| 嫩BBB槡BBBB搡BBBB| 五月婷婷在线综合| 特级片神马电影| 婷婷五月综合欧美在线播放| 久久久人妻久久久| 色色丁香婷婷| 亚洲视频操| 第四色色色色色丁香五月天 | 五月丁香婷婷色| 99视频网址| 直接看的AV| 99久久九九| 五月丁香六月婷精品视频| 五月婷婷另类| 日韩AV片| 九九家庭影院| 人人干天天操五月丁香| 五月天自拍网| 丁香五月综合在线播放| 五月天成人网婷婷| 丁香五月骚喷水视频| 国产99精品免费视频| 亚洲婷婷五月天综合| 99视频内射三四| 欧美色色色色色色色色色色| 婷婷五月综合社区| 久久婷婷五月国产色综合激情| 五月激情啪啪| 九九热这里有精品视频| 国产精典视频在线观看| 激情婷婷| 婷婷六月爽| 国产阿姨日皮艹逼内射视频| 蜜桃五月天色| 九九亚洲视频| 婷婷性爱五月天| 五月丁香婷婷深深爱| 激情六月丁| 五月99久久| 涩五月婷婷| 成人无码精品1区2区3区免费看| 99精品在线观看| 亚洲色在线观看| 蜜臀AV在线观看| 色五月激情五月| 蜜乳人妻一区二区三区| 五月婷色色| 中日韩美欧成人一区二区精品在线| 高清无码视频网址| 99热在线观看精品| 亚洲妇女熟BBW| 丁香五月综合激情久久潮喷| 婷婷伊人综合中文字幕| 亚洲综合网区| 视色综合| 99久久综合| 免费无码毛片一区二区A片| 日本激情综合| 五月丁香六月婷婷久久肏| 在线色色| 综合色激情| 91婷婷在线| 99在线精品免费视频| 九九99偷拍视频| 99男人天堂| 九九这里只这里只有精品| 婷婷五月天综合小说网| 亚洲操b| 久99热| 久久久99久久| 午夜福利8055| 2025中文在线视频字幕免费观看| 很很干天天干| 色色丁香| 五月丁香久久久久| 伊人国产婷婷五月天| 人人操五月天| 伊人九热| 婷婷激情五月天网站| 丰满人妻一区二区三区| 亚洲一级 片内射网站在线观看| 丁香五月日韩| 天天爽天天摸天天爱| 99这里只有精品|v| 99碰在线视频| 三级大香蕉网| 色五月婷婷基地| 综合色网站| 五月综合在线婷婷图片| 丁香五月婷婷成人色区| 婷婷五月丁香欧洲| 久久精品熟女亚洲AV麻豆| 综合色99| 99这里只有精品视频| 中文字幕有多少字| 色欲色天天香综合| 五月天色婷婷基地| 激情小说在线视频| 91大神操美女| 五月丁香激情综合| 综合久久激情久久| 91艹人| 日本乱子人伦在线视频| 国产激情久久久| 亚洲碰碰碰| 久久婷婷资源| 播五月丁香三月婷婷| 1234操逼网| 人人做人人看人人摸| 97干在线| 色99视| 五月婷婷熟女| 九九这里有精品| 婷婷丁香激情综合色情| 色欲婷婷五月天丁香| 国产99久| 成人丁香婷婷| 久久99久久久| 九月婷婷激情| 97香蕉久久超级碰碰高清版| 在线网黄| 丁香五月综合久久八| 99九九视频| 综合色99| 丁香五月婷婷五月| www色婷婷| 97人人操在线| 色丁香五月天射婷婷爱婷婷| WWW.桔色成人.COM| 六月丁香激情| 婷婷色网| 天天色综合色| 日韩AV免费| 丁香六月久久| www.maotanji.com| 激情AV| 五月天亚洲图片婷婷| 成人丁香五月| 噜噜噜噜婷婷五月天| 国产精品成人AV在线| 粉嫩av懂色av蜜臀av熟妇| 99热99极品观看| 五月 成人 婷婷| 91久热| 久久这里只有精品5| 狠狠色婷婷| 校园激情 亚洲| 超碰激情五月| 激情综合网五月激情| 九月丁香婷婷| 99综合网| 色婷婷超碰| 婷婷久久五月| 久久婷婷五月天激情新地址| 久久思思热视频| 久久久ww| 中文字幕视频色婷婷| 丁香六月婷婷综合欧美| 站长推荐无码播放| 日韩一区二区A片免费观看| 婷婷五月天天天| www,超碰| 中文字幕欧美日韩VA免费视频| 一区二区乱码视频| 久热视频这里只有精品68| 99久久精彩视频| 超碰成人电影| 国产做爰视频免费播放| 999久久久国产精品| 久久久妻人人人| 成人草榴视频| 成人电影一区| 色五月婷婷91| 激情五月天免费视频| 日本三级中国三级99| 久久婷婷青青草| 91欧美| 夜夜操天天干| 日本丰满久久| 六月激情婷婷| 综合网色| 天天色天天日天天舔| 激情五月天色网站| 狠狠操狠狠色| 国产AV一区二区三区日韩| 五月天.com| 色色色激情| 亚洲午夜在线视频| 成熟妇人A片免费看网站| 天天爱天天狠天天透| 美臀自射自家人妻| w婷婷五月婷婷w| 99热在线播放精品| 中文字幕丰满孑伦无码专区 | 极品少妇XXXX精品少妇偷拍| 激情久久久久久久久久久| 久久aaaa片一区二区| 青青草a在线| 开心五月婷婷婷美女| 狠狠爱青青草| 丁香五月亚洲综合丝袜| 人妻少妇色综合| 色婷网| 色噜噜狠狠色综合成人网| 手机免费福利视频| 久久人妻情侣| 狠狠va| 丁香女人五月天| 亚洲激情无码久久| 九九热这里精品| 好好干Av| 九九热av| 色墦五月丁香| wWw色五月| 色优久久| 色综合综合色| 一起草无码| 9月色婷婷| 丁香五月综合激情啪啪| 99玖玖人人| 欧美精品A片一区在线观看| 久久艹网| 91热网址| 26uuu偷拍亚洲欧洲综合| 超碰在线精品| a色色色色色| 26uuu四色| 日本www五月婷婷| 婷婷五月丁香色情| 99热这里只有免费精品| 五月婷婷六月开心| 99热国产免费| 色色色9| 99热只有这里有精品| 99热这里都是精品| 五月婷婷综合在线| 色婷婷丁香女女| 五月黄色婷婷| 91色逼| 91色综合| 五月婷婷狠天天色综合| 婷婷五月天欧美图片在线播放电驴| 丁香五月a| 日韩成人电影在线播放| 99热66| 婷婷五月天成人| 丁香婷婷久久| 精品日本视频444| 91好好热日本在线| 五月丁香六月激情综合网| 97人人操人人爽| 丁香婷婷丁香五月欧美人| 天天干天天干天天干天天干天天干天天| www.亭亭五月天| 九九热免费视频| 思思久久99| 91日韩在线| 五月天小说激情| 久久视频婷婷| 翔田千里aV中文字幕| 这里只有精品在线观看视频| 色情综合| 怎么样可以看免费的一级av| 热久久婷婷| 99噜噜噜在线播放| 天天干狠狠| 综合久久婷婷| 一区中文字幕电影| 日日夜夜狠狠婷婷色| 五月丁香六月婷综合成人综合| 深爱激情丁香| 亚洲精品又粗又大又爽A片| 色色色国产| 狠狠CAO日日穞夜夜穞AV| 97五月婷婷| 五月综合婷婷开心网| 五月天六月婷婷| 无码日本精品XXXXXXXXX | 丁香六月婷婷综合啪啪| 丁香5月啪啪| 狠狠干综合| 丁香五月瑟瑟| 色婷婷在线视频久| 亚洲va国产va天堂va综合va| 欧洲亚洲精品| 操97免费超级视频| 亚洲XX日本| 99久久综合| 色色日本欧美| 亚洲色在线观看| 日本黄 色 片| 久久宗合影| 久8色色| 国产成人AV| 日本本土色网第一区| 色五月婷婷九月| 黄色热99| 深爱五月天婷综合| www久久99| 激情五月丁香社区| 毛片新网地| 婷婷黄色网| 五月丁香欧美综合免费视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月天婷婷丁香视频| 五月丁香影视| 婷婷五月天久久久| 天天干天天干天天干天天干天| 禁片二区| 99热在线精品观看| 色原狠狠综合| 激情五月婷在线精品| 色五月婷婷7777| 99re热久久| 99性视频| 99re熱| 婷婷五月六月| 丁香亭亭久久| 欧美久热| 九九熱最新視頻| 久久婷婷综合国产| 91九色大屁股| AAA久久久| 2017人人操| 99视频内射三四| a色色色色色| 99热这里只有精品8| 就爱操www com| 五月天婷婷激情在线色图| 99久热在线精品| 少妇熟女视频一区二区三区| 79色色免费| 丁香五月综合网| 91精品综合久久久久久五月丁香| 另类亚洲电影| 亚洲AV网址| 伊人玖玖精品| 五月天激情影院| 六月丁香五月激情网| 丁香花综合永久入口| 五月天四色房丁香亭亭| 99riAV国产精品视频| 亚洲激情综合| 乱抡小BB| 9久9久9久女女女九九九一九| 亚洲va综合va国产va中文| 伊人婷婷五月天| 99热精品在线播放| 久热伊人| 五月婷婷色| 婷婷色成人| 国产成人av在线播放| 亚洲成人综合在线| 天天干天天色综合| 99热在线里有精品| a级毛片一区二区免费视频| 欧美色色色色色| 在线国产精品色| 射满了还射免费在线观看 -午夜版全集-新视觉影院| 五月天婷婷在线观看| 色婷婷亚洲婷婷| 国产av一区二区三区| WWW,婷婷,COM| 久er免费视频| 卡视频1区2区| 五月激情在线| 外国碰视频网站97| 激情五月天激情综合网| 五月婷婷在线丁香| 日韩五月婷婷| 国产午夜精品AV一区二区麻豆| 九九色热| 亭亭五月基地在线| 亚洲网站观看视频| 99热综合| 日本天天色| 呦呦v线| 国产 亚洲 在线| aaaa.黄| 亚洲乱码日产精品BD| 色婷婷AV在线| WWW.开心五月天.COM| 亚洲五月天色| 五月婷婷丁香大陆免费| 激情综合五月丁香六月婷婷| 久久狠狠干| 五月丁香六月| 亚洲激情精品| 九九热只有精品6| 五月丁香六月激情综合| 亚洲婷婷丁香五月| 日本性视频| 强辱丰满人妻HD中文字幕| 97色色综合| 26UUU在线观看| 狠狠综合| 色~性~乱~伦~噜| 亚洲午夜Av| 97性高潮久久久| 高清a片基地| 免费无码毛片一区二区A片| 中文字幕成人| 婷婷五月天狠狠| 久久久99精品| 五月永久激情| 欧美va亚洲va| 五月丁香在线视频观看| 欧日韩AV| 99 热| 人妻中文在线| wWwCom夜操wwW| 亚洲啪啪视频| 亚洲欧美成人在线| 欧洲亚洲免费视频9| 欧洲不卡视频| 久久久大香蕉| 婷婷在线播放av| av大香蕉| 99热99ai| 夜夜天天久久婷婷| 人人操A| 国产午夜精品久久久观看| 婷婷五月丁香久久| 99热这里只有精品青草| 99熟女视频| 九九久久网| 97色色色| 成人草榴视频| 五月丁香A片| 色婷婷AV在线| 99丁香五月婷| 青青热久精品视频在线观看| 综合网五月天123| 狠狠色综合网站久久久久| 激情五月婷婷老师| 亚洲激情久久| www.五月婷婷久久.com| 无码99| 欧洲电影在线观看免费版英语版 | 亚洲成人精品三区| 亚洲人成播放网站| 大香蕉Av在线| 五月婷婷新网站| 日日夜夜天天爽| 天天婷婷| 五月丁香六月婷婷网| www.夜夜| 综合久久8| 色激情五月| 天天人人综合| 日韩在线五月天婷婷| 丁香婷婷九月| 六月丁香网| 人人操超碰| 六月丁香啪啪啪| 色天天综合色| 超碰人人干| 黄桃AV无码免费一区二区三区| se99热久久一本| 五月天婷婷色播在线网| 激情视频网址| 91性人人| 久久综合天天综合| 婷婷激情五月天在线视频| 国产精品蜜臀99| 性视频久久| 久久九九综合| 九色无码| 密乳视频| 色色综合网站| 在线日韩av| 色亚洲视频| 久久 婷婷 五月天| 天天日天天干天天插天天射| 在线成人网站| 色情成人五月天| 久久五月天激情婷婷| www.9797国产| 亚洲人操亚洲人| 成人五月天在线观看| 深爱丁香激情| www夜夜操| 色一情一乱一乱一区9| 激情五月天噢美| 黄网免费观看| 91精品久| www.夜夜騎夜夜狠| 久热这里| 激情五月开心五月在线视频| 婷婷丁香五月激情密臀av| 亚洲精品白浆高清久久久久久| 91色逼| 五月丁香婷婷五月| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月天夜夜爱夜夜操| 99久久99九九99九九九| 欧美在线视频9| 六月丁香婷婷色综合| 欧美日韩99| 五月丁香婷婷色| 丁香五月欧美色综合| 色婷婷久久视屏| 天天爽综合网| 色99最新网址| 五月婷婷九| 色五月婷婷7777| 26uuu91| 国外亚洲成AV人片在线观看 | 99亚洲综合| 岛国AV网| www.婷婷五月天,com| 97热视频| 91色色色18| 婷婷色综合| 婷婷玖玖五月天| 五月天激情小说欧美激情| 99精品综合在线| 亚洲色A| 亚洲日比视频| 五月婷婷啪啪啪啪| 五月天社区婷婷丁香社区| 991精品在线视频| 色色色在线| 婷婷综合激情| 天天插综合在线| 国产精品美女久久久久AV超清 | 色色色色色综合| 日日干日日| 婷婷久久综合| 久久视频在线视频| 色五月婷婷婷婷| 黄色91在线观看| 另类激情五月在线视频欧美| 国产操碰| 色五月首页| 欧美丁香六月激情视频| 国产亚洲av片| 色欲五月婷婷| 婷婷五月丁香基| 五月天综合色| 97影院一级片| 婷婷狠狠久久| 婷婷综合伊人| 色99视频| 九九色99| caopeng97人人| 九九色精品| 99视频精品全部免费 在线| 色综合播放| www.久久久.com| 综合逼五月激情婷婷| 日韩精品VIP| 大香蕉婷婷色| 五月婷婷综合色啪首页| 五月丁香六月婷婷的女人| 99热在线只有精品| 欧美婷婷五月丁香| 永久的网站AAAA| 9999热在线| 九九在线精品| 夜夜躁爽日日| 亚洲激情网站无码| 久久一级片| 免费无码毛片一区二区A片| 欧洲亚洲精品| site:xmssd.com| 久久婷婷电影| 天天天干夜夜夜操| 激情五月天com| 激情五月丁香五月| 日本9区视频| 任你艹| www久久艹| 26uuu91| 另类在线| 91久久九色| 99热超碰人| 色噜噜婷婷| 色五月婷婷九月| 婷婷五月深深爱| 任你草| 中文字幕婷婷在线| www.婷婷五月天.com| 欧美激情综合五月色丁香| 亚洲超碰在线| 亚洲色图在线视频| 26uuu日韩| 变态另类9| 开心深爱激情网| 激情激情激情网| 日本天天综合| 熟女色专区| 99热爱爱干干日| 99资源在线| 色拍九九九| 国产免费性爱| 天天操夜夜操| 丁香婷婷性久久| 色五月丁香网| 激情婷婷丁香色五月综合| 99无码超碰| 色女人久久| 欧美噜噜免费观看| 31色区视频免费看| 九九成人电影婷婷| 国产午夜精品AV一区二区麻豆| 色婷婷综合网站| 97久久超碰| 大香蕉人妻| 99热66| 日日做A爰片久久毛片A片英语| 丁香六月婷婷| 国产乱子轮XXX农村| 亚洲亚洲人成综合网络 | 99超级碰免费视频| 国产激情综合五月久久| www.yw尤物| 国产毛片精品一区二区色欲黄A片| 天天爱天天爽| 丁香网站| 97人碰人操| 激情av网| 9人人操人人看| 婷婷五月情| 激情综合五月丁香| 夜夜躁狠狠 | 开心五月婷婷激情网| 色婷婷先锋| 色色色色色色色色网站| 99热这里只有精品86| 开心婷婷五月| 99久久婷婷国产综合| 激情久久久久久| 五月丁香六月| www.色色色com| 99视频综合网| 久久精品婷婷五月丁香| 色婷婷WWW| 婷婷五月天人妻| 久久久久丁香婷婷五月天| 婷婷色在线视频| 丁香婷婷啪啪| 97涩婷婷| 国产综合视频婷婷| 久久人妻乱子伦| 影音先锋91视频| 天天爽天天日| 在线另类| 超碰av在| 亚洲天堂啪啪| 色婷婷综合网站| 超碰9| 色天堂在线| 天天爱天天秀天天做| 九月av在线| 亚洲激情.com| 一级韩国产精品毛| 91大屁股| 婷婷五月天 丁香五月天 裸体| 最新精品视频99| 国外亚洲成AV人片在线观看| 久久精品爱爱| 99久久性爱| 五月丁香香蕉| 天天爽天天日| 综合激情五月丁香9999久久精| 色五月av| 99热福利| 日本久久精品| www.五月激情.com| 少妇高潮呻吟A片免费看软件| 五月花成人网| 婷婷色色综合| 激情五月丁香六月| 丁香五婷| 色综合九九色综合88| 2017狠狠干| 久久综合九九| 色色自拍视频网站| 无码激情AAAAA片-区区| 欧美综合激情五月| 大香久久综合网| 婷婷五月花西瓜| 殴美97色| 激情性五月天免费小说视频| 久久精品一区二区三区四区| 婷婷午夜精品久久久| 色爱99| 97caop| 五月婷婷播| 欧美搡BBBBB摔BBBBB| 丁香婷婷免费| 99视频| 婷婷基地五月色| 黄色网址五月婷婷| 亚洲婷婷免费| 婷婷久热| 婷婷丁香六月| 婷婷娱乐丁香综合网| 亚洲四色五月| 99热丁香| 一起草无码视频| 影音先锋秋秋五月婷婷| 99热6精品| 亚洲在线资源| 99爱在线视频| 五月天婷婷乱| 9久久精品视频| 狠狠狠狠狠狠色| AV伊人青草丁香六月| 超碰在线人妻| 婷婷夜夜夜夜| 激情婷婷九月| 日日天天干| 丁香五月天欧美| 六月丁香天堂| 婷婷五月婷婷| 五月天激情开心网| 五月婷婷国产| AVDV久久| 99亚洲精品视频| 91久操| 性按摩玩人妻HD中文字幕| 精品九九视频| 五月天播播中文字幕| 91精品综合久久婷婷九色| 农村熟妇高潮精品A片| 婷婷丁香五月激情| 久久狠狠欧美| 91九色PORNY中文啦| 五月丁香色色网| 17.c黄色| 色丁香婷婷| 国模九区| 国产成人网| 这里只精品热在线18| 亚洲成人综合在线| 日本在线观看91| 激情av| 五月天啪啪啪| 色五月丁香激情视频| 国产1区2区3区| 婷婷综合中文字幕| 色婷婷大香蕉| 丁香六月色婷婷| 99热这里在线精品| 综合爱久久| 国产精品国产成人国产三级| 日日爽日日爽| 五月亭亭六月激情| 成人精品在线观看| 久久99久久久久久久噜噜| 少妇高潮呻吟A片免费看软件| 丁香色色网| 激情深爱综合网| 五月丁香在线国产 | 成人色五月天婷婷| 久久全色| 91妻人人爽人人看片| 狠狠狠狠狠狠| 婷婷五月天av| 丁香六月爱综合| 国产五月丁香在线| 国产无人区大片| 超碰京东热av男人的天堂| 爱爱网址9| 五月婷综合| 五月丁香好婷婷A片网| 秋霞免费视频| 久久国产性爱A V| 丁香花色色网| 亚洲欧洲另类| 天堂久久婷婷| 一起草无码| 啪啪综合| 婷婷操久久| 啪啪操超碰| 色综合偷拍| 99视频久久| 久操香蕉| 深爱激情丁香五月| 久久九⑨| 婷婷午夜激情| 99久久婷婷| 日韩九区| 六月丁香五月婷婷首页| 99噜噜| 中文资源在线a| 天天干天天干天天操| 91在线看免费 九九九九| 狠狠婷婷色| 免费观看全黄做爰的视频| 国产精品a无线| 69精品人人人人| 日本欧美成人片AAAA| 午夜丁香婷婷| 97色色色| 五月激情天| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 色五月天婷婷| 五月天婷婷青青| 五月Huangsewang| 亚洲激情免费视频观看| 一本色道久久综合狠狠躁小说| 丁香九月婷婷综合| 五月婷婷色男女| 久久婷婷超碰| 人人干女人| 五月激情四射婷婷丁香| 大色鬼综合| 天天干天天干天天干| 色噜噜狠狠色综| 国产 码在线成人网站| 艹| 99色五月| 性无码专区无码| 五月激情婷婷国产精品久久久久久| 丁香婷婷人妻| 99热www| 色色婷婷五月天| 色九月丁香婷婷蜜桃在线观看| 天天插天天插天天插天天插| 亚洲综合五月天综合| 丁香五月播播| 超碰免费在线| 97色婷婷| 免费AV在线网址| 99re在线观看| 美女激情婷婷| jiZZdr| 丁香色婷婷五月天| 午夜大香蕉| www.25五月婷婷| 狠狠九九婷婷韩| 国产69精品久久久久999小说| 五月婷婷激情性爱| 久久欧洲综合网| 免费亚洲婷婷中文字幕| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 激情综合色婷婷六月天| 丁香五月婷久久| 五月丁香婷婷狠狠操| 人妻中文在线| 婷婷丁香激情| 婷婷99狠狠躁天天躁中| 婷婷五月色播天| 超碰人人色| 婷婷综合在线| 曰韩少妇内射免费播放| 丁香花婷婷五月天| 婷婷五月激情丁香激情| 色六月天天激情综合网| 九九性视频| 另类小说五月天| 久久婷婷丁香五月宗合| 五月丁香狠狠爱婷婷综合| 九九99免费理论| 99ER热精品视频| 欧美色综合天天久久综合精品| 色五月激情婷婷| 99色日本| 六月色色| 99欧美| 久久久ww| 五月婷婷中文| 色五月色综合| 9999热这里只有精品| ji'qing'luan'ren'lun| 色婷婷成人在线| 婷婷色婷婷亚洲成人| 久久停停超碰| 综合久久99| 亚洲情a| 天天摸夜夜夜| 亚洲经典小视频| 婷婷五月天婷婷| 婷婷瑟瑟五月天| 色停停五月,在线观看| 日本啪啪网| 婷婷深爱五月天| 99热.com| 九色视频91| 亚洲五月天激情| 最近中文字幕大全免费版在线| 亚洲视频一区| 亚洲成人精品三区| 久久久久亚洲AV成人无码电影| 91久久| 婷婷久久五月天亚洲欧美国产日韩在线观看| 色久播播| 99在线精品免费视频| nvrentiantang av| se99视频| 最近中文字幕2019视频1| av大香蕉| 欧美精品啪啪| 26uuu亚洲精品国产| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月婷婷中文字幕AV| 激情婷婷五月色| 另类小说五月天激情| 夜夜操少妇| 丁香五月天无码| 六月五月婷婷| 亚洲九九视频| www.婷婷.com| 玖玖综合色| 日韩成人免费电影| 99久久激情视频| 五月婷丁香| 97热91| 婷婷色色综合| 丁香五月婷婷www..com| 日韩av网站在线观看| 9福利性视频欧美| 五月婷婷丁香| 丁香六月亚洲| 小视频一区 | 欧美五月丁香在线| 操笔无码| 丁香五月婷婷啪| 97婷婷丁香五月天激情图片| 婷婷香五月综合激情| 直接看的AV| 欧美日韩成人在线观看| 91碰碰| 五月综合久久| 99se丁香| 伊人激情网| 色99免费视频中文| 天天插天天射天天干| 亚洲av网站| 99爱视频在线免费观看| 夜夜爽天操| 色播五月综合网| 五月婷婷,六月丁香|