欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

多模態(tài)情感分析實(shí)戰(zhàn):融合文本音頻視覺的深度學(xué)習(xí)算法與部署

多模態(tài)情感分析實(shí)戰(zhàn):融合文本音頻視覺的深度學(xué)習(xí)算法與部署 簡(jiǎn)介本資源是一套面向計(jì)算機(jī)、數(shù)學(xué)及電子信息類專業(yè)學(xué)生的深度學(xué)習(xí)實(shí)戰(zhàn)項(xiàng)目聚焦多模態(tài)情感分析這一前沿任務(wù)適用于課程設(shè)計(jì)、期末大作業(yè)及本科畢設(shè)選題。項(xiàng)目提供完整可運(yùn)行源碼、配套論文含算法原理與實(shí)驗(yàn)分析、詳細(xì)說明文檔及可視化結(jié)果圖覆蓋文本與圖像模態(tài)融合建模全流程適合具備Python基礎(chǔ)并希望入門多模態(tài)AI的小白或進(jìn)階學(xué)習(xí)者。壓縮包共36個(gè)文件包含4個(gè)核心Python腳本模型構(gòu)建、訓(xùn)練與測(cè)試、2份Markdown文檔論文與README、29張實(shí)驗(yàn)過程及結(jié)果可視化PNG圖如注意力熱力圖、準(zhǔn)確率曲線、混淆矩陣等以及1個(gè)NSA-deepseek相關(guān)配置文件整體大小為6.7MB目錄結(jié)構(gòu)清晰模塊職責(zé)分明。目前已有153人下載學(xué)習(xí)讀者可直接部署調(diào)試快速掌握多模態(tài)特征對(duì)齊、跨模態(tài)融合及端到端訓(xùn)練的關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)。 前陣子接了一個(gè)客服質(zhì)檢的項(xiàng)目需求很簡(jiǎn)單把通話錄音里客戶的情緒自動(dòng)識(shí)別出來。一開始團(tuán)隊(duì)里幾個(gè)人都覺得這還不容易文本轉(zhuǎn)寫出來跑個(gè)情感分類不就行了??烧嫔暇€試跑才發(fā)現(xiàn)光看文本遠(yuǎn)遠(yuǎn)不夠——同一句“你真厲害”用平緩語(yǔ)氣說和用尖銳語(yǔ)氣說意思完全相反。這就是我這次要講的項(xiàng)目基于深度學(xué)習(xí)的多模態(tài)情感分析算法融合文本、音頻、視覺三種模態(tài)做情緒判斷附帶完整源碼和LWLinux Workstation環(huán)境下的部署說明。整個(gè)過程踩了不少坑也沉淀了不少經(jīng)驗(yàn)適合正在做情感分析、輿情監(jiān)控、智能客服質(zhì)檢的朋友參考。項(xiàng)目源碼的整體思路并不復(fù)雜三個(gè)模態(tài)各自提取特征再做特征級(jí)融合最后過分類頭輸出情感標(biāo)簽。但真正落地的時(shí)候細(xì)節(jié)比想象中多得多——模態(tài)怎么對(duì)齊、特征怎么歸一化、融合層放在哪里、GPU顯存不夠怎么辦。這篇文章把這個(gè)項(xiàng)目從數(shù)據(jù)準(zhǔn)備到模型部署的完整鏈路拆開講一遍都是實(shí)際跑通過的東西不是紙上談兵。1. 項(xiàng)目整體設(shè)計(jì)與方案選型1.1 先想清楚為什么必須做多模態(tài)我一開始也覺得文本情感分類已經(jīng)能到80%以上的準(zhǔn)確率了為什么還要折騰多模態(tài)但做了客服質(zhì)檢這個(gè)場(chǎng)景之后我徹底改觀了。文字只能記錄“說了什么”但表達(dá)情緒的關(guān)鍵信息往往藏在“怎么說的”里面。語(yǔ)氣上揚(yáng)還是下沉、語(yǔ)速變快還是變慢、停頓的地方在哪兒這些都是音頻層面的線索。視頻場(chǎng)景里更明顯人的表情、眉毛上揚(yáng)、嘴角下撇很多時(shí)候比語(yǔ)言內(nèi)容更誠(chéng)實(shí)。文本說“我沒事”配上哭喪的臉和低沉的語(yǔ)氣只要看文本就會(huì)判斷錯(cuò)誤但人一眼就知道這個(gè)客戶情緒很差。多模態(tài)情感分析的核心價(jià)值就在這里利用模態(tài)間的互補(bǔ)性把判斷依據(jù)從單一維度擴(kuò)展到多個(gè)維度?;パa(bǔ)性帶來的提升不是“錦上添花”而是能解決文本模態(tài)根本無(wú)法處理的場(chǎng)景比如反諷、口是心非、委婉表達(dá)。這也是我做這個(gè)項(xiàng)目時(shí)最深的體會(huì)——單模態(tài)模型再調(diào)參遇到這類樣本照樣翻車但多模態(tài)模型可以借助音頻和視覺線索給出正確判斷。1.2 三個(gè)模態(tài)各司其職這個(gè)項(xiàng)目里三種模態(tài)的分工非常明確我做特征設(shè)計(jì)的時(shí)候也遵循這個(gè)邏輯文本模態(tài)負(fù)責(zé)“語(yǔ)義內(nèi)容”捕捉情緒詞、否定詞、程度副詞、反諷句式。比如“太棒了”這個(gè)詞本身是正向的但放在特定語(yǔ)境里可能是負(fù)向的。音頻模態(tài)負(fù)責(zé)“表達(dá)方式”音量大小、基頻變化、語(yǔ)速、能量起伏。人在憤怒時(shí)音量升高、語(yǔ)速加快悲傷時(shí)音量降低、語(yǔ)速減慢這些規(guī)律在音頻特征上有非常明顯的體現(xiàn)。視覺模態(tài)負(fù)責(zé)“非語(yǔ)言表現(xiàn)”面部表情、頭部姿態(tài)、眼神方向。笑容、皺眉、驚訝的表情都攜帶明確的情緒信息尤其在視頻評(píng)論、直播互動(dòng)等場(chǎng)景里價(jià)值很大。這三種模態(tài)的信息量不是簡(jiǎn)單的疊加關(guān)系而是交叉驗(yàn)證、互補(bǔ)糾錯(cuò)。一個(gè)好的多模態(tài)模型應(yīng)該學(xué)會(huì)當(dāng)文本語(yǔ)義和音頻表達(dá)矛盾時(shí)更相信哪個(gè)模態(tài)當(dāng)三個(gè)模態(tài)一致時(shí)如何形成更強(qiáng)的判斷信心。這個(gè)“信任分配”的問題就是后面要講的注意力機(jī)制的核心用途。1.3 融合策略與LW環(huán)境選型的底層邏輯多模態(tài)項(xiàng)目最難的部分不是單個(gè)模態(tài)的特征提取而是怎么把不同模態(tài)的信息融合起來。文本特征是離散的、語(yǔ)義密集的音頻特征是連續(xù)的、時(shí)序相關(guān)的圖像特征是空間分布的、高度結(jié)構(gòu)化的。三者的數(shù)據(jù)分布完全不同直接拼接往往效果很差。我的選型思路是先用預(yù)訓(xùn)練模型分別抽取每個(gè)模態(tài)的深層特征然后做特征級(jí)融合最后接一個(gè)輕量分類頭。這個(gè)方案的工程穩(wěn)定性最高因?yàn)槊總€(gè)模態(tài)的特征提取器都可以獨(dú)立調(diào)優(yōu)哪個(gè)模態(tài)出問題也容易單獨(dú)排查。標(biāo)題里提到的LW指的是Linux Workstation環(huán)境。深度學(xué)習(xí)項(xiàng)目在Linux下跑幾乎是標(biāo)配原因很現(xiàn)實(shí)PyTorch、CUDA、NVIDIA驅(qū)動(dòng)的兼容性在Linux下最好遇到問題也最容易搜到解決方案。項(xiàng)目配套的說明文檔就是以Linux工作站為基準(zhǔn)寫的涵蓋conda環(huán)境配置、CUDA版本選擇、依賴安裝、數(shù)據(jù)預(yù)處理、訓(xùn)練評(píng)估全流程。如果你用的是Windows代碼本身也可以跑但需要自己處理CUDA環(huán)境建議還是準(zhǔn)備一臺(tái)Linux機(jī)器哪怕是無(wú)頭服務(wù)器也行。2. 數(shù)據(jù)準(zhǔn)備與特征工程2.1 文本模態(tài)預(yù)訓(xùn)練模型提特征文本處理這塊我直接用了BERT家族而不是自己訓(xùn)練詞向量。原因很簡(jiǎn)單情感分析對(duì)語(yǔ)義理解的要求很高尤其是反諷、雙關(guān)這類現(xiàn)象傳統(tǒng)詞向量根本搞不定。BERT經(jīng)過大規(guī)模語(yǔ)料預(yù)訓(xùn)練對(duì)上下文語(yǔ)義的建模能力遠(yuǎn)超傳統(tǒng)方法。實(shí)際代碼里中文場(chǎng)景我用的是bert-base-chinese英文場(chǎng)景用bert-base-uncased。特征提取時(shí)先對(duì)文本做分詞轉(zhuǎn)成BERT的input_ids和attention_mask然后過模型取最后一層隱藏狀態(tài)。這里有取法上的區(qū)別取CLS向量還是對(duì)所有token的隱藏狀態(tài)做平均池化。我的經(jīng)驗(yàn)是平均池化比CLS更穩(wěn)因?yàn)镃LS向量在某些任務(wù)上沒有被充分訓(xùn)練。如果你有精力效果更好的做法是把最后四層的隱藏狀態(tài)拼起來維度會(huì)變大但信息更豐富。提取完之后每個(gè)樣本的文本特征維度是768維。這個(gè)維度對(duì)后面的融合模塊來說略大我習(xí)慣在文本塔的末尾接一個(gè)全連接層先把768維壓縮到128維再做融合。這樣能減輕融合層的負(fù)擔(dān)訓(xùn)練也更快。2.2 音頻模態(tài)MFCC加韻律特征音頻特征是三個(gè)模態(tài)里最需要細(xì)節(jié)處理的一個(gè)。很多人第一次做音頻特征提取時(shí)都會(huì)犯錯(cuò)——直接用原始采樣率跑結(jié)果特征對(duì)不上模型效果奇差。我使用的流程是先把音頻統(tǒng)一重采樣到16kHz單聲道然后提取40維MFCCMel頻率倒譜系數(shù)。MFCC的物理含義是模擬人耳對(duì)不同頻率聲音的非線性感知它把音頻信號(hào)壓縮成了一組低維特征保留了跟語(yǔ)音內(nèi)容最相關(guān)的信息。窗口長(zhǎng)度設(shè)25毫秒步長(zhǎng)10毫秒——這是語(yǔ)音處理領(lǐng)域的標(biāo)準(zhǔn)配置被大量研究驗(yàn)證過。如果音頻是視頻里抽出來的還要注意音畫同步。除了MFCC我還提取了韻律特征因?yàn)榍楦斜磉_(dá)很大程度上靠韻律。這里用的是openSMILE工具的eGeMAPS特征集包含基頻、能量、抖動(dòng)等參數(shù)一共88維。做這個(gè)項(xiàng)目時(shí)我對(duì)比過只加MFCC和MFCC加韻律特征的效果差約3-4個(gè)F1點(diǎn)韻律特征對(duì)憤怒、悲傷這類情緒的識(shí)別幫助很大。由于音頻特征是幀級(jí)的一個(gè)句子可能有幾十幀而文本特征是句子級(jí)的融合之前必須做聚合。我常用的是把幀級(jí)特征送進(jìn)一個(gè)BiLSTM取每個(gè)句子的最后隱藏狀態(tài)這樣既壓縮了時(shí)間維度也保留了時(shí)序信息。BiLSTM的隱藏維度設(shè)為64輸出是一個(gè)128維向量跟文本塔對(duì)齊。2.3 視覺模態(tài)抽幀、人臉檢測(cè)、表情特征視覺模態(tài)來自視頻或者圖片。視頻的處理流程是按一定幀率抽幀檢測(cè)人臉區(qū)域用預(yù)訓(xùn)練模型提取表情特征。抽幀率我建議控制在2-5幀每秒太高了計(jì)算量暴漲對(duì)效果提升卻有限因?yàn)橄噜弾谋砬樽兓苄?。人臉檢測(cè)用的是MTCNN這個(gè)算法在視頻人臉檢測(cè)場(chǎng)景下穩(wěn)定且成熟能輸出人臉框和五個(gè)關(guān)鍵點(diǎn)兩眼、鼻尖、嘴角兩端。只取人臉區(qū)域的原因是人類表情的判別信息幾乎都在面部背景區(qū)域不僅無(wú)用還會(huì)帶來大量噪聲干擾模型訓(xùn)練。人臉區(qū)域裁剪后resize到224x224送入ResNet50提取特征。ResNet50是圖像分類任務(wù)里的主力網(wǎng)絡(luò)結(jié)構(gòu)不過時(shí)預(yù)訓(xùn)練模型容易拿到。提取時(shí)去掉最后一層分類層取倒數(shù)第二層的輸出得到2048維特征。同樣后面接一個(gè)全連接層壓縮到128維。這里有一個(gè)簡(jiǎn)化方案如果你的數(shù)據(jù)集中人臉占比小或者檢測(cè)失敗率高可以直接用整個(gè)視頻幀做特征提取。但效果通常會(huì)打折因?yàn)楸尘案蓴_太大。我在實(shí)際項(xiàng)目中做了一次對(duì)比使用人臉檢測(cè)比不用高出差不多5個(gè)百分點(diǎn)所以這個(gè)步驟別省。2.4 模態(tài)對(duì)齊與歸一化三個(gè)模態(tài)的原始特征維度不同、時(shí)間尺度不同、數(shù)值范圍不同直接丟進(jìn)模型等于自殺。模態(tài)對(duì)齊和歸一化是決定成敗的關(guān)鍵細(xì)節(jié)。時(shí)間尺度上文本和音頻能做句子級(jí)對(duì)齊。如果視頻是按鏡頭切分的每個(gè)鏡頭的文本、音頻、視頻幀可以在同一時(shí)間軸上對(duì)齊。但實(shí)際數(shù)據(jù)集往往不對(duì)齊這時(shí)我采用句子級(jí)匯總每個(gè)句子作為一個(gè)樣本文本取整句話的特征音頻取整段時(shí)間的幀特征聚合視覺取這段時(shí)間內(nèi)所有幀的平均。這樣每個(gè)樣本就是一個(gè)三元組(text_feature, audio_feature, visual_feature)后面就好處理了。數(shù)值歸一化上三個(gè)模態(tài)的特征值域差異巨大文本特征經(jīng)過BERT輸出后均值接近0MFCC特征的值范圍在-100到100之間圖像特征則可能更大。因此我對(duì)每個(gè)模態(tài)分別做z-score歸一化計(jì)算訓(xùn)練集的均值和方差用同樣的參數(shù)處理訓(xùn)練集和測(cè)試集。注意歸一化參數(shù)只能用訓(xùn)練集計(jì)算如果混入測(cè)試集信息評(píng)估結(jié)果會(huì)虛高。對(duì)齊和歸一化做完后每個(gè)樣本拿到三個(gè)128維的模態(tài)特征向量。這個(gè)“三塔 映射到同一維度”的結(jié)構(gòu)是后面融合模塊能夠成立的前提。3. 算法設(shè)計(jì)與模型實(shí)現(xiàn)3.1 融合策略選型為什么選中間融合多模態(tài)融合的三種主流方式我都在項(xiàng)目里試驗(yàn)過效果差異非常明顯。早期融合是把原始特征直接拼在一起然后送進(jìn)模型。這個(gè)方法實(shí)現(xiàn)最簡(jiǎn)單但問題在于三個(gè)模態(tài)的特征空間差異太大模型很難學(xué)習(xí)到合理的聯(lián)合特征容易過擬合到信息量最大的那個(gè)模態(tài)等于沒融合。晚期融合是三個(gè)模態(tài)各自訓(xùn)練模型最后對(duì)預(yù)測(cè)結(jié)果投票或取平均。這個(gè)方法的好處是每個(gè)模態(tài)可以分別調(diào)優(yōu)但問題也明顯決策階段才融合沒有機(jī)會(huì)學(xué)習(xí)模態(tài)間的交互信息??蛻粽f“我沒事”但語(yǔ)氣低落的樣本文本模型輸出“正向”音頻模型輸出“負(fù)向”平均一下可能變成中性這不是我們想要的結(jié)果。中間融合也就是特征級(jí)融合是我最終采用的方案。三個(gè)模態(tài)的特征都映射到128維空間后在特征層面做交互。我在這個(gè)項(xiàng)目里用了一個(gè)簡(jiǎn)潔但有效的設(shè)計(jì)方案先拼接三個(gè)模態(tài)的特征經(jīng)過兩層全連接ReLU得到融合向量然后接一個(gè)帶注意力的融合層讓模型自己學(xué)習(xí)每個(gè)模態(tài)在不同樣本上的權(quán)重。訓(xùn)練結(jié)果顯示中間融合比晚期融合高大約5個(gè)百分點(diǎn)比早期融合高大約3個(gè)百分點(diǎn)。融合方式實(shí)現(xiàn)難度模態(tài)交互能力最終F1實(shí)驗(yàn)數(shù)據(jù)早期融合低弱0.713晚期融合低幾乎無(wú)0.694中間融合注意力中強(qiáng)0.7613.2 注意力機(jī)制讓模型學(xué)會(huì)看“臉色”在融合層加入注意力機(jī)制是這個(gè)項(xiàng)目里提升最明顯的一個(gè)設(shè)計(jì)。我的思路是以文本特征作為query音頻和視覺特征作為key和value做一次跨模態(tài)注意力。這個(gè)設(shè)計(jì)背后的直覺是語(yǔ)義內(nèi)容往往是情感判斷的主線索而音頻和視覺提供的是修飾信息。模型應(yīng)該學(xué)會(huì)根據(jù)文本內(nèi)容去“找”音頻和視覺里跟當(dāng)前語(yǔ)義相關(guān)的線索。比如文本提到“太好了”時(shí)模型應(yīng)該去檢查音頻語(yǔ)氣是不是真的高興、視覺表情是不是真的笑容如果是才判定為正向。代碼實(shí)現(xiàn)并不復(fù)雜核心就是PyTorch的MultiheadAttention模塊。我把文本特征作為query把音頻特征和視覺特征拼接作為key/value注意力輸出再接一個(gè)殘差連接和層歸一化。這樣做的好處是參數(shù)少、訓(xùn)練穩(wěn)定、效果好。你也可以反過來實(shí)驗(yàn)把音頻特征作為query效果可能會(huì)因數(shù)據(jù)集而異。我的數(shù)據(jù)上所以最終固定了以文本為query的方案。import torch.nn as nn class CrossModalAttention(nn.Module): def __init__(self, embed_dim128, num_heads4): super().__init__() self.attn nn.MultiheadAttention(embed_dim, num_heads, batch_firstTrue) self.norm nn.LayerNorm(embed_dim) self.dropout nn.Dropout(0.1) def forward(self, text_feat, audio_feat, visual_feat): # 每個(gè)特征形狀: (batch, 1, embed_dim) kv torch.cat([audio_feat, visual_feat], dim1) # (batch, 2, embed_dim) attn_out, _ self.attn(text_feat, kv, kv) out self.norm(text_feat self.dropout(attn_out)) return out3.3 損失函數(shù)與訓(xùn)練細(xì)節(jié)情感分類任務(wù)做的是多分類最常見的損失函數(shù)是交叉熵。但如果數(shù)據(jù)不平衡某個(gè)類別的樣本遠(yuǎn)多于其他類別直接交叉熵會(huì)訓(xùn)練出一個(gè)“永遠(yuǎn)預(yù)測(cè)多數(shù)類”的模型。我在項(xiàng)目里解決這個(gè)問題用了兩種方式結(jié)合一是給損失函數(shù)加上類別權(quán)重。先統(tǒng)計(jì)訓(xùn)練集中每類的樣本數(shù)然后讓損失函數(shù)給少樣本類別更高的權(quán)重。PyTorch的CrossEntropyLoss自帶weight參數(shù)直接把類別權(quán)重傳進(jìn)去就行。二是使用Focal Loss。這個(gè)損失函數(shù)是目標(biāo)檢測(cè)領(lǐng)域提出來的核心思想是讓模型更關(guān)注那些難分類的樣本。雖然它不是為情感分析設(shè)計(jì)的但用在類別不平衡的多模態(tài)分類上效果很好。Focal Loss對(duì)置信度高的樣本降低損失權(quán)重對(duì)置信度低的樣本保持高權(quán)重能有效抑制多數(shù)類對(duì)訓(xùn)練的過度影響。我實(shí)驗(yàn)對(duì)比下來Focal Loss比加權(quán)交叉熵F1再高出1-2個(gè)百分點(diǎn)。訓(xùn)練參數(shù)上我用的是batch size 32優(yōu)化器AdamWBERT層的學(xué)習(xí)率設(shè)2e-5其他層的學(xué)習(xí)率設(shè)5e-5因?yàn)锽ERT層微調(diào)太猛容易災(zāi)難性遺忘。訓(xùn)練整體10個(gè)epoch配合早停機(jī)制——驗(yàn)證集F1連續(xù)3個(gè)epoch不提升就停止訓(xùn)練。學(xué)習(xí)率方面前10%的steps做warmup之后線性衰減。這些都是很常規(guī)但很有效的做法。3.4 源碼結(jié)構(gòu)與核心模塊說明拿到源碼后第一件事就是把目錄結(jié)構(gòu)搞清楚。我寫這個(gè)項(xiàng)目時(shí)的目錄設(shè)計(jì)如下multimodal-sentiment/ ├── config/ │ └── mosi.yaml # 配置文件數(shù)據(jù)路徑、模型參數(shù)、訓(xùn)練參數(shù) ├── data/ │ ├── raw/ # 原始數(shù)據(jù)存放位置 │ ├── processed/ # 預(yù)處理后的特征數(shù)據(jù) │ └── make_dataset.py # 預(yù)處理腳本 ├── models/ │ ├── text_encoder.py # 文本塔BERT 全連接 │ ├── audio_encoder.py # 音頻塔MFCC BiLSTM 全連接 │ ├── visual_encoder.py # 視覺塔ResNet50 全連接 │ ├── fusion.py # 融合模塊拼接 注意力 分類頭 │ └── multimodal_model.py # 組合所有模塊的主模型 ├── train.py # 訓(xùn)練腳本 ├── evaluate.py # 評(píng)估腳本 ├── predict.py # 單條樣本預(yù)測(cè)腳本 ├── requirements.txt └── README.md # LW環(huán)境部署說明配置文件用YAML格式包含所有關(guān)鍵參數(shù)。需要調(diào)參時(shí)改配置文件就行了不用改代碼這個(gè)習(xí)慣對(duì)團(tuán)隊(duì)協(xié)作和實(shí)驗(yàn)管理都很重要。README里我最看重的是環(huán)境搭建部分把所有依賴的版本號(hào)、安裝命令、常見報(bào)錯(cuò)都寫清楚了拿到源碼的人只要照著步驟走就能跑起來。4. LW環(huán)境下的部署與運(yùn)行4.1 Linux工作站環(huán)境準(zhǔn)備在Linux工作站上部署深度學(xué)習(xí)項(xiàng)目第一步一定是創(chuàng)建獨(dú)立的conda環(huán)境千萬(wàn)不要用系統(tǒng)自帶的Python環(huán)境。不同項(xiàng)目對(duì)PyTorch版本、CUDA版本的要求不一樣混在一個(gè)環(huán)境里今天這個(gè)項(xiàng)目跑不了明天那個(gè)項(xiàng)目依賴沖突光解決環(huán)境問題就能耗掉一整天。我的環(huán)境配置如下這套組合經(jīng)過驗(yàn)證非常穩(wěn)定系統(tǒng)Ubuntu 20.04 LTS GPUNVIDIA RTX 309024GB顯存8GB顯存也能跑但batch要調(diào)小 驅(qū)動(dòng)NVIDIA Driver 470 CUDA11.3 Python3.8 PyTorch1.10.1cu113創(chuàng)建環(huán)境的命令很簡(jiǎn)單conda create -n multimodal python3.8 conda activate multimodal pip install torch1.10.1cu113 torchvision0.11.2cu113 -f https://download.pytorch.org/whl/cu113 pip install -r requirements.txtrequirements.txt里包含transformers、librosa、opencv-python、mtcnn、numpy、pandas、scikit-learn、tqdm、pyyaml這些庫(kù)。裝完之后跑一下python -c import torch; print(torch.cuda.is_available())輸出True說明GPU環(huán)境正常。4.2 數(shù)據(jù)準(zhǔn)備與預(yù)處理腳本準(zhǔn)備訓(xùn)練數(shù)據(jù)有兩種方式用公開數(shù)據(jù)集或者用自己的數(shù)據(jù)。公開數(shù)據(jù)集我推薦CMU-MOSI和CMU-MOSEI前者是英文電影評(píng)論標(biāo)注了情感極性得分后者更大、模態(tài)更全有兩萬(wàn)多個(gè)視頻片段。這兩個(gè)數(shù)據(jù)集都是多模態(tài)情感分析領(lǐng)域的基準(zhǔn)數(shù)據(jù)集跟這份源碼的適配度很高。我項(xiàng)目里用CMU-MOSI做驗(yàn)證時(shí)數(shù)據(jù)存放格式是每個(gè)樣本一個(gè)文件夾里面包含三個(gè)文件文本tts文件、音頻wav文件、視頻mp4文件。預(yù)處理腳本make_dataset.py會(huì)遍歷原始數(shù)據(jù)按2.1到2.3節(jié)的方法提取特征保存成numpy數(shù)組再存成pickle文件供訓(xùn)練時(shí)直接加載。因?yàn)樘崛√卣骱芎臅r(shí)強(qiáng)烈建議提取一次存下來別每次都重跑——我第一次跑整個(gè)數(shù)據(jù)集的人臉檢測(cè)加ResNet50特征提取用了五六個(gè)小時(shí)后來學(xué)聰明了用pickle緩存特征再訓(xùn)練只需幾分鐘加載省下來的時(shí)間能做很多輪實(shí)驗(yàn)。如果用自己的數(shù)據(jù)注意格式對(duì)齊。文本建議一個(gè)句子一個(gè)文件音頻和視頻的時(shí)間軸要與文本內(nèi)容對(duì)齊否則提取出來的特征跟標(biāo)簽對(duì)不上模型效果會(huì)非常離譜。4.3 訓(xùn)練與評(píng)估流程數(shù)據(jù)準(zhǔn)備好后訓(xùn)練命令很簡(jiǎn)單python train.py --config config/mosi.yaml訓(xùn)練過程中終端會(huì)打印每個(gè)epoch的訓(xùn)練損失和驗(yàn)證集準(zhǔn)確率、F1分?jǐn)?shù)。因?yàn)榧恿嗽缤C(jī)制CLEAN的效果在5-6個(gè)epoch時(shí)達(dá)到最優(yōu)模型會(huì)自動(dòng)保存最好的checkpoint到checkpoints/目錄下。評(píng)估階段運(yùn)行python evaluate.py --checkpoint checkpoints/best_model.pt --config config/mosi.yaml評(píng)估腳本會(huì)輸出三個(gè)指標(biāo)的詳細(xì)報(bào)告準(zhǔn)確率Accuracy、加權(quán)F1Weighted F1和混淆矩陣。只看準(zhǔn)確率是不夠的——數(shù)據(jù)不平衡時(shí)準(zhǔn)確率有欺騙性。我跑的CMU-MOSI數(shù)據(jù)集上最終準(zhǔn)確率約76%加權(quán)F1約0.76。單條樣本預(yù)測(cè)使用predict.py它會(huì)加載數(shù)據(jù)、跑預(yù)處理、過模型、輸出各情感類別的概率分布。這個(gè)腳本很適合做demo演示或者接到后面的業(yè)務(wù)系統(tǒng)里。4.4 說明文檔README的使用思路源碼里的README不是擺設(shè)它是整個(gè)項(xiàng)目在LW環(huán)境下的完整使用手冊(cè)。我寫這份說明時(shí)花了很大心思把它當(dāng)作給“未來的自己”寫的筆記因?yàn)楹芏嗪糜玫男畔扇齻€(gè)月后自己都會(huì)忘。README最核心的幾個(gè)部分環(huán)境安裝命令、數(shù)據(jù)格式說明、配置文件每個(gè)參數(shù)的含義、常見報(bào)錯(cuò)及解決辦法。我在里面特別標(biāo)注了兩個(gè)容易踩的坑一是CUDA版本和PyTorch版本必須匹配二是人臉檢測(cè)模型MTCNN首次運(yùn)行會(huì)自動(dòng)下載權(quán)重文件需要提前確保網(wǎng)絡(luò)通暢或者手動(dòng)放置權(quán)重文件到.cache目錄。拿到源碼的同學(xué)先花十分鐘把README從頭到尾看一遍再動(dòng)手跑代碼能省掉很多不必要的折騰。5. 踩坑記錄與常見問題排查5.1 模態(tài)對(duì)齊做不好效果反而不如單模態(tài)這是我做這個(gè)項(xiàng)目踩的最大一個(gè)坑。第一次把三個(gè)模態(tài)特征拼接起來訓(xùn)練時(shí)模型F1只有0.61比只用文本還低3個(gè)百分點(diǎn)。排查了很久發(fā)現(xiàn)問題出在音頻和視頻沒有跟文本在句子上對(duì)齊——一段30秒的音頻文本轉(zhuǎn)寫只對(duì)應(yīng)其中15秒模型接收到的音頻特征有大量噪聲。解決方法是預(yù)處理階段嚴(yán)格對(duì)齊時(shí)間軸。文本的起始時(shí)間和結(jié)束時(shí)間要精確標(biāo)注音頻和視頻特征只提取文本對(duì)應(yīng)時(shí)間窗口內(nèi)的部分。對(duì)齊之后F1一下子提升到了0.72。這個(gè)教訓(xùn)讓我明白多模態(tài)項(xiàng)目的根全在對(duì)齊上。數(shù)據(jù)準(zhǔn)備階段多花功夫比模型設(shè)計(jì)階段調(diào)參更重要。5.2 BERT微調(diào)顯存不夠怎么辦BERT參數(shù)量大微調(diào)時(shí)顯存消耗很高。用24GB顯存的3090跑batch size 32沒問題但如果你用的是8GB顯存的顯卡直接跑大概率OOM。幾個(gè)有效的解決辦法把batch size降到8或16輸入文本長(zhǎng)度用max_length64截?cái)鄬?duì)話場(chǎng)景下絕大多數(shù)句子不超過這個(gè)長(zhǎng)度開啟梯度累積每累積4個(gè)step更新一次參數(shù)效果等價(jià)于batch size翻了4倍。我在8GB顯存的RTX 3060上測(cè)試過這組配置可以穩(wěn)定訓(xùn)練只是每個(gè)epoch的時(shí)間會(huì)拉長(zhǎng)一點(diǎn)。5.3 音頻采樣率不一致導(dǎo)致特征錯(cuò)亂這個(gè)坑非常隱蔽。我的數(shù)據(jù)集里一部分音頻采樣率是16kHz另一部分是44.1kHz。直接用librosa加載后提取MFCC特征數(shù)量差了好幾倍訓(xùn)練出來的模型一塌糊涂但報(bào)錯(cuò)不會(huì)告訴你哪里錯(cuò)了因?yàn)槌绦蚰苷E?。排查時(shí)我打印了每個(gè)樣本的音頻特征形狀才發(fā)現(xiàn)特征長(zhǎng)度差異巨大。解決辦法是在加載音頻后強(qiáng)制重采樣到16kHz再提取特征import librosa y, sr librosa.load(wav_path, sr16000)librosa的load函數(shù)只要指定了sr參數(shù)就會(huì)自動(dòng)重采樣。這個(gè)一行代碼解決的問題當(dāng)時(shí)讓我排查了大半天。所以提醒所有做音頻的人預(yù)處理第一步先統(tǒng)一采樣率別等訓(xùn)完模型才發(fā)現(xiàn)問題。5.4 數(shù)據(jù)不平衡導(dǎo)致模型“偷懶”我的測(cè)試集上正向情感樣本占約60%負(fù)向占約25%中性只有15%。直接用普通交叉熵訓(xùn)練模型學(xué)到的策略是“全猜正向”因?yàn)檫@樣正確率就有60%。解決方法是前面提到的類別權(quán)重和Focal Loss。我采用Focal Loss后中性類別的F1從0.38提升到了0.58整體加權(quán)F1提升了大約5個(gè)百分點(diǎn)。分類任務(wù)如果數(shù)據(jù)不平衡一定要在損失函數(shù)上做文章不然一切努力都會(huì)白費(fèi)。5.5 結(jié)果復(fù)現(xiàn)性差訓(xùn)練同樣的模型兩次跑出來的F1差1-2個(gè)百分點(diǎn)這在一個(gè)嚴(yán)肅的評(píng)估場(chǎng)景里是沒法接受的。原因是PyTorch的很多算子默認(rèn)使用不確定算法同時(shí)GPU的浮點(diǎn)運(yùn)算本身有隨機(jī)性。通過在訓(xùn)練腳本開頭設(shè)置隨機(jī)種子可以在很大程度上解決這個(gè)問題import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False設(shè)置之后同一個(gè)環(huán)境下的訓(xùn)練結(jié)果基本可以復(fù)現(xiàn)。cudnn.benchmark設(shè)為False雖然損失一點(diǎn)速度但能讓卷積層的實(shí)現(xiàn)選擇變得確定換來了結(jié)果的可復(fù)現(xiàn)性這在做實(shí)驗(yàn)對(duì)比時(shí)是必須的。5.6 問題排查速查表問題現(xiàn)象可能原因解決方法訓(xùn)練時(shí)CUDA OOMbatch過大/輸入過長(zhǎng)降低batch、限制文本長(zhǎng)度、梯度累積損失不下降學(xué)習(xí)率過大或過小改用5e-5到2e-5區(qū)間檢查數(shù)據(jù)預(yù)處理效果遠(yuǎn)低于單模態(tài)模態(tài)沒有對(duì)齊檢查時(shí)間軸、文本-音頻-視頻對(duì)齊全預(yù)測(cè)多數(shù)類數(shù)據(jù)不平衡加類別權(quán)重或改用Focal Loss兩次結(jié)果不一致未固定隨機(jī)種子設(shè)置seed、關(guān)閉cudnn.benchmarkMTCNN報(bào)錯(cuò)下載失敗權(quán)重未自動(dòng)下載手動(dòng)下載權(quán)重放到~/.cache/torch一些實(shí)操后的體會(huì)這個(gè)多模態(tài)情感分析項(xiàng)目做下來我最真實(shí)的感受是模型結(jié)構(gòu)本身不復(fù)雜真正花時(shí)間的地方全在細(xì)節(jié)。數(shù)據(jù)對(duì)齊、特征歸一化、采樣率統(tǒng)一、損失函數(shù)選擇這些看起來不起眼的環(huán)節(jié)對(duì)最終效果的影響比換一個(gè)更強(qiáng)的骨干網(wǎng)絡(luò)都大。如果你剛拿到這個(gè)源碼我的建議是別急著改模型結(jié)構(gòu)先把數(shù)據(jù)準(zhǔn)備流程吃透把基線模型的完整訓(xùn)練評(píng)估流程跑通然后再逐步替換某一個(gè)模態(tài)的特征提取器或者融合模塊。每個(gè)改動(dòng)只動(dòng)一個(gè)變量用驗(yàn)證集的F1作為標(biāo)準(zhǔn)去衡量改動(dòng)的好壞這樣實(shí)驗(yàn)才有價(jià)值。這個(gè)項(xiàng)目后續(xù)還可以擴(kuò)展的方向不少比如加入時(shí)序建模處理長(zhǎng)對(duì)話場(chǎng)景、用對(duì)比學(xué)習(xí)增強(qiáng)模態(tài)間的對(duì)齊、或者做推理時(shí)的模態(tài)缺失魯棒性。多模態(tài)情感分析這個(gè)方向要玩得深還有很多空間可以挖。希望這篇拆解能幫你少走點(diǎn)彎路盡快把代碼跑起來。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九香蕉网| 五月天丁香| 超碰免费99| 五月天婷婷色播| 九九综合网| 亚洲mm免费| 中文字幕久久婷九女同| 五月丁香六月婷婷啪啪| 亚洲精品乱码久久久久久综合| 色色婷五月天| 婷婷激情综合| 激情五月激情综合网| .精品久久久麻豆国产精品| 激情涩播| 婷婷久久综| 午夜婷婷丁香| 极品人妻videosss人妻| 超碰99资源站| 五月婷婷六月丁香| 大香蕉娱乐| 九九热视频99| 艾小青av| 人人摸人人搞| 日韩五月丁香| 99久久综合网| 色色色色区| 操逼电影免费看| 黄色网址五月婷婷| 99操视频| 日韩AV大全| 夜夜躁婷婷AV| 激情操逼婷婷| 久9热视频| ji'qing'luan'ren'lun| 日本久久人| 五月婷在线观看| 人人舔人人色人人高潮| 成人永久免费视频在线观看| 天天日夜夜爽| 久久99精品久久久| 亚洲爱爱无码婷婷色五月| 久久人妻伊人| 狠狠色综合网| 丁香五月综合激情久久潮喷| 亚洲色色在线| 色婷婷888| 丰满老熟妇BBBBB搡BBB| 偷拍91九色| 99爱免费在线观看| 九月婷婷久久| 欧美日韩五月婷婷| 国产亚洲成人综合| 99热 在线观看| 成人必爱视| 熟女激情五月天| 极品人妻VideOssS人妻| 超碰99热精品| 五月婷婷色激情| 91爱啪啪| 五月婷久久久| 五月婷婷福利| 丁香激情网| 久久丁香九| 琪琪秋霞| 久久92| 狠狠精品干练久久久无码中文字幕 | 亚洲色婷婷五月天| 五月丁香六月婷婷激情四射| 99性感视频| 91超碰在线观看| 人人操超碰| 九九热亚洲中文在线观看免费| 操一操| 久久婷婷五月综合激情国产| 超级碰人人操人人干| 操人妻90p| 991精品在线视频| 九九成人电影婷婷| 五月丁香婷婷网网网网| 伊人五月丁香| 99精品偷自拍| 天天色·欧美| 五月婷婷色色色| 超级碰91| 五月婷婷之美女图片| 91性高潮久久久久久久久| www.五月婷婷.com| 色婷婷五月综合在线| 中文字幕操比影片| 天天摸天天舔天天爽| 26UUU欧美激情一区二区| 色婷婷久久综合久色综| 成熟妇人A片免费看网站| 久久婷.com| 99久久五月婷婷| 超pen个人视频97| 丁香五月影视| 九九aV| 啪色综合| 色婷婷偷拍| 人妻丰满精品一区二区A片| 99碰碰视频| 色爱五月天| 婷婷99视频在线| 五月天六月天| 国产成人AV| 亚洲综合99| 成人婷99最新| 色五月天丁香婷婷色| 五月天停停成人网| 免费成人中文字幕| 激情五月天综合网| 久久99综合网| 99操碰| 久热AA| 久久久久人妻中文| 婷婷五月天淫荡| 五月婷婷激情色情网| 丁香久久| 婷婷五月天熟妇| 99色热| 伊久久婷婷| 五月丁香网站| 99精品97| 久久五月丁香| 69堂午夜视频最新地址| 成人精品视频99在线观看免费| 中文字幕亚洲-区久久99婷婷| 天天色亚洲| 久久38视频| 男人的天堂五月丁香| 国外亚洲成AV人片在线观看| 五月天另类小说久久小说网| 成人短视频免费| 五月婷婷综合网| 欧美人人操| 影音先锋男人资源站一区二区| 激情AV| 99免费在线| 婷婷五月激情五月丁香五月| 日本va欧美va精品发布视频| 国产欧美va| 久久这里只有精品热在99| 色五月六月| 婷婷丁香五月天综合AV| AA片在线观看视频在线播放| 99热这里只有精品 搜| 日本少妇裸体做爰高潮片 | 这里只有精品视频99| 婷婷五月天黄色网址| 五月综合色| 成人五月天丁香| 高清无码入口| 亚洲丁香网| 影院久久久| 五月婷婷九九热| 亚洲天99| 91超碰在线观看| 久久久这里都是精品| 色五月av| 精品久久艹| 亚洲av免费在线| 九九这里是免费的视频5| 91精品婷婷国产综合久久| 欧美色婷婷| 丁香六月天色婷婷| 狠狠色色| 亚洲av网站在线观看| 俺去也五月| 色婷婷激情| 国产免费性爱| 激情中文在线| 久久婷婷五月国产色综合激情| 八戒青柠影视剧在线观看| 色狠狠综合| 大香蕉久热| www久| 久久这里这里有精品免费视频| 国产亚洲精品久久久久久郑州| 99热碰碰热| 99热在线观看| 亚洲秘 无码一区二区三区妃光/1| 五月婷婷综合久久| 五月丁小婷婷激情四射| 五月天com| 久久激情视频99| 色欧美色色色| 婷婷97碰碰| 九九热在视频| 色色色色色综合| 丁香五月天色婷婷| 五月丁香婷婷基地| 婷婷五月天伊人在线| 色五月丁香五| 色综合色色| 五月视频日本免费观看| 日亚二欧美| 丁香成人五月天| 天天天天色天天天天天干| 91大神操美女| 五月丁香婷婷伊人日韩| 亚洲色婷婷| av免费在线网站| av狠狠操| 色综合激情| 这里只有精品视频视频在线观看| 超级碰碰碰91| 99视频热99| 婷婷丁香久久| 乱色色色| 五月在线婷色| 久久婷婷色情7777网站| 亚洲99一级无嗎特制在线| 99热这里只有精品在线| 99视频这里有精品| 五月天六月婷婷电影| 九九AV| 日本色啪| 丁香网站| 成人视频一区| 国产精品久久久久久五月天加勒比| 99热精品网| 午夜天天精品视频| 日韩欧洲亚洲| 五月婷婷久久大香蕉| 丁香五月天啪啪| 开心深爱五月天| 久久免费试看120秒| 91精品在线看| 色婷婷色99国产综合精品| 色婷婷AAA| 激情五月婷婷丁香综合网| 天天干天天干天天干| 99在线精品视频| 青青福利网| 亚洲亚洲人成综合网络| 99精品综合| 色五月av| 婷婷综合激情| 婷婷狠狠色| 日本女天天爽| 婷婷六月激情小说网| 五月丁香综合影院| 亚洲在线成人| 微拍92| 久久久99精品免费观看| 日本婷婷| 欧美婷婷综合| 任你艹| 五月婷婷色| 亚洲综合丁香五月| 六月丁香婷婷色狠狠久久| 97极品在线| 99九九精品视频推荐| 伊人啪啪网| 婷婷五月大香蕉| 亚洲最大激情无码| 免费亚洲婷婷| 亚洲午夜电影| 亚洲免费婷婷| 婷婷婷婷婷婷婷婷| 五月婷婷激情综合| 丁香五月AV| 丁香五月五月婷婷五月天激情四射| 亚洲热综合网在线观看| 99热青青草原| 色婷婷五月丁香在线观看| 亚洲另类婷婷综合| 色色色色综合网| 色综合伊人网| 99精品小视频| 99亚洲色色| 色综合久久88色综合中文字幕| 26uuu.| 91男同| 9久国产精品| 99热在线中文字幕| 玖玖色综合网| 亚洲另类电影| 久久五月天大美女| ss五月天激情| 天天操天天日天天爽| 激情五月天啪啪视频| 九九热亚洲中文在线观看免费| 9色在线| 在线播放成人网站| 久久六月天| 成人在线精品| 伍月婷丁香婷| 五月天婷婷午夜丁香| 亚洲人人96@| 密黄站| 婷婷色五月亚洲| 婷五月天在线草| 久久五月天合网| 5月色亭亭视频| 婷婷五月天伊人在线| 91婷婷丁香五月天免费视频网站| 日韩久久视频| 婷婷五月 丁香六月| 欧美黑人巨大猛烈cuckold| 九九热这里只有精品一| 六月丁香激情综合| 婷婷婷婷婷婷婷五月丁香| 夜夜谢天天干| 亚洲婷婷免费| 亚洲激情在线| 超碰免费人人肏| 日韩性爱无码| 色墦五月丁香| 国产精品国产VA片国产| 婷婷在线激情| 亚洲综合激情五月久久| 婷婷久久综合| av人人操| 91精品综合久久久久久五月丁香| 葵花AV在线| 丁香五月综合久久| 婷婷免费精品视频| 人人草人人视| 五月天婷婷影院| 色五月天成人| 婷婷五月在线观看| 欧美一级毛卡片无码| 亚洲久久日| 婷婷涩五月| 美女亚洲五月丁香| 国产另类综合| 婷婷色啪| 最近中文字幕2019视频1| 亚洲午夜在线视频| 久9热插入| 99久操| 91avse| 五月天婷婷激情网| 亚洲综合激情五月| 无码色| 91精品久久久久久久久| 国产欧美日韩性爱| 久久婷婷五月天激情四射| 亚洲中文AV网站| 26.uuu丁香五月婷婷| 激情综合网五月在线播放| 成人欧美Va| 99热资源在线| 日本色色色色色色色色一色二色| 99欧州偷拍视频| 激情五月天在线观看色婷婷| site:picc-up.com| 久狠狠| 天天爱天天爽| 日本黄色精品| 日日干夜夜撸夜夜骑| 久操97| 91狠狠色| 天天做天天爱天天综合网| 色一情一乱一乱一区91Av| 岛国在线观看91| 六月丁香色色| AV天堂婷婷五月天| 丁香五月天综合| 变天就操逼婷婷五月| 99热免费精品热久久66| 五月丁香六月婷婷激情网| 极品少妇XXXX精品少妇偷拍| 日韩性视频| 天天天日天天天干| 开心激情站| 干一干xxxx| 99re热视频| 九九热免费| www.com在线操视频免费观看| 丁香久久| 色99色| 超碰人人摸人人操| 婷婷五月中文在线| 久草视频一,二三四| 日韩AV中文在线观看| 大香av| 678五月丁香亚洲综合| 亚洲AV日韩无码| 色图亚洲91| 成人噜噜网| 操啊操av| 九九无码| 天天射影| 色在线视频网2025| 日本婷婷激情四射中文字幕在线观看| 丁香五月婷婷综合视频| 中文字幕在线免费观看视频| 91久久电影| 五月天精品综合| 久热9| 超碰无码318604| 五月丁香狠狠| WWW.国产| 天天激情视频| 激情五月亚洲综合网| 五月婷精品| 99欧美热| 激情五月天免费视频| 亚洲人妻av| 久久新地址| 97精品自拍视频| yw国产AV| 夜夜操激情| 日本欧美成人片AAAA| 亚洲激情AV| 亚洲美女网Va| AV操一操| 99在线视频精品| 九九热视频在线观看| 97色97干| 日韩成人电影在线播放| 综合性爱网| 婷婷丁香五月激情| 中文字幕天天干| 精品,99| 亚洲av| 天天色情站| 99自拍视频| 超碰免费成人| 色五月六月| 九九九九综合| 91超级碰碰碰| 亚洲激情亚洲激情| 丁香五月性爱| 狠狠狠激情网| 五月婷婷色欲| www.俺去也com| 激情小说色五月| 五月丁香六月婷婷免费| 久久人妻超碰一区| 巴基斯坦粉嫰无码视频| 激情综合色婷婷啪啪五月天| 久久免费婷婷视频| 99玖玖视频| 色五月婷婷综合| 强伦轩人妻一区二区电影| 色欲影香| 伊人婷婷大香蕉| 五月婷婷狠狠干| 亚洲六月色婷婷| 久久99婷婷| 久久久18| 美女天天久久| 超级碰碰97在线| 六月婷婷色宗合| 色婷婷色综合久久精品V| 五月婷婷综合精品| 爆乳熟女一区二区三区爆乳| 激情综合区| 性日本精品| 91婷婷五月天综合视频| 五月丁香亭亭激情操逼网| 婷婷亚洲色| 久久一级免费黄色片| 五月激情偷拍| 五月停停色色丁香| 午夜大香蕉| 亚洲 在线 性爱 | 日本久久高清| 久久97| 五月婷婷综合色啪首页| 六月婷婷最新网址| 午夜大香蕉| 五月婷婷五月天激情视频| 激情内射人妻1区2区3区| 狠狠色激情综合| 丁香青青五月天| 亚洲一区二区无遮挡A片| 97碰人人操| 丁香六月色婷婷| 五月丁香网av| 五月天婷婷久久视频| 久久婷婷五月综合啪| 亭亭五月色男人| 开心深爱五月天| 67久久| 久久五月婷婷丁香| 99热久只有精品首页| 五月丁香花成人社区| 第五色色色婷婷| 婷婷综合五月天| 最近韩国日本免费高清观看| 99热这里只有精品2| 99色热视频| 国产一区二区三区影院| 色播五月| 国产在线6| 婷婷五月综合色中文字幕| 99黄色在线视频精品熟女| 色五月综合| 欧美噜噜久久久XXX| 91re色综合视频| 久久婷婷五月天激情四射| 一区二区中文字幕| se色综合网| jiZZdr| 天天搞天天色综合| 俺来也综合网精品一区| 欧美成综合在线观看| 99色在线视频| 国产色99| 五月天色狠狠| 大香蕉狠狠爱主页| 51精品国自产在线| 六月丁香综合| 99热99热| 欧美成人无码高清一区二区三区| 久久99jiu9| 五月丁香啪啪啪| 久久六月天| 六月婷婷六月天天在线免费| www.9797国产| 五月天天丁香婷婷| 婷婷午夜天| 99玖玖在线视频| 国产亚洲精品AAAAAAA片| 激情五月婷婷五月| 久久99这里只有精品视频 | 亚洲精品色色| 97操碰在线视频| 欧美顶级少妇做爰HD| 亚洲人妻Av| 色五月色五天色情网| 五月婷婷久久综合| 久久超级碰视频| 欧美色图片88| 丁香五月天堂网| 天天摸天天舔| 久色国产| 狠狠干2007| 五月婷婷影院| 天天干天天干天天干天天干天| 丁香五月婷婷激情123| 激情婷婷五月综合| 黑人巨粗进入警花疼哭A片| 亚洲AV综合在线观看| 丁香六月天之亚州热女| 99热6这里之有精品| WWW色色色COm| 97五月天婷婷综合激情网| 草草女人亚洲| 丁香五月大香蕉| 激情99热| 久久久久久人妻| 五月婷婷丁香在线视频| 婷婷五月俺要去| 色五月网址| 伊人碰碰婷婷| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | av操逼网| 五月婷婷丁香| 激情五月婷婷网在线观看| 久久久ww| 天堂久久婷婷| 无码橾| 五月天伊人久久| 色色色五月天婷婷| 色爆五月| 超碰97在线操| 亚洲成av人影院| 激情综合五月天| 另类小说五月天| 4399亚洲视频| 婷婷五月天奸女| 五月天激情网站| 天天色综网| 色情免费视频播放| 五月天激情图| 激情 婷婷 丁香五月天| 五月婷婷丁香六月| 丁香六月婷婷操逼网| 色婷婷狠狠18禁| 婷婷丁香久久| 一区二区三区视频| 色碰碰视频| 91超碰在线观看| 国产精品VA在线| 五月婷婷丁香社区| 五月天激情婷婷久久| 国产精品日韩十五区| 欧美激情综合色丁香婷婷五月天| 一级操逼内射在线视频| 激情五月天激情综合网| 色五月婷婷久久| 99热无码| 五月天综合色| 久久婷婷丁香| 九热免费视频| 久操热| 91精品丝袜久久久久久| 少妇激情五月天| 99精品综合| www.五月丁香| 国产真人做爰视频免费| 日韩成人无码| 97luluse| 激情丁香五月AV| 另类 在线| 9久久婷婷国产综合精品性色| 色五月婷婷大香蕉| WWW久久久| 大香网伊人久久综合| 深爱五月月天| 狠狠色丁香婷婷基地| 狠狠色激情综合| 华人在线免费| 综合网啪| 五月天另类视频| 色色色综合网| 性爱激情五月| 亚洲AV无码成人精品区电影网| 国产激情在线| 激情丁香婷婷六月天| 天天色伊人| 伊人午夜综合色啪| 丁香六月婷婷| 五月婷激情| 国产古装妇女野外A片| 五月婷婷性爱网| 97碰碰视频| 一起草AV| 色婷婷色五月丁香| 五月丁香啪啪综合| 超碰在线成人| 丁香五月天操B| 一级性感毛片| 色情五月婷婷| 亚洲国产精品综合色区| 久久五月天色婷婷| 亚洲婷婷五月天| 国成人网| 综合婷婷久久| 在线A色| 色爱亚洲| 五月婷婷中文| 超碰免费人人肏| 91porn一起草| 深爱激情AV| 欧美色色网| www色色色com| 天堂在线观看视频| 婷婷五月丁香啪啪| 婷婷五月天,影院| 久热只有精品| 岛国av网站| 婷婷五月天丁香综合网| 亚洲中文字幕av| 天天操夜夜玩!| 热99在线精品| 免费看成人AA片无码视频吃奶| www.99久久久久99| 久久这里只有精彩| www.色五月.com| 色色色综合网| 婷婷黄色网| 中文字幕在线观看视频www| 五月色天五月色| 91丁香五月| 青柠影视免费高清电视剧| 超碰丁香五月| 79亚洲精品少妇| 五月激情站| 欧美性猛交AAAA片黑人 | 超色欲天天| 亚洲精品又粗又大又爽A片| 超碰人人操人人干| 亚洲激情 久久| 丁香六月婷婷综合缴| 丁香六月婷婷综合| 一月婷婷色色| 99热色在线精品| 5月丁香啪啪啪| 欧美三级大片AA在线看| 可以免费看av网站| 伊人久久大香蕉网| 丝袜熟女一区二区三区| 五月天天丁香婷婷在线中| 夜夜骑天天操| 欧美性猛交99久久久久99按摩| 九九热re99re6在线精品| 大伊久久| 热九九精品| 久久精品综合色| 亚洲综合色丁香婷婷六月| 亚洲av网站| WWW.五月com| www.9色色色| 色综合色色色色色| www狠狠爱com| 99精品一二三四视频| 嫩草视频在线观看| 五月婷婷婷| 久久久色婷婷五月天| 精品一二三区久久AAA片| 成人五月天色天堂| 婷婷激情小说| 婷婷丁香日韩五月| 成人在线精品| 色婷婷最爱五月| 国产9色在线/日韩| 亚洲人妻电影| 婷婷五月天无码| 亚洲色无码A片一区二区麻豆| 久久人妻熟女一区二区| www.狠狠| 91精品无码| 亚洲中文字幕翔田千里| 天色综合网站| 色五月网址| 日韩ac不卡无码| 久久伦乱| 五月婷婷九九热| 狠狠色噜噜| 国产XXXX搡XXXXX搡麻豆| 色五月之第四色| 婷婷久热| 久热中文字幕| 91婷婷色 | 人人草碰| 亚洲色综合性| 久久人妻超碰一区| 丁香五月骚喷水视频| 天天插天天干| 99久久久国产大片| 亚洲色五月天| 性五月激情| 五月天婷婷视频| 久久综合激情| 丁香婷婷久久| 亚洲成人免费电影| 高清视频一区| 九色视频91疯狂| 色综合久久99色| 丁香婷婷色九月| 五月 激情视频| 97色女人在线| 五月激情网站| 五月色婷婷中文字幕| 久久久久久9| 色综合丁香婷婷| 97热这里精品在线视频| 在线网黄| www.色婷婷| 激情婷婷五月天| 九九热在线99| 激情美女五月天| 五月丁香婷婷综合| 激情合网婷婷| 99热这里只有精品18| 丁香六月丁香婷婷激情| 99亚洲色| 99热在线爱| 青青草原伊人网| 婷婷丁香激情综合色情| 婷婷丁香五月综合| 影音先锋xfplay资源男人网| 欧美黑人巨大性生话| 国产丁香五月天婷婷| 丁香五月激情久久麻豆| 丁香六月婷婷综合啪啪| 亚洲AV无码影院| 99riAV国产精品视频| 色九网| 囯产精品久久欠久久久久久九大| www.超碰| 国产国产乱老熟女视频网站97| 很操日本7| 超碰在线免费观看3 9| 激情丁香五月婷婷啪啪| 99视频在线观看视频| 狠狠操天天操| 情欲综合网| 99re热在线视频| 丁香婷婷综合精品六月初| 九九视频这里只有精品| 国产伊人五月天| 中文字幕无线久必| 色色网站在线| 啪啪激情网| 色婷婷丁香五月| 九九爱看亚洲| 99啪视频在线观看| 婷婷在线综合| 欧美美女国产日韩一区二区久 | 五月天婷婷综合网| 99在这里有精品| 伊人大香蕉在线视频| 91在线日| 日本ww亚洲| 亚洲国产色婷婷| 久热超碰| 思思w99| 综合色网站| 九九色影院| 色色色色色网站| 久久久.COM| 少妇性按摩无码中文A片| 女高怪谈在线观看| www.yw尤物| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 99无码视频| 色永久| 99操视频| 精品少妇人妻AV无码专区偷人 | 国内在线99视频| 色色五月天婷婷| 日日噜狠狠色综合久久| 91久久综合| 噜噜在线| 色色日本欧美| 同性gv国产精品一区二区| 99精品丰满| 五月丁香婷婷色色色| 婷婷五月天 偷拍| 色欧美影院| 婷婷五月丁香六月伊人网| 99ri6在线视频| 亚洲激情网| www.丁香五月| ay2区| 五月婷九九草| 深爱激情五月天| 丁香婷婷六月| 操逼在线视频| 超碰AV在线| 超碰人人妻| 99在线免费视频| 天天爽天天摸天天爱| 久久xxxx| 色色六月| 六月婷婷激情| 天天肏高清在线| 久久开心五月婷婷| 99热 这里只有精品 国产 日韩| 亚洲激情六月丁香| 99综合视频一体| 伊人玖玖网| 欧美亚洲操逼| 婷婷五月天成人五月天| 99久热精品在线| 日本色色影片| 26uuu亚洲| 热99在线精品| 色五月天本日| 天天摸天天爽| 操碰97| www.久久久久久久久久久| 日韩艹比| 五月丁香综合激情| 色九月婷婷综合| 激情五月,激情综合网| 丁香婷婷偷拍| 9久精品视频| 日韩视频女神99| 九九色插| 亚洲乱码日产精品BD在线观看| 成人av免费观看| 国产精品久久久海的味道| 久久99热精品a片在线观看| 欧美性二区| 另类激情五月| 人妻操日日| 99青青草99| 天天日日夜夜| 国产日韩欧美性爱| 大香蕉九九| 亚洲激情综合| 婷婷五月天激情在线| 色综合五月婷婷狠狠干| 国语对白性爱视频播放| 九九五月天| 91综合色| 色欲婷婷五月天丁香| 丁香五月婷婷国产在线| 影音先锋自拍网| 婷婷亚洲天堂| 激情五月天婷婷| 综合激情婷婷| 91成人品| 色五月婷婷操逼| 亚洲欧美丁香五月天亚洲欧美| 亚洲色激情| 乱轮A片| 高清无码中文字幕aVDV| 色丁香综合影院| 777.色色| 日日干日日色| 婷婷五月天伊人在线| 婷婷日在线观看| 久热99| 天天插天天插天天操| 九九九热精品| AAA久久久| 大香蕉婷婷久久| 成人综合AV| 亚洲婷婷婷| 色玖玖玖| 91热视频色网站| 欧美色偷拍| 日韩在线观看亚洲| 日本天堂免费99| 2017人人操| 五月婷婷九| 9久久久| 99久久精品国产色欲| 大香蕉Av在线| 夜夜资源站| 亚洲操逼片| 在线观看熟女少妇| 99在线免费视| 99r久久这里只有精品| 夜夜天天久久婷婷| 伊人综合网4| 99爱免费在线视频| 国精产品一区二区三区| 开心五月深爱婷婷| 99色色网| 超碰二区| 色爱亚洲| 婷婷伊人| 成人丁香婷婷| 变天就操逼婷婷五月| 99热久久日本| 六月丁香av| 日本精品在线噜噜噜| 99热思思在线观看| 白天AV月月| 六月婷婷久久大全| 91大屁股精品| 五月丁香免费视频| 色婷婷激情| 五月天久久色| 无码动漫AV| 97碰| 人人色人人摸人人看| 色婷婷五月天天天做| 五月婷婷手机在线| 九色啦蜜臀| 夜夜干 夜夜操| 色婷婷成人做爰A片免费看网站| 色综合久久久综合久久网| 色婷婷四虎| 成人网在线视频| 久久久WWW| 激情婷婷综合| 婷婷五月激情在线视频| 色色色色色色色色色色色色色97| 天天综合图片| 激情久久综合网| 五月婷婷激情日本| 色色com| 成人中文网| 久久一操| 在线婷婷| 五月丁香六月合| 日日噜噜夜夜狠狠久久丁香五月| 亚洲视频二区| 亚洲精品白浆高清久久久久久| 中文AV网站| 亚洲五月天婷婷| 丁香五月成人论坛| 综合久久六月| 国产免费一区二区在线A片视频| 精品一二三区久久AAA片| 欧美偷偷操| 99ri在线视频| 天天干天天 亚洲| 91九色视频在线观看| 亚洲天堂99| 六月丁香开心婷婷欧美| 在线另类| 五月综合六月婷婷| 亚洲综合色婷婷| 人人插操| BT综合在线视频观看| 第六色在线| 色五月婷婷老师| 九九99精品视频在线观看| 欧美五月停| 丁香五月影视| 色五月综合网| 亚洲综合五月天婷婷丁香| 五月丁香婷婷成人网| 五月婷婷影| 五月丁香色五月| 99碰碰视频| 色一情一乱一伦一区二区三区| 亚洲一区二区无遮挡A片| 激情播丁香| 色激情五月天| 久热在线中文字幕色999舞| 狠狠色丁香久久婷婷综合五月| 第二色AⅤ| 久久99精品久久久久久三级| 国产在线aaa片一区二区99| 九月激情综合| 天天天天做夜夜夜夜做| 大香蕉人妻| 婷婷狠狠爱| 久久草人妻| 另类小说色婷婷| 国产亚洲精品久久久久久久久动漫| 99久久精品国产色欲| 99热日本| 亚州操操| 久久久久9久无码视频| 色婷婷五月天中文字幕| 桔色成人在线| 全部老头和老太XXXXX| www.henhenl| 日日操,天天操| www久久99| 婷婷五月天综合AV| 丁香五月激情婷婷| 东京热免费视频| 久久99看免费| 久久aaaa片一区二区| 五月激情在线| 大伊香蕉玖玖爱| 亚洲 五月 婷婷 成人| 激情五月婷婷综合| 国产熟女大叫受不了| 丁香五月婷在线观看| 99视频自拍| 五月婷在线影院| 激情五月丁香五月| 人妻丰满精品一区二区A片| 热九九精品| 狼人婷婷综合| 嫩草哈哈操| 天天干肏夜夜| 猫咪伊人久久| 日韩美女在线视频19| 婷婷五月六月激情| 亚洲视频在线观看| 色综合99| 亚洲第一黄网| 18久久| 99九九精品| 丁香婷婷九月在线| 激情5月舔| 狼人久草| 久操福利| 九九在线精点品| 久9草在线观看视频| 久久久人人人妻丝丝丝| www.久久| 99热情这里只有精品在线播放| 色五月婷婷丁香五月| 久99婷婷色综合| 6080av| 亚洲九区| 亚洲午夜精品久久久久久人妖| 黄网在线播放| 一起草无码| 国产精品色婷婷久久久精品| 九九热99久久99| 在热视频精品| 色九九中文字幕| 五月婷六月天| 欧洲电影在线观看免费版英语版 | 久久这里只有精品无码| 99精品成人无码A片观看金桔| 狠狠操.com| 亚洲热久久| 97色婷婷| 久久久这里有精品| 九九99免费视频| 久热九九| 久久久www| 九色PORNY自拍成人精彩视频| 丁香五月婷婷Av| 色婷婷五月天激情在线观看| 99热传媒| 五月丁香激情六月| 色五月婷婷7777| ri电影在线| AV性爱网| 久久中文人妻系列| 91九色网| 狠狠久久婷五月综合色| 可以免费观看的AV| 丁香五月六月婷婷自拍| 4399无码视频| 五月开心婷婷| 色呦呦在线| 婷婷草| 一区二区传媒视频| 人人摸人人澡人人| 成人丁香色| 影音先锋噜一噜| 丁香六月婷婷综合| 日日干夜夜干| 99在线观看视频精品| 亚洲V国产V欧美V久久久久久| 婷婷激情五月天亚洲综合| 欧美成人在线观看| 色色哒五月婷婷六月丁香| 97久久超级| 青青草成人网| 激情五月婷| 26uuu在线观看| 色婷婷成人丁香| 少妇人妻丰满做爰XXX| 色综合网综合| 97亚洲精品| 久久人妻精品| 色五月天激情| 丁香五月天婷婷激情| 五月天a婷婷伊人| 婷婷五月丁香国产| 婷婷五月六| 久久婷婷成人| 久久免费精彩视频| 婷婷免费无视频| www.99操.com| 看全色黄大色大片| 五六月婷婷| 久久精品99国产精品日本| 热99热9| 日本99视频精品免费播放| 色欲天天综合| 99er国产| 丁香婷婷综合影院| 色偷偷综合| 婷婷色网| 亚洲中文字幕AV在线| 99久久玖玖| 97碰| ..真实国产乱子伦对白在线_欧 | 婷婷五月激情天| 国产综合色婷婷精品久久| 色情综合网| 丁香色五月婷婷91桃色| 在线观看996精品| 久久99视频| 五月天狠狠干| 激情亚洲婷婷| 国产精产国品一二三在观看 | 99久久婷婷国产综合精品草原| 国产AV一区二区三区最新精品| 婷婷五月色播放| 色五月婷婷综合| 久久人妻熟女一区二区| 五月婷婷免费在线视频| 婷婷亚洲综合| 刘玥av在线| 婷婷五月丁香超碰| 9九热视频| 字母不卡码人逼| 99色亚洲| 五月天 综合 在线| 亚洲视频无| 狠狠穞A片一區二區三區| 色色色色色色色色网站| 99人人干| 婷婷色综合网日韩国产| 色五月综合激情| 六月婷婷日| 91精品国产日韩91久久久久久国模| 亚洲综合激情五月久久| 五月婷婷中文字幕AV| 99色综合网| 国内在线99视频| 五月激情小说| 亚洲第79页| 永久思思热在线| 97人人操com| a在线观看| 五月花激情| 99热精品网| 91热视频色网站| 99ER热精品视频| www99在线观看视频| 天天添天天摸天天天天做| 91丨九色丨熟女|新版| 国产又色又爽又黄又免费| 大香蕉婷婷久久| 婷婷四色成人综合色视| 色色激情网| 婷婷五月丁香成人网| 日本三级日本三级99| 五月天另类图片| 激情五月深爱五月| 丁香五月婷婷Av| 六月丁花香啪啪激情欧美| 亚洲AV人人操| 91精品久久久久久综合五月天| 最新日本A片| 97色图片中文字幕视频在线观看 | 亚洲另类婷婷五月丁香在线播放| 婷婷五月天激情小说| 操逼在线视频| 欧日韩成人| 色吊操色妞| 夜精品无码A片一区二区蜜桃| 久久婷.com| 五月丁香婷婷激情澎湃四射| 狠狠五月激情在线| 九月综合| 久草婷婷在线| 久久五月综合| 婷婷精品在线| 亚洲精品大片| 丁香五月天婷婷久久综合| 亚洲综合成人网| 99re免费在线视频| 婷婷丁香色女人| www久久久| 久九色| 色播播五月| 婷婷激情丁五月| 激情四射五月天偷偷看婷婷| 婷婷五月丁香六月| 99在线观看视频| 日韩久久欧亚| 九九aV| 亚洲婷婷91丁香| 俺去也五月| 婷婷丁香五月,狠狠综合| 男人的天堂999| 99热国内精品| 97五月天婷婷综合激情网| 丁香五月激情五月| 国产AV国片偷人妻麻豆| 狠狠色综合网| 亚洲视频二区| 日日夜夜天天| 丁香五月婷婷综合网| 久久99热 这里有精品| 日韩三级片一区二区| 97综合在线| 婷婷五月综激情| 黄色一极大片| 伊人成综合五月婷婷| chaopengdaxiangjiao| 99精品视频在线观看| 五月天播播| 在线播放成人网站| 久久久久久久久99精品| www.色婷婷.com| 曰日爽日日操| 夜夜骑天天玩天天日| 激情综合网激情五月丁香| 五月天性色| 天天舔天天| 五月婷婷成人w| 久久五月丁香六月婷| av婷婷丁香 六月| 99在线精品视频观看免费下载| 99热精品在线| 99精品在线播放| 久久三级视频| 超碰AV在线| 九洲一级A片| 九九色欲网| 婷婷伊人久久| 日韩另类| 啪啪一区| 天天人人综合| aaaaaa片| 五月色婷婷综合色| 天天噜天天爱|