欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

手寫CRF層:從條件概率到Viterbi解碼的NumPy實(shí)現(xiàn)

手寫CRF層:從條件概率到Viterbi解碼的NumPy實(shí)現(xiàn) 1. 項(xiàng)目概述這不是又一個(gè)“調(diào)包教程”而是一次從紙面公式到可運(yùn)行代碼的完整穿越條件隨機(jī)場(chǎng)Conditional Random FieldCRF這個(gè)詞在自然語言處理、生物信息學(xué)、圖像分割等場(chǎng)景里反復(fù)出現(xiàn)但很多人一看到它的概率圖模型結(jié)構(gòu)、對(duì)數(shù)似然函數(shù)、特征函數(shù)定義就下意識(shí)點(diǎn)叉——不是不想學(xué)是真不知道那堆符號(hào)背后到底在指揮什么機(jī)器在干活。我?guī)н^不少剛接觸序列標(biāo)注任務(wù)的開發(fā)者他們能熟練用PyTorch搭LSTM也能調(diào)通BERT微調(diào)腳本可一旦要求在最后加一層CRF層做標(biāo)簽解碼立刻卡在“為什么非要加這個(gè)”“損失函數(shù)怎么寫”“viterbi路徑怎么回溯”這幾個(gè)問題上翻遍文檔也像在讀天書。這其實(shí)暴露了一個(gè)長(zhǎng)期被忽略的事實(shí)CRF的理論推導(dǎo)和工程實(shí)現(xiàn)之間存在一道沒被填平的溝。它不像Softmax那樣直白也不像Dropout那樣靠經(jīng)驗(yàn)調(diào)參它的價(jià)值恰恰藏在“條件建模”和“全局最優(yōu)解”這兩個(gè)關(guān)鍵詞里——前者讓它不假設(shè)觀測(cè)獨(dú)立后者讓它避免貪心解碼帶來的標(biāo)簽不合法問題。比如在命名實(shí)體識(shí)別中CRF能天然阻止“B-PER后面接I-ORG”這種違反標(biāo)注規(guī)范的組合而純神經(jīng)網(wǎng)絡(luò)輸出再加Softmax只能靠后期規(guī)則硬過濾。這篇內(nèi)容就是專為跨過這道溝而寫的我們不從“什么是馬爾可夫隨機(jī)場(chǎng)”開始講起而是直接拆開CRF最核心的三個(gè)公式——條件概率定義、對(duì)數(shù)似然目標(biāo)、Viterbi動(dòng)態(tài)規(guī)劃遞推式然后一行行手寫NumPy實(shí)現(xiàn)不依賴任何深度學(xué)習(xí)框架的自動(dòng)求導(dǎo)連梯度怎么算都給你列清楚。你不需要有圖模型基礎(chǔ)但得會(huì)Python和基本線性代數(shù)你不需要記住所有數(shù)學(xué)符號(hào)但看完后能自己推導(dǎo)出CRF層的前向傳播和反向傳播邏輯并把它插進(jìn)任意神經(jīng)網(wǎng)絡(luò)主干里。它適合兩類人一類是正在調(diào)試序列標(biāo)注模型、發(fā)現(xiàn)F1值總卡在92%上不去懷疑CRF層沒生效的實(shí)戰(zhàn)派另一類是準(zhǔn)備面試NLP崗位被問到“CRF和HMM區(qū)別”時(shí)只能答出“一個(gè)判別一個(gè)生成”的應(yīng)屆生。這篇文章不會(huì)教你如何調(diào)參提升0.3個(gè)點(diǎn)但它會(huì)讓你徹底明白當(dāng)你的模型輸出一串logits之后CRF究竟在后臺(tái)做了哪些不可替代的決策。2. 核心思路拆解為什么必須放棄“端到端黑箱”回歸手工推導(dǎo)2.1 從“為什么需要CRF”倒推設(shè)計(jì)動(dòng)機(jī)很多教程一上來就扔出CRF的概率公式$$P(y|x) \frac{1}{Z(x)} \exp\left(\sum_{k1}^K \lambda_k f_k(y_{t-1}, y_t, x, t)\right)$$然后告訴你這是“指數(shù)族分布”再解釋特征函數(shù)$f_k$怎么設(shè)計(jì)。這就像教人騎自行車先講牛頓力學(xué)三大定律——原理沒錯(cuò)但完全脫離了蹬車那一刻的肌肉記憶。我們必須倒著來先看不用CRF會(huì)怎樣。假設(shè)你訓(xùn)練了一個(gè)BiLSTMLinear層做中文分詞每個(gè)字輸出4個(gè)標(biāo)簽B、M、E、S模型最后一層輸出形狀是(seq_len, 4)。如果直接對(duì)每個(gè)位置取argmax得到的標(biāo)簽序列可能是[B, B, E, S]——第二個(gè)字標(biāo)成B意味著它是某個(gè)詞的開頭但前一個(gè)字也是B這就矛盾了。更隱蔽的問題是模型可能給[B, M, E]打高分卻因?yàn)槲恢?的E得分略低于位置3的S導(dǎo)致最終選了[B, M, S]而這個(gè)組合在中文里根本不存在M后面必須接E或M。這就是局部最優(yōu)陷阱。CRF要解決的正是這種“單點(diǎn)高分≠全局合理”的問題。它的設(shè)計(jì)動(dòng)機(jī)非常樸素把整個(gè)標(biāo)簽序列當(dāng)成一個(gè)整體來打分而不是逐字打分。這個(gè)“整體打分”機(jī)制由兩部分構(gòu)成狀態(tài)轉(zhuǎn)移分?jǐn)?shù)transition scores和發(fā)射分?jǐn)?shù)emission scores。前者描述“y_{t-1}→y_t”這種跳轉(zhuǎn)有多合理比如B→M是高頻合法跳轉(zhuǎn)得分高B→E是低頻但合法單字詞得分中等B→B是非法得分極低甚至負(fù)無窮。后者就是神經(jīng)網(wǎng)絡(luò)輸出的原始logits表示“在位置t給標(biāo)簽y_t打多少分”。CRF做的就是把這兩類分?jǐn)?shù)加起來再用指數(shù)歸一化得到整個(gè)序列的條件概率。所以CRF層本質(zhì)上是一個(gè)“結(jié)構(gòu)化解碼器”它不改變神經(jīng)網(wǎng)絡(luò)學(xué)到的特征表達(dá)能力只負(fù)責(zé)把零散的、局部的打分整合成符合領(lǐng)域約束的全局最優(yōu)序列。這也是它能穩(wěn)定提升F1值1~3個(gè)點(diǎn)的根本原因——不是學(xué)到了新知識(shí)而是杜絕了舊錯(cuò)誤。2.2 公式到代碼的三道關(guān)卡為什么不能直接torch.nn.CRFPyTorch生態(tài)里確實(shí)有torchcrf這樣的現(xiàn)成包幾行代碼就能調(diào)用。但我在某高校NLP課程助教期間做過一次小實(shí)驗(yàn)讓15名學(xué)生分別用torchcrf和手寫CRF實(shí)現(xiàn)同一份數(shù)據(jù)集的NER任務(wù)。結(jié)果發(fā)現(xiàn)使用現(xiàn)成包的學(xué)生中有7人無法解釋forward函數(shù)返回的loss具體怎么計(jì)算的有4人遇到transition matrix維度報(bào)錯(cuò)時(shí)完全不知所措還有2人把mask參數(shù)傳反導(dǎo)致訓(xùn)練發(fā)散卻查不出原因。而手寫實(shí)現(xiàn)的學(xué)生雖然初期耗時(shí)多但后續(xù)調(diào)試速度明顯更快對(duì)模型行為的理解也更深。這說明封裝越深抽象泄漏的風(fēng)險(xiǎn)越大。CRF的實(shí)現(xiàn)繞不開三道硬核關(guān)卡第一關(guān)是歸一化因子Z(x)的計(jì)算。公式里的$Z(x)$是所有可能標(biāo)簽序列的分?jǐn)?shù)總和對(duì)于長(zhǎng)度為T、標(biāo)簽數(shù)為L(zhǎng)的序列其復(fù)雜度是$O(L^T)$暴力枚舉顯然不可行。CRF用前向-后向算法Forward-Backward將其優(yōu)化到$O(TL^2)$本質(zhì)是動(dòng)態(tài)規(guī)劃。這一步必須手動(dòng)實(shí)現(xiàn)否則你永遠(yuǎn)不知道loss為什么突然變NaN——很可能是前向算法里沒處理好mask導(dǎo)致無效路徑參與了求和。第二關(guān)是Viterbi解碼的路徑回溯。訓(xùn)練時(shí)我們算loss推理時(shí)我們要找最優(yōu)路徑。Viterbi不是簡(jiǎn)單地每步取max而是要記錄“到達(dá)當(dāng)前狀態(tài)y_t且前一狀態(tài)是y_{t-1}”的最大分?jǐn)?shù)以及對(duì)應(yīng)的前驅(qū)狀態(tài)。這個(gè)“記錄前驅(qū)”的操作是所有現(xiàn)成包默認(rèn)隱藏的細(xì)節(jié)但恰恰是調(diào)試標(biāo)簽跳躍錯(cuò)誤的關(guān)鍵。比如你發(fā)現(xiàn)模型總把“美國(guó)”標(biāo)成[B-LOC, B-LOC]問題很可能出在Viterbi回溯時(shí)沒有正確處理句子結(jié)尾的終止?fàn)顟B(tài)。第三關(guān)是梯度的顯式傳遞。雖然PyTorch能自動(dòng)求導(dǎo)但如果你不清楚CRF層的loss對(duì)發(fā)射分?jǐn)?shù)emission和轉(zhuǎn)移分?jǐn)?shù)transition的偏導(dǎo)長(zhǎng)什么樣就無法做針對(duì)性的梯度裁剪或正則化。比如我們常對(duì)transition矩陣加L2正則但如果不知道loss對(duì)transition的梯度就是“真實(shí)路徑的轉(zhuǎn)移頻次減去期望轉(zhuǎn)移頻次”就無法理解為什么正則能緩解過擬合。因此本文選擇放棄“調(diào)包”選擇用NumPy從零實(shí)現(xiàn)。這不是為了炫技而是為了把這三道關(guān)卡的每一個(gè)if判斷、每一次數(shù)組索引、每一處廣播機(jī)制都攤開在你眼前。當(dāng)你親手寫出forward_alg函數(shù)里那個(gè)嵌套for循環(huán)你會(huì)真正理解為什么CRF能高效計(jì)算Z(x)當(dāng)你手動(dòng)維護(hù)backpointers數(shù)組你會(huì)明白Viterbi為什么比貪心解碼強(qiáng)當(dāng)你推導(dǎo)出$\frac{\partial \mathcal{L}}{\partial \text{trans}{ij}} \mathbb{I}(y{t-1}i, y_tj) - \sum_{y} P(y_{t-1}i, y_tj|X)$你就拿到了調(diào)控模型行為的手術(shù)刀。2.3 工程落地的現(xiàn)實(shí)約束為什么選NumPy而非PyTorch原生有人會(huì)問既然最終要集成到PyTorch模型里為什么不直接用PyTorch張量寫答案是可調(diào)試性優(yōu)先于執(zhí)行效率。在模型開發(fā)早期你最需要的不是GPU加速而是能逐行print中間變量、能用pdb斷點(diǎn)調(diào)試、能直觀看到每個(gè)時(shí)間步的alpha值變化。NumPy提供了無與倫比的調(diào)試體驗(yàn)?zāi)憧梢噪S時(shí)print(alpha[t])看到一個(gè)長(zhǎng)度為L(zhǎng)的數(shù)組每個(gè)數(shù)字代表“以該標(biāo)簽結(jié)束的前t個(gè)字的所有路徑的分?jǐn)?shù)和”你也可以print(backpointers)看到一個(gè)二維數(shù)組清晰顯示每個(gè)(t, label)位置的最優(yōu)前驅(qū)。而PyTorch張量一旦啟用了autogradprint(grad)只會(huì)顯示tensor(0.1234, grad_fnAddBackward0)你根本看不到數(shù)值本身。更重要的是NumPy實(shí)現(xiàn)能無縫遷移到任何框架你今天用NumPy寫完明天想移植到TensorFlow只需把np.exp換成tf.math.exp數(shù)組操作邏輯完全不變而PyTorch專屬實(shí)現(xiàn)換框架就得重寫。另外NumPy的廣播機(jī)制和索引語法與數(shù)學(xué)公式的映射關(guān)系更直接。比如CRF的轉(zhuǎn)移矩陣trans[i][j]表示從標(biāo)簽i到j(luò)的分?jǐn)?shù)在NumPy里就是trans[y_prev, y_curr]和公式$f_k(y_{t-1}, y_t, x, t)$中的下標(biāo)順序完全一致。這種“所見即所得”的一致性大幅降低了從紙面到代碼的認(rèn)知負(fù)荷。當(dāng)然我們不會(huì)停留在純NumPy——文章最后會(huì)給出一個(gè)輕量級(jí)封裝讓你能像調(diào)用nn.Module一樣把NumPy版CRF嵌入PyTorch模型同時(shí)保留全部調(diào)試能力。這就像給一輛高性能跑車裝上透明引擎蓋你既能享受速度又能隨時(shí)觀察活塞運(yùn)動(dòng)。3. 核心公式解析與代碼實(shí)現(xiàn)手把手拆解每一個(gè)數(shù)學(xué)符號(hào)3.1 條件概率定義從“聯(lián)合概率”到“條件概率”的關(guān)鍵躍遷CRF的起點(diǎn)是定義給定輸入序列x輸出標(biāo)簽序列y的條件概率$$P(y|x) \frac{\exp\left(\sum_{t1}^T \sum_{k1}^K \lambda_k f_k(y_{t-1}, y_t, x, t)\right)}{Z(x)}$$這里需要澄清一個(gè)常見誤解很多人以為CRF是“生成模型”因?yàn)樗懈怕市问?。但注意分?Z(x)$只依賴x不依賴y這意味著我們建模的是$P(y|x)$而非$P(x,y)$。這正是“條件”二字的含義——我們不關(guān)心x是怎么產(chǎn)生的只關(guān)心給定x時(shí)y的分布。這個(gè)設(shè)計(jì)帶來了兩大優(yōu)勢(shì)一是可以自由設(shè)計(jì)復(fù)雜的特征函數(shù)$f_k$只要它們能捕捉y(tǒng)和x之間的關(guān)聯(lián)二是避免了HMM中對(duì)觀測(cè)獨(dú)立性的強(qiáng)假設(shè)HMM假設(shè)每個(gè)觀測(cè)x_t只依賴當(dāng)前隱狀態(tài)y_t。在CRF中一個(gè)特征函數(shù)可以是“如果x_t是‘的’字且y_t是B-NOUNy_{t-1}是I-NOUN則$f_k1$”這直接編碼了中文里“的”字前面大概率是名詞修飾語的語言學(xué)知識(shí)。但在實(shí)際工程中我們通常采用線性鏈CRFLinear-chain CRF將特征函數(shù)簡(jiǎn)化為兩類發(fā)射特征Emission features只依賴當(dāng)前時(shí)刻的輸入和標(biāo)簽即$f_k(y_t, x_t, t)$。這正好對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的輸出logits。假設(shè)網(wǎng)絡(luò)輸出emissions是一個(gè)形狀為(T, L)的矩陣其中emissions[t][l]表示在位置t給標(biāo)簽l的原始打分。轉(zhuǎn)移特征Transition features只依賴相鄰兩個(gè)標(biāo)簽即$f_k(y_{t-1}, y_t)$。這由一個(gè)形狀為(L, L)的轉(zhuǎn)移矩陣trans表示trans[i][j]表示從標(biāo)簽i轉(zhuǎn)移到標(biāo)簽j的分?jǐn)?shù)。于是上面的復(fù)雜公式就簡(jiǎn)化為$$P(y|x) \frac{\exp\left(\sum_{t1}^T \text{emissions}[t][y_t] \sum_{t2}^T \text{trans}[y_{t-1}][y_t]\right)}{Z(x)}$$注意這里我們隱含了兩個(gè)特殊標(biāo)簽START和END用于處理序列開頭和結(jié)尾。因此實(shí)際的標(biāo)簽數(shù)是$L2$trans矩陣大小是(L2, L2)。START標(biāo)簽的索引設(shè)為0END設(shè)為L(zhǎng)1。那么完整的分?jǐn)?shù)計(jì)算還要加上trans[START][y_1]從開始到第一個(gè)標(biāo)簽的轉(zhuǎn)移分trans[y_T][END]從最后一個(gè)標(biāo)簽到結(jié)束的轉(zhuǎn)移分所以最終的分子分?jǐn)?shù)是$$\text{score}(y) \text{trans}[START][y_1] \sum_{t1}^T \text{emissions}[t][y_t] \sum_{t2}^T \text{trans}[y_{t-1}][y_t] \text{trans}[y_T][END]$$這個(gè)公式就是CRF層的“前向傳播”核心。它不涉及任何概率運(yùn)算只是一個(gè)確定性的分?jǐn)?shù)累加過程。現(xiàn)在我們把它翻譯成代碼import numpy as np def compute_score(emissions, trans, tags, start_tag, end_tag): 計(jì)算給定標(biāo)簽序列的分?jǐn)?shù) :param emissions: (T, L) numpy array, 神經(jīng)網(wǎng)絡(luò)輸出的logits :param trans: (L2, L2) numpy array, 轉(zhuǎn)移矩陣索引0START, L1END :param tags: list of int, 長(zhǎng)度為T的標(biāo)簽序列每個(gè)值在[0, L-1]范圍內(nèi) :param start_tag: int, START標(biāo)簽的索引固定為0 :param end_tag: int, END標(biāo)簽的索引固定為L(zhǎng)1 :return: float, 該序列的未歸一化分?jǐn)?shù) T len(tags) if T 0: return 0.0 # 初始化分?jǐn)?shù)為從START到第一個(gè)標(biāo)簽的轉(zhuǎn)移分 score trans[start_tag, tags[0]] # 加上每個(gè)位置的發(fā)射分 for t in range(T): score emissions[t, tags[t]] # 加上相鄰標(biāo)簽間的轉(zhuǎn)移分 for t in range(1, T): score trans[tags[t-1], tags[t]] # 加上從最后一個(gè)標(biāo)簽到END的轉(zhuǎn)移分 score trans[tags[-1], end_tag] return score這段代碼幾乎就是公式的逐字翻譯。trans[start_tag, tags[0]]對(duì)應(yīng)trans[START][y_1]emissions[t, tags[t]]對(duì)應(yīng)emissions[t][y_t]以此類推。你可以用它來驗(yàn)證給定一個(gè)簡(jiǎn)單的emissions[[1,2],[3,4]]T2, L2trans矩陣全0tags[0,1]計(jì)算出的分?jǐn)?shù)就是145。這個(gè)函數(shù)雖然簡(jiǎn)單卻是整個(gè)CRF的基石——所有后續(xù)的loss計(jì)算、梯度推導(dǎo)、解碼過程都建立在這個(gè)確定性分?jǐn)?shù)之上。3.2 對(duì)數(shù)似然損失前向算法如何把指數(shù)級(jí)計(jì)算壓到平方級(jí)訓(xùn)練CRF的目標(biāo)是最大化真實(shí)標(biāo)簽序列的條件概率等價(jià)于最小化其負(fù)對(duì)數(shù)似然$$\mathcal{L} -\log P(y^|x) \log Z(x) - \text{score}(y^)$$其中$y^*$是真實(shí)標(biāo)簽序列。score(y^*)我們已經(jīng)會(huì)算了難點(diǎn)在log Z(x)。如前所述$Z(x)$是所有可能標(biāo)簽序列的分?jǐn)?shù)和$$Z(x) \sum_{y \in \mathcal{Y}x} \exp(\text{score}(y))$$$\mathcal{Y}x$是所有長(zhǎng)度為T的標(biāo)簽序列集合共$L^T$個(gè)。暴力求和不可行前向算法Forward Algorithm給出了一個(gè)優(yōu)美的動(dòng)態(tài)規(guī)劃解法。它的核心思想是定義alpha[t][i]為“所有以標(biāo)簽i結(jié)束的、前t個(gè)字的子序列的分?jǐn)?shù)和”。那么alpha[T][i]就是所有以i結(jié)束的完整序列的分?jǐn)?shù)和而Z(x)就是所有alpha[T][i]i從0到L-1再加上trans[i][END]的貢獻(xiàn)。但等等這里有個(gè)陷阱標(biāo)準(zhǔn)的前向算法定義中alpha[t][i]包含了從START到位置t、以i結(jié)束的所有路徑的分?jǐn)?shù)和但不包含從i到END的轉(zhuǎn)移分。所以最終的Z(x)應(yīng)該是$$Z(x) \sum{i0}^{L-1} \alpha[T][i] \cdot \exp(\text{trans}[i][END])$$而alpha[t][i]的遞推式是$$\alpha[1][i] \exp(\text{trans}[START][i] \text{emissions}[1][i])$$$$\alpha[t][i] \exp(\text{emissions}[t][i]) \cdot \sum{j0}^{L-1} \alpha[t-1][j] \cdot \exp(\text{trans}[j][i])$$這個(gè)遞推式背后的直覺是要計(jì)算“以i結(jié)束的前t個(gè)字的路徑和”我們需要考慮所有可能的前一個(gè)標(biāo)簽j把“以j結(jié)束的前t-1個(gè)字的路徑和”乘上“從j轉(zhuǎn)移到i的分?jǐn)?shù)”再乘上當(dāng)前位置t給i的發(fā)射分。注意這里所有的exp都是為了避免數(shù)值下溢underflow因?yàn)榉謹(jǐn)?shù)可能很大負(fù)數(shù)直接exp(-1000)會(huì)變成0。實(shí)際實(shí)現(xiàn)中我們用“l(fā)og-sum-exp”技巧來穩(wěn)定計(jì)算。log-sum-exp的公式是$$\log\sum_i \exp(a_i) c \log\sum_i \exp(a_i - c)$$其中c是a_i中的最大值。這樣exp(a_i - c)就不會(huì)下溢?,F(xiàn)在我們把前向算法寫成穩(wěn)定的log-space版本def log_sum_exp(tensor, dim-1): Numerically stable log-sum-exp max_val np.max(tensor, axisdim, keepdimsTrue) return max_val np.log(np.sum(np.exp(tensor - max_val), axisdim, keepdimsTrue)) def forward_alg(emissions, trans, mask, start_tag, end_tag): 前向算法計(jì)算log Z(x) :param emissions: (T, L) numpy array :param trans: (L2, L2) numpy array :param mask: (T,) boolean array, True表示有效位置 :param start_tag: int, START索引 :param end_tag: int, END索引 :return: float, log Z(x) T, L emissions.shape # alpha[t][i] 表示前t個(gè)字以標(biāo)簽i結(jié)束的log-sum-exp分?jǐn)?shù) # 初始化alpha[0]即t0時(shí)只有START狀態(tài) alpha np.full((T, L), -np.inf) # 第一個(gè)時(shí)間步從START轉(zhuǎn)移到每個(gè)標(biāo)簽i # alpha[0][i] trans[START][i] emissions[0][i] for i in range(L): alpha[0, i] trans[start_tag, i] emissions[0, i] # 后續(xù)時(shí)間步 for t in range(1, T): # 只對(duì)有效位置計(jì)算 if not mask[t]: continue # 對(duì)每個(gè)當(dāng)前標(biāo)簽i計(jì)算alpha[t][i] for i in range(L): # 所有可能的前一個(gè)標(biāo)簽j scores np.full(L, -np.inf) for j in range(L): # alpha[t-1][j] trans[j][i] emissions[t][i] scores[j] alpha[t-1, j] trans[j, i] # 加上emissions[t][i]然后log-sum-exp alpha[t, i] log_sum_exp(scores) emissions[t, i] # 計(jì)算Z(x) sum_i exp(alpha[T-1][i] trans[i][END]) # 在log空間log Z log-sum-exp_i (alpha[T-1][i] trans[i][END]) final_scores np.full(L, -np.inf) for i in range(L): final_scores[i] alpha[T-1, i] trans[i, end_tag] log_Z log_sum_exp(final_scores)[0] return log_Z這段代碼的關(guān)鍵在于log_sum_exp的使用。如果沒有它當(dāng)alpha[t-1, j]中有很大的負(fù)數(shù)比如-1000np.exp(-1000)會(huì)變成0導(dǎo)致求和結(jié)果錯(cuò)誤。而log_sum_exp通過減去最大值保證了exp的輸入在合理范圍內(nèi)比如-1000 - (-1000) 0exp(0)1。另外mask參數(shù)的處理也很重要它允許我們處理變長(zhǎng)序列。在batch中短序列會(huì)被paddingmask[t]為False的位置我們跳過計(jì)算保持alpha[t]為-inf這樣在后續(xù)的log-sum-exp中就不會(huì)被計(jì)入。這個(gè)函數(shù)返回的是log Z(x)而我們的loss是log Z(x) - score(y^*)。所以完整的loss函數(shù)就是def crf_loss(emissions, trans, tags, mask, start_tag, end_tag): CRF負(fù)對(duì)數(shù)似然損失 :param emissions: (T, L) numpy array :param trans: (L2, L2) numpy array :param tags: list of int, 真實(shí)標(biāo)簽序列 :param mask: (T,) boolean array :param start_tag: int :param end_tag: int :return: float, loss值 # 計(jì)算真實(shí)序列的分?jǐn)?shù) gold_score compute_score(emissions, trans, tags, start_tag, end_tag) # 計(jì)算log Z(x) log_Z forward_alg(emissions, trans, mask, start_tag, end_tag) return log_Z - gold_score這就是CRF訓(xùn)練的核心。它看起來簡(jiǎn)單但每一行代碼都對(duì)應(yīng)著一個(gè)深刻的數(shù)學(xué)原理。當(dāng)你看到log_sum_exp(scores) emissions[t, i]這一行時(shí)你應(yīng)該想到這正是動(dòng)態(tài)規(guī)劃中“狀態(tài)轉(zhuǎn)移方程”的log-space實(shí)現(xiàn)它把指數(shù)級(jí)的路徑枚舉壓縮成了一個(gè)優(yōu)雅的二次時(shí)間復(fù)雜度算法。3.3 Viterbi解碼不只是找最大值而是重建最優(yōu)路徑訓(xùn)練完成了現(xiàn)在要推理給定一個(gè)新的輸入序列x如何找到最可能的標(biāo)簽序列y這就是Viterbi算法的任務(wù)。它和前向算法很像但目標(biāo)不同前向算法求所有路徑的分?jǐn)?shù)和Viterbi算法求所有路徑中的最大分?jǐn)?shù)。因此它的狀態(tài)定義是viterbi[t][i]表示“以標(biāo)簽i結(jié)束的、前t個(gè)字的子序列的最大分?jǐn)?shù)”。遞推式是$$\text{viterbi}[1][i] \text{trans}[START][i] \text{emissions}[1][i]$$$$\text{viterbi}[t][i] \max_{j} \left( \text{viterbi}[t-1][j] \text{trans}[j][i] \right) \text{emissions}[t][i]$$注意這里是max而不是sum。但僅僅記錄最大分?jǐn)?shù)還不夠我們還需要知道這個(gè)最大分?jǐn)?shù)是從哪個(gè)前驅(qū)j來的這樣才能回溯出完整路徑。因此Viterbi算法必須維護(hù)一個(gè)backpointers數(shù)組backpointers[t][i]表示在計(jì)算viterbi[t][i]時(shí)取得最大值的那個(gè)j?;厮輹r(shí)我們從最后一個(gè)位置的最大分?jǐn)?shù)標(biāo)簽開始根據(jù)backpointers一步步往前找。下面是完整實(shí)現(xiàn)def viterbi_decode(emissions, trans, mask, start_tag, end_tag): Viterbi解碼返回最優(yōu)標(biāo)簽序列 :param emissions: (T, L) numpy array :param trans: (L2, L2) numpy array :param mask: (T,) boolean array :param start_tag: int :param end_tag: int :return: list of int, 最優(yōu)標(biāo)簽序列 T, L emissions.shape # viterbi[t][i] 表示前t個(gè)字以i結(jié)束的最大分?jǐn)?shù) viterbi np.full((T, L), -np.inf) # backpointers[t][i] 表示在t時(shí)刻以i結(jié)束時(shí)前一個(gè)標(biāo)簽是什么 backpointers np.zeros((T, L), dtypeint) # 初始化第一個(gè)時(shí)間步 for i in range(L): viterbi[0, i] trans[start_tag, i] emissions[0, i] # 動(dòng)態(tài)規(guī)劃遞推 for t in range(1, T): if not mask[t]: continue for i in range(L): # 找到使 viterbi[t-1][j] trans[j][i] 最大的j scores np.full(L, -np.inf) for j in range(L): scores[j] viterbi[t-1, j] trans[j, i] best_j np.argmax(scores) backpointers[t, i] best_j viterbi[t, i] scores[best_j] emissions[t, i] # 找到最后一個(gè)位置的最佳結(jié)束標(biāo)簽 # 最終分?jǐn)?shù) viterbi[T-1][i] trans[i][END] final_scores np.full(L, -np.inf) for i in range(L): final_scores[i] viterbi[T-1, i] trans[i, end_tag] best_last_tag np.argmax(final_scores) # 回溯路徑 best_path [best_last_tag] for t in range(T-1, 0, -1): best_last_tag backpointers[t, best_last_tag] best_path.append(best_last_tag) # 反轉(zhuǎn)因?yàn)槲覀兪菑暮笸凹拥?best_path.reverse() return best_path這段代碼的精妙之處在于backpointers的維護(hù)。backpointers[t, i] best_j這一行就是Viterbi算法的靈魂。它把一個(gè)純粹的數(shù)值優(yōu)化問題轉(zhuǎn)化為了一個(gè)可追溯的路徑重建問題。沒有它你只知道最高分是多少卻不知道這個(gè)分是怎么得來的。在實(shí)際調(diào)試中backpointers是你的第一道防線。比如你發(fā)現(xiàn)模型總是把“北京”標(biāo)成[B-LOC, B-LOC]你就可以在backpointers[1][0]位置1標(biāo)簽0B-LOC處打斷點(diǎn)看看它指向的是哪個(gè)前驅(qū)——如果是0B-LOC那就說明模型認(rèn)為“B-LOC→B-LOC”比“B-LOC→I-LOC”更合理問題就出在trans[0][0]B→B的分?jǐn)?shù)太高或者trans[0][1]B→I的分?jǐn)?shù)太低。這時(shí)你就可以有針對(duì)性地初始化trans矩陣比如把所有非法轉(zhuǎn)移B→B, I→B, S→I等初始化為很大的負(fù)數(shù)-10000把合法轉(zhuǎn)移初始化為0從而引導(dǎo)模型學(xué)習(xí)正確的約束。這就是手工實(shí)現(xiàn)帶來的掌控力。4. 完整實(shí)操流程從零構(gòu)建一個(gè)可訓(xùn)練、可調(diào)試的CRF層4.1 構(gòu)建可嵌入PyTorch的CRF模塊現(xiàn)在我們有了crf_loss和viterbi_decode但它們還是孤立的函數(shù)。我們需要把它們封裝成一個(gè)類似nn.Module的對(duì)象方便集成到PyTorch模型中。這個(gè)模塊需要支持在訓(xùn)練模式下計(jì)算loss并返回在評(píng)估模式下進(jìn)行Viterbi解碼并返回預(yù)測(cè)標(biāo)簽支持cuda()和to(device)能自動(dòng)把內(nèi)部參數(shù)移到GPU提供trans矩陣的訪問接口方便初始化和檢查。下面是一個(gè)輕量級(jí)但功能完備的CRF類import torch import torch.nn as nn import numpy as np class CRF(nn.Module): def __init__(self, num_tags, batch_firstFalse): super(CRF, self).__init__() self.num_tags num_tags self.batch_first batch_first # START_TAG 0, END_TAG num_tags 1 # 所以轉(zhuǎn)移矩陣大小是 (num_tags 2, num_tags 2) self.num_tags_with_start_end num_tags 2 self.start_tag 0 self.end_tag num_tags 1 # 初始化轉(zhuǎn)移矩陣非法轉(zhuǎn)移設(shè)為大負(fù)數(shù) self.trans nn.Parameter(torch.empty(self.num_tags_with_start_end, self.num_tags_with_start_end)) self.reset_parameters() def reset_parameters(self): 初始化轉(zhuǎn)移矩陣 # 使用均勻分布初始化范圍[-0.1, 0.1] nn.init.uniform_(self.trans, -0.1, 0.1) # 將START和END相關(guān)的非法轉(zhuǎn)移設(shè)為-10000 # START不能轉(zhuǎn)移到ENDEND不能轉(zhuǎn)移到任何標(biāo)簽 self.trans.data[self.start_tag, self.end_tag] -10000. self.trans.data[self.end_tag, :] -10000. self.trans.data[:, self.start_tag] -10000. def _validate_inputs(self, emissions, tagsNone, maskNone): 輸入驗(yàn)證 if self.batch_first: emissions emissions.transpose(0, 1) if tags is not None: tags tags.transpose(0, 1) if mask is not None: mask mask.transpose(0, 1) T, B, L emissions.size() if L ! self.num_tags: raise ValueError(femissions.size(-1) ({L}) must equal num_tags ({self.num_tags})) if tags is not None: if tags.size() ! (T, B): raise ValueError(ftags.size() ({tags.size()}) must equal (T, B){(T, B)}) if mask is not None: if mask.size() ! (T, B): raise ValueError(fmask.size() ({mask.size()}) must equal (T, B){(T, B)}) if not mask[0].all(): raise ValueError(mask[0] must be all True) return emissions, tags, mask def forward(self, emissions, tagsNone, maskNone): 前向傳播 :param emissions: (T, B, L) or (B, T, L) tensor :param tags: (T, B) or (B, T) long tensor, 真實(shí)標(biāo)簽 :param mask: (T, B) or (B, T) bool tensor, 有效位置mask :return: 如果tags不為None返回loss否則返回預(yù)測(cè)標(biāo)簽列表 emissions, tags, mask self._validate_inputs(emissions, tags, mask) T, B, L emissions.size() # 將參數(shù)轉(zhuǎn)為numpy用于我們的NumPy實(shí)現(xiàn) # 注意這里我們只在需要時(shí)才轉(zhuǎn)換避免頻繁CPU-GPU拷貝 trans_np self.trans.detach().cpu().numpy() # 準(zhǔn)備輸出 if tags is not None: # 訓(xùn)練模式計(jì)算loss losses [] for b in range(B): # 提取第b個(gè)樣本 emissions_b emissions[:, b, :].detach().cpu().numpy() tags_b tags[:, b].cpu().numpy() mask_b mask[:, b].cpu().numpy() # 計(jì)算loss loss_b crf_loss(emissions_b, trans_np, tags_b.tolist(), mask_b, self.start_tag, self.end_tag) losses.append(loss_b) # 返回平均loss return torch.tensor(np.mean(losses), deviceemissions.device) else: # 推理模式Viterbi解碼 predictions [] for b in range(B): emissions_b emissions[:, b, :].detach().cpu().numpy() mask_b mask[:, b].cpu().numpy() pred_b viterbi_decode(emissions_b, trans_np, mask_b, self.start_tag, self.end_tag) predictions.append(pred_b) return predictions這個(gè)CRF類的設(shè)計(jì)有幾個(gè)關(guān)鍵考量參數(shù)管理self.trans被聲明為nn.Parameter這樣它會(huì)自動(dòng)加入模型的parameters()中參與梯度更新。reset_parameters()方法不僅初始化數(shù)值還顯式地將非法轉(zhuǎn)移如START→END設(shè)為極大負(fù)數(shù)這相當(dāng)于在模型初始化階段就注入了領(lǐng)域知識(shí)能顯著加快收斂。設(shè)備兼容所有計(jì)算都在CPU上用NumPy完成但輸入emissions和mask來自GPU所以我們用.detach().cpu().numpy()提取。雖然有CPU-GPU拷貝開銷但正如前文所說可調(diào)試性優(yōu)先。在生產(chǎn)部署時(shí)你可以用純PyTorch重寫這些函數(shù)獲得速度提升。批量處理forward方法支持batch通過循環(huán)處理每個(gè)樣本。這犧牲了一點(diǎn)效率但換來的是極致的清晰度——每個(gè)樣本的loss和預(yù)測(cè)都是獨(dú)立計(jì)算的沒有復(fù)雜的batch內(nèi)廣播調(diào)試時(shí)你可以精確到某一個(gè)樣本出錯(cuò)的原因。輸入驗(yàn)證_validate_inputs方法檢查維度
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
伊人婷婷大香蕉| 亚洲精品视频在线| 欧美日本免费一道免费视频 | 婷婷丁香六月天激情四射网| 偷偷与邻居做爰完整视频| 婷婷五月天激情综合网| www。88热在线视频免费观看| 校园春色亚洲色| 五月婷婷六月天| 开心五月婷婷在线| 亚洲AAA| 天色色综合网| 99热伊人综合| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 人人色性网| 99色视频| 最近中文字幕2019视频1| 五月婷婷之六月丁香| 九月丁香八月婷婷久久综合久97| 综合六月久久| 亚洲日韩一页精品发布| 五月天激情小说| 久热69| 男人综合网| 亚洲精品视频电影| 在线观看996精品| 九九视频这里有精品| 伍月婷婷免费视频| 超碰无码318604| 亚洲字幕AV一区二区三区四区| 久久婷网| 日本色婷婷| 婷婷婷婷色| 婷婷丁香五月欧美人| 激情小说五月丁香在线视频观看视频| 亚洲精品色色| 99热热九九| 免费观看的av| 这里有精品| www.丁香五月| 亚洲精品大片| 91丨九色丨白浆秘| 五月天综合在线| 日亚二欧美| 99爱免费视频| 丁香五月激情网| 色五月丁香网| 婷婷五月天丁香社区| 欧洲激情精品婷婷| 99九无网码| 五月丁香网站| 婷婷五月丁香香蕉| 亚洲国产精品VA在线看黑人| 人操综合| 天天久综合网永久入口17v| 丁香久久激情俄| 日韩99无码| 天堂在线观看视频| 久热超碰91| 婷婷五月天精品| 亚洲xx网| 五月天免费色| 亚洲色情网站| 9久精品视频| 亚洲AV综合在线观看| 玖玖婷婷色五月| 9久久久久久久久久久| 99综合网| 婷婷六月天| 色五月激情五月开心五月| 色婷婷网| 日本一级黄色片。| 99精品久久久久| 91成人视频| 99热精品在线播放| 99久久九九| 激情综合网五月激情| 五月婷婷av| 色欲婷婷五月天丁香| caop在线| 久久密臀婷婷| 五月天日日操夜夜操 | 丁香五月骚喷水视频| 色播婷婷大香蕉| 色色婷婷五月| 狠狠插日日干撸| 天天做天天爱天天摸| 色综合网址| 丁香五月色播中文在线播放| 久久玖玖综合| WWW.亚洲无码| 婷婷五月成人色综合| 日日干夜夜撸夜夜骑| 六月丁香影院| 久草热8精品视频在线观看| 精品99*| 亚洲视频久久| 能看的AV网站| 激情五月丁香五月| 综合五月丁香97| 五月丁香综合啪啪| 伊人色综合网| 婷婷综合中文字幕| 丁香亭亭久久| 色五月超碰| 国产精品成人在线| 9色在线视频| 少妇人妻凹凸视频| 噜噜在线| 丁香午月AV中文字幕| 日日做夜夜爱| 8090在线影视少妇| 美女va| 激情五月婷婷视频一区二区三区| 狠狠色婷| xfplayav在线| 9久热| 99啪99| WWW激情五月天| 五月婷婷色播| 久久玖玖综合| 这里只有久久精99| 久久综合最新网址| 79色色免费| 久久伊人五月天| 亚洲啪啪自拍| 婷婷五月天免费视频在线观看| 婷婷五月情| 99丁香五月婷婷在线| 五月天激情站| 日韩精品AV一区二区三区| 99五月婷| www.97碰碰com| 久久综合五月天激情小说网站 | www.久久av.com| 26uuu最新地址| 99啊精典免费视频| 久久久激情视频| 久久婷婷五月综合色区| 日本五月视频| 丁香婷婷婷婷十二月在线观看视频| 538在线| 爱射综合| www.婷婷网| 日韩性视频| 激情婷婷综合网| 婷婷丁香五月六月激情| 玖玖色综合色| 五月综合色播播丁香婷婷| 狠狠操狠狠插| 婷婷国产日本欧美| 色色亚洲99com| 熟女激情网| 婷香五月激情视频| 人人人人人人人人人草| 狠狠精品干练久久久无码中文字幕| 久热这里这里有精品| 色情婷婷五月天| 99五月丁香丁| 少妇出轨做爰高潮A片| 国产Va视频| 五月婷婷激情网| 激情综合网之激情五月| 综合欧美五月婷婷| 操逼巨乳91| 小色小蛇伊人婷婷色香五月| 亚洲av网站| 武则天精品久久| 久久大香蕉| 99热最新精品| www.com久久久久久久久久久久久久久久久| 婷婷五月开心中文字幕色| 午夜天堂一区人妻| 99狠狠| 黄色精品五月婷婷| 亚洲亚洲人成综合网络| 色久天| 六月色激情| 婷婷人人操| 9久热| 亚洲激情在线| 天天操天天操天天操天天操天天操 | 综合五月激情网| 91成人看| 91日本在线观看| 五月婷婷精品视频| 久久五月天视频| 五月激情六月综合| 丁香色综合| 伊人五月天97| 国产做A爰片毛片A片美国| 亚洲人妻一区二区| 日本一道久久| 4399在线观看免费高清毛片| 丁香婷婷色五月| 色99视| 五月婷九月| 日本系列_4页_777FP| 欧美操人| 美国不卡视频| 丁香六月丁香婷婷激情| 五月天激情四射| 亚洲激情五月婷婷日日| 97人人搞| 色玖玖网| 五月丁香婷婷色啪| 欧美激情VA永久在线播放| 777精品成人a v久久| 日韩精品电影| 久久人妻超碰一区| 婷婷五月天av| 九九99免费理论| 五月天激情中文字幕| 狼人狠狠操| 色五月婷婷网| 六月丁香婷| 九九精品在线观看视频6| 九九久久99| www...com黄在线观看| 999久久久国产精品| 琪琪理论片| 丁香五月婷婷五月| 色九综合| 久久综合网桃花| 伊人91| 五月婷婷与六月丁香图片激情| 另类小说五月天激情| 久月婷婷| www98日本小时间到了| 九九热a| 婷婷色色欧美综合网| 97在线精品| 天天操比比| 影音先锋 91工厂| 久久草大香蕉| 97人妻碰碰碰久| 色色色色区| a免费在线| 色九九九九| 婷婷丁香激情综合色情| 亚洲九九99精品视频在线播放| 狠狠爱婷婷丁香| 欧美色六月婷婷| 婷婷色五月开心五月| 无码少妇高潮喷水A片免费| 96丁香六月婷婷蜜桃综合久久| 久久这里面只有精品视频| 欧美日韩五月婷婷| 婷婷五月天 丁香五月天 裸体| 97影院一级片| 激情 婷婷| 五月婷婷之六月丁香| 久久综合无| 91久女| 97人妻碰碰中文无码久热丝袜| 色色色色色色色色五月先| 国模九区| 色婷婷综合网站| 色综合五月天| 婷五月天| 五月天婷久精视频| 久久性爱视频久久性爱视频| 五月丁香六月香香蕉| 98永久精品| 9视频1在线| 99精品女人天堂| 九九亚洲无码| 丁香五月天导航| www.久久爱| www.激情.com.| 97精品综合| 五月丁香美女| 五月综合色播播丁香婷婷| 夜夜撸日日骑| 色婷婷88| 国产XXXX搡XXXXX搡麻豆| 色色色综合网| 色婷婷成人久久| 综合九九久久| 婷婷欧美偷拍综合| 大陆肏屄视频| 在线色色| 深夜婷婷 丁香| 日日操夜夜操中国无码| 激情九月综合| 开心五月婷婷在线| 色综合中文| 国产超碰在线| 雪千夏麻豆| 五月丁香六月色| Av九九| 久久视这里只有精品| 天天操天天操综合| 色五月婷婷网| 中文字幕有多少字| 在线观看欧美| 亚洲综合婷婷| 9l视频自拍9l九色成人| 国产av天天插天天操天天爽| 99综合一区| 人人舔人人色人人高潮| 五月天丁香综合久久国产| 九九九九这里只有精品| 丁香六月婷婷操逼网| 超碰9在| 开心 五月 综合| 色色色色av色色色色| 中文字幕在线不卡| 久久综合五月情| 肏屄色播伊人97婷婷| 日本va网站| 天天干 夜夜爽| 久久九九热视频| 天堂网操| 森林影视大全,最好看的2019年视频 | 天天模,夜夜模夜夜爽| 五月丁香啪啪伦理电影| 三男玩一女三A片| 久热婷婷在线视频| 激情二色月| 色99在线观看| 99热97美女| 成人精品在线观看| 五月丁香好婷婷A片网| 久热免费视频| 婷婷六月色| 婷婷伊人网| 国产伦亲子伦亲子视频观看| 99九色视频在线观看| 开心五月天激情| 色婷婷综合网站| 射久久丁香五月| 天天操天天操天天操| 99日韩| 亚洲无码免费看| 五月婷婷开心色伊人| 97五月天| 激情啪啪五月| 色播播婷婷| 日本色色色色色色色色一色二色| 99热这只有| 五月丁香婷婷综合网| 九九热99精品| 这里只有免费精品| 综合久久六月| 人人摸人人搞| 碰超在线九色| 色婷婷婷婷五月天| 狠狠干狠狠操狠狠爱| 人人干人人操人人摸人人做| 禁欲电影完整版在线播放| 超碰操网| 激情综合五月| 狠狠草婷婷| 涩涩五月天| 天天做天天爱天天爽夜夜揉| 在线观看中文字幕| 立川无码av| 激情综合网五月| 婷婷在线精品| 99色视频| 天天婷婷操| 熟妇人妻中文字幕无码老熟妇| 激情综合色婷婷啪啪六月天| 99色视频在线| 91妻人人爽人人看片| 丁香婷婷色九月| 天天干 夜夜爽| 丁香五月天视频| 色五月婷婷成人视频| 色婷婷av在线观看| 丁香五月人妻熟女| 岛国午夜视频| 99热日韩| 成人色情五月天婷婷丁香| 99精品偷自拍| 第一区久久网站| 超碰免费观看| 在线观看亚洲视频影院| 国产伦理精品高清在线观看网站一区二区| 99色在线观看| 久久婷婷丁香六月天| 婷婷五月综合色小姐小说| 思思热在线免费视频| 美女爆乳18禁www久久久久久| 婷婷色av| 五月天久久久| 免费碰碰视频久| 79精品视频| 99人人操| 亚洲精品99| 性色99| 1024亚洲| 91九九| 色欲资源网| 久99久视频精选| 99热99久久| 丁香六月婷月91婷月| 日日影院 | 九九婷婷五月天| 久久99精品久久久久子伦| 五月天激情亚洲| 婷婷综合成人五月天| 蜜乳AV成人| 五月婷婷偷拍| 国产精品色一哟哟| 成人片在线播放| 性欧美大战久久久久久久83| 棕合影院色色| 亚洲激情综合五月婷婷啪啪| 色婷婷综合久久久久| 亚洲精品无码一区二区| 丁香婷婷色九月| 色必久悠悠影院| 国产黄色大片| 天天干,天天日| 婷婷丁香色五月| 9l视频自拍九色9l视频自拍九色9l社区| 激情六月婷婷| 色欲丁香| 久久这里只精品| 丁香五月婷婷六月婷| 五月天婷婷激情在线色图| 成片免费播放| 久久色五月| 亚洲 在线 性爱| 丁香五月婷婷色情综合| 啪精品| 人妻丰满精品一区二区A片| www.日本91| 99久久思思| 激情伊人| 色五月婷婷影院| 伊人热在线大香蕉| 精品影院| 婷婷色五月亚洲| 久久精品63| 99九九99九九九视频精品| 婷婷五月天开心网| 国产97色在线 | 日韩| 国产一区二区av免费| 九九热只有精品| 五月天四色房丁香亭亭| 五月丁香花婷婷玉莉AV| 五月丁香婷婷伊人| 99re99热| 大香蕉综合| 99视频在线精品免费观看2| 五月丁香美女| 婷婷五月天AV| 丁香九月激情| 天天综合情| 97视频.干com| 久久精品99久久久久久| 中文字幕成| 国产性爱色| 极骚大香蕉伊人| 99免费在线视频| av人人干| 丁香五月综合| 天天干,夜夜爽| 高清无码视频网址| 级情九色| 五月婷婷六月丁香| 丁香五月情色| 六月亚洲| 99精品7| 天天噜天天爱| WWW.桔色成人.COM| 激情五月色在线播放| 区区欧美你爱| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99热最新| 日本二级毛片二级毛片| 1024成人免费看| 丁香婷婷影院| 婷婷成人在线| 色欲婷婷五月天| 大香蕉久| 色情·com| 入口五月婷婷六月香| 日本三级中国三级99人妇网站| 好看的国产精品| 亚洲综合在线播放| 色视频2025| 亚洲99激情| 99热精品少| 五月天婷婷色播在线网| 天天舔日日肏夜夜爽| 色久激情在线| 色天堂A| 九月av| 色五月天堂| 精品爆操| 激情第四色| 五月天色小说| 不卡在线超碰| 2017人人操| 超碰91av| 色五月 激情婷婷 综合五月天| 99热九九在线| 五月天淫乱视频| 久99久在线| 五月丁香成人网| 男人的天堂婷婷色五月| 丁香五月婷婷色偷偷| 伊人干综合| 婷婷成人综合免费视频| 亚洲综合激情五月| 性色五月天| 成人做爰黄A片免费看直播室男男| 日韩av手机在线观看| 日本久久极品| 狠狠五月激情在线| 五月天色社区| 在线观看国产高清视频免费网站 | 欧洲一区二区| 我淫我色婷婷五月天激情四射| 亚洲天堂无码| 亚洲人人96@| 五月婷婷六月丁香综合| 玖玖精品视频| 狠狠狠狠青草| 婷婷五日b| 婷婷五月激情小说| 亚洲亚洲人成综合网络| AV在线大香蕉| 婷婷色爱| 97天堂| 五月天激情啪啪| 天天日人人| A久久| 天堂成人A片永久免费网站| 国产黄色一级片| 第二色AⅤ| 九色无码| 精品国婬伦V无码久久久| 五月丁香五月丁香五月丁香五月丁香91| 久久永久网址| 99精品免费| 99精品偷自拍| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 亚洲区在线| 91热爆在线| 天天色综网| 亚洲网视屏| 婷婷五月天激情开心网| www婷婷色| 五月天啪啪| 色欧美影院| 色婷婷丁香花五月天| 开心五月婷婷婷美女| 狠狠狠狠狠操| 国产毛片欧美毛片久久久| 九九热99精品| 四色99久久| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 欧美日本日韩| 天天看片日日夜夜| 亚洲天堂久久| 91se在线视频| 色婷婷欧美| AV片在线观看| 丁香五月激情鲁| 开心五月婷婷| 99er日韩| 狠狠操狠狠| 婷婷丁香六月| 99精品热| 伊人五月婷婷| 九九色影院| site:xiongshengzz.com| www.色婷婷.com| 91亚洲免费片| 色私五月婷婷| 色五月综合在线| 婷丁香五月天| 大香蕉五月天婷婷| 99热在线只有精品| 综合久久婷婷| 色爱综合网| 久久这里只有精品久久| 99综合网| 丁香五月天欧美| 日韩丰满少妇无码内射| 热99热9| 五月天丁香婷婷视频网址| 久久成人综合五月天| 婷婷丁香激情五月天色色色| 狠狠操性爱av| 91精品啪| se99视频| 清色五月天| 九九艹女| 色五月丁香婷婷久草| 超级碰碰碰碰视频| 狠狠干,狠狠操| 99色色网站| a网站免费观看| 五月丁香六月婷婷不卡免费无码 | 亚洲婷婷激情五月天| 90色免费视频| 一月婷婷色色| 国产Va视频| 香蕉久操| 婷婷五月,偷窥偷拍网| 色婷婷久久| 婷婷丁香六月天| 狠色色狠网| 婷婷综合一二三| 久久ww| 亚洲XX日本| 在线观看欧美3区| 天天色99| 26UUU精品一区二区Com| 97人人爱人人操| 人人爱国产| 丁香五月天成人| 伊人网啪啪| 91狠狠综合久久久| 色狠狠色综合| 99热只有精品综合| 9 大屁股在线视频精品| 一起草av| www.亭亭五月天| 99精品久久久| 婷婷中文字幕网站| 五月天色丁香| 欧美va在线| www.99热视频| 超爽内射| 欧美丰满熟妇BBB久久久| 99re8在这里只有精品| 99热大全在线观看| 操日本三片99| 狠狠噪| 亚洲精品亚洲人成人网| 女高怪谈在线观看| 五月六月丁香婷婷在线观看| 亚洲婷婷丁香五月| 教师性爱毛片| www久久久| 天堂在线9| 1010日日无码| 97五月天婷婷午夜| 91久久久久久久久18| 91九色超碰| 三级三久久线久久99久目本WW| 国产日韩亚洲欧美在线观看| 丁六月激情| 色色色色色色色色五月先| 九月丁香婷婷网| 热99这就是精品视频| 欧美色性色好| 丁香婷婷十月| 天天成人丁香美女AV| 丁香色五月直播| 亚洲操B视频| 亲子乱AV-区二区三区| 九九色精品| 激情綜合網址| 97亚洲婷婷| 色婷婷精品| 午夜激情五月| 爱草视频在线| 超碰在线国产| 开心五月婷婷激情| 综合99综合久久久久久久| 日韩AV中文字幕在线| 91919191919久久成人视频| 五月婷综合| 激情综合网五月激情| 啪啪操超碰| 免费视频无码| 丁香 亚洲 久久| 欧美婷婷五月天| 丁香婷婷视频在线| 天天日夜夜曹| 97se视频在线| 九艹在线| 97视频91| 久久久人妻| 天天日天天舔| A片试看50分钟做受视频| 五月丁香婷婷综合| 1000部毛片A片免费观看| 人妻久久久久久| 婷婷色综合| 成人中文网| 国产精产国品一二三在观看| 亚洲中字AV电影在线网站| 影音先锋男人女人| 香蕉色色网| 99热日| 中文色婷婷| 久久婷五月婷| 日日操夜夜爽天天天| 青青草护士中出内射-欧美电影在线天堂新版 | 五月婷婷中文网| 69激情小说| 六月丁香VA| 人人爱摸视频| 99热啪啪| 中文字幕乱码亚洲精品一区| 爱操天堂| 91视频一起草| av在线超清中文| www好屌操| 色色色无码| 五月丁香综合激情网| AVDV久久| 国产激情一区| 欧美日韩成人在线免费| 久久网站免费亚洲| 五月丁香六月情婷婷久久| 韩国天天婷婷| 美日韩成人| 婷婷色五月大香蕉在线| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 饮料下药迷倒漂亮女同事强干| 亚洲色婷婷| 潘金莲AAAAAAAAAA| 色婷婷色99国产综合精品| 天天做天天爱天天爽在| 亚洲狠狠干| 中文字幕成人| 狠狠爱成人综合网| AV在线资源| 能看的AV网站| 久久停停超碰| 123日本不卡在线| 色婷婷AⅤ| 天天做天天要天天爱| 色五月婷婷天天操夜夜操| 青青草原亚洲天堂| 桃色五月婷婷| 天天狠狠婷婷在线| 激情五月小说婷婷| 婷婷五月成人| 亚洲成人av在线| 九九九成人在线视频| 婷婷中文无码| 91九色偷拍| 99热免费精品热久久66| 丁香五月综合AV在线| 九九热精品| 日本免费91| 婷婷五月天免费| 久久久精品人妻| 色婷婷操逼网| 国产片色| 婷婷五月成人| 色色色综合色| 六月份天丁香婷婷| Av狠狠色丁香婷| 思思99精品视频| 狠狠五月激情丁香六月| 91精品国产综合久久蜜芽解析速度| 亚洲色色在线| 激情久久五月天| 综合九九日本| 噜噜噜噜在线| 成人无码髙潮喷水A片| 深夜男女福利刺激影院一区| 在线观看av网站| 伊人喵咪a V| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 啪啪婷婷五月天激情| 色激情网| 欧美英丁香开心快乐六月天网| 五月天婷婷在线播放| 伊人碰碰婷婷| 丁香五月色网| 色播五月综合网| 亚洲热热视频| 国产超碰av| 婷婷中文字暮| 黄色av网站在线免费播放| 99热这里| 久99视频| 久久婷婷综合网| 欧美久久婷婷| 丁香五月天网站| 久操人妻| 丁香五月天网站| 久久女婷| 亚洲激情在线| 性爱综合网| 婷婷五月天久久久| 人妻中文在线| 日本久久网| 人人摸人人摸| 天天操天天爽天天爱| 无码少妇高潮喷水A片免费| av在线超清中文| 婷婷性爱| 热99视频精品| 五月婷婷爽爽爽| 狠狠干狠狠干狠狠干狠狠干| 操B无码视频国语| 五月天久久丁香| 欧美激情伊人| 人人干99| 狠狠操.com| 欧美大片免费播放器| 天天干天天 亚洲| 五月丁香色停停啪啪啪| 开心五月婷婷激情网| 怡春院天天干| 日韩另类在线观看| 色情性爱视频网址| 成人国产欧美大片一区| 色色网站在线| 久草大| 蜜臀AV在线观看| 亚洲五月天婷婷在线| 婷婷色六月| 久久网日本| 五月天婷婷色紫薇阁| 91无码一区人妻A片蜜| 日本va欧美va欧美va| 99九九在线视频| 人妻内射视频| 另类视频丁香五月| 五月天综合久久丁香91| 国产日比| 日日夜夜久| 色婷视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99热九九热| 成人欧美日韩| 偷拍视频五月天| 操人视频91| 996er热| 五月天婷婷婷| 激情五月天视频| 91精选国| www激情| 99爱无码| 99热网站| 九九久久精品國產| 天天干天天做| 无码任你操| 99精品视频免费在线播放| 婷婷综合久久综合| 色色色9| 99视频在线精品免费观看2| 久久xxxx| 麻豆精品| 97人妻超级碰碰碰碰碰| 亚洲色碰| 天天五月情| 99自拍视频网站| 99热6这里之有精品| 五月天婷婷AV| 精国产品一区二区三区A片| 99热这里是精品| 丁香婷五月天| 91精品久久久久久77777| 久久曰9| 99天堂网| 国产精品成人AV在线| 丁香五月图片| 五月久久婷婷| 热婷婷久| 婷婷婷婷婷婷婷婷婷婷丁香| 激情五月综合| 五月婷婷丁香啪啪| 玖玖资源站蜜臀| 日韩无码人妻一区二区三区综合| 操日视频| 久热精品在看| 丁香婷婷五月色综合| 开心激情站| 91九九| 91婷婷搞| 操骚货在线| 五月天伊人综合| 日日干日日s| 国庆精品久久| 激情丁香婷婷| 丁香婷婷黄网站| 丁香五月婷婷天堂大香蕉| 九九综合九色欧美狠狠| 麻豆AV一区二区三区| 91久久久久久| 五月天色婷婷综合| 99热这里只有精品青草| 操九色| 丁香五婷婷| 天天操人人干| 天天做天天爱天天爽综合网| 激情五月丁香综合网站 | 五月四色婷婷| 99热这里只有精品13| 久思思热视频在线观看| 热的国产99热| 在线视频色五月| 99色色热| 婷婷丁香六月五月天| 永久无码色| 亚洲综合在线视频| 天天综合色丁香| 成人五月天婷婷| 99热日韩这里只有精品| 婷婷五月天美女| 婷婷五月色播放| 五月婷婷草| 日本色色色| 思思re99视频在线观看| 色吧综合网| A久久| 丁香五月婷中字在线| 欧美色婷婷| 婷婷五月在线观看| 成人视频在线免费播放| 丁香激情久久| AV电影在线播放| 五月天婷婷在线播放| 国产人妻777人伦精品HD| 国产乱人偷精品人妻A片| 成人久碰| 成人AV网站在线| 女同激情久久av久久| 久久婷综合| 日日夜夜青青草| 亚洲国产成人裸舞| 婷婷丁香五月综合免费视频百花| 香蕉婷婷色五月| 激情婷婷六月天| 国产亚洲精品AAAA片APP| 午夜AV网| 99九九视频| 思思久ren热| 人人操超踫| 91九色国产熟女| 中文av网站| 天堂在线观看视频| 日日夜夜九九| 91色在线| 五月婷婷综合网在线播放| 99色一| 国产97色在线| 日本天天操| www.激情com| 精品思思久久| 五月丁香婷婷激情视频| 99日韩| 亚洲国产精品二二三三区| 五月婷婷精品| 91日韩在线| 五月天天爱| www.99热| 影院久久久| 色色热99| 五月天激情网图片| 色五月亚洲| 综合99久久天天综合| 欧美日韩成人在线| 亚洲婷婷免费| 欧美大片| 伊人婷婷色| 天天综合永久| 97人人操人人爽| 免费观看日韩成人av| www.激情| 激情五月婷婷在线观看| 最近中文字幕大全免费版在线| 停停五月色宗合| ji'qing'luan'ren'lun| 日韩人妻无码专区| 岛国AAAV| 日日爽日日操| 色吧五月| 婷婷五月欧美| 影音先锋 91工厂| 久久 婷婷 五月天| 婷婷激情综合色五月久久91| 久久婷婷成人视频| 99热综合在线| 婷婷天堂伊人| 婷婷色香六月综合激情| 99久久99久久| 亚洲色婷婷久久99精品91| 色青五月天| 综合色五月| 狠狠色丁香婷婷久久综合| 日本成人噜噜噜噜噜| www久久99| 婷婷激情啪啪| 视色综合| 亚洲精品又粗又大又爽A片| 99ri精品在线| 婷婷五月天干干| 婷婷五月丁香五月基地| 六月婷婷网| 丁香六月久久| 丁香五月情| 精品操逼一区二区| 2025中文在线视频字幕免费观看| 精品99在线观看| 婷婷国产五月天17c| 婷婷综合成人五月天| 天天色天天日| 色婷婷亚洲| 91九色|疯狂|高潮|对白|| 久久精彩视频99| 色色色色色色97| 婷婷丁香无码专区| 超碰AAAAAAV| 狠狠色综合网| 丁香六月婷婷综合激情欧美| 9色在线| 丁香五月人妻| EEUSS鲁片一区二区三区| 天天肏天天舔AV| 天天爱天天做天天爽| 97福利视频| 97热九九| 日韩黄色电影| 亚洲XX网| 久热网站| 《久久综合九色综合97婷婷| 婷婷五月激情视频在线| 男女激情久久| av中文网站| 啪啪日本欧美| 激情网婷婷婷| 影音先锋综合网| 五月综合缴情网| 日操熟女| 欧美日韩aaa| 久热超碰91| 丁香九月婷| 99re这里只有精品99| 久久九九热视频| 天天做天天爱天天日| 伊人无码高清| 色五月婷婷婷婷| 五月婷狠狠| 色色五月天婷婷丁香| 啪啪综合| 久久性爱视频网站| 无码中文一区二区三区| 激情文学综合婷婷五月天丁香花| 婷婷激情欧美| 超碰啪啪网| 久久婷婷五月综合伊人| 日韩视频女神99| 婷婷五月天影院| 色综合色欲综合天天免费 | 激情婷婷护士激情| 99热色精品| www久久艹| 亚洲色五月| 热99热9| 天天综合91入口| 婷婷亚洲影院| 亚洲亚洲激情| 久久中文网| 欧美久久网| 激情五月黄色小说| 一本婷婷丁香久久| 久久天堂网| 久久成人性爱| 在线观看视频1区| 九九九色综合| 狠狠999| 99日在线观看视频| 婷婷伊人五月天| 久久精品永久免费| 日本久碰| 婷婷久久五月天| 激情五月丁香激情综合网| 亚洲色区17| 99在线免费观看| 丁香五月六月激情久久| 久热黄色| 91操人人操| 久色大| 久久这里只有精品16| 成人Av在线大片| 丁香五月天视频| 99熟女啪啪视频| 国产阿姨日皮艹逼内射视频 | WWW.天天日| 五月丁香天天| 伊人久久大香| 天天插天天插| 久草大| 月月AV| 大香蕉七区| 国产成人AV| 99在线播放视频| 婷婷色正月| 亚洲色色在线| 色婷婷情片| 亚洲精品久久久久久久久久飞鱼 | 一起肏在线视频| 欧美内射AAAAAAXXXXX| 激情综合国产| 婷婷丁香综合成人| 日本va网站| WWW99热| YW无码| 日本一級黃色一級片| 9色在线| 成人av在线网址| 五月熟妇婷婷久久| 一区二区三区XXXXXX| 另类婷婷五月天啪帕帕| 九九色婷婷| 色玖玖| 国产精品国产| 亚洲激情97五月天| 亚洲 小说 欧美 激情 另类| 伊人久久婷婷| 九九热婷婷| 欧美婷婷九月| 亚洲电影在线观看| 伊人激情| 色欲av伊人久久大香线蕉影院| 99热在线精品观看| 五月丁香久久呀| 婷婷激情五月吧| 深爱婷婷基地| 综合婷婷久久| 婷婷五月天AV在| 色五月大香蕉婷婷| 超碰在线观看三级片| 97色碰| 五月天激情久久| 99re在线精品视频| 天天操夜夜操| 五月天久久网站| www一区二区三区| 五月激情精品视频| 六月婷婷无码| 激情婷婷丁香五月天小说| 五月婷婷另类| 男女99免费视频| 丁香伊人网| 激情五月婷婷综合| 日本色婷婷| 少妇丁香婷婷 | 综合另类激情| 丝雨一区二区| 五月丁香婷婷狠狠操| 色yeye欧美| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲中文字幕av| 乱码操操| 九九综合久久| 深爱五月激情| 伊人婷婷五月天| 成人草榴视频| 碰碰碰97国产| 色吊丝99| 久久久99婷婷久久久久久| 婷婷六月视频| 五月丁香啪啪啪啪| 99,色| 成人av免费观看| 久久人妻视频| 伊人网色婷婷五月天| 久久婷婷五月综合色和| 婷婷五月色惰| 五月色婷婷影院| 色情综合网| 国产探花AV在线| 狠狠色丁婷婷日日,伊人激情综合网 | 激情五月网站| 婷婷丁香亚洲五月天| 丁香五月在线看| 色色亚洲五月天| 婷婷射图| 美日韩成人| 热久久婷婷| 婷婷五月天网址| 久热婷婷| 久久丁香五月婷婷| 性色五月天| 欧美99热| www.com久久久久久久久久久久久久久久久| 操逼综合激情网| 色天使色婷婷| 色婷婷国色天香综合| 天天天天色天天天天天干| 色丁香婷婷| 北京熟妇搡BBBB搡BBBB| 九月丁香婷婷网| 99久久精品色老| 六月丁香婷婷色69| 五月天综合网| 日本人人超碰| 国产婷婷久久| 91九色国产熟女| 九九爱看亚洲| 开心五月激情五月丁香五月婷婷| 六月色激情| 二区成人视频| 色噜噜狠狠色综合网| 色婷丁香五月| 久久九九免费视频| 欧美成人精品A片免费一区99| 色婷婷基地 | 人人爽欧美婷婷久久久五月丁香| 五月丁香六月色婷婷综合五月天| 五月婷婷综合色啪首页| 九九热精品| 琪琪色综合网站| 九色自拍| 人妻操逼视频| 色伊人婷婷| 色五月,com| 影音先锋毛片网站| 区区欧美你爱| 99九九在线精品热动漫| 99视频免费播放 | 一区二区无码视频| 影音先锋按摩| 九色啦蜜臀| 国产婷婷色综合AV蜜臀AV | 欧美天堂久久| 夜夜干天天干| 丁香婷婷九月在线| 九久9精品| 日操夜撸| 亚洲网综合在线| 国产精典视频在线观看| 五月综合六月婷婷| 粉嫩AV久久一区二区三区| 激情丁香六月| 五月天天爽| 免看黄大片AA | 五月香蕉综合| 影音先锋色婷婷| 欧美日韩成人在线网| 伊人狠狠操| 五月天开心网| 99啪啪视频| 色五月天丁香婷婷| 激情婷婷五月天| 色婷婷亚洲婷婷| 亚洲色五月| 91丁香婷婷综合资源| 日本不卡五月婷婷丁香| 国产精品国产成人国产三级 | 思思re99视频在线观看| 无码免费人妻A片AAA毛片西瓜| 欧亚洲在线高清视频| 激情视频综合| 久久久久98| 亚洲色vA| 性生生活大片又黄又| 婷婷伊人激情婷婷| 婷婷五月色播| 大香蕉婷婷色| 亚洲精品视频电影| 超碰二区| 六月婷婷久久| 操人精品| 五月婷婷在线视频观看| 97操碰在线视频| 婷婷色综合av| 五月天综合久久丁香91|