欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

中文NLP實戰(zhàn):用SVD與SGNS構(gòu)建子詞向量解決OOV問題

中文NLP實戰(zhàn):用SVD與SGNS構(gòu)建子詞向量解決OOV問題 簡介面向自然語言處理學習者尤其適合需要完成子詞向量課程作業(yè)的學生。項目圍繞漢語子詞向量構(gòu)建與評測分別實現(xiàn)基于SVD分解和基于SGNS的兩種方法。SVD方法先以K5窗口獲取高維distributional表示再進行降維SGNS方法采用窗口K2訓練神經(jīng)網(wǎng)絡詞向量。覆蓋詞表構(gòu)建、語料處理、向量訓練、余弦相似度計算等完整流程。壓縮包共15個文件整體大小88.66MB數(shù)據(jù)部分含corpus.txt語料全集、train_BPE.txt和test_BPE.txt子詞詞表、pku_sim_test.txt評測集等7個txt代碼部分含svd.py、sgns.py、skip_gram.py、result.py等4個Python腳本另有preprocess.ipynb交互式筆記、SGNS.pth模型、svd.npy向量和README.md說明文檔。已有112人瀏覽學習。項目提供了SVD與SGNS兩種方法的對比實現(xiàn)對未登錄詞設置余弦相似度為0的細節(jié)處理清晰可直接在pku_sim_test上復現(xiàn)結(jié)果并輸出指定格式適合作為NLP課程作業(yè)參考、算法對照或入門實踐素材另外README.md對目錄結(jié)構(gòu)和運行流程進行了說明便于快速上手。1. 這個NLP作業(yè)到底在解決什么中文OOV問題與子詞向量的實戰(zhàn)價值中文自然語言處理里最常遇到的尷尬是詞典里明明躺著一萬個詞來一條新聞還是蹦出“三航母”“星艦”這種訓練時沒見過的寫法。詞向量表里查不到下游任務直接罷工——這就是未登錄詞OOV問題。這個NLP實戰(zhàn)作業(yè)的核心很明確分別用SVD分解和SGNSSkip-Gram with Negative Sampling兩種方法構(gòu)建漢語的子詞向量再在相似度與類比任務上做評測對比。所謂子詞就是把“自然語言”拆成“自然”“然語”“語言”這類字n-gram串詞的向量由它包含的所有子詞向量聚合得到于是沒見過的詞也能用子詞拼出向量來。這份作業(yè)完美覆蓋了詞向量兩條技術路線——基于計數(shù)的矩陣分解與基于預測的神經(jīng)網(wǎng)絡——適合正在做詞向量課設、準備NLP面試或者想親手把word2vec底層邏輯寫一遍的人。2. 方案選型與數(shù)據(jù)準備SVD和SGNS的數(shù)學動機、漢語子詞切分與樣本生成2.1 為什么把SVD和SGNS放在同一份作業(yè)里SVD和SGNS代表了詞向量研究的兩個譜系。SVD走的是“計數(shù)”路線先統(tǒng)計詞與上下文在語料中的共現(xiàn)次數(shù)形成共現(xiàn)矩陣再用奇異值分解把高維稀疏矩陣壓成低維稠密向量。SGNS走的是“預測”路線把每個詞當成要預測的目標用神經(jīng)網(wǎng)絡在局部窗口內(nèi)反復調(diào)整向量讓中心詞與上下文詞的向量內(nèi)積逼近它們的共現(xiàn)概率。兩條路線的數(shù)學動機完全不同。SVD是全局優(yōu)化一次性看到整個語料的統(tǒng)計信息所以結(jié)果穩(wěn)定、可解釋性強主成分往往對應語義或話題維度缺點是矩陣規(guī)模隨詞表平方增長而且純統(tǒng)計方法對低頻詞極不友好。SGNS是局部優(yōu)化每次只看一個窗口訓練快、內(nèi)存友好但對隨機種子敏感同一份語料跑兩次結(jié)果可能差出一大截。作業(yè)把兩者放在一起本質(zhì)上是在讓你親手驗證同一個子詞向量目標用全局矩陣分解和用局部神經(jīng)網(wǎng)絡出來的向量在相似度評測上到底差多少。我在實際項目中觀察到的經(jīng)驗是——小語料上SVD往往不輸甚至超過SGNS語料一大SGNS的泛化優(yōu)勢才體現(xiàn)出來。這個結(jié)論自己去復現(xiàn)一遍比背十篇綜述都有用。2.2 漢語子詞序列怎么切字符n-gram的窗口選擇構(gòu)建子詞向量的第一步是把中文語料切成子詞序列。對漢語來說常見做法有兩種第一種是先做分詞再對每個詞內(nèi)部切字n-gram第二種是干脆不分詞直接對整句做字符級n-gram滑動窗口。作業(yè)場景下我強烈推薦第二種理由有三個不依賴外部分詞器、對OOV天然免疫、SVD和SGNS兩條路線共用同一套預處理邏輯。n-gram的n取多少需要權(quán)衡。n太小比如1-2子詞退化成單字和相鄰字對語義區(qū)分度不夠n太大比如7以上子詞基本退化成整詞失去了“子詞”的意義。我一般取2到6既覆蓋“自然”“語言”這種二字詞根也能捕捉“自然語言”這樣的四字短語。下面這段切分代碼是整個作業(yè)的地基SVD和SGNS都從它開始import re from typing import List PUNCT_RE re.compile(r[^\u4e00-\u9fa5a-zA-Z0-9]) def clean_text(text: str) - str: 只保留中文、英文和數(shù)字去掉標點與空白。 return PUNCT_RE.sub(, text) def make_subwords(text: str, n_min: int 2, n_max: int 6) - List[str]: 把一段文本切成字 n-gram 子詞序列。 自然語言處理 - [自然, 然語, 語言, 言處, 處理, 自然語, 然語言, ...] chars list(clean_text(text)) subwords [] for n in range(n_min, n_max 1): for i in range(len(chars) - n 1): subwords.append(.join(chars[i:i n])) return subwords說明兩個關鍵參數(shù)n_min和n_max控制子詞粒度。2-6是通用區(qū)間如果你發(fā)現(xiàn)詞表膨脹太快可以改成3-6犧牲一點短詞根覆蓋率換內(nèi)存。clean_text里的正則只保留中文、英文和數(shù)字因為標點符號在子詞序列里只會制造大量無意義的共現(xiàn)噪聲。注意這里沒有分詞——整句直接滑窗一個10個字的句子會產(chǎn)生約40個子詞數(shù)據(jù)量會膨脹這是正?,F(xiàn)象。2.3 低頻過濾與訓練樣本生成min_count、窗口大小與隨機種子切出子詞序列之后必須先做頻次統(tǒng)計和低頻過濾。低頻子詞比如只出現(xiàn)過一次的人名片段它們的共現(xiàn)統(tǒng)計極不可靠SVD會為它們分配一個幾乎隨機的向量SGNS則會在它們身上浪費大量訓練迭代。常見的做法是把頻次低于2或3的子詞直接丟棄替換成一個統(tǒng)一的UNK標記。詞表大小建議控制在5萬以內(nèi)超過這個規(guī)模SVD的矩陣分解時間和SGNS的參數(shù)量都會明顯拖慢實驗節(jié)奏。窗口大小這里一并定下。SVD的共現(xiàn)窗口和SGNS的上下文窗口取同一個值比如5這樣兩條路線的“上下文范圍”定義一致評測對比才公平。另外整個預處理管線里涉及的random seed要在文件開頭固定你后面跑SGNS時就知道這個操作有多救命。from collections import Counter import random random.seed(42) def build_vocab(subword_seq_list: List[List[str]], min_count: int 3) - dict: 統(tǒng)計子詞頻次過濾低頻項返回子詞到id的映射。 counter Counter() for seq in subword_seq_list: counter.update(seq) vocab {w: i for i, (w, c) in enumerate(counter.items()) if c min_count} vocab[UNK] len(vocab) return vocab頻次過濾看似簡單但它的值直接影響兩種方法的最終效果。min_count3是我的默認值語料小時可以降到2語料超過500萬字符時可以提到5。過濾之后所有不在詞表里的子詞統(tǒng)一映射到UNK保證訓練和評測階段不會遇到“查無此項”的尷尬。3. SVD路徑實現(xiàn)共現(xiàn)矩陣、PPMI加權(quán)與截斷SVD分解的參數(shù)化實現(xiàn)3.1 構(gòu)建子詞-上下文共現(xiàn)矩陣稀疏存儲與滑動窗口SVD路線的起點是共現(xiàn)矩陣。行和列都是子詞矩陣的第i行第j列表示子詞i作為中心詞時子詞j在其上下文窗口中出現(xiàn)的累計次數(shù)。構(gòu)建這個矩陣最樸素的思路是用Python字典累加但子詞表動輒幾萬共現(xiàn)對輕松破百萬字典方案內(nèi)存直接爆炸。正確做法是用scipy.sparse的稀疏矩陣。具體來說先掃一遍語料統(tǒng)計每個中心子詞與窗口內(nèi)其他子詞的共現(xiàn)次數(shù)然后一次性構(gòu)建CSR矩陣。注意兩點一是窗口內(nèi)的共現(xiàn)要不要按距離加權(quán)加權(quán)方案在作業(yè)里不強制不加權(quán)的表現(xiàn)也不會差太多二是對角線元素即子詞與自身的共現(xiàn)默認計入但后續(xù)可以用PPMI里的偏移量來抵消它帶來的噪聲。import numpy as np from scipy.sparse import lil_matrix def build_cooccurrence(seqs, vocab, window5): 構(gòu)建子詞-上下文共現(xiàn)矩陣返回稀疏CSR矩陣。 size len(vocab) matrix lil_matrix((size, size), dtypenp.float32) unk_id vocab.get(UNK, size - 1) for seq in seqs: ids [vocab.get(w, unk_id) for w in seq] for i, center in enumerate(ids): left max(0, i - window) right min(len(ids), i window 1) for j in range(left, right): if j i: continue matrix[center, ids[j]] 1.0 return matrix.tocsr()這個函數(shù)的核心邏輯是滑窗對每個中心子詞只統(tǒng)計它前后window個位置內(nèi)的共現(xiàn)。用lil_matrix是因為它按行追加效率高累加完成后再轉(zhuǎn)成csr_matrix后面做矩陣運算和SVD都更快。窗口值window5和SGNS保持一致如果你在第2章預處理時改過窗口這里必須同步修改。3.2 從共現(xiàn)到PPMI加權(quán)方案與截斷SVD分解直接對共現(xiàn)矩陣做SVD出來的向量質(zhì)量很差這是所有初學者都會踩的坑。原因是原始共現(xiàn)矩陣被“的”“了”“在”這類高頻詞主導它們的絕對值遠大于有語義區(qū)分度的詞對SVD的第一主成分會全部貢獻給詞頻差異。標準解法是先把共現(xiàn)矩陣轉(zhuǎn)成PPMI正點互信息矩陣再做分解。PPMI的計算公式是對每個共現(xiàn)對(i,j)先算PMI log(P(i,j) / (P(i) * P(j)))然后把負值置零。其中P(i,j)是i和j共同出現(xiàn)的概率P(i)、P(j)是各自的邊際概率。PPMI的核心作用是降權(quán)高頻詞一個字n-gram和“的”字頻繁共現(xiàn)只是因為“的”本身出現(xiàn)頻率高而不是它們有強語義關聯(lián)PPMI會把這個共現(xiàn)值壓下去。from scipy.sparse.linalg import svds from sklearn.preprocessing import normalize def compute_ppmi(X): 把共現(xiàn)矩陣轉(zhuǎn)成PPMI矩陣負值置零。 total X.sum() row_sum np.asarray(X.sum(axis1)).ravel() col_sum np.asarray(X.sum(axis0)).ravel() expected np.outer(row_sum, col_sum) / total # 只對非零元素做PMI計算避免全矩陣運算 X X.copy() X.data np.log(X.data * total / expected[X.nonzero()]) X.data[X.data 0] 0.0 # PPMI: 負值截斷為0 return X.tocsr() def svd_reduce(ppmi_matrix, dim64): 截斷SVD只保留最大的dim個奇異值對應的向量。 U, s, Vt svds(ppmi_matrix, kdim, whichLM) # 按奇異值從大到小排序svds不保證順序 order np.argsort(s)[::-1] s s[order] U U[:, order] Vt Vt[order, :] # 子詞向量 U * sqrt(S)上下文向量 Vt.T * sqrt(S) subword_vecs U * np.sqrt(s) context_vecs Vt.T * np.sqrt(s) return subword_vecs, context_vecs這段代碼有兩個關鍵參數(shù)值得細說。dim是向量維度作業(yè)里64到100之間足夠體現(xiàn)差異追求和預訓練模型對比時用300。whichLM表示只計算最大的dim個奇異值這是截斷SVD的標準做法如果你用的SciPy版本較舊svds默認返回的可能是最小奇異值對應的向量跑出來向量質(zhì)量慘不忍睹——先查這個參數(shù)對不對。最后用U * sqrt(S)作為子詞向量這是對稱化處理保證中心詞和上下文向量在同一個空間里可比。3.3 從子詞向量到詞向量聚合策略與歸一化SVD分解得到的是每個子詞的向量但評測任務需要的是“詞”的向量。聚合策略常見的有兩種直接平均和加權(quán)平均。直接平均就是把詞包含的所有字n-gram的向量求和再除以個數(shù)加權(quán)平均是按子詞在詞內(nèi)部出現(xiàn)的頻次或逆文檔頻率加權(quán)。作業(yè)場景下直接平均已經(jīng)夠用加權(quán)提升有限但會多出不少代碼。def word_vector_from_subwords(word, subword_vecs, vocab, n_min2, n_max6): 給定一個詞切分為子詞后聚合出詞向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(subword_vecs[vocab[sw]]) if not vecs: return np.zeros(subword_vecs.shape[1]) return np.mean(vecs, axis0) def normalize_vectors(vec_matrix): L2歸一化后續(xù)計算余弦相似度直接做點積。 return normalize(vec_matrix, norml2, axis1)注意這里如果詞太長或太短導致沒有任何子詞命中返回零向量。零向量參與余弦相似度計算會產(chǎn)生NaN評測前一定要過濾掉。另外把詞向量做L2歸一化是個好習慣因為余弦相似度只關心方向不關心模長歸一化之后直接用點積代替余弦計算速度能提升一個數(shù)量級。4. SGNS路徑實現(xiàn)負采樣訓練循環(huán)與子詞embedding聚合的完整步驟4.1 子詞表與負采樣分布頻次的三分之四次冪SGNS路線的核心是訓練一對向量每個子詞既是中心詞也是別人的上下文。也就是說需要維護兩個矩陣——中心詞向量矩陣V和上下文向量矩陣U形狀都是(vocab_size, dim)初始化時用均值為0、標準差0.01的正態(tài)分布隨機填充不能全零初始化否則梯度為零無法更新。負采樣的分布是SGNS區(qū)別于原始Skip-gram的關鍵。原始Softmax需要對整個詞表做歸一化代價太高負采樣的思路是把“預測正確上下文”的任務改造成“區(qū)分真上下文和隨機噪聲”的二分類任務。對每個正樣本從噪聲分布中隨機抽k個負樣本讓模型學會把正樣本真實上下文判為1把負樣本隨機抽取的噪聲判為0。噪聲分布不是均勻分布而是按詞頻的3/4次冪歸一化——這個3/4次冪是實踐調(diào)出來的它能壓低高頻詞被過度采樣的概率讓中頻詞有更多被當作負樣本學習的機會。import numpy as np from collections import Counter class SubwordSGNS: def __init__(self, vocab_size, dim64, k_neg5, lr0.025): self.dim dim self.k_neg k_neg self.lr lr # 中心詞向量矩陣和上下文向量矩陣 self.V np.random.normal(0, 0.01, (vocab_size, dim)) self.U np.random.normal(0, 0.01, (vocab_size, dim)) def build_noise_dist(self, freqs, power0.75): 構(gòu)建負采樣分布頻次的power次冪歸一化。 probs np.array([freqs[i] ** power for i in range(len(freqs))]) probs / probs.sum() return probs def negative_sample(self, probs, num): 從噪聲分布中不放回地抽樣num個負樣本id。 return np.random.choice(len(probs), sizenum, pprobs, replaceFalse)k_neg是負樣本數(shù)量取值5到10之間。太小模型學不夠太大訓練變慢且收益遞減。power0.75是word2vec論文里的經(jīng)典取值不建議改動。build_noise_dist接收的freqs是子詞id到頻次的映射這個值在預處理階段已經(jīng)統(tǒng)計過了直接復用。4.2 訓練循環(huán)sigmoid、學習率衰減與梯度裁剪訓練的過程就是對每個中心子詞i取窗口內(nèi)一個上下文子詞j作為正樣本再抽k個負樣本neg1...negk對每個樣本計算損失并更新向量。損失函數(shù)用的是二分類交叉熵的簡化形式對正樣本最大化sigmoid(V[i]·U[j])對負樣本最小化sigmoid(V[i]·U[neg])等價于最大化sigmoid(-V[i]·U[neg])。梯度推導是這份作業(yè)最容易卡住的地方但實現(xiàn)上很簡單對正樣本誤差項g sigmoid(V[i]·U[j]) - 1然后V[i] - lr * g * U[j]U[j] - lr * g * V[i]。對負樣本誤差項g sigmoid(V[i]·U[neg]) - 0更新方式相同。這個“預測誤差乘對方向量”的更新規(guī)則就是SGNS的全部秘密。def train(self, subword_seqs, epochs5, window5): subword_seqs: 子詞id序列的列表每個序列是一句或一段話。 for epoch in range(epochs): # 學習率隨epoch線性衰減后期微調(diào)避免震蕩 lr self.lr * (1 - epoch / epochs) for seq in subword_seqs: if len(seq) 2: continue for i, center_id in enumerate(seq): left max(0, i - window) right min(len(seq), i window 1) context_ids seq[left:i] seq[i1:right] for ctx_id in context_ids: # 正樣本中心詞向量點積上下文向量 dot self.V[center_id].dot(self.U[ctx_id]) g_pos 1.0 / (1.0 np.exp(-dot)) - 1.0 # 更新正樣本 self.V[center_id] - lr * g_pos * self.U[ctx_id] self.U[ctx_id] - lr * g_pos * self.V[center_id] # 負樣本 neg_ids self.negative_sample(self.noise_dist, self.k_neg) for neg_id in neg_ids: if neg_id ctx_id: continue dot_neg self.V[center_id].dot(self.U[neg_id]) g_neg 1.0 / (1.0 np.exp(-dot_neg)) self.V[center_id] - lr * g_neg * self.U[neg_id] self.U[neg_id] - lr * g_neg * self.V[center_id]這個訓練循環(huán)是樸素的Python版本一個epoch掃一遍全部語料。實際跑起來你會覺得慢——這是正常的因為Python級別的循環(huán)確實慢數(shù)據(jù)量一大建議用numpy矩陣化或者直接上gensim驗證結(jié)果。學習率衰減那行是關鍵不衰減的話后期loss會在一個平臺上震蕩向量質(zhì)量上不去。如果你的語料有100萬子詞以上建議把epochs從5降到3否則訓練時間會失控。4.3 從訓練結(jié)果到詞向量FastText式聚合與推理訓練結(jié)束后每個子詞都有兩個向量中心詞向量V[i]和上下文向量U[i]。詞向量怎么取常見做法是只取V也就是中心詞向量矩陣。但FastText的實踐表明把子詞向量聚合起來作為詞向量效果比直接用某個子詞的向量更穩(wěn)定。聚合方式和SVD路線完全一致給定一個詞切成所有可能的字n-gram查表拿到子詞向量求平均。這樣做的最大好處是——即使一個詞從沒在訓練語料里出現(xiàn)過只要它的字n-gram有部分命中就能拼出一個合理的向量。這就是子詞向量對OOV問題給出的答案。def get_word_vector(self, word, vocab, n_min2, n_max6): 推理階段對任意詞含OOV生成向量。 vecs [] for n in range(n_min, n_max 1): for i in range(len(word) - n 1): sw word[i:i n] if sw in vocab: vecs.append(self.V[vocab[sw]]) if not vecs: return np.zeros(self.dim) vec np.mean(vecs, axis0) norm np.linalg.norm(vec) return vec / norm if norm 0 else vec注意返回值做了L2歸一化。訓練階段沒有強約束向量模長直接比較原始向量會受模長干擾。np.linalg.norm(vec)是求L2范數(shù)除一下就把向量長度縮放到1后續(xù)計算余弦相似度時直接點積就行省去每次算模長。5. 避坑兩個模型反復翻車的5個細節(jié)與排查路徑5.1 現(xiàn)象共現(xiàn)矩陣構(gòu)建到一半內(nèi)存直接打滿你興致勃勃地建了一個5萬子詞的詞表然后用一個5萬 × 5萬的Python二維列表存共現(xiàn)矩陣瞬間內(nèi)存爆炸。原因很簡單5萬乘5萬乘8字節(jié)等于20GB哪怕用float16也要10GB。解決辦法就是第3章里的稀疏矩陣方案只存儲非零共現(xiàn)對實際稀疏度通常在99%以上內(nèi)存占用能壓縮到原來的幾十分之一。另外過濾低頻子詞這一步不要省詞表從10萬壓到3萬稀疏矩陣的非零元素會驟減訓練和分解都快很多。5.2 現(xiàn)象SVD分解出來的向量質(zhì)量不如隨機初始化這是PPMI缺失的典型癥狀。直接對原始共現(xiàn)矩陣做SVD向量會被高頻虛詞徹底污染“的”“了”“是”占據(jù)主成分方向其余詞之間的差異全被壓縮到次要維度里。排查時先別懷疑SVD代碼把共現(xiàn)矩陣打印出來看一眼前幾行如果高頻詞的值比其他詞大幾個數(shù)量級基本就是沒做PPMI。解決方法是嚴格按3.2節(jié)的流程過一遍先轉(zhuǎn)PPMI負值置零再做截斷SVD。5.3 現(xiàn)象SGNS訓練完了詞向量全部約等于零向量這通常不是代碼邏輯問題而是學習率設置不合理。如果lr超過0.1梯度更新步長過大向量會在訓練早期直接發(fā)散到無窮大然后數(shù)值溢出變成NaN如果lr低于0.001訓練根本走不動向量停在初始化位置附近。排查時先打印訓練前幾個batch的loss看走向loss不降是學習率太小loss變成NaN是學習率太大。推薦區(qū)間0.01到0.05按語料規(guī)模微調(diào)。另一個隱藏坑是隨機種子沒固定導致每次跑結(jié)果都不一樣你很難判斷是算法問題還是隨機性造成的波動。5.4 現(xiàn)象同一批語料SVD和SGNS評測結(jié)果排名不穩(wěn)定今天SVD贏明天SGNS贏換幾個評測詞又反過來——這可能是子詞切分參數(shù)不一致造成的。SVD路線的子詞序列和SGNS路線必須來自同一份預處理結(jié)果包括n_min、n_max、min_count和窗口大小全部一致否則兩條路線輸入的數(shù)據(jù)分布都不同對比就沒有意義。我見過不少人SVD用2-6gramSGNS用3-6gram最后得出的結(jié)論完全不靠譜。把預處理封裝成一個函數(shù)兩處調(diào)用同一份數(shù)據(jù)是性價比最高的修復。5.5 現(xiàn)象評測時OOV詞的向量是零向量相似度全是NaN子詞向量的核心賣點是OOV也能算向量但前提是這個詞的子詞組合至少有一部分在詞表里。如果詞太短比如單字“貓”它的子詞只有n_min到n_max范圍內(nèi)的片段一旦詞表里沒有對應字n-gram聚合結(jié)果就是零向量。解決方法是評測時對每個查詢詞做兜底如果子詞全未命中回退到單字向量如果單字也不在再回退到UNK向量。這個兜底邏輯要在評測腳本里寫清楚否則相似度排序會把零向量排在前面結(jié)果不可解釋。6. 評測與進階用相似度、類比和詞聚類給兩種子詞向量打分評測是這份作業(yè)的臨門一腳但也是最容易被糊弄過去的環(huán)節(jié)。切忌用肉眼挑幾個詞看相似度就下結(jié)論——那叫“看著像”不叫評測。標準做法是準備一組帶人工評分的詞對計算模型給出的余弦相似度與人工評分之間的Spearman相關系數(shù)。中文常用的是Wordsim-240和Wordsim-297里面是“飛機-機場”“老師-學生”這類詞對及人工打分。沒有現(xiàn)成數(shù)據(jù)集時自己標注20對詞也能跑一個粗糙版本每對詞打分1到5分然后和模型結(jié)果算相關系數(shù)排序一致性大于0.5就已經(jīng)說明向量不是隨機初始化能碰出來的。第二個評測維度是詞類比推理。經(jīng)典格式是“a之于b相當于c之于d”比如“北京-中國日本東京”。計算時用vec(北京) - vec(中國) vec(日本)在詞表里找與結(jié)果向量余弦相似度最高的詞如果是“東京”就算答對。這個任務對SVD和SGNS的差異非常敏感SVD由于全局統(tǒng)計特性在語義關系類比上往往表現(xiàn)更好SGNS則更擅長捕捉詞共現(xiàn)帶來的主題相似性。子詞向量在這里有個附加優(yōu)勢——即使類比任務中出現(xiàn)OOV詞也能通過子詞聚合參與計算這比標準word2vec多了一層保障。最后一個實用技巧是向量融合。做完評測你會發(fā)現(xiàn)SVD和SGNS各有勝負與其糾結(jié)選誰不如把兩種向量拼接后做PCA降維回原維度或者直接等權(quán)相加再歸一化。我在自己的項目里實測過融合向量在相似度和類比任務上的表現(xiàn)通常都能超過兩個單模型這個“112”的效果在作業(yè)里是天然的加分項在真實項目里也經(jīng)常作為廉價的中文詞向量增強手段。如果你時間充裕還可以把詞向量拿去做一個KMeans聚類聚類數(shù)取20到50打印每個簇的中心詞看語義是否聚成話題——這一步能直觀展示兩種方法學到的語義結(jié)構(gòu)差異比單純看數(shù)字更有說服力。最后說一個我做這份作業(yè)時后悔沒早點知道的事不要花太多時間調(diào)參跑到完美先拿小語料把兩條路線跑通、評測腳本寫好、踩坑踩一遍再換大語料出最終結(jié)果。SVD和SGNS的代碼結(jié)構(gòu)完全不同但評測流程是共用的——把評測腳本先寫好后續(xù)替換模型、調(diào)整參數(shù)都只改一行入口效率能翻一倍。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色综合| 日韩AC在线免费观看| 婷婷亚洲丁香五月| 踪合专区啪啪| 黄急一级视频| 天天天天天日| 五月天婷婷色综合| 日日色五月天| 丁香五月另类色婷婷麻豆| 国产精品第一国产精品| av网址在线| 伊人六月无码视频| 婷婷五月丁香香蕉| AV五月婷婷露脸| 久久作爱| 色婷婷88| 久久综合网桃花| 久久婷色| 五夜丁香| 涩五月色婷婷| 激情网 五月天| 国产一区18| 久久小说| 婷婷伊人綜合中文字幕| se99视频| 亚洲激情av| 丁香婷婷五月基地| 久久婷婷亚洲五月天| 婷婷四色五月| 丁香六月婷婷久久高清| 第1影院之五月婷婷| 极品人妻VIDEOSSS人妻| 99er免费在线观看| 99惹在线精品免费观看| 超碰色色综合| 超碰在线国产9| 爱爱网址9| 五月天成人小说| 日本社区五月天激情| 色色色在线播放| 玖玖爱伊人| 色一色综合| 亭亭色色五月天| 丁香六月婷婷色XXXXX| 亚洲天堂亚洲色色色| 偷偷操99| 久久婷婷激情四射五月天| 久久综合九色综合97婷婷| 久久曰曰| 五月婷婷啪啪| 无码免费人妻A片AAA毛片西瓜| 欧美六月| 色婷婷综合网| 色噜噜狠狠色综合日日| 激情五月天色网站| 日本综合色图| 色婷婷五月天亚洲| 亚洲色欲欧美一区二区三区| 综合激情伊人影视在线| 五月婷婷激情综合在线| bbwcuckold精品熟妇| 99亚洲视频| 欧美操我| 精品亚洲国产成AV人片传媒| 黄色精品五月婷婷| 九九综合久久| 99热久只有| 做爱夜夜干天天操| 国产淫熟妇| 欧美激情五月天在线观看| 五月婷婷xxx| 久热欧美| 日本色婷婷综合| 亚洲妇女熟BBW| 思思热视频在线| 99日韩| 停停五月色宗合| 这里只有精品无码| 久久综合性| 色色色婷婷五月天| 五月天婷婷成人网| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色色亚卅| 99综合激情久久精品久久| 能看的AV网站| 欧美成人色婷婷| 婷婷网五月天| 青青草成人网| 青吴乐视频| 就去色色五月丁香婷婷久久久| 色婷婷播放| 六月综合在线| 国产激情综合| 婷婷5月久久综合网站| 丁香五月天久久| 五月桃花网综合| 激情综合五月丁香六月婷婷| 国产操B视频| 亚洲九区| www,五月天激情| 亚洲综合五月天婷婷| 五月婷婷影视| 久久久97| 婷婷大香焦| 婷婷五月a| 91久久综合| 91成人视频| 可以免费看av网站| 丁香五月中文字幕色播| 国自产拍偷拍精品啪啪一区二区| 久99精品视频| 色五月婷婷五月久久| 亚洲婷婷五月天激情综合| 思思热久久爱| 亚洲热综合| 亚洲欧洲中文日韩久久AV乱码| 伊久大香蕉| 9999热在线观看| 亚洲五月天,激情视频| 婷婷五月天在线综合导航| 丁香久久久| 丁香五月人妻| 99婷婷精品推荐在线视频| 亚洲在线成人| 色五月在线| 五月婷婷中文字幕| 欧美槡BBBB槡BBB少妇| 日本欧美999久久久三级片| 人人妻人人澡| 亚洲成人婷婷| 日操熟女| 色五月亚洲五月天| 九九久久综合| 狠狠色综合网站久久久久| AV电影在线播放| 天天综合永久| 国产伦亲子伦亲子视频观看| 色99网| 激情 婷婷 插| 专区无日本视频高清8| 毛片蕉地一二| 欧美噜噜免费观看| 色欲天天综合| 少妇婷婷五月天| 99精品视频在线6| 色婷婷五月综合在线| 能看的av| 五月天婷婷三级黄| 大香蕉伊人久久| 在线超碰精品| 99日这里只有精品| 亚洲av| 九九九这里只有精品| 怡红院视频| 免费视频WWW在线观看网站| 99啪啪网| 激情网五月天| 久久区区一二三av| 亚洲色情在线| 激情五月天情色| 色综合天天网| 欧美大片免费播放器| 91久久九久久九久久九久久九久久| 五月四色婷婷| 激情98色婷婷五| 久久丁香| 婷婷丁香六月天| 99在线免费视频| 欧美3AaAa大片| 九九亚洲视频| 亚洲熟妇AV综合网五月丁香伊人| 五月丁香综合啪啪| 激情综合五月激情XXXX| 开心五月天激情网| 九九RE视频在线精品| 六月丁香五月婷婷| 久久在线大香蕉| 久久人妻视步| 久久大香免费| 色99网| 91综合视频丁香| 婷婷久久夜| 99热免费| 深爱网深爱综合网| 九九亚洲天堂| 天天色综合网吨吧| 丁香五月婷婷99| 激情欧美五月丁香| 色色综合激情| 激情五月天色色网| 婷婷激情丁香五月天综合| 五月婷网| 26uuu国产色| 97中文在线| 97久久久久| 久99久视频| 日韩啪啪视频| 五月综合久久| 激情婷婷丁香色五月综合| 狠狠综合网| 婷婷五月天 偷拍| 色婷婷影院| 天天看A片| 婷婷午夜| 丁香五月综合在线播放| 99偷拍视频在线日本| 深爱五月天| 亚洲精品在线视频| 可以免费观看的av| 婷婷十月丁香| 99久久玖玖| 婷婷五月香蕉| 婷婷五月开心中文字幕色| 久久艹 五月天| 99精品网站| 免费观看日韩成人av| 精品人妻一区| 天天看片日日夜夜| 日韩久久日| 欧美这里只有精品| 色色色色色级无码| 青青草网武则天| 五月婷婷偷拍| 天干天天干天天天天天| 婷婷性爱视频在线| 涩五月婷婷| 亚洲久久视频| 久艹伊| 激情小说五月天| 天天舔天天摸天天射| 色五月 婷婷, 大香蕉| 午夜五月天| 九九操操| 狠狠狠狠狠狠草| 六月婷婷激情| 99热日本| 丁香激情久久| 玖玖伊人网| 久9久成人精品视频| 激情四射五月天偷偷看婷婷| 久久中国毛毛片爱久久| 中文字幕网伦射乱中文| 婷婷五月激情的图片| 色色啊| 成人国产网| 久热 91| 5月婷婷激情6月| 丁香五月大香蕉AV| 国产AV影片| 丁香 亚洲 久久| 欧美激情 日韩无码 婷婷 五月天| 亚洲操女| 日本三级日本三级99| 超碰renrenai| 六月丁香花婷婷| 婷婷六月偷拍| 精品夜夜澡人妻无码AV| 久色网| 婷婷五月18永久免费视频| 亚洲色视频| 日韩十国产极品久久| 色婷五月| 激情五婷网| 色婷婷很很丝袜| 狠狠狠色激情综合适合| 婷婷五月天亚洲综合网| 国产欧美婷婷| 伊人干综合| 99国产97在线,| 久久婷婷色色| 九九婷婷网五月天| 俺去啦综合网| 亚洲 无码 中文字幕 中出| 日韩亚洲视频| 激情伊人| 9月色婷婷| 婷婷五月丁香基| 色吧综合网| 操一操干一干| 99免费在线| 天天操无码| 综合久久首页| 超碰成人公开| 国产精品a无线| 99九九玖玖| 婷婷丁香五月亚洲免费| 久久久五月四色| 丁香婷婷五月天色播| 五月婷婷激情网| 99久久新视频| 9久操| www.婷婷| 国产欧美精品AAAAAA片| 婷婷五月天成人网| 97色色视频| 亚洲精品亚洲人成人网| 99热官网精品在线| 久久久噜噜噜久久人妻| 色色国产| 午夜天堂一区人妻| 怎么样可以看免费的一级av| 五月天大香蕉av| 免费视频WWW在线观看网站| 色墦五月丁香| 99精品在线| 99色综合| 激情综合色五月丁香| 亚洲乱码日产精品BD| 色综合久久44| 精品人妻一区| 丁香婷婷五月天在线视频| 99热成人在线观看| 色五月婷婷在线观看| 九九久久网| 丁香五月婷婷在线观看| 激情五月婷| 色婷狠狠| 婷婷综合五月| 久久综合性| 丁香六月婷婷综合| 99久久99久久综合| 婷婷综合五月天| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 亚洲AV久久久久久久久久久久久久久久 | 成人免费黄色短视频| 日韩精品视频中文字幕| 激情婷婷99| 亚洲123区高清入口| 丰满人妻妇伦又伦精品国产| 亚洲区1| 丁香久久九九99| 嫩草视频观看| 亚洲激情亚洲激情| 99热在线这里只有精品| 天天精品视频免费观看| 婷婷综合亚洲| 国产精品扒开腿做爽爽爽A片唱戏| 国产精品久久..4399| AV大香蕉| 国产99久| 五月综合激情| 亚洲色色图片| 天天色综网| 五月丁香六月| 国产乱妇无乱码大黄AA片| 亚洲精品一区中文字幕乱码| 久久天堂色| cao久久| 亚洲无码另类| 婷婷五月天a| 99热在线观看免费精品| 开心激情婷婷| 婷婷综合日本| 五月婷婷色播网| 黄色激情五月天| 久久色五月天| 久久久国产精品黄毛片| 色婷婷中文在线| 五月天婷婷在线观看精品男人| 九色色| 人人97碰| 欧美日本不卡黄色片| 99久久精品色老| 99热 这里只有精品 国产 日韩| 天天干,天天舔| 美女丁香五月天| 99亚洲无码| 色婷婷免费观看| 欧美成人AAA片一区国产精品| 99久久偷拍视频| av久热| 亚洲经典小视频| 婷婷午夜激情| 激情五月九九九| 5月婷婷综合| 99色免费观看全部| 天天色粽合合合合合合合| 婷婷五月综合色中文字幕| 五月天激日本色情在线| 欧美日比视频| 久久XX日本综合| 丁香婷婷久久 | 日本久久超碰| 久久亚洲婷婷| 97干在线| 成人网站在线观看视频| 色婷婷五月综合| 超级碰碰97在线| 激情五月丁香六月综合AVXXXX| 99rewww| 9热在线观看| 欧美性生交XXXXX无码小说| 九色91国产| 一本伊人色婷| 熟女少妇内射日韩亚洲| 深爱激情网五月| 亚洲色激情| 婷婷色五月天在线观看| 热久国产| 久久婷婷色综合| 超碰妻人人| 熟女乱论网| 六月丁香婷婷天堂| 久热婷婷| 99re思思热在线视频| 婷婷五月天狠狠色| 九九综合88| 最新精品视频99| 看片视频在线免费日产在线看| 亚洲精品网址| 五月婷婷六月综合| 夜夜操加勒比| 手机激情网| 99婷婷| AV激情五月| 丁香九月婷婷综合| 97碰碰在线看视频免费| 婷婷内射视频在线| 小泽玛利亚视频一区二区| 日本激情综合| 五月丁香婷婷激情爱爱| 五月丁香AV、伊人业余、性色熟妇| 五月婷婷综合激情| 婷婷五月丁香av网站| 91日本在线| 久久久jd| 超碰人人操人人干| 色九网| 美欧成人视频| 五月天色综合| 91欧美| 丁香六月啪| 婷婷丁香六月| A√天堂网在线| 夜夜 操无码| ww久久| 六月丁香网| 色婷婷瘦婷婷日韩| 黄网免费看| 欧美图片丁香五月天| AV成人在线播放| 欧美日韩五月婷婷| 丁香婷婷五月六月久久| 五月天激情四射| 午夜天堂啪啪| 5月婷婷6月丁香aV| 国成人网| 九色无码| 怡红院 久久| 日日操天天操| 久久久久久丁香五月| 清纯唯美 激情四射| 婷婷丁香视频| 99热99草97| 人人九色| www.天天干.com| www久久久久久久久久久| 久久66精品| 夫妻超碰在线| 女婷久久| 五月综合在线婷婷图片| 97色综合| 日韩欧洲亚洲| 国产精品国产VA片国产| 超碰在线超碰| 欧美丰满熟妇BBB久久久| 激情婷婷五月色| 狠狠色狠狠色综合日日91| 丁香久久久| 99开心五月五月丁香激情| 午夜成人片400| 五月婷婷视频28| 久草丁香婷婷五月天婷| 婷婷五月天影院| 欧美日韓成人亚洲精品另类| 99福利视频导航| 国产精品视频免费看| 97香蕉碰碰人妻国产欧美| 色婷婷视频| 六月丁AV| VA婷婷| 久久久天堂国产精品女人| 丁香六月激情综合啪啪| 97精品欧美91久久久久久久| 国产在线激情视频| 伊人婷婷大香蕉| 色青青五月| 婷婷色六月| 丰满人妻一区二区三区| www,五月丁,com| 热99免费在线| 色135综合网| 六月婷婷五月丁香| 五月婷婷成人w| 99热线观看9| 丁香五月综合| 超碰激情网| 色就是色婷婷五月亚洲激情| CAoub青青超碰| 亚洲中文字幕在线观看| 丁香九月婷婷综合| 狠狠干无码| 国内婷婷丁香社区在线播放| 91人人澡人人爽人人看| 超碰人人摸AV| 久9热| 性热视频99精品| 五月综合亚洲| 五月丁香网视频| 大香蕉在线99热| 丁香五月六月久久综合| 光棍影院日韩精品| 伊人久久丁香五月91| 天天色色天天| 婷婷六月色开 | 激情综合丁香六| 婷婷五月天色| 丁香五月手机在线| 79精品视频在线观看,| 森林影视大全,最好看的2019年视频 | 色。 日日日| 久色网址| 第五婷婷伊人丁香色| 骚逼视频一区2区| 国产精品色| 色综合色五月| 区美毛片子| 五月天激情无码专区| 就99这里只有精品| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲亚洲人成综合网络| 激情五月天色播| 五月婷丁香| 色婷婷国产精品综合在线观看| 五月丁香六月婷婷亚洲| 天天日人人爽| 99热这里只有精品一| 热久久思思热思思| 很很操96| 婷婷九月激情| 99热99思午夜精品| 五月丁香五月丁香| 免费99情趣网视频| 99热99日…..| 婷婷另类开心| 99热日| 五月色情婷婷开心五月色情| 蜜臀av无码久久久久久久久| 26uuu四色| 五月丁香六月综合情在线观看| 欧美精品99| 超级碰碰91| 大香蕉Av在线| 综合激情五月婷婷| 色婷婷免费观看| 九九热啪啪| 五月丁香婷婷色色色| 99爽视频| 91精产一区三区免费观看| avv在线| 69综合在线| 婷婷丁香大香蕉| 成人精品免费在线观看| 色婷婷另类| 日韩精品一区二区刘| 99碰碰中文| 大香蕉欧美在线| www.色情五月天.com| 性爱网六月丁香| 丁香五月婷婷综合精品素人| 婷婷五月天Av| 综合久久婷婷五月丁香| 亚洲、热| 五月丁香中文字幕| 五月婷啪啪| 99热网站| 亚洲成人影视在线| 97sese婷婷| 色私五月婷婷| 日日噜狠狠色综| 天天日狠狠| 99久久精品网| 亚洲婷婷五月| 色婷婷视频| 欧美成人在线观看| 激情 婷婷| 99日本精品视频热| 夜夜天天久久婷婷| 日本色爽| 色五月婷婷色| 亚洲免费电影2| 五月天色综合| 色五月丁香激情| 中文字幕色色| 五月丁香综合中文| 激情五月天色播| 色色色丁香| 丁香色综合| 麻豆科斗777| 久久成人天| 九艹在线| 亚洲12p| 久久婷婷东京热| 九月婷婷| 亚洲日韩欧美综合VA| 亚洲AV人人操| 67194线路二在线观看| 色情五月天。| 精品无码色| 激情欧美丁香五月| 色婷婷丁香五月| 狠狠色狠狠爱| 色五月丁香一区在线| 这里只有精品网站| 成人 在线 日韩| 色色色com| 丁香大香蕉| 天天狠狠色综合| 五月综合激情| 色婷婷四虎| 欧亚色色| 五月丁香婷婷婷激情爱爱| 开心五月天激情网| 97久久久久| 99热这里只有是亚洲国产| 激情五月色婷婷| 99精品热| 99人人操人人操人人精| 婷婷香五月综合激情| 91久久婷婷| 九九久久偷拍| 狠狠色情婷婷| 99热6这里只有精品| 婷婷在线中文字幕| 婷婷五月天激情文学小说| 成人丁香五月| 丁香五月婷中字在线| 热的五码久久精品| 五月婷婷丁香大陆免费| 综合婷| 欧美va亚洲va在线播放| 9久热| 色婷婷欧美| 五月婷婷免费在线视频| 午夜少妇在线观看视频| 久久久婷婷| 中文成人在线| 婷婷五月天毛片| 五月天色网站| 色噜噜狠狠色综无码久久合欧美| 婷婷在线播放av| 精品女人九九九| 97伦色婷婷| A A色色| 777影视理论片大全在线观看| 铁牛TV人妻| 五月天激情啪啪| 婷婷五月花| 天天日天天插天天操| 97久久草草超级碰碰碰| 五月天婷婷情色| 天天爽天天摸| 亚州男人天堂婷婷五月| 久热这里只有精品66| 极品少妇XXXX精品少妇偷拍| 天天爽天天日人人爱| 天天色亚洲| 99色在线视频| 婷婷丁香18| 色婷婷综合网站| 91超碰九色| 九热视频精品| 色色色免费视频| 亚洲乱码日产精品BD| 综合久久婷婷| 99re思思热久久| 成人五月天综合网| 久久五月婷| 九九热九九热精品| 99视频| 成人婷婷桔色| 99ER热精品视频| 五月婷婷精品视频| 99精品丰满| 天天干天天色综合| 色婷婷综合影院| 香蕉婷婷色五月| 97久久草草超级碰碰碰| 色99在线观看| 深爱激情AV| 日逼AV影音先锋男人资源站| 五月激情网站| 91啦丨九色丨刺激中文| 五月丁香AV在线| 中文字幕高清av| 丁香五月天狠狠| 综合久久五月天| 熟女网站久久| 久久五月天大美女| A片试看120分钟做受图片| 天天射夜夜骑| www.婷婷久久五月天| 色五月婷婷基地| 一起草无码| 丁香五月天激情视频| 夜夜骑日日操| 国产一级黄色影片,| 狠狠色狠狠操| 超碰色婷婷| 色婷视频| 天天操夜夜橾| AV在线观看网站| 国产精品国产成人国产三级| 99热在线免费| 97干在线播放| 人妻啪啪啪| 综合久久五月| 色九月婷婷丁香| 99热亚洲精品| 婷婷丁香五月天中文字幕| 日本大逼91| 秋霞性爱AV| 伊人丁香六月婷婷| 亚洲天堂碰碰婷婷| 天天日夜夜爽| 亚洲性爱干干| 国产永久一黄| 欧美操人| 婷婷性福五月天| 亚洲色色爱| 大香蕉七区| 五月婷色| 色五月六月| 天天操天天日天天爱| 婷婷六月成人| 九九这里都是精品| 99久久五月婷婷| 五月天亚洲最大成人| 91久久色| 激情色五月天| 九九Av| 婷婷九月在线| 色五月婷激情| 婷婷五月激情的图片| 久久99久久久久久久噜噜| 色婷婷视频| 2020日日干| 开心五月婷| 婷婷丁香69精华| 五月天社区婷婷丁香社区| 国产在线aaa片一区二区99| 九九re精品视频在线观看| 婷婷涩五月天综合| 五月天无码| 亚洲综合一区二区| 狠狠色婷婷综合开心影视| 亚洲超碰在线| 婷婷色网站| 天天爽天天| 97色色色视频| 亚洲色婷婷网站| 婷婷六月色| 中文字幕婷婷在线| 国产九月婷婷| 中文字幕一色哟哟哟哟| 久色| 另类天堂| 超碰av在线| 99九九视频精彩在线| 婷婷开心久久| 九九热在线视频,| 777久久综合视频| 五月丁香综合激情| 丁香激情四射| 色婷久九| 夜夜综合色| 色丁香婷婷| 五月丁综合在线观看| 超碰三级秋霞| 那里有AV网址| 丁香五月天信号| 亚洲免费看片| 久热9| 91avse| 人妻综合网| 91碰超| 狠狠色丁香久久婷婷综合五月| 偷拍99在线视频观看| www.wuyuetian啪啪| 国产精品激情AV久久久青桔| 激情婷婷丁香| 国产精品人成A片一区二区| 五月天婷婷在线视频| 夜夜谢天天干| 丁香五月天堂| 99色色网| 深爱五月婷婷| 99精品视频在线观看| 99久久久99久久91熟女| 亚洲激情综合| 狠狠色婷婷7777久| 激情六月综合| 狠狠穞A片一區二區三區| 99久久久久| 五月丁香亭亭| 国产免费性爱| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 51国精产品自偷自偷综合 | 情色婷婷五月天| www.91九色| 99ri在线观看视频| 婷婷色女| 日韩色色小视频| 日日操,日日爽| 激情婷婷另类| 色婷婷狠狠18| 狠狠爱婷婷| 日本老女人黄页在线播放| 五月婷婷干干干| 婷婷一本和五月丁香| 九九热AV| 国产99久久久国产精品免费看| 538在线精品| 五月婷婷啪啪啪啪| 色综合av超碰| 大香蕉婷婷五月天| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月丁香综合在线| 色婷婷综合网| 六月丁香婷婷色综合| 蜜桃五月天色| 色色色色色色色色色色色色色97| 日本久久婷婷| 色婷婷基地| 北条麻妃伊人| 插逼综合网| 天天综合网、天天综合色| 天天爱天天做天天爽| 99re思思热久久| 综合大香蕉| 双性美人被调教到喷水A片| 综合久久综合五月天婷婷| www.99精品视频| 九九视频免费| 99爱免费视频| 欧美99| 国产一级视频a| 大香蕉 伊人夜| 亚洲精品乱码久久久久久按摩观| 五月天另类小说久久小说网| 久久婷丁香五月| 夜夜穞天天穞狠狠穞AV美女按摩| 丁香五月婷婷香| 五月六月播婷婷| 五月婷婷激情综合拍| 激情综合网址| 97超碰免费超级在线观看| 99操久久| 国产日产亚洲系列最新| 五月丁香婷婷婷激情爱爱| 人妻久久久久久久久妻久久久久久久久| 五月丁香六月婷综合成人综合| 日韩超碰在线| 操操操B| 丁香五月影视| 婷婷丁香激情综合色情| 五月天桃色深爱网| 狠狠久久婷| 婷婷色导航| 天天噜噜| 国产又爽又猛又粗的视频A片| 亚洲成人网站在线播放| 激情五月婷婷中文字幕| 996热| 6 9式性爱视频在线播放| 丁香五月天导航| 色婷婷久久综合久色综| 人妻丰满精品一区二区A片| 日本人人干| 伊人午夜综合色啪| 天天爽天天| 超碰九九热| 日本久久爱| 成人午夜视频精品一区| 婷婷久久综合久| 五月天网站亭亭| 99网| 中文字幕不卡+婷婷五月| 99热只有精| 欧美顶级少妇做爰HD| 成人婷99最新| 婷婷五月天网| 九九无毛| 狠狠干狠狠干狠狠干狠狠干| 成人在线日韩欧美| 青青草原爱爱网| 婷婷色五月色妇| 99热官网| 久久丁香五月综合六月激情红杏视频| 色五月亚洲| 国产女18毛片多18精品| 婷婷丁香六月五月天| 99狠狠操一| 五月天婷婷涩涩| 五月综合婷婷久久在线| 日产精品一线二线三线芒果| 婷婷五月天中文字幕.| 伊人久久大香线蕉av最新| 亚洲永远av在线播放| 五月激情网络| 亚洲色情网站| 婷婷色影音天| 米奇影视资源777狠狠色婷婷五月天激情网 | 夜夜操天天爽| 国外亚洲成AV人片在线观看| www.久久五月天.com| www.色婷婷| 激情婷婷| 亚洲色五月| 色欲丁香| 久久久婷| 欧美日韩一a.无| 丁香五月天堂网| 色色五月婷| 97人妻碰碰中文无码久热丝袜| 99热精品99| 欧美99视频| 激情伊人| 五月丁香黄色视频| 亚洲五月天色| 五月丁香影院| 五月天激情网图片 - 百度| 操操碰| 日韩狠狠色婷婷| 免费视频WWW在线观看网站| 99爱免费在线观看| 极品人妻VIDEOSSS人妻| 久久五月天激情视频| ..真实国产乱子伦对白在线_欧| 婷婷 激情 五月| 伊人五月天在线| 99热这里只有精品亚洲| 国产又爽又猛又粗的视频A片| 亚洲色情一区二区三区四区| 狠狠色 综合色区| 久久人妻在线| 综久久久| 99热主页日本| 热99国产精品| 国产肥白大熟妇BBBB视频| 激情丁香五月婷| 婷婷色色亚洲| 五月天激情www| 日本97久久久精品| 国产亚洲在线观看| 五月开心六月婷婷在线播放网站| 色狠狠色噜噜AV天堂五区| 色噜噜狠狠插综合| 六月婷婷色色色| 丁香五月电影| 五月丁香久久久| 丁香九色不卡aaa| 区美毛片子| 色综合婷婷| 日本欧美成人片AAAA| 欧美va欧美va差| 日韩综合久| 色狠狠综合| 激情五月婷婷中文字幕| 免费看片操逼| 丁香婷婷六月天| 色五月xxx| 2050人人操免费工开爱| 婷婷性爱五月天| 丁香花五月天激情| 无码激情AAAAA片-区区| 久久人妻高清中文| 伊人网大香| 国产精品色| 六月丁香综合| 五月婷婷新网站| 91av成人| 久久xxxx| 激情婷婷五月天日本系列 | 最新亚洲色色网| 婷婷丁香五月91| 性一交一乱一交A片久久四色| 停停五月天激情网| 五月激情视频| 9 7总站超级碰免费视频| 91丨九色丨白浆| 99亚洲大片精品永久在线观看 | 深爱激情五月婷婷| 婷婷五月天激情丁香| 九色PORNY自拍成人精彩视频| 国产精品人人做人人爽人人添| 久久综合五月天| 久久黄色网扯| 午夜丁香六月婷| 九九AV| 亚洲无码99| 少妇激情五月婷婷| 九色激情| 精品无码久久久久久久久| 夜夜躁爽日日| Xx色综合| 久久九九玖玖| 中文超碰视在线| 午夜爱爱网站| 久久色这里只有精品| 全亚洲最大的婷婷五月天网站COM| 国产精品美女久久久久AV超清| 日本欧美国产| 亚洲激情网站| 狠狠操之狠狠操| 亚洲av日韩无码| 天天日日| 国产一级片| 9色视频在线| 婷婷色激情五月天| 婷婷激情五月吧| 久久久99婷婷久久久久久| 五月婷婷香蕉| 五月丁香六月成人| 色欲一二三| 五月丁香婷中文| 五月丁色AV| 91丨九色丨熟女丰满| 67久久| 人妻人人操| 国产免费一区二区三州老师F1F1| 热成人网| www激情网| 琪琪理论片| 国产免费AV网站| 色婷婷88| 国产在线自| 99久| 亚洲成人在线在线| 涩涩五月天| 亚州色色色| 超碰亚洲天堂| 国产婷婷综合在线免费视频| 97婷婷丁香五月| 激情综合网,婷婷| 色婷婷手机在线| 99色热视频| 伊人玖玖婷婷| 亚洲123区高清入口| 日本三级第一页| 日韩一级一片内射视频4K| 婷婷五月花| 少妇高潮呻吟A片免费看软件| 婷婷99狠狠躁天天躁| 五月婷婷色影院| 91色色色18| 99九九热视频| 六月天婷婷| 99国产精品久久久久久久久久久| 欧美成人网99网| 小视频一区| 五月涩涩网| 久久99热精品a片在线观看| 六月色五月天天婷婷| 啪啪婷婷五月天激情| 午夜理论片最新午夜理论剧| 人人色性网| 国内婷婷丁香社区在线播放| 婷婷五月在线综合| 婷婷六月丁香在线| 日木狠狠干| 激情五月丁香综合蜜桃| wwW天天干| 亚洲狠狠婷婷综合久久久| 狠狠擼综合| 人妻肉射免费观看| 99热这里只有是亚洲国产| 亚洲色情网站| 五月天综合图片| 夜夜撸日日操| 成人版视频在线观看| 成功精品影院| 色婷婷综合影院| 久久婷狠狠色| 天天色天天日| 无码日本精品XXXXXXXXX| 欧洲色区| www.cao.com久久| 9一精品视频观看| 9999热在线免费观看| 亚洲成人高清在线| 九九99在线免费在线观看视频| 再綫Av免费視品| 99精品视频免费观看,| 丁香六月天之亚州热女| 九九热在线视频| 亚洲综合久| 午夜不卡久久精品无码免费 | 婷婷99狠狠| 苗黎美女四级成人版一级二级毛片| 4438全国最大视频成人网站在线观看| 自拍视频在线观看9| 日韩婷久| 91一起操| 五月丁香亭亭成人电影| 这里只有免费精品| 丁香婷婷色色| www五月| 亚洲午夜国产成人电影VA国产欧…| 2021日韩无码| 极品色丁香| 99亚洲大片精品永久在线观看 | 丁香六月婷月91婷月| www·五月天| 色色色色色色网站| www色五月| 九九婷婷激情综合网| 五月婷婷深深爱| 天天拍夜夜撸| 五月婷色激情五月| 婷婷色婷婷| 色色欧美色色色| 婷婷久久五月天丁香| 99热国内| 色亭亭五月天丁香综合AV - 百度 - 百度 | 婷婷综合网| 欧美十二区| 国产白丝在线一区| 99re这里只有精品首页| 97欧美在线| 五月丁香综合啪啪| 五月丁香综合久久夜夜| 国产亚洲色婷婷久久99精品91| 思思久热6| 综合色99| 精品少妇人妻AV无码专区偷人| 综合一区二区三区| 激情婷婷人妻| 五月丁香亭亭操逼| 爱超碰性| 色婷婷888| 久久视频婷婷视频| 无码字幕中文| 天堂无码人妻精品AV一区| 久操人| 久久欧洲久久| 五月丁香综合激情网| AA片在线观看视频在线播放| 丁香五月大香蕉AV| 啪啪啪五月天| 久久久com| 婷婷丁香六月天| 九月婷婷综合| 五月天婷婷亚洲| 欧美性生交XXXXX无码小说| 天啪色| 在线综合婷婷| 五月丁香无码| 香蕉99网| 亭亭丁香久久五月| 日日操天天操| 日本视频久久| 亚洲网站在线鸭子av| 亚洲色婷婷| 丁香五月天影院| 秋霞学生妹一二级| 五月婷婷啪啪| 91制片厂久久久国产电影| 久久精品爱爱| 丁香五月婷婷啪| 大香人妻| 五月婷色啪| av在线资源| 九九十99视频| 99热精品中文字幕| 黄桃AV无码免费一区二区三区 | 日韩成人AV在线播放| 亚洲无码九九| 成人αV视频免费观看| 五月婷成人| 激情五月天网| 日本大逼91| 婷婷五月色网| 香蕉AV777XXX色综合一区| 久久丁香五月综合六月激情红杏视频| 狠狠综合网| 五月婷婷先锋| 丁香五月天五码婷婷| 午夜色婷婷| 99超级碰碰| 日本欧美成人片AAAA| 97婷婷五月丁香| 日本熟女内射| 97很鲁在线视频| 中文字幕日韩无码制服诱或| 久久综合激情| 婷婷五月天播| 日日夜夜天天综合| 婷婷色网站| 91avse| 中文字幕,综合,91| 四月婷婷五月丁香| 国产女18毛片多18精品| 婷婷涩五月天综合| 亚洲欧美在线观看| 影音先锋激情网| 欧洲第一无人区观看| 久久五月婷综合网| www.婷婷六月天| 千人斩操逼| 疯狂做受XXXX高潮A片动画| 五月丁香婷婷六月天| 极品人妻VIDEOSSS人妻| 五月天六月丁香| 国产激情综合五月久久| Av九九| 热99这就是精品视频| 九九伊人网| 婷婷五月激情中文字幕| 国产精品久久久99视频| 99热精品免费| 天干干夜夜操| 免费91久久精品| 丁香综合网| 色五月大香蕉婷婷| 天天天天操| 色五月婷婷综合在线| 丁香六月激情四射| 五月天激情国产综合婷婷婷就去爱| 欧美丁香婷婷五月| 丁香色啪综合| 97搞在线| 人人草人人爱| 久久伦乱| 色九九综合| 婷婷五月免费在线| 综合网色综合| 激情五月天综合网| 五月开心婷婷极品激情| 三级三久久线久久99久目本WW| 热久久66| 国产亚洲成人综合| 久久性爱视频网站| 欧美综合五月丁香六月婷| 91综合国免费久入| 天天综合久久| 成人免费120分钟啪啪| 婷婷五月天激情网站| 亚洲欧美国产A片免费观看| 91成人品| 激情五月综合免费| 9久操| 91无码高清| 99热这里只有精品国产免费| 亚洲无AV在线中文字幕| 五月丁香婷婷基地| 99碰碰视频| 欧美性生交XXXXX无码小说| 丁香5月婷婷| 99操久久| 超碰在线99| 五月天色社区| 久久9视频欧美| AA片在线观看视频在线播放| 五月天com| xxxx五月激情|