欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Python LDA主題模型實(shí)戰(zhàn):基于gensim的中文文本挖掘全流程

Python LDA主題模型實(shí)戰(zhàn):基于gensim的中文文本挖掘全流程 簡(jiǎn)介一套基于Python的LDA主題模型實(shí)現(xiàn)示例面向自然語言處理初學(xué)者、文本挖掘開發(fā)者及需要快速搭建主題模型原型的算法工程師。LDA假設(shè)每篇文檔由多個(gè)主題混合而成能有效挖掘語料中的隱藏語義結(jié)構(gòu)因此在文本分類、信息檢索和推薦系統(tǒng)等場(chǎng)景中應(yīng)用廣泛。資源以gensim庫為核心完整覆蓋文本預(yù)處理、詞典構(gòu)建、稀疏語料庫生成、LdaModel模型訓(xùn)練、主題詞輸出與日志記錄等步驟并附有可供直接運(yùn)行的訓(xùn)練數(shù)據(jù)。壓縮包共12個(gè)文件以dat數(shù)據(jù)文件為主另含py主腳本、conf配置文件與log日志文件整體大小僅10KB結(jié)構(gòu)輕量、代碼精簡(jiǎn)便于對(duì)照學(xué)習(xí)與二次修改。目前已3933人學(xué)習(xí)下載既可作為L(zhǎng)DA入門學(xué)習(xí)筆記也可作為遷移到自有數(shù)據(jù)集的基礎(chǔ)模板配合困惑度評(píng)估或pyLDAvis可視化可進(jìn)一步掌握主題數(shù)選擇與alpha、beta等超參數(shù)調(diào)優(yōu)思路。1. 基于 python 的 LDA 模型實(shí)現(xiàn)代碼為什么你安裝了 gensim 仍跑不出結(jié)果很多人手機(jī)里存了好幾個(gè)「LDA Python 代碼測(cè)試」的片段可真要拿它去分析自己的中文數(shù)據(jù)跑出來的主題詞卻是一堆「的、了、在、和」。LDALatent Dirichlet Allocation主題模型本身并不難難的是它對(duì)你喂進(jìn)去的語料質(zhì)量極其敏感?;?Python 的 LDA 模型實(shí)現(xiàn)代碼核心就是一條預(yù)處理到訓(xùn)練的鏈路分詞、去停用詞、構(gòu)建詞典、轉(zhuǎn) BoW 語料、調(diào)主題數(shù)、驗(yàn)證主題。這篇文章我把自己在真實(shí)項(xiàng)目里反復(fù)用過的方案寫下來不繞彎子。適合正在做文本挖掘、輿情分析、短文本聚類以及所有急著想用主題模型給文本分堆的同學(xué)。2. 先弄清 LDA 在算什么文檔、主題、詞之間的概率關(guān)系2.1 用生成式模型的視角理解 LDA才知道哪些環(huán)節(jié)容易翻車LDA 假設(shè)每篇文檔由若干主題混合生成先按照文檔自身的主題分布抽出幾個(gè)主題再根據(jù)主題對(duì)應(yīng)的詞分布抽出詞。我們拿到的只是一堆文檔模型要反向推斷出兩個(gè)隱含分布每篇文檔的主題分布doc-topic以及每個(gè)主題的詞分布topic-word。這個(gè)「生成式」假設(shè)帶來一個(gè)直接結(jié)論LDA 并不理解語義它只是把經(jīng)常共現(xiàn)的詞歸為一堆。比如「推薦」「點(diǎn)擊」「轉(zhuǎn)化率」總是一起出現(xiàn)就會(huì)被歸到同一個(gè)主題。所以如果原始文本里有大量標(biāo)點(diǎn)、口語虛詞、專有名詞被拆開的碎片模型看到的就是亂七八糟的共現(xiàn)關(guān)系輸出自然翻車。這也解釋了為什么預(yù)處理比模型本身更影響結(jié)果。實(shí)操中我還發(fā)現(xiàn)很多人把 LDA 當(dāng)成分類器來用期待每一篇文檔必須分到一個(gè)有名字的主題。實(shí)際上 LDA 給的是概率分布一個(gè)文檔可能 0.5 屬于主題 A、0.3 屬于主題 B、0.2 屬于主題 C。拿這個(gè)分布繼續(xù)做聚類、相關(guān)性分析、時(shí)間趨勢(shì)都比直接硬塞一個(gè)主題更有價(jià)值。2.2 輸入輸出先建立體感用 sklearn 跑一個(gè) 20 行的最小代碼在進(jìn)入 gensim 全鏈路之前我建議先用 sklearn 的LatentDirichletAllocation跑一次最小實(shí)現(xiàn)把輸入輸出看明白。這里的輸入不是原始字符串而是文檔-詞頻矩陣。import numpy as np from sklearn.feature_extraction.text import CountVectorizer from sklearn.decomposition import LatentDirichletAllocation documents [ 自然語言處理 主題模型 文本挖掘, 股票 市場(chǎng) 波動(dòng) 政策, 自然語言處理 語言模型 預(yù)訓(xùn)練, ] # 示例已按空格分詞正式項(xiàng)目要用 jieba 等先分詞 vectorizer CountVectorizer(token_patternr\S) X vectorizer.fit_transform(documents) lda LatentDirichletAllocation(n_components3, random_state42, max_iter20) lda.fit(X) feature_names vectorizer.get_feature_names_out() # 如果版本老改用 get_feature_names() for topic_idx, topic_weights in enumerate(lda.components_): top_indices topic_weights.argsort()[-5:][::-1] print(fTopic {topic_idx}: .join(feature_names[i] for i in top_indices))邏輯說明CountVectorizer把每篇文檔轉(zhuǎn)成詞頻矩陣X每一行是一篇文檔每一列是一個(gè)詞lda.components_是主題-詞矩陣主題每行的權(quán)重越大說明該詞和這個(gè)主題越強(qiáng)相關(guān)。參數(shù)說明n_components就是主題數(shù) Kmax_iter是變分迭代輪數(shù)小數(shù)據(jù) 20 輪足夠但主題數(shù)多時(shí)要加大random_state務(wù)必固定否則每次結(jié)果都不一樣。這個(gè)例子中我們直接在字符串上按空格分詞所以token_patternr\S才會(huì)生效換成真實(shí)中文文本時(shí)必須先做好jieba.lcut并把分詞結(jié)果以空格連接。2.3 gensim 和 sklearn 怎么選不是一個(gè)「誰好誰壞」的問題如果只是小規(guī)模探索sklearn 完全夠用甚至代碼更短。但進(jìn)入實(shí)際項(xiàng)目我一般會(huì)用 gensim原因有兩個(gè)一是 gensim 的LdaModel直接吃 list-of-token 和 doc2bow不需要先把整個(gè)語料矩陣放進(jìn)內(nèi)存二是 gensim 有配套的CoherenceModel、Dictionary、增量訓(xùn)練接口后續(xù)批量調(diào)參和上線部署都方便。維度gensim.LdaModelsklearn.LatentDirichletAllocation輸入文檔列表分詞后 doc2bow 語料文檔-詞頻矩陣大數(shù)據(jù)集可流式處理、可增量訓(xùn)練需要矩陣全部載入內(nèi)存中文預(yù)處理自帶 Dictionary 易操作依賴 CountVectorizer 流程主題一致性評(píng)估原生 CoherenceModel需額外封裝可視化配 pyLDAvis 很順也可但繞路注意這不是說 gensim 一定比 sklearn 先進(jìn)。sklearn 的實(shí)現(xiàn)在小、中數(shù)據(jù)集上非常穩(wěn)代碼零學(xué)習(xí)成本。我見過不少項(xiàng)目就用 sklearn 做了一遍草稿等確認(rèn)真能做下去再遷移到 gensim。如果你只想在 Jupyter Notebook 里快速驗(yàn)證一個(gè) LDA 代碼測(cè)試sklearn 是最快的入口如果你要交付一個(gè)能反復(fù)訓(xùn)練、輸出報(bào)告的服務(wù)直接上 gensim。3. 用 gensim 在中文語料上跑通 LDA分詞、詞典、BoW 與訓(xùn)練一條鏈路3.1 環(huán)境準(zhǔn)備虛擬環(huán)境、jieba、gensim、pyLDAvis 一次性裝好寫這套代碼前先把環(huán)境固定住。我們需要的庫是jieba、gensim、pyLDAvis、matplotlib。在命令行或 VSCode 的 Python 終端里執(zhí)行python -m venv .venv source .venv/bin/activate # Windows 下是 .venv\Scripts\activate pip install jieba gensim pyldavis matplotlib numpy注意pyLDAvis在不同版本對(duì)應(yīng)的 gensim API 路徑不一樣。gensim 4.x 之后要使用pyLDAvis.gensim_models而老教程里的pyLDAvis.gensim在新版本已經(jīng)移除。裝好后可以先用python -c import pyLDAvis.gensim_models驗(yàn)證。如果你還卡在gensim 3.x也不要硬升兩者選一個(gè)環(huán)境即可。3.2 中文文本預(yù)處理停用詞表與 jieba 分詞函數(shù)這一步是整個(gè)鏈路中最依賴經(jīng)驗(yàn)的部分。下面是我在項(xiàng)目里經(jīng)常用的清洗函數(shù)保留中文、英文字母、數(shù)字去掉標(biāo)點(diǎn)然后jieba.lcut分詞再過濾停用詞和單字詞。import jieba import re STOPWORDS set(的 了 在 是 我 有 和 就 不 人 都 一 一個(gè) 上 也 很 到 說 要 去 你 會(huì) 著 沒有 看 好 自己 這.split()) def clean_text(text: str) - list[str]: # 去掉除了中文、英文、數(shù)字之外的標(biāo)點(diǎn)符號(hào) text re.sub(r[^\u4e00-\u9fffA-Za-z0-9], , text) # 使用精確模式分詞過濾空串、停用詞、單字詞 words [w for w in jieba.lcut(text) if w.strip() and w not in STOPWORDS and len(w) 1] return words raw_docs [ 自然語言處理是人工智能的一個(gè)方向主題模型常用來做文本聚類。, 股票市場(chǎng)波動(dòng)受到宏觀經(jīng)濟(jì)政策影響這也是投資者關(guān)注的話題。, 預(yù)訓(xùn)練語言模型在自然語言處理中取得了重要進(jìn)展。, ] docs [clean_text(doc) for doc in raw_docs] print(docs)邏輯說明re.sub第一步把頓號(hào)、句號(hào)、引號(hào)等全部清掉len(w) 1是為了過濾單字詞在多數(shù)中文場(chǎng)景下能顯著降低噪音但如果你的文本里有一些單字本身就很重要比如領(lǐng)域術(shù)語是「鉀」「鈉」建議改成詞性過濾或保留單字白名單。參數(shù)說明STOPWORDS這里的集合只是演示。真實(shí)項(xiàng)目我一般準(zhǔn)備一份幾百行的停用詞表包含語氣詞、副詞、高頻動(dòng)詞與泛化名詞。停用詞表不能照抄通用表必須結(jié)合領(lǐng)域數(shù)據(jù)增補(bǔ)。比如做金融文本「風(fēng)險(xiǎn)」「市場(chǎng)」可能也應(yīng)該進(jìn)停用詞因?yàn)檫@些詞幾乎每篇都有對(duì)區(qū)分主題沒有幫助。3.3 構(gòu)造詞典與 BoW 語料理解 Dictionary 和 doc2bow有了分詞結(jié)果下一步就交給 gensim。Dictionary負(fù)責(zé)統(tǒng)計(jì)詞頻并分配整數(shù) IDdoc2bow把每篇文檔轉(zhuǎn)成 (詞ID, 詞頻) 的稀疏向量。from gensim.corpora import Dictionary dictionary Dictionary(docs) # 過濾只在極少數(shù)文檔出現(xiàn)的詞以及出現(xiàn)在過多文檔里的詞 dictionary.filter_extremes(no_below3, no_above0.6) # 再過濾掉整個(gè)語料中最頻繁的 5 個(gè)詞通常是泛化詞 dictionary.filter_n_most_frequent(5) corpus [dictionary.doc2bow(doc) for doc in docs] print(詞典大小:, len(dictionary)) print(第一篇文章的 BoW:, corpus[0])邏輯說明no_below3表示某個(gè)詞至少要在 3 篇文檔中出現(xiàn)才會(huì)被保留no_above0.6表示某個(gè)詞如果出現(xiàn)在超過 60% 的文檔中就會(huì)被視為泛化詞剔除。filter_n_most_frequent(5)是進(jìn)一步把最常見的 5 個(gè)詞踢掉適合對(duì)高頻泛化詞做兜底。參數(shù)說明這兩個(gè)過濾參數(shù)要根據(jù)語料規(guī)模調(diào)整。小樣本幾百篇時(shí)no_below設(shè)成 2 或 3大樣本十萬篇以上可以放到 10no_above一般在 0.4–0.7 之間。判斷標(biāo)準(zhǔn)很簡(jiǎn)單跑完模型先看主題詞列表如果前幾個(gè)詞還是「問題」「方法」這類全局高頻詞就把filter_n_most_frequent的參數(shù)加大。3.4 訓(xùn)練第一個(gè) gensim LDA關(guān)鍵參數(shù)就這幾個(gè)現(xiàn)在語料已經(jīng)成型訓(xùn)練代碼其實(shí)非常短。LdaModel是 gensim 對(duì) LDA 的完整實(shí)現(xiàn)支持變分推斷下面是最小可用的調(diào)用方式from gensim.models import LdaModel lda LdaModel( corpuscorpus, id2worddictionary, num_topics5, passes15, iterations200, alphaauto, etaauto, random_state42, ) for topic_id in range(lda.num_topics): words lda.show_topic(topic_id, topn10) # 返回 [(word, weight), ...] print(f主題 {topic_id}:, .join(w for w, _ in words))邏輯說明corpus是上一步生成的稀疏語料id2word負(fù)責(zé)把詞 ID 映射回中文詞匯。show_topic返回按權(quán)重排序的詞列表權(quán)重越高代表與該主題相關(guān)度越高。參數(shù)說明num_topics是主題數(shù)一般從 5 開始試后面會(huì)專門講定多少。passes是模型掃描整個(gè)語料的次數(shù)相當(dāng)于訓(xùn)練輪數(shù)。數(shù)據(jù)量越小越要加大通常 15–50。iterations是每次對(duì)單個(gè)文檔做變分推斷的迭代輪數(shù)默認(rèn) 50主題數(shù)較多時(shí)建議 200。alpha控制文檔-主題分布的稀疏程度。設(shè)為auto會(huì)讓模型自己學(xué)但如果主題很分散可以手動(dòng)改成alphasymmetric或alpha0.1。eta同理控制主題-詞分布的稀疏性。etaauto適用于大多數(shù)場(chǎng)景。random_state固定隨機(jī)種子這是復(fù)現(xiàn)結(jié)果最重要的一個(gè)參數(shù)。3.5 模型訓(xùn)練前先檢查語料稀疏度別急著跑主題模型是個(gè)「垃圾進(jìn)垃圾出」的過程。我在第一次跑LdaModel之前一定會(huì)先檢查corpus的平均長(zhǎng)度也就是平均每篇文檔包含多少個(gè)詞項(xiàng)。import statistics doc_lengths [len(doc) for doc in corpus] print(文檔總數(shù):, len(corpus)) print(平均詞項(xiàng)數(shù):, statistics.mean(doc_lengths)) print(最短文檔詞項(xiàng)數(shù):, min(doc_lengths)) if statistics.mean(doc_lengths) 5: print(警告語料過于稀疏LDA 結(jié)果基本不可靠)邏輯說明如果平均每篇文檔只有一兩個(gè)詞項(xiàng)LDA 幾乎沒有足夠證據(jù)估計(jì)主題分布得到的結(jié)果多半是同一主題反復(fù)出現(xiàn)。出現(xiàn)這種情況要么把短文本按用戶、時(shí)間窗口等維度拼接起來要么降低主題數(shù)千萬不要直接用這個(gè)語料繼續(xù)調(diào)參。4. 主題數(shù)到底定幾個(gè)用困惑度、一致性分?jǐn)?shù)和 pyLDAvis 三重驗(yàn)證4.1 困惑度只能做參考選最小值的常見誤區(qū)很多人選num_topics時(shí)只看困惑度其實(shí)這是個(gè)常見誤區(qū)。model.log_perplexity(corpus)可以用來衡量模型對(duì)語料的困惑程度數(shù)值越低通常說明模型對(duì)語料的擬合越好。但它在 LDA 上有一個(gè)明顯問題隨著 K 增大困惑度會(huì)持續(xù)下降直到模型開始記憶訓(xùn)練數(shù)據(jù)細(xì)節(jié)這時(shí)困惑度低并不代表主題有實(shí)際意義。更麻煩的是困惑度對(duì)數(shù)據(jù)劃分非常敏感換一份測(cè)試集結(jié)果波動(dòng)可能很大。我的做法是把它當(dāng)成一個(gè)「別太離譜」的參考而不是唯一標(biāo)準(zhǔn)。真正決定 K 的我會(huì)看主題一致性分?jǐn)?shù)和人工可解釋性。4.2 用 CoherenceModel 計(jì)算一致性分?jǐn)?shù)主題一致性coherence是目前實(shí)踐中最常用的主題質(zhì)量指標(biāo)核心思想是看一個(gè)主題里權(quán)重最高的幾個(gè)詞在語料里是否經(jīng)常共同出現(xiàn)。gensim 提供了一個(gè)統(tǒng)一的CoherenceModelfrom gensim.models.coherencemodel import CoherenceModel cm CoherenceModel( modellda, textsdocs, # docs 是分詞后的二維列表 dictionarydictionary, coherencec_v, ) score cm.get_coherence() print(fC_V 一致性分?jǐn)?shù): {score:.4f})邏輯說明c_v類型是基于滑動(dòng)窗口的詞共現(xiàn)統(tǒng)計(jì)結(jié)果通常落在 0 到 1 之間越接近 1 表示主題詞聚合度越高。texts必須傳原始分詞結(jié)果因?yàn)閏_v需要詞與詞的共現(xiàn)上下文來算。參數(shù)說明gensim 還支持u_mass它用的是文檔頻率統(tǒng)計(jì)分?jǐn)?shù)通常在負(fù)值到 0 之間越高越好。不要跨 coherence 類型比較分?jǐn)?shù)不同類型不可比。u_mass計(jì)算更快適合語料很大時(shí)做粗篩c_v更符合人對(duì)主題質(zhì)量的感知但耗時(shí)更長(zhǎng)。4.3 批量遍歷 K畫出一條雙向曲線再?zèng)Q定確定 K 的最快辦法是從 2 一直跑到 20同時(shí)記錄一致性分?jǐn)?shù)和困惑度畫成一張雙軸圖找出拐點(diǎn)。下面的代碼是一個(gè)常用腳本import matplotlib.pyplot as plt from gensim.models import LdaModel from gensim.models.coherencemodel import CoherenceModel k_range range(2, 20, 2) coh_scores [] perp_scores [] for k in k_range: m LdaModel( corpuscorpus, id2worddictionary, num_topicsk, passes10, iterations200, alphaauto, etaauto, random_state42, ) cm CoherenceModel(modelm, textsdocs, dictionarydictionary, coherencec_v) coh_scores.append(cm.get_coherence()) perp_scores.append(m.log_perplexity(corpus)) print(fK{k}: coherence{coh_scores[-1]:.4f}, log_perplexity{perp_scores[-1]:.4f}) fig, ax1 plt.subplots() ax1.plot(list(k_range), coh_scores, o-, labelc_v coherence) ax1.set_xlabel(num_topics) ax1.set_ylabel(coherence score) ax2 ax1.twinx() ax2.plot(list(k_range), perp_scores, s--, colortab:red, labellog_perplexity) ax2.set_ylabel(log perplexity) plt.show()邏輯說明這段腳本會(huì)為每個(gè)候選 K 訓(xùn)練一個(gè)新模型然后計(jì)算該 K 的分?jǐn)?shù)。注意兩個(gè)指標(biāo)方向相反一致性越高越好困惑度越低越好候選 K 的最佳區(qū)域通常是一致性先上升、到達(dá)一個(gè)平臺(tái)或回落的地方而不是一致性最高的那一端。如果 K18 時(shí)一致性達(dá)到最高但 K10 后基本不再增長(zhǎng)我一般會(huì)選 10 或 12因?yàn)楦俚闹黝}更容易解釋。參數(shù)說明遍歷時(shí)passes可以調(diào)小一點(diǎn)先把穩(wěn)定的區(qū)間摸出來找到區(qū)間后再對(duì)這個(gè)區(qū)間內(nèi)的相鄰 K 用小步長(zhǎng)跑一次每次passes30左右精細(xì)確認(rèn)。數(shù)據(jù)量大的時(shí)候同時(shí)訓(xùn)練多個(gè) LDA 會(huì)持續(xù)占用多核 CPU建議中間加一個(gè)time.sleep或限制 workers避免 OOM。4.4 用 pyLDAvis 做人工復(fù)查氣泡重疊嚴(yán)重就說明 K 不合適機(jī)器評(píng)分只是第一步我會(huì)再用pyLDAvis打開可視化用眼睛判斷主題之間是否分得開。這是最有說服力的「人工驗(yàn)證」。import pyLDAvis.gensim_models as gensimvis import pyLDAvis vis_data gensimvis.prepare(lda, corpus, dictionary) pyLDAvis.save_html(vis_data, lda_vis.html) # 在 Notebook 里可以直接 pyLDAvis.display(vis_data)邏輯說明gensimvis.prepare需要傳入訓(xùn)練好的 LDA 模型、BoW 語料和詞典。save_html會(huì)生成一個(gè)獨(dú)立 HTML 文件瀏覽器打開后左邊是主題氣泡圖右邊是每個(gè)主題的關(guān)鍵詞分布。查看方式左邊每個(gè)氣泡代表一個(gè)主題面積越大表示該主題在語料中覆蓋的文檔比例越大。如果氣泡之間大面積重疊說明這個(gè) K 下主題區(qū)分度不夠如果某個(gè)小氣泡被擠到角落且關(guān)鍵詞全無意義說明該主題可能只是噪音應(yīng)該把 K 減小。另外拖到某一主題時(shí)右邊會(huì)顯示該主題的 Top 詞可以快速判斷主題是否「可命名」比如新聞數(shù)據(jù)集如果出現(xiàn)「張、王、先生」這類人名詞大概率還要做進(jìn)一步清洗。5. LDA 實(shí)現(xiàn)避坑指南中文語料里最常踩的 5 個(gè)坑5.1 坑一主題詞全變成「的、了、在、和」怎么處理現(xiàn)象訓(xùn)練完成后show_topic打印出來的主題詞前幾名都是「的、了、在、是、和」關(guān)鍵業(yè)務(wù)詞反而排在后面。原因停用詞表沒有覆蓋這些高頻虛詞或者filter_extremes中的no_above設(shè)置過高導(dǎo)致虛詞沒有被過濾掉還有一種是分詞時(shí)把單個(gè)字切開產(chǎn)生大量無意義單元。解決重新組織預(yù)處理流程清洗函數(shù)加上完整的停用詞表并且對(duì)語料使用filter_extremes(no_below3, no_above0.5)然后filter_n_most_frequent(10)把全局高頻詞再砍掉一層。順帶用jieba.load_userdict()把領(lǐng)域?qū)S忻~固定住否則「自然語言處理」可能被切成「自然語言」和「處理」主題詞可解釋性會(huì)差很多。jieba.load_userdict(domain_dict.txt) # 每行一個(gè)詞 dictionary.filter_extremes(no_below3, no_above0.5) dictionary.filter_n_most_frequent(10)5.2 坑二同一份數(shù)據(jù)跑出來完全不一樣怎么保證可復(fù)現(xiàn)現(xiàn)象在同一臺(tái)機(jī)器上跑兩次 LDA兩次主題詞完全不同甚至主題數(shù)量看似相同但內(nèi)部詞完全對(duì)不上。原因LDA 初始化時(shí)帶有隨機(jī)性passes太小導(dǎo)致模型沒有收斂多個(gè) worker 同時(shí)訓(xùn)練時(shí)隨機(jī)種子管理不當(dāng)。解決固定random_state42同時(shí)把passes至少提到 15 以上如果機(jī)器有多個(gè)核workers參數(shù)即使設(shè)置也要確保每個(gè) worker 使用獨(dú)立種子。調(diào)試階段建議先單進(jìn)程跑確認(rèn)主題穩(wěn)定后再開多進(jìn)程??梢园延?xùn)練好的模型用lda.save(lda.model)持久化業(yè)務(wù)側(cè)加載同一個(gè)模型做推理避免線上和線下不一致。lda.save(lda.model) # 以后加載 from gensim.models import LdaModel lda LdaModel.load(lda.model)注意固定random_state不是 100% 保證完全復(fù)現(xiàn)因?yàn)榈讓?BLAS 或多線程浮點(diǎn)累加可能會(huì)有極小差異但主題級(jí)結(jié)果應(yīng)該基本一致。如果連主題都大幅漂移優(yōu)先懷疑語料量太小或passes太小。5.3 坑三訓(xùn)練時(shí)報(bào)「corpus is empty」或 doc2bow 返回空列表現(xiàn)象LdaModel.fit或corpus構(gòu)建后長(zhǎng)度為 0訓(xùn)練直接報(bào)錯(cuò)打印corpus[i]發(fā)現(xiàn)是空列表。原因很多數(shù)據(jù)在分詞和過濾后變成了空串尤其短文本filter_extremes參數(shù)把詞刪得太狠導(dǎo)致部分文檔一個(gè)詞都不剩。解決在構(gòu)造corpus前過濾掉空列表同時(shí)做一次語料長(zhǎng)度檢查調(diào)寬no_below和no_above不讓過濾變成清洗過度。下面是我常用的保護(hù)代碼tokenized_docs [clean_text(doc) for doc in raw_docs if clean_text(doc)] if not tokenized_docs or len(tokenized_docs) 0: raise ValueError(所有文檔都為空請(qǐng)檢查預(yù)處理) corpus [dictionary.doc2bow(doc) for doc in tokenized_docs if doc] corpus [doc for doc in corpus if len(doc) 0]注意clean_text(doc)被調(diào)用了兩次效率不高正式項(xiàng)目可以先用列表推導(dǎo)式產(chǎn)出 token再統(tǒng)一過濾。關(guān)鍵原則LDA 寧可少一些無法識(shí)別的文檔也不能讓空文檔進(jìn)入模型影響主題分布。5.4 坑四pyLDAvis 導(dǎo)入路徑報(bào)錯(cuò)和 KeyError現(xiàn)象import pyLDAvis.gensim報(bào)錯(cuò)ModuleNotFoundError或者在prepare時(shí)出現(xiàn)KeyError: topic_term_dists。原因gensim 4.x 之后pyLDAvis的兼容接口改為pyLDAvis.gensim_models而KeyError通常是因?yàn)閜yLDAvis與新版gensim版本不匹配或者傳入的dictionary包含了被filter_extremes刪除后的空洞 ID舊版接口無法處理。解決檢查版本并固定。推薦在虛擬環(huán)境里安裝最新版pyLDAvis然后統(tǒng)一用下面的路徑import pyLDAvis.gensim_models as gensimvis import pyLDAvis如果還在報(bào)KeyError試試重新用dictionary構(gòu)建一次 corpus確認(rèn)dictionary.token2id的 ID 連續(xù)。gensim 4.x 中Dictionary會(huì)保留一些內(nèi)部不連續(xù) ID但這通常不影響訓(xùn)練如果可視化報(bào)錯(cuò)可以對(duì) dictionary 做一次dictionary.compact()新版可能沒有或者干脆重建一個(gè)新的 Dictionary。5.5 坑五主題數(shù)量設(shè)置 30 個(gè)結(jié)果 20 個(gè)長(zhǎng)得差不多現(xiàn)象跑出來的主題里第一和最后一個(gè)主題的 Top 10 關(guān)鍵詞有 7 個(gè)重復(fù)pyLDAvis 中氣泡大面積重疊。原因語料規(guī)模不足以支撐這么多主題短文本場(chǎng)景下主題數(shù)過多會(huì)讓模型強(qiáng)行切分同一個(gè)主題或者文本沒有清洗干凈某些主題共享一堆泛化詞。解決先不要看 K30把 K 放到 5、8、12 各跑一遍比較一致性分?jǐn)?shù)同時(shí)檢查平均每篇文檔的詞項(xiàng)數(shù)。如果平均詞項(xiàng)數(shù)少于 10LDA 本身就不適合復(fù)雜主題結(jié)構(gòu)可以考慮把同一賬號(hào)、同一時(shí)間窗口的文本拼起來。另一個(gè)有效技巧是把a(bǔ)lpha從auto調(diào)成alphasymmetric或alpha0.1主題會(huì)更集中減少互相重復(fù)。6. 把 LDA 封裝成復(fù)用函數(shù)批量調(diào)參、主題歸檔與穩(wěn)定性驗(yàn)證6.1 封裝 train_lda把參數(shù)、模型、主題詞一次歸檔import json import os from gensim.corpora import Dictionary from gensim.models import LdaModel def train_lda(tokenized_docs, num_topics, passes15, random_state42, output_dirlda_out): os.makedirs(output_dir, exist_okTrue) dictionary Dictionary(tokenized_docs) dictionary.filter_extremes(no_below3, no_above0.6) corpus [dictionary.doc2bow(doc) for doc in tokenized_docs if doc] lda LdaModel( corpuscorpus, id2worddictionary, num_topicsnum_topics, passespasses, alphaauto, etaauto, random_staterandom_state, ) topics {} for tid in range(lda.num_topics): topics[ftopic_{tid}] [w for w, _ in lda.show_topic(tid, topn10)] with open(os.path.join(output_dir, topics.json), w, encodingutf-8) as f: json.dump(topics, f, ensure_asciiFalse, indent2) lda.save(os.path.join(output_dir, lda.model)) return lda, dictionary, corpus, topics說明output_dir下會(huì)生成topics.json和lda.model。主題詞用 UTF-8 寫入避免 Windows 下打開亂碼。num_topics和passes是我最常用的兩個(gè)開關(guān)所以單獨(dú)暴露出來。6.2 穩(wěn)定性驗(yàn)證換隨機(jī)種子看主題是否還在拿到函數(shù)后我習(xí)慣用seeds [42, 2024, 7]對(duì)同一個(gè)num_topics各跑一次比較主題 Top 10 詞的 Jaccard 重疊率。由于主題 id 是隨機(jī)的先做最佳匹配再算平均值。如果平均重疊率低于 0.3我會(huì)直接減小 K 或回到預(yù)處理補(bǔ)語料。我的經(jīng)驗(yàn)是LDA 的“玄學(xué)”部分絕大多數(shù)可以靠固定預(yù)處理和隨機(jī)種子解決真正決定上限的永遠(yuǎn)是語料夠不夠干凈、主題數(shù)選得對(duì)不對(duì)。希望這套從 Python 環(huán)境配置到穩(wěn)定性驗(yàn)證的流程能幫你在自己的 LDA 實(shí)現(xiàn)代碼上少走幾趟彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月激情基地| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 丁香五月六月综合激情| 婷婷五月天免费| 大香伊人婷婷影院| 森林影视大全,最好看的2019年视频 | 97在线碰| 五月天丁香欧美激情| 99自拍视频网站| 亚洲瑟瑟精品在线| 26uuu日韩| 少妇人妻凹凸视频| 啪啪综合网| 九九99精品视品| 亚洲色激情| 一级性感黄色内射视频| 只有精品在线观看| 亚洲综合视频网| 超级碰 久久9| 99丁香五月| 九九热九九| 丁香五月婷婷色情综合| 怡红院视频| www久久99com| 91久久| 色综合色色色色| 亚洲AV成人无码精品| 九九99久久| 五月丁香久久| 色综合色色色色色| 青青.com| 996精品热视频| 久久99视频| 婷婷激情综合| 99色色色色| 婷婷五月丁香基地在线视频官网| 狠狠色噜噜狠狠狠狠狠色综合久久| 99在线观看精品视频| 久9无码视频| 亚州操人在线视频| 国语对白性爱视频播放| 激情网战码亚洲A| 国产成人网址| 99ri视频| 久久99热这里只有精品首| 玖玖国产视频一区| 色婷婷av在线| 91丨九色丨大屁股| 婷婷和五月天| 成人必爱视| www色婷婷久久综合久色 | 天天操天天插| 91久久久久久| 大香蕉九九| 九九激情综合| 天天干夜夜想| 久草热在线视频| 六月婷婷色综合| 九九亚洲视频| 精国产品一区二区三区A片| 色99在线| 女婷久久| www.婷婷久久五月天| 天天插天天爽| txt五月激情四射网综合俺也来了| 国产精品色色| 国产看真人毛片爱做A片| 色伊人婷婷| AV大香蕉| 精品一二三区久久AAA片| 欧美顶级少妇做爰HD| 超碰婷婷色| 日韩AV在线免费| 日韩精品超碰在线观看| 五月丁香影院| 色婷婷成人在线| 久久人妻情侣| 激情国产五月| 激情av在线| 色优久久| 天堂久久婷婷| 美女黄频aⅴ视频| 99热99艹在线观看| 99热综合网| 久久久久久五月天| 五月激情婷婷图片基地| 久久99jiu9| 久久九九色| 狠狠色狠狠鲁| 久久成人天| 99在线观看视频蜜臀| 热久久视频99| 婷婷五月丁香青青草在线| A片一曲| 午夜婷婷久久 | 激情性爱五月| 热久久国产视频| 激情综合激情综合| 亚洲天堂婷婷丁香| 五月婷色色| 日本欧美成人片AAAA| 欧美日本免费一道免费视频 | pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 色欲AVV| 热久69| 草操网| 丁香五月天综合| 五月丁香激情综合网| 玖玖婷婷色欲| 丁香六月综合激情| 婷婷.com| 狠狠精品干练久久久无码中文字幕| 一区操| 欧美99热| 久久综合激情婷婷激情| 丁香婷婷色五月| 青青艹b| 99'无码| 丁香六月久| 99久久9| 婷婷五月天丁香激情| 五月色婷婷AV| 大香蕉人妻| 97久人人| www天天爽| 亚洲国产精品VA在线看黑人| 亚洲性爱干干| 五月色网| 色五月大香蕉婷婷| 久久婷婷五月综合伊人| 亚洲亚洲人成综合网络| 五月天三级久久| 可以直接看的av| 爱iii做iiii日日| 啪啪啪五月天| 999热这里只有美国精品| 久草五月天电影网| 五月丁香六月婷| 五月天综合久久| 九九热99免费视频| 色婷婷最新域名| www开心激情网| 黄色视频网站在线播放| 甈你aaaaa| 久热大香蕉| 日韩欧美一区二区三区四区| 99热最新网址| 高清 码 免费看片短视频| 思思99re这里只有| 久久综合九色综合97婷婷| 97精品在线| 久久久久久久97| 丁香婷婷五月份| 久久精品永久免费| 久久综合影院| 九九久久网| 18av天堂| 亚洲精品V天堂中文字幕| 99久久综合网| 影院久久久| 在线观看av网站| 91se在线视频| 青草视频在线观看视频| 久久人妻高清中文| 超碰无码318604| 婷色五月| 国产精品久久久99视频| 国外亚洲成AV人片在线观看| 俺去啦综合网| 成人综合AV| 六月丁香久久| 婷婷五月情天| 另类图片色五月| 五月天开心网| 十月丁香九月婷婷综合| 1024手机在线观看看片_日韩精品| 99九无网码| 久久色五月天| www.久久爱| 五月婷婷开心六月激情小说| 九月av在线| 亚洲色啪| 婷婷五月婷婷五月天| 狠狠综合网| 天天影院色| WWW五月婷婷| 97婷婷色| 久久精品视频99| 婷婷五月天手机版视频| 超碰人人99| 色色a| 婷婷五月av| 热99国产精品| 99资源人人| 天天日夜夜拍| 婷丁香五月天| 激情五月,激情综合网| 五月六月播婷婷| av免费在线观看0| 久色资源| 丁香婷婷色色| 久久一二三视频| 色色操| 亚州色综合| 99精品热| 激情5月婷婷| 亚洲激情综合网| 蜜桃人妻无码AV天堂三区| 久久久久久久久久人妻| 婷婷五月丁香五月| 99免费青青蜜臀| 日本99视频| se影音资源在线观看| 激情开心五月婷婷| 99久久精品色老| 日韩三级高清无码| 国产精产国品一二三在观看| 久99在线视频| 天天天干夜夜夜操| 开心五月婷婷99| 五月丁香亭亭| 99热日韩| 超碰精品在线| 情色五月天网站| 天天日日夜夜| 天天肏天天插| www99热| 九月婷婷激情| 99啪在线视频| 1024在线观看免费视频| 国产毛片精品一区二区色欲黄A片| 九九色图| www久久久| 亚洲午夜av| www.色9| 五月丁香婷婷深深爱| 丁香五月婷婷六月| 婷婷五月天久久久| 婷婷五月色情| 97电影99热| 中文字幕婷婷在线| 丁香婷婷浪潮AV久久综合| 99热精品无码| 久久东京热婷婷五月| 欧美成人网婷婷综合在线| 九九精品在线视频观看| 超碰成人电影| 久久婷婷五月综合精品蜜芽| 婷婷五月天AV在线| 五月天婷婷免费| 99久久www| 色五月天丁香婷婷| 97人人操人人爽| 日本久久婷| 久久香蕉福利| 婷婷色色五月| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 久久性爱视频| 99玖玖免费视频| 欧美啪啪9| 九九激情| 婷婷伊人综合中文字幕| 久久国产色| 久久久婷婷| 97色五月丁香婷婷| 91xxxx九色| 综合色情网| 激情五月婷婷欧美极品 | 丁香六月婷婷开心| www.av骚货| 亚洲成人中心| 免费无码毛片一区二区A片 | 精品人妻一区二区三区在| 亚州成人综合在线| 色五月成人| 五月www| 97色色在线视频| 99热热这里只精品996小说| 成人片在线播放| 丰满老熟妇BBBBB搡BBB| 玖玖激情网| 五月丁香美女视频| site:publishdd.com| 色综合久久五月天| 国产精品久久久久9999小说| 伊人九九九久| 小色小蛇伊人婷婷色香五月| 久久99热只有精品| 婷婷视频在线| 五月玖玖| 久草婷婷在线| 激情五月综合网| 婷婷激情视频欧美视频自拍视频欧美剧 | 激情久久久| 尤物一区二区| 黄网在线播放| 99riav 亚洲| 狠狠插.com| 久久加勤综合| 丁香花操逼| Av在线资源| 五月婷婷之综合激情在线| 97人妻人人| 久久九⑨| 99开心五月五月丁香激情| 99re久热只有精品6在线直播| 色婷婷在线视频久| 色狠狠色狠狠| 六月婷婷色色色| 99久在线精品| 99热这里有精品| 狠狠婷婷综合| 9999热在线免费观看| 一逼色综合| 五月婷婷内射网| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 色五月丁香五| 丁香婷婷综合影院| 伊久久婷婷| 婷婷六月丁香在线| 狠狠干五月丁香综合网| 丁香婷婷色色| 婷婷九月| j五月香在线| AV片在线观看| 色情综合| 色五月视频无码播放| 无月播播激情在线观看视频| 久久婷婷内射| A片试看50分钟做受视频| www。五月,com| 99草视频在线观看| 久久99热这里| 亚洲国产99| 涩五月婷婷| 九九成人电影婷婷| 婷婷综合九月| 噜综合| 青青草视频福利| 天天操天天操天天操天天操天天操| 国产激情综合| 美女被肏网站在线看| 丁香色六月婷婷| 五月婷婷六月爱| 五月婷婷综合在线视频小说| 99免费视频| 色yeye欧美| 久9热视频在线观看| 无码网| 99热这里只| 五月叮香啪| 欧美A片在线视频免费观看| av色婷婷| 午夜电影网VA内射| 79精品视频在线观看,| 激情涩播| 丁香五月天信号| 五月天最新网| 99久久国产宗和精品1上映| 色婷婷精品视频| 热无码A∨| 天天插天天射| 北条麻妃九九九国产精品视频| 五月天社区婷婷丁香社区| 丁香六月av| 婷婷色五月丁香六月欧美啪| 国产精品VIDEOSSEX久久发布| 久七香蕉| 99精品在线下载| 欧美婷婷日本| www.久操| 久久五月天黄色五月天色网址| 色婷六月| 狠狠色婷婷丁香五月| 婷婷五月成人有| 婷婷色操| 天色色综合网| 五月丁香婷色| 色五月天电影| 99久久精品色老| 日逼免费视频 | 日日夜夜天天综合| 婷婷五月色播天| 五月婷婷性爱| 婷婷色啪| 丁香六月色| 丁香花五月天| 激情色播| 99婷婷| 五月婷婷综合在线| 五月婷婷婷色| 婷婷基地五月色| 五月丁香婷婷中文| 久久五月婷婷视频| www夜夜操com| 91久女| 日日色五月天| 色五月天丁香| 亚洲综合无码| 五月丁香啪啪啪| 色五月激情问网站| 久久欧洲综合网| 久久er99热精品一区二区| 亚洲中文字幕AV| 这里有精品| 曰本久久女| 五月婷人妻| 九九热免费视频| 婷婷伊人久久| 久99久在线| 91色干| 婷婷伊人久久综合| 色亭亭影园| 丁香八月综合激情| 99精品在线观看| 思思99热这里只有精品| 成人午夜天| 97自拍99| 成人短视频在线免费观看| 日韩三级视频一区二区| 色色色色色网站| 五月精品99综合| 欧美色色色| 国产午夜精品一区二区三区四区| 色播五月丁香婷婷| 91 九色大美女| 99视频色在线观看| 丁香六月婷婷| 色五月丁香激情视频| 国产亚洲成AV人片在线观黄桃| 精品色情一区二区三区四区| 熟妇人妻中文字幕无码老熟妇 | 亚洲色色图片| 婷色五月天| 99热免费精品| 九九色逼| 五月丁香六月婷| 热九九精品| www.97干视频| 婷婷丁香亚洲色综合91| 五月丁香激情四射| 色婷婷久久综合| 91AV婷婷| 婷婷成人视频| 六月丁香五月激情网| 少妇出轨做爰高潮A片| 婷婷丁香六月激情综合| 九色在线五月婷婷网址| 婷婷五月天在线一区| 色五月中文网| 九九人人精品| www.激情com| 79精品视频| 久久五月婷天天干| 欧洲激情精品婷婷| 超碰9| 人妻操逼视频| 人人干天天操五月丁香| 国模狼狼| 五月激情网站| 99热久只有精品首页| 欧亚成人A片一区二区| 青青草六月丁香| 欧美三级大片AA在线看| 99精品一二三四视频| 99热老司机| 丁香五月天激情| 欧美丁香六月激情视频| 91久久九九| 狠狠色五月| 成人噜噜网| 久热大香蕉| 婷婷激情五月综合在线视频| 超级碰碰碰91| 激情婷婷五月天| 丁香五月丁香伊人| 久久色9| 婷婷综合网| 激情 婷婷 丁香五月天| 激情五月份婷婷| 人妻AV在线| 婷婷五月天深爱| 午夜福利成人AV91| 九九热在线视频观看| 日韩欧美四五区| 黄色AAAAAAA| 色婷婷888| 五月丁香婷婷在线综合蜜桃| 婷婷激情综合色五月久久91| 91狠狠色丁香婷婷综合久久精品| 丁香五月第四色88| 开心五月婷婷五月| 伊人超碰在线| www.色婷婷| 久久精品只有这| 永久无码色| 五月婷A V在线| renre人人操国产超碰在线| 大香伊人婷婷| 五月丁香五月婷婷| 亚洲这里只有精品| 狠狠做五月婷婷| 婷婷中文字暮| 丁香六月激情| 神马欧美精| 亚洲激情丁香五月天色| 六月综合婷婷开心伊人| 狠狠精品干练久久久无码中文字幕 | 婷婷五月天激情综合| 91刘玥视频在线观看| 丁香六月欧美| 五月天开心婷婷激情网站 | 婷婷五月天激情基地| www.色婷婷| 成人美女网| 婷婷的99视频网站| AA片在线观看视频在线播放| www.色婷婷。com| 亚洲AV无码影院| 99精品视频在线观看| 色婷婷五月天不卡| 伊人青草成人| 久人操| 岛国在线观看91| 涩五月婷婷| 日韩色五月| 五月婷婷在线视频免费观看| 99热99美国在线观看| 国产成人综合电影| 婷婷99狠狠| 婷婷综合五月天| 五月婷婷网久久| 五月天丁香综合| 1024在线视频| 精品亚洲国产成AV人片传媒| 婷婷色网| 97亚洲婷婷| 久久99性爱| 日本在线视频手机播放五月婷| 天天肏天天肏天天肏| 久热re视频在线观看网站| 一本色道久久综合狠狠躁小说| 久久99热这里只有精品| 我要看激情五月天| 日日色五月天| 免费视频舔| 婷婷99视频精品| 六月丁香开心婷婷欧美| 日韩欧美成人一区二区三区| 99国产精品久久久久久久久久久| 夜夜操夜夜操| 久久婷.com| 色五月婷婷很很操| 天天色官网| 狠狠做五月婷婷| 超碰狠狠操| 五月色亚洲| WWW.HENHENL.| 日本eVa一区=区视频| 亚洲黄色影视| 99精品免费视频| 五月激情婷婷综合| 天天干 夜夜爽| 超碰91在线| 色999;丁香五月| 狠狠色综合网| 大香蕉久久久久| 色五月天电影| 丁香五月网址| 婷婷五月AV| 五月精品99综合| 日本色婷婷| 亚洲久久激情| 综合五月婷婷| 久久精品人妻| 任你爽视频| 狠狠干五月天| 色婷婷亚洲婷婷| 色色色综合色| 亚洲激情网| 另类天堂| 五月天婷婷久久视频| 99re热在线视频| 91大神操美女| 九九99九九99| 超碰人人草| 欧美日韩99| 亚洲99热| 97人妻碰碰中文无码久热丝袜| 思思热视频在线观看| 99色视频| 少妇人妻人伦A片| www.五月天| 情欲禁地| 中国女人内射6XXXXX| 99色婷婷视频| 久久婷婷国产| 亚洲色视频| 色婷久久| 香蕉人妻AV久久久久天天| 成人国产欧美大片一区| 超碰国产一区| 艹色18p| 在线sebiav精品视频| 丁香花操逼| 欧美VA视频| 91超碰在线播放| 婷婷丁香久久| 99热99热在线观看| 婷婷丁香五月欧美人| 婷婷激情五月天在线| 五月丁香黄色视频| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 99热情这里只有精品在线播放 | 日本欧美成人片AAAA| 国产一级视频a| 99操不停| 狼人婷婷久久| 丁香五月六月久久综合 | 国产欧美日韩综合精品一区二区| 亚洲99精品九九在线| 91亚洲免费片| 婷婷综合色色| 亚洲五月天综合| 亚洲天堂制| 97五月天| 99re8这里只有精品99re8热视频| 午夜天堂一区人妻| 九九九九九九九九九九九九九国产精品| 婷婷五月中文字幕| 久久五月天婷婷视频| 亚洲十月婷婷综合| 九九精品免费| 播播网色播播| 丁香五月花| 一区二区三区四区牛| 久久久激情视频| 色五月丁香总合网| 五月成人天| 日婷婷| 九色91视频| 99热免费| 97婷婷丁香五月天激情图片| 色婷婷五月影视| 五月丁香六月婷婷亚洲| 九九99视频| 婷婷色在线观看| 少妇伦子伦精品无吗| 六月激情网| 精品在线| 橾逼网| 99这里| 色综合女人99| 六月99天天婷婷激情综合| 午夜性爱影视一区77| 99热这里只有精品青草| 婷婷综合在线| 《久久综合九色综合97婷婷| 99在线观看免费精品视频| 丁香五月激情在线| 色婷婷久久| 日韩天堂久久| 六月婷婷狠狠| 狠狠色噜噜狠狠| 无码激情AAAAA片-区区| 久久色五月| 深爱开心激情网| 99久久精品国产色欲| 国产小精品| 色婷婷AV在线| 丁香婷婷久久综合在线| 久久婷婷视频| 九九色情网五月天| 伊人春天av| 五月婷婷激情网| 久久久av久av久片一区二区| 久热一本| 婷婷五月另类网站| 欧美性做爰大片免费看办公室 | 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 琪琪色网在线| 色综合久久综合中文综合网| 天天日人人| 99久超碰| 欧美偷偷操| 六月丁香成人| 久热99热| 九九伦子片| 亚洲成人色五月婷婷综合| 五月婷婷激情网| 激情5月婷婷| 99热最新精品| 久久婷婷五月综合色奶水99啪| 婷婷操无码| 97视频91| 开心五月婷婷| 91碰操| 丁香五月激情月| 天天狠天天叉| www.久久99热地址发布| 一起草性爱不卡视频| 久久精品一区二区三区四区| www.粉嫩av.com| 久久看婷婷| 极品少妇婷婷五月| 婷婷天天综合| 欧美性猛交 XXXX 乱大交| 激情伊人网| 九九热这里只有精品12| 五月天社区| 丁香六月婷婷综合| 欧美天堂久久| 亚州第一黄网| 99成人网一区| 久热大香蕉| 一起草无码| 五月丁香综合在线| 雪千夏麻豆| 激情五月婷婷啪啪| 婷婷五月天丁香| 999婷婷综合| 99在热线免费视频| 婷婷综合久久综合| 免费试看小视频 99| 五月丁香大香蕉| 色色婷婷五月天| 黄网免费看| 综合99视频| 久色网| 亚洲蜜乳AV| 很很干夜夜干| 91日婷婷在线| 这里只有免费精品| 综合另类激情| 婷婷色爱| 久热精彩视频98| A久网| 色五月婷婷丁香凹凸| 五月久久亚洲| 色无婷婷| 99综合99| 色色999三级片| 天天做 天天爱| 伊人婷婷大香蕉在线| 色婷婷丁香AV综合| 婷婷最新地址| 五月天婷婷丁香六月| 五月丁香婷久久| 天天爽免费视频| 99婷婷色| 亚州操人在线视频| 九九视屏| 999精品乱码77777| 婷婷五月亚洲综合| 婷婷另类小说| 综合逼五月激情婷婷| 色婷婷小说网| 婷婷激情五月天在线视频| 免费看欧美成人A片无码| 思思久久96热在精品国产,| 国精产品一区一区三区免费视频 | 99ER热精品视频| 激情都市五月天| 精品国产乱码久久久久久免费| 99视频在线观看欧| ..真实国产乱子伦毛片| 99日韩网站| 91久久九| 2017人人操| 久久色情| 少妇高潮呻吟A片免费看软件| 手机AVAV天堂看网| 婷婷亚洲在线| 丁香五月a| 五月天激情网址| 色情婷婷| 久久五月天激情视频| 亲子乱AV-区二区三区| 婷婷欧美| 五月丁香av中文| 99久re热视频精品98| www,五月丁,com| 久久99jiu9| 丁香激情网| 99久久久久| 成人做爰高潮A片免费视频| 五月婷婷激情四月| 大香蕉婷婷丁香| www.婷婷五月| 狠狠狠五月婷婷六月丁香| 午夜免费高清AV片| 欧美激情综合| 婷婷丁香五月欧美人| 日本精品九九九| 婷婷社区五月天| 开心五月婷婷在线| 激情图片婷婷丁香五月| 色婷婷久久综合| 日本99视频| 五月婷婷色在线| 五月天开心网| 熟女激情网| 99热97美女| www.久久久久| 天天日天天操天天干| 中文字幕第四色.999| 亚洲色99| 常久最新免费的色吊丝| 色久九| 色狠狠色噜噜AV天堂五区| 婷婷五月激情丁香| 亚州精品色情无码A片| 五婷婷综合网| 色婷久久| 欧美五月丁香在线| 97在线视频 欧美| 精品久久人妻| 六月婷婷在线| 久这里只有精品99| 亚洲乱啪| 九九热精品| 狠狠操狠狠插| 天天色伊人| 99热热这里只精品996小说| 久久久人妻| 婷婷五月色| AV 3P| 日本久久视频| AAA级久久久精品| 久久在这里99| 色五婷婷| 天天插综合在线| 99久久.www| 青草青草视频2免费观看| 综合成人小说婷婷| 超碰婷婷色| 国产免费AV网站| 五月婷婷五月天亚洲无码| 五月婷在线观看| 五月婷婷丁香91| 69久久99精品久久久久婷婷| 色五月婷婷少妇人妻| 日韩在线一级| 综合色、色综合| 九九人人操| 人人干av| 色婷婷狠狠色| 综合激情五月四射婷婷| 丁香激情五月| 黄色AAAA韩国guochansanji| 色欲久久综合| 久久久久久久久久人妻| 美妞av| 99热99思午夜精品| 亚洲乱码日产精品BD| 99性爱| 天天干天天叉| VA国产在线综合网站| 亚洲视频二区| 亚洲蜜乳AV| 久草婷婷在线| 婷婷五月色| 91成人视频| 日本色视| 激情综合另类| 99色在线观看免费| 96精品久久久久久久久| 98热精品| 狼人伊人天堂| 中文毛片无遮挡高潮免费| 婷婷午夜| 九热视频在线精品15| 五月色天情| 亚洲综合婷婷五月| 欧洲亚洲免费视频9| 国产成人+综合亚洲+天堂| 停停五月色宗合| 东北熟女高潮99综合99| 成人免费黄色短视频| 五月婷婷亚洲| 日日干天天| 天堂草在线看www| 思思热在线视频99| 精品无码色欲AV| 丁香亭亭久久| 丁香五月天AV在线| 丁香五月综合婷婷| 97色在线观看视频| 中日韩狠狠色| 欧美日本高清视频99| 亚洲中文AV| 久久艹 五月天| 亚洲精品一区无码A片| 亚洲色在线观看| 九九99精品| 午夜激情综合| 狠狠色噜噜狠狠狠狠综合| 日韩黄色电影| 婷婷五月天影院| 五月天婷婷7米| 九九热精品6| 精品色色色| 人妻精品久久久久久久| 天天操,夜夜骑| 日韩久久这里只有精品| 五月丁香伊人网| 亚洲 小说 欧美 激情 另类| 激情丁香五月激情婷婷| 99精品视频在线| 激情影院免费视频婷婷五月天| 五月天播播综合| 狠狠88综合久久久久噜噜噜| 亚洲五月六丁香激情| 婷婷综合网在线| 亚洲五月六丁香激情| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 偷拍丁香九月激情| 韩国中文字幕91| 少妇性BBB搡BBB爽爽爽视頻 | 乱乱av| 无码人妻AV久久久一区二区三区| 日本不卡高字幕在线2019| 五月丁香婷婷啪啪| 丁香五月色情| 色婷婷视频| 综合五月天| 国精产品一区一区三区免费视频 | 五月婷婷之婷婷| 99在线免费视频| 96精品久久久久久久久| 久9热| 五月色网| 图片区 小说区 区 亚洲五月 | 123草逼网| 色天堂A| 色色综合网站| 97干在线视频| 91|疯狂丨高潮丨对白| 91九色PORNY大屁股| 久久天堂女人| 欧美WW在线网| 激情综合网址| 少妇丁香婷婷 | 婷婷丁香亚洲五月天| 狠狠搞亚洲| 五月天亚洲色| 精品久久9| www.夜夜| AⅤ网站在线看| 婷婷五月综合免费在线| 久久五月天 91| 日韩精品成人在线| 国产精品99久久久久久猫咪| 欧美婷婷六月丁香综合色| 青草久久五月婷伊人| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 日韩成人av在线| 亚州激情网站无码| 久热播这里只有精品| 激情婷婷五月| 色色色色色色色色综合网| 国产精品扒开腿做爽爽爽A片唱戏| 九九99精品免费播放| 久久99日本精品视频免费观看| 色色色在线| 综合久久婷婷五月丁香| 一区二区三区四区无码| 色色国产| 天天爱天天操| 成人片黄网站色大片免费毛片| 人妻熟人中文字幕一区二区| 激情四射亚洲| 五月丁香婷草| 久久人妻爱爱| www,天天干| 欧美黄色AA片哗啦啦啦| 色五月婷婷777| 97精品自拍视频| 色婷婷狠狠干| 五月丁六月香| 欧美人妻一区二区| 激情婷婷丁香五月| 99ri精品在线| 色的色综合| 五月丁香天堂网| 精品久久久人妻| 久热99视频在线观看| 另类伊人婷婷| 中文字幕簧片| 五月婷婷|欧美| 青青草免费公开视频| 极品九九九九九九| 丁香五月婷婷啪| 五月天开心婷婷久久| 五月婷婷五月| 99国产精品久久久久久久久久久 | 91人在线观看| 久久九九@| 激情久久久久久| 精品久久99| 奇米色大香蕉| 激情综合自拍五月婷婷色五月| 中文aV网| 国产91视频| 蒲京久久无码视频| 丁香五月婷婷狠狠色| 久久99热久久99精品| 国产成人99久久亚洲综合精品| 丁香五月欧美婷婷综合| 婷婷五月天堂| 久久久久久久久久人妻| 五月丁香免费看| 欲求不满的人妻| 色网站99| 亚欧州精品视频| 天天色天天日| 很很色丁香久久停停| 亚洲色婷婷激情| 色婷婷免费观看| 色婷婷精| 丁香婷婷五月激情综合| 久久婷婷亚洲| 久cao香蕉影院| 色色色综合网| 99乱视频| 国外亚洲成AV人片在线观看| 五月婷网| 丁香六月情| 99操| 激情四射网| av性爱网站| 99精品成人无码A片观看金桔| 成人在线高清| www,五月丁,com| 色五月天婷婷| 婷婷五月丁香人妻无码高清| 色婷婷最爱五月| 99天堂网| 在线综合啪| xxxx五月| 亚洲国产成人综合| 激情五月婷婷色综合| 激情五月婷婷欧美极品 | 人妻久久婷婷| 色偷偷色婷婷| 激情综合文学| 管管補管管紱| 六月天婷婷| 成人在线综合| 天天爽夜夜爽夜夜爽精品视频| 丁香伍月婷电影全集| 久久九色| 激情婷婷色色| 九九大香视频| 思思热视频在线观看| 日本综合99| 五月天开心色情网| 色色色综合| 亚洲精品成人| www婷婷| 国产亚洲99久久精品熟女| 天天肏天天插| 99热这里只有精品3| 在线另类视频| 99免费在线视频| www.久久久久久久久久.com| 激情五月天网页| 亚洲人妻av伦理| 美女天天艹人人爽| 99热啪啪| 久久99大全| 中文av网站| 一区二区aV电影免费看| 五月丁香婷婷综合久久| 嫩草视频观看| ..真实国产乱子伦毛片| 人碰91| 亚洲五月天婷婷| 天天综合 99久久婷婷| 激情网开心网| 欧美色五月| 免费AV黄在线播放| 色999五月色| 丁香五月天偷拍| 伊人五月天在线| 丁香五月中文字幕| 偷拍91九色| 五月婷婷性爱网| 色婷婷五月天天天干天天操天天爽 | av在线免费网站 | 五月丁香六月激情| 思思热在线观看| 婷婷五月天首页| 99九九热播在线免费视频| 久久曰曰| 亚州AV超碰人人操| 亚洲精品无码久久| 九九色黄色| 99精品久久久久久久久| 五月丁香色综合| 久久亚洲婷婷| 久久精品99久久久久久| 五月丁香成年黄色| 超碰99热精品| 色图亚洲91| 甈你aaaaa| 欧美97超碰| 九九免费精品| 99综合成人视频在线观看| 韩国激情五月天综合网| 婷婷伊人五月丁香天堂网| 婷婷深爱五月天| 婷婷丁香五月91| 五月停亭六月,六月停亭的英语| 性色婷婷| 婷婷色综合| 色综合色婷婷色伊人| 五月婷婷导航| 婷婷日日夜夜| 伊人九九热| 久操人妻| 综合激情五月丁香9999久久精| 九九久久99| 99噜噜噜在线播放| www.狠狠| 日日射天天射| 丁香五月婷婷久久久| 婷婷狠狠97| 操B五月天| 色五月婷婷中文字幕| 九九热这里只有精品12| 亚洲AV成人无码精品| 六月婷婷久久| 麻豆123区| 午夜五月天| 99热在线精品播放| 丁香狠狠色婷婷| 性韩日色婷婷五月天激情啪啪XXX| 欧美黑人巨大性生话| 综合在线丁香五月| 欧美高潮9| 丁香五月婷婷亚洲色图| 免费视频WWW在线观看网站| 丁香五月,激情五月,深爱五月| 六月婷婷色色网| 99无码精品| 婷婷丁香宗合888| 久久伊人五月天| 五月婷在线色视频| 色色五月天com| 九九热只有精品| 天天做综合| 人人肏逼视频在线一区二区| 噜噜噜久久| 丁香五月激情婷婷| 婷婷丁香五月欧美人| 久热9热| 激情综合久久| 激情网开心网| 欧美碰碰碰| 久久只有18视频| 色五月天在线| 99在线资源| 亚洲国产精品VA在线看黑人| 色五月激情五月| 婷婷五月中文在线| 影音先锋男士资源网一区| 色5月婷婷色| 91啪级电影| 91激情五月开心| 天天拍天天操| 99在线观看视频| 色情五月天视频网| 国产麻豆视频| 五月丁香综合啪啪| 99热这里只有免费精品| 综合99综合久久久久久久| 色婷网站| 婷婷激情小说| 99青青草| 伊人五月天综合网| 九九精品系列| 大香蕉九九| 欧美色五月| 五月丁香欧美综合免费视频| 六月婷婷七月丁香| 国产精品色情AAAAA片软件| 色婷天天| 日本在线噜噜| 日本欧美在线| 五月花激情网| 久草热久草在线视频| www.婷婷五月天| 99热精品一| 337p大胆噜噜噜噜噜91Av| 五月丁香综合网| 亚洲综合五月天| 色5月丁香婷婷| 五月天玖玖狠狠色色| 91丨九色丨熟女| a级毛片一区二区免费视频| 日本色色色| 任你搞网站| 亚洲 五月 婷婷 成人| 精品色情一区二区三区四区| 五月天婷婷綜合院| 噼里啪啦完整版中文在线观看| 男人天堂99| 色XX综合网| 丁香五月天导航| 大香AV| 丁香五月天堂亚洲社区| 五月婷婷婷| 丁香五月av| 色婷婷基地| 天天爽—爽| 任你爽免费视频| 婷婷丁香五月在线播放| 91精品婷婷国产综合久久| 色婷婷狠狠18| 99久久综合网| 五月丁香激情综合啪啪| 91久久九九| 欧美情色一区| 超碰AV在线| 综合婷婷久久| 啪色综合| 亚洲欧美国产高清vA在线播放| 色婷婷五月基地在线| 天天干,天天舔| 91丨九色丨丰满人妖| #NAME?| 激情综合色婷婷啪啪五月天| 年轻的妺妺伦理HD中文| 人人摸人人搞| 亚洲无码11| 国产精品色色| AV五月婷婷露脸| 久久性爱网站| 99热国产国产| 538午夜激情| 亚洲无码播放| 大香蕉免费9| 中文在线视频久9| 91人妻九色大屁股| 亚洲无AV在线中文字幕 | 九九热中文| 亚洲婷婷久久综合| 亚洲天堂有码| 亚洲av另类在线观看| 欧美激情综合五月色丁香| 欧美韩国日本| 婷婷五月丁香五月| 五月丁香| 九九热最新视频| 五月综合丁香婷婷| 婷婷精品性视频| 国产精品色婷婷AV综合色色| Www,五月天| 日日撸日日操| 六月婷婷影院| 俺去也在线www色官网| 26uuuavcom| 亚洲丁香五月天在线视频| 免费视频舔| 丁香五月婷婷丫|