欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

電影推薦系統(tǒng)實(shí)戰(zhàn):基于MovieLens的協(xié)同過(guò)濾與內(nèi)容推薦

電影推薦系統(tǒng)實(shí)戰(zhàn):基于MovieLens的協(xié)同過(guò)濾與內(nèi)容推薦 簡(jiǎn)介推薦系統(tǒng)是解決信息過(guò)載的核心技術(shù)之一在電商、視頻、音樂(lè)等場(chǎng)景中無(wú)處不在。協(xié)同過(guò)濾作為最經(jīng)典的推薦算法通過(guò)分析用戶行為或物品關(guān)聯(lián)來(lái)預(yù)測(cè)偏好而基于內(nèi)容的推薦則利用物品特征實(shí)現(xiàn)無(wú)需歷史行為的推薦。兩者各有優(yōu)劣也面臨冷啟動(dòng)、數(shù)據(jù)稀疏等工程挑戰(zhàn)。本文以Python為工具基于公開的MovieLens評(píng)分?jǐn)?shù)據(jù)系統(tǒng)講解從數(shù)據(jù)預(yù)處理、相似度計(jì)算到評(píng)分預(yù)測(cè)與Top-N推薦的完整實(shí)現(xiàn)路徑并對(duì)比用戶協(xié)同過(guò)濾、物品協(xié)同過(guò)濾與內(nèi)容推薦三種算法的適用場(chǎng)景。同時(shí)結(jié)合評(píng)估指標(biāo)和調(diào)參經(jīng)驗(yàn)討論近鄰選擇、均值中心化等關(guān)鍵細(xì)節(jié)幫助讀者搭建一個(gè)可運(yùn)行的離線推薦Demo為實(shí)際業(yè)務(wù)中的算法選型與優(yōu)化提供參考。 把一套能跑通的Python電影推薦系統(tǒng)代碼整理出來(lái)是我做這個(gè)項(xiàng)目最有收獲的一件事。這套系統(tǒng)基于公開的MovieLens電影評(píng)分?jǐn)?shù)據(jù)實(shí)現(xiàn)了基于用戶的協(xié)同過(guò)濾、基于物品的協(xié)同過(guò)濾和基于內(nèi)容的推薦三種經(jīng)典算法并且附帶完整的評(píng)估流程和參數(shù)調(diào)優(yōu)記錄。它能解決的實(shí)際問(wèn)題很明確當(dāng)你有一份用戶對(duì)電影的評(píng)分記錄時(shí)如何給某個(gè)用戶推薦他還沒(méi)看過(guò)的、大概率他會(huì)喜歡的電影。不論你是剛?cè)腴T推薦系統(tǒng)的學(xué)生還是想在公司內(nèi)部快速搭建一個(gè)離線推薦Demo的工程師這篇文章里的代碼和踩坑經(jīng)驗(yàn)都能直接復(fù)制使用。項(xiàng)目本身不算復(fù)雜但想把“推薦效果”調(diào)到一個(gè)看得過(guò)去的水平還是有不少細(xì)節(jié)值得琢磨。比如相似度算法選皮爾遜還是余弦、評(píng)分預(yù)測(cè)時(shí)要不要做歸一化、近鄰數(shù)量k取多少合適這些參數(shù)對(duì)結(jié)果的影響比想象中大得多。我下面會(huì)從整體設(shè)計(jì)思路開始逐步拆解每一部分代碼再分享實(shí)際運(yùn)行中遇到的典型問(wèn)題和排查方法。1. 項(xiàng)目整體思路與推薦算法選型1.1 推薦系統(tǒng)的核心問(wèn)題與兩類主流解法推薦系統(tǒng)本質(zhì)上回答一個(gè)問(wèn)題用戶u對(duì)物品i的偏好程度是多少。這個(gè)“偏好”在電影場(chǎng)景里通常體現(xiàn)為評(píng)分但在實(shí)際業(yè)務(wù)中也可以是點(diǎn)擊、收藏、加購(gòu)、觀看時(shí)長(zhǎng)等隱式反饋。評(píng)分高低直接決定是否把這部電影放進(jìn)推薦列表所以推薦系統(tǒng)的核心就是預(yù)測(cè)用戶對(duì)未交互物品的評(píng)分。主流解法分成三派基于內(nèi)容的推薦、協(xié)同過(guò)濾、混合推薦。協(xié)同過(guò)濾又分成基于用戶的(User-based CF)和基于物品的(Item-based CF)兩種?;趦?nèi)容的推薦思路最簡(jiǎn)單——把電影的特征類型、導(dǎo)演、演員、標(biāo)簽變成向量用戶喜歡什么特征的電影就推相似特征的電影。協(xié)同過(guò)濾不談內(nèi)容只看行為跟你口味相似的人喜歡什么電影就推給你或者某部電影被和你類似的人喜歡過(guò)就推給你。這個(gè)項(xiàng)目之所以三種都做不是為了炫技而是因?yàn)樗鼈冊(cè)谡鎸?shí)場(chǎng)景里各有短板?;趦?nèi)容的推薦解決不了“用戶口味跨類型”的問(wèn)題比如一個(gè)用戶只看過(guò)動(dòng)作片系統(tǒng)永遠(yuǎn)給他推動(dòng)作片不會(huì)發(fā)現(xiàn)他也喜歡溫情文藝片因?yàn)閮?nèi)容特征上沒(méi)有任何關(guān)聯(lián)。協(xié)同過(guò)濾則受冷啟動(dòng)困擾新用戶沒(méi)有任何行為數(shù)據(jù)新電影沒(méi)有任何人評(píng)分CF直接失效。把三種方法放在一起對(duì)照實(shí)現(xiàn)你能直觀感受到各自的適用邊界這也是我建議初學(xué)者不要只跑通一個(gè)模型就停下來(lái)的原因。1.2 為什么選MovieLens數(shù)據(jù)集與環(huán)境準(zhǔn)備項(xiàng)目采用MovieLens公開數(shù)據(jù)集準(zhǔn)確說(shuō)是ml-latest-small版本包含600多名用戶對(duì)9000多部電影的約10萬(wàn)條評(píng)分記錄。選它有幾個(gè)實(shí)際考慮數(shù)據(jù)量適中內(nèi)存占用低普通筆記本秒級(jí)跑完評(píng)分范圍固定為0.5到5.0的整數(shù)或半步做回歸預(yù)測(cè)時(shí)方便計(jì)算誤差每條評(píng)分都帶時(shí)間戳比分重復(fù)問(wèn)題少適合做時(shí)間維度上的切分驗(yàn)證。環(huán)境方面只需要Python 3.8以上依賴pandas、numpy、scikit-learn三個(gè)庫(kù)。有一個(gè)需要提前說(shuō)明的坑不要一上來(lái)就裝最新版scikit-learn有些舊代碼里調(diào)用的接口在新版本中改名了比如sklearn.model_selection.train_test_split在很老的項(xiàng)目里寫作sklearn.cross_validation如果你復(fù)制了網(wǎng)上的歷史代碼就會(huì)直接報(bào)錯(cuò)。推薦在項(xiàng)目目錄里用虛擬環(huán)境管理依賴python -m venv rec_env source rec_env/bin/activate # Windows下執(zhí)行 rec_env\Scripts\activate pip install pandas numpy scikit-learn評(píng)分?jǐn)?shù)據(jù)雖然干凈但也不要跳步直接建模。每一步前先用df.head()、df.info()、df.describe()掃一眼數(shù)據(jù)結(jié)構(gòu)能省掉后面大量排查時(shí)間。這部分代碼是整個(gè)項(xiàng)目的地基地基歪了后面全白干。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理細(xì)節(jié)2.1 數(shù)據(jù)加載與格式說(shuō)明MovieLens數(shù)據(jù)解壓后核心是三個(gè)文件ratings.csv用戶ID、電影ID、評(píng)分、時(shí)間戳、movies.csv電影ID、標(biāo)題、類型、tags.csv用戶打標(biāo)記錄。其中用戶ID和電影ID都是整數(shù)電影類型用豎線分隔的多個(gè)標(biāo)簽表示比如“Action|Adventure|Sci-Fi”。加載代碼非常簡(jiǎn)單import pandas as pd import numpy as np ratings pd.read_csv(ratings.csv) movies pd.read_csv(movies.csv) print(ratings.shape) print(ratings.head()) print(ratings[rating].describe())但這里就有一個(gè)容易被忽視的細(xì)節(jié)原始數(shù)據(jù)里的UserId不是連續(xù)的有的用戶ID從1開始跳過(guò)好幾個(gè)數(shù)MovieId也不是100%連續(xù)的。如果直接拿原始ID當(dāng)數(shù)組索引后面構(gòu)建用戶-物品矩陣的時(shí)候會(huì)留出大量空洞。標(biāo)準(zhǔn)做法是把UserId和MovieId重新映射成從0開始的連續(xù)整數(shù)索引user_ids ratings[userId].unique() movie_ids ratings[movieId].unique() user2idx {uid: i for i, uid in enumerate(user_ids)} movie2idx {mid: i for i, mid in enumerate(movie_ids)} ratings[user_idx] ratings[userId].map(user2idx) ratings[movie_idx] ratings[movieId].map(movie2idx)這一步做完后面構(gòu)造稀疏矩陣、做矩陣運(yùn)算都會(huì)簡(jiǎn)單很多。順便說(shuō)一句構(gòu)造映射字典用enumerate很順但不要用dict(zip(...))去映射時(shí)忘記去重否則重復(fù)ID會(huì)覆蓋映射導(dǎo)致錯(cuò)位。2.2 數(shù)據(jù)清洗與探索性分析數(shù)據(jù)清洗這一步看起來(lái)可有可無(wú)但實(shí)際做推薦系統(tǒng)時(shí)數(shù)據(jù)質(zhì)量直接決定效果上限。我做完加載后一定會(huì)檢查以下幾項(xiàng)是否有空值ratings.isnull().sum()有則直接丟棄對(duì)應(yīng)行。是否有重復(fù)記錄同一用戶對(duì)同一電影出現(xiàn)多次評(píng)分可能是采集端沒(méi)合并會(huì)影響訓(xùn)練和評(píng)估需要去重。評(píng)分分布是否合理打印value_counts()看每個(gè)分?jǐn)?shù)檔位的數(shù)量如果大量集中在5分說(shuō)明用戶打分習(xí)慣偏好極端做均值歸一化時(shí)要留意。給一段我當(dāng)時(shí)用的探索性分析代碼print(ratings[rating].value_counts().sort_index()) print(用戶數(shù):, ratings[user_idx].nunique()) print(電影數(shù):, ratings[movie_idx].nunique()) print(平均每用戶評(píng)分?jǐn)?shù)量:, ratings.groupby(user_idx).size().mean()) print(平均每電影獲得評(píng)分?jǐn)?shù)量:, ratings.groupby(movie_idx).size().mean())這些統(tǒng)計(jì)數(shù)字能幫你判斷數(shù)據(jù)稀疏程度。如果你的評(píng)分?jǐn)?shù)據(jù)里平均每個(gè)電影只有幾十條記錄那么基于物品的協(xié)同過(guò)濾會(huì)比基于用戶的表現(xiàn)更穩(wěn)定因?yàn)槲锲穫?cè)的數(shù)據(jù)通常更集中。實(shí)際跑下來(lái)MovieLens這個(gè)數(shù)據(jù)集的稀疏度大約是0.016也就是用戶-物品矩陣中只有1.6%的位置有值這在推薦領(lǐng)域已經(jīng)算相當(dāng)“稠密”了真實(shí)業(yè)務(wù)里的稀疏度經(jīng)常是0.1%以下。3. 基于用戶的協(xié)同過(guò)濾實(shí)現(xiàn)3.1 相似度算法選擇皮爾遜還是余弦基于用戶的協(xié)同過(guò)濾核心是計(jì)算用戶之間的相似度。最常用的兩種指標(biāo)是皮爾遜相關(guān)系數(shù)和余弦相似度。兩者公式上高度相關(guān)但行為有細(xì)微差別。余弦相似度衡量的是兩個(gè)向量的夾角不關(guān)心向量長(zhǎng)度皮爾遜相關(guān)系數(shù)在余弦之前先對(duì)每個(gè)用戶的評(píng)分做了中心化減去該用戶自己的平均分所以它能夠消除用戶評(píng)分尺度差異的影響。舉個(gè)例子用戶A打分區(qū)間是3到5用戶B打分區(qū)間是1到5兩人對(duì)共同看過(guò)的電影偏好順序完全一致。用余弦相似度算出來(lái)的值會(huì)被A的“高分習(xí)慣”拉低但皮爾遜相關(guān)系數(shù)能識(shí)別出兩人口味一致因?yàn)锳的3分可能就等于B的5分。這個(gè)例子非常經(jīng)典也是我強(qiáng)烈建議在評(píng)分場(chǎng)景里優(yōu)先選皮爾遜的原因。代碼實(shí)現(xiàn)上可以用pandas的corrwith向量化處理也可以用scipy的pearsonr。但注意直接用corrwith需要先把user-item矩陣的缺失值填成0這種做法會(huì)引入大量“無(wú)評(píng)分”參與計(jì)算數(shù)學(xué)上不正確。正確的做法是只基于兩人共同評(píng)分的電影計(jì)算相似度。這里我直接用numpy實(shí)現(xiàn)一個(gè)高效版本def pearson_sim(a, b): mask (a ! 0) (b ! 0) if mask.sum() 2: return 0.0 a_common a[mask] b_common b[mask] a_centered a_common - a_common.mean() b_centered b_common - b_common.mean() denom np.sqrt((a_centered ** 2).sum() * (b_centered ** 2).sum()) if denom 0: return 0.0 return (a_centered * b_centered).sum() / denom3.2 用戶評(píng)分預(yù)測(cè)與Top-N推薦有了用戶相似度矩陣預(yù)測(cè)用戶u對(duì)未評(píng)分電影i的評(píng)分標(biāo)準(zhǔn)的辦法是找出與u最相似的k個(gè)用戶這些用戶里對(duì)i有評(píng)分的人加權(quán)投票。權(quán)重就是相似度而且實(shí)踐中通常會(huì)做一層歸一化讓相似度權(quán)重落在0到1之間避免負(fù)相關(guān)用戶干擾def predict_rating(user_idx, movie_idx, user_item_matrix, sim_matrix, k20): sim_scores sim_matrix[user_idx].copy() # 排除自己 sim_scores[user_idx] -np.inf top_k_idx np.argsort(sim_scores)[::-1][:k] rated_users user_item_matrix[:, movie_idx] ! 0 neighbors [i for i in top_k_idx if rated_users[i]] if not neighbors: return float(np.mean(user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0])) numerator 0.0 denominator 0.0 for n in neighbors: w sim_matrix[user_idx, n] if w 0: continue r user_item_matrix[n, movie_idx] # 使用不同用戶的平均分做baseline避免用戶打分區(qū)間的偏差 user_mean user_item_matrix[n, :][user_item_matrix[n, :] ! 0].mean() numerator w * (r - user_mean) denominator w if denominator 0: return float(np.mean(user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0])) unbiased_pred numerator / denominator u_mean user_item_matrix[user_idx, :][user_item_matrix[user_idx, :] ! 0].mean() return u_mean unbiased_pred這段代碼里有兩個(gè)非常關(guān)鍵的處理第一個(gè)是“只選對(duì)目標(biāo)電影有評(píng)分的近鄰”否則近鄰里沒(méi)看過(guò)這部電影的人會(huì)把預(yù)測(cè)值拉向均值第二個(gè)是“評(píng)分減均值的偏差加權(quán)”這其實(shí)就是皮爾遜思想在預(yù)測(cè)階段的延伸效果比直接加權(quán)原始分?jǐn)?shù)好得多。Top-N推薦就是遍歷某個(gè)用戶所有未評(píng)分電影用上面的函數(shù)預(yù)測(cè)評(píng)分取分?jǐn)?shù)最高的N部電影再和movies.csv聯(lián)表查出標(biāo)題和類型。3.3 完整可運(yùn)行代碼示例把上面兩段組合起來(lái)整個(gè)訓(xùn)練和推薦流程可以收斂成一個(gè)腳本。為了控制在單機(jī)內(nèi)存可承受的范圍這里做一個(gè)簡(jiǎn)化只取評(píng)分?jǐn)?shù)量最多的前100個(gè)用戶和評(píng)分?jǐn)?shù)量最多的前500部電影進(jìn)行實(shí)驗(yàn)這樣既能快速出結(jié)果又不會(huì)把機(jī)器跑掛user_counts ratings[user_idx].value_counts() movie_counts ratings[movie_idx].value_counts() active_users user_counts[user_counts 20].index[:100] hot_movies movie_counts[movie_counts 5].index[:500] sub_ratings ratings[ratings[user_idx].isin(active_users) ratings[movie_idx].isin(hot_movies)] user_item np.zeros((len(active_users), len(hot_movies))) for uid, mid, score in sub_ratings[[user_idx, movie_idx, rating]].values: u_pos list(active_users).index(uid) m_pos list(hot_movies).index(mid) user_item[u_pos, m_pos] score sim_matrix np.zeros((len(active_users), len(active_users))) for i in range(len(active_users)): for j in range(i 1, len(active_users)): s pearson_sim(user_item[i], user_item[j]) sim_matrix[i, j] s sim_matrix[j, i] s這里用雙層循環(huán)算相似度時(shí)間復(fù)雜度O(n^2 * m)對(duì)于小數(shù)據(jù)集沒(méi)問(wèn)題但真實(shí)數(shù)據(jù)集上我不會(huì)這么寫而是改為向量化或分塊并行計(jì)算。運(yùn)行上述代碼時(shí)你會(huì)明顯發(fā)現(xiàn)真正消耗時(shí)間的是兩層for循環(huán)而不是預(yù)測(cè)本身這是純Python實(shí)現(xiàn)協(xié)同過(guò)濾的固有瓶頸后面我會(huì)提怎么優(yōu)化。4. 基于物品的協(xié)同過(guò)濾實(shí)現(xiàn)與對(duì)比4.1 物品相似度矩陣構(gòu)建基于物品的協(xié)同過(guò)濾思路跟基于用戶完全對(duì)稱先算電影之間有多像再推薦“跟你喜歡的電影相似的其他電影”。這里有一個(gè)業(yè)界共識(shí)值得先說(shuō)明現(xiàn)代工業(yè)界里基于物品的協(xié)同過(guò)濾比基于用戶的應(yīng)用更廣泛。原因是用戶的規(guī)模通常比物品大幾個(gè)量級(jí)用戶相似度矩陣是n×n規(guī)模的物品矩陣是m×m規(guī)模的在hotel或電商場(chǎng)景里m遠(yuǎn)小于n計(jì)算和維護(hù)成本低很多。計(jì)算物品相似度時(shí)要把數(shù)據(jù)從“用戶-物品”矩陣轉(zhuǎn)置成“物品-用戶”矩陣。我的代碼里直接用user_item.T即可。注意行數(shù)代表電影每行是這個(gè)電影在各個(gè)用戶處的評(píng)分向量評(píng)分人數(shù)越多的電影其相似度分?jǐn)?shù)越“可信”。4.2 推薦邏輯與兩種CF效果對(duì)比基于物品的推薦邏輯是用戶A評(píng)分5星了電影X系統(tǒng)找出與X最相似的10部電影把用戶沒(méi)看過(guò)的那幾部推給他。評(píng)分預(yù)測(cè)公式比用戶CF更直接因?yàn)槲锲返摹百|(zhì)量”通常被認(rèn)為是穩(wěn)定的不需要做均值剔除處理def item_based_predict(user_vector, item_sim, movie_idx, k20): # user_vector: 長(zhǎng)度m的評(píng)分向量 # item_sim: m×m矩陣, item_sim[i][j]是電影i和j的相似度 rated_items np.where(user_vector ! 0)[0] if movie_idx in rated_items: return user_vector[movie_idx] denom 0 num 0 for r_item in rated_items: w item_sim[movie_idx, r_item] if w 0: continue num w * user_vector[r_item] denom w if denom 0: return float(np.mean(user_vector[user_vector ! 0])) return num / denom實(shí)現(xiàn)兩個(gè)模型后我做了個(gè)直觀的效果對(duì)比。同樣給某個(gè)核心用戶做推薦用戶CF給出的結(jié)果偏向“小眾但口味高度匹配”的電影物品CF給出的結(jié)果偏向“熱門且類型接近”的電影。如果從用戶體驗(yàn)出發(fā)用戶CF更能帶來(lái)驚喜但冷啟動(dòng)情況下完全沒(méi)法用物品CF在實(shí)時(shí)性上新用戶只要有一個(gè)評(píng)分就能產(chǎn)出推薦落地門檻低很多。5. 基于內(nèi)容的推薦解決冷啟動(dòng)問(wèn)題5.1 電影特征提取與標(biāo)簽向量化協(xié)同過(guò)濾雖然強(qiáng)但拿新用戶和新電影完全沒(méi)辦法?;趦?nèi)容的推薦恰好能補(bǔ)上這塊短板它不依賴任何評(píng)分記錄只需要知道電影的“內(nèi)容特征”和用戶的歷史偏好。MovieLens的movies.csv里有電影類型字段這是最現(xiàn)成的特征。處理方式是把類型字符串拆開構(gòu)造one-hot編碼每個(gè)類型一列電影屬于該類型就標(biāo)1一個(gè)電影可以多個(gè)類型這就是典型的“多標(biāo)簽向量”。代碼實(shí)現(xiàn)非常直接genre_list [] for raw_genres in movies[genres].str.split(|): genre_list.extend(raw_genres) genres sorted(set(genre_list)) movie_genre_matrix np.zeros((len(movies), len(genres)), dtypenp.int8) for i, raw_genres in enumerate(movies[genres].str.split(|)): for g in raw_genres: if g (no genres listed): continue movie_genre_matrix[i, genres.index(g)] 1更精細(xì)的做法是把導(dǎo)演、演員、標(biāo)簽文本也加進(jìn)來(lái)用TF-IDF做向量化但電影類型已經(jīng)能提供足夠的可解釋性和區(qū)分度對(duì)于demo級(jí)項(xiàng)目完全夠用。5.2 基于內(nèi)容的推薦實(shí)現(xiàn)用戶畫像可以簡(jiǎn)單地表示為他對(duì)每個(gè)類型的平均評(píng)分。假如用戶看過(guò)10部動(dòng)作片平均4.5分看過(guò)5部愛情片平均2.0分那么他未來(lái)的向量應(yīng)該偏向動(dòng)作片。計(jì)算公式就是所有已評(píng)電影特征向量的“評(píng)分加權(quán)平均”def build_user_profile(user_idx, user_item, movie_genre_matrix): scored np.where(user_item[user_idx] ! 0)[0] if len(scored) 0: return np.zeros(movie_genre_matrix.shape[1]) scores user_item[user_idx, scored] genres_sum np.zeros(movie_genre_matrix.shape[1]) for i, m_idx in enumerate(scored): genres_sum scores[i] * movie_genre_matrix[m_idx] return genres_sum / scores.sum()得到用戶畫像向量后將所有未評(píng)分電影的類型向量與畫像向量做余弦相似度分?jǐn)?shù)Top-N就是推薦結(jié)果。這種方式不需要任何訓(xùn)練過(guò)程可解釋性極強(qiáng)“因?yàn)槟阆矚g動(dòng)作片所以推薦這部動(dòng)作冒險(xiǎn)電影”。但它的局限也很明顯推薦結(jié)果永遠(yuǎn)出不了用戶已經(jīng)接觸過(guò)的類型圈。我給用戶看過(guò)一個(gè)很典型的案例某用戶歷史評(píng)分全是科幻和動(dòng)作片內(nèi)容推薦列表里前20名全是這兩類沒(méi)有一部愛情或喜劇。所以工業(yè)界通常不會(huì)單獨(dú)用基于內(nèi)容而是把它作為“冷啟動(dòng)補(bǔ)充通道”或“召回粗排”的一路。6. 推薦質(zhì)量評(píng)估與調(diào)參思路6.1 評(píng)估指標(biāo)與時(shí)間序列劃分推薦系統(tǒng)評(píng)估不是看某一次推薦結(jié)果爽不爽而是要用指標(biāo)量化。離線評(píng)估最常用的是RMSE和MAE它們衡量預(yù)測(cè)評(píng)分和真實(shí)評(píng)分的平均誤差。計(jì)算前要把評(píng)分?jǐn)?shù)據(jù)劃分成訓(xùn)練集和測(cè)試集。這里有一個(gè)比隨機(jī)劃分更嚴(yán)謹(jǐn)?shù)姆桨赴磿r(shí)間排序?qū)γ總€(gè)用戶取最后20%的評(píng)分作為測(cè)試集其余80%作為訓(xùn)練集。原因在于推薦系統(tǒng)服務(wù)的是“未來(lái)行為預(yù)測(cè)”用歷史預(yù)測(cè)未來(lái)才符合實(shí)際場(chǎng)景。from sklearn.metrics import mean_squared_error, mean_absolute_error ratings[timestamp] pd.to_datetime(ratings[timestamp], units) ratings_sorted ratings.sort_values(timestamp) test_ratio 0.2 test_ratings ratings_sorted.groupby(userId).tail(int(ratings_sorted.groupby(userId).size().mean() * test_ratio)) train_ratings ratings_sorted.drop(test_ratings.index)這里的groupby().tail()有個(gè)坑如果某些用戶評(píng)分?jǐn)?shù)量很少tail取出來(lái)的數(shù)據(jù)可能少于20%極端情況下甚至取不到。穩(wěn)妥做法是先過(guò)濾掉評(píng)分?jǐn)?shù)據(jù)低于10條的用戶再執(zhí)行劃分。6.2 參數(shù)調(diào)整經(jīng)驗(yàn)記錄我把關(guān)鍵參數(shù)的影響記錄下來(lái)了方便你參考參數(shù)取值對(duì)效果的影響近鄰數(shù)量k5 ~ 50k太小受單個(gè)垃圾近鄰影響大太大引入噪音20左右是MovieLens的甜點(diǎn)區(qū)相似度閾值0.1 ~ 0.5低于閾值的近鄰直接舍棄能有效過(guò)濾負(fù)相關(guān)/弱相關(guān)噪聲是否做均值中心化True/False對(duì)皮爾遜預(yù)測(cè)非常關(guān)鍵不做的話預(yù)測(cè)分?jǐn)?shù)普遍偏高0.3~0.5數(shù)據(jù)劃分方式隨機(jī) vs 時(shí)間序列隨機(jī)劃分的RMSE通常比時(shí)間序列小10%~20%但這是假象線上效果會(huì)差一個(gè)特別反直覺的體會(huì)是并不是相似度越高的近鄰貢獻(xiàn)越大。我在實(shí)驗(yàn)中發(fā)現(xiàn)如果某個(gè)用戶只看過(guò)一部電影并且給了5分他跟目標(biāo)用戶的相似度會(huì)虛高因?yàn)閱吸c(diǎn)重合的樣本太少統(tǒng)計(jì)意義很弱。所以代碼里還要加一個(gè)人數(shù)門檻比如要求兩個(gè)用戶至少有5部共同評(píng)分電影否則相似度直接置0。這個(gè)調(diào)整對(duì)RMSE的改善非常明顯從0.98降到了0.91左右。7. 實(shí)操中的常見問(wèn)題與排查技巧7.1 數(shù)據(jù)稀疏與內(nèi)存占用問(wèn)題一旦把用戶物品矩陣構(gòu)建成numpy二維數(shù)組內(nèi)存就會(huì)按n*m增長(zhǎng)。MovieLens 1M版本有6000用戶和4000電影float64數(shù)組大約是192MB這還能接受但如果換成真實(shí)業(yè)務(wù)里的千萬(wàn)用戶和百萬(wàn)物品二維稠密矩陣直接爆內(nèi)存。我在這類項(xiàng)目里常用的優(yōu)化手段有三種改用scipy.sparse.csr_matrix存儲(chǔ)只記錄有評(píng)分的位置。用戶CF轉(zhuǎn)物品CFm通常遠(yuǎn)小于n。相似度矩陣分批計(jì)算、落地緩存不要重復(fù)構(gòu)建。這里還要提一個(gè)常見的隱蔽錯(cuò)誤numpy矩陣默認(rèn)用float64如果評(píng)分?jǐn)?shù)據(jù)本身是整數(shù)用np.float32就夠內(nèi)存直接砍半。很多人忽略這個(gè)細(xì)節(jié)。7.2 冷啟動(dòng)問(wèn)題的三種應(yīng)對(duì)方式冷啟動(dòng)分兩類新用戶沒(méi)有歷史行為新電影沒(méi)有評(píng)分。這個(gè)項(xiàng)目里我做的比較全面的應(yīng)對(duì)是新用戶冷啟動(dòng)放一個(gè)“熱門榜”兜底也就是全站評(píng)分?jǐn)?shù)量最多、評(píng)分均值最高的電影組合。新電影冷啟動(dòng)用基于內(nèi)容推薦把新電影的類型特征和已有電影算相似度找合適的召回位?;旌贤ǖ烙脩粼u(píng)分?jǐn)?shù)量少于5條時(shí)直接走熱門榜加內(nèi)容推薦達(dá)到閾值后切換協(xié)同過(guò)濾。很多人問(wèn)這個(gè)閾值怎么定我的經(jīng)驗(yàn)是小于等于5條時(shí)用戶觀影偏好分布根本不穩(wěn)強(qiáng)行上協(xié)同過(guò)濾預(yù)測(cè)出來(lái)的分?jǐn)?shù)可能非常離譜直接從熱門榜里選是性價(jià)比最高的方案。7.3 結(jié)果不合預(yù)期的排查思路我踩過(guò)最典型的坑是推薦列表里出現(xiàn)大量用戶已經(jīng)看過(guò)的電影。這種情況多半是遍歷預(yù)測(cè)時(shí)把訓(xùn)練集里的已評(píng)分電影也納入了候選集導(dǎo)致預(yù)測(cè)分?jǐn)?shù)非常接近真實(shí)高分沖進(jìn)Top-N里。排查時(shí)只要在生成候選集時(shí)加一句unrated_mask user_item[user_idx] 0 candidates np.where(unrated_mask)[0]另一個(gè)坑是時(shí)間穿越。如果訓(xùn)練集和測(cè)試集劃分時(shí)沒(méi)有按時(shí)間排序而是隨便隨機(jī)切那么模型會(huì)“看到未來(lái)”的評(píng)分測(cè)試集上的RMSE虛低。這個(gè)現(xiàn)象在數(shù)據(jù)量小時(shí)尤其明顯我的一次實(shí)驗(yàn)里隨機(jī)劃分RMSE是0.86按時(shí)間劃分直接變成了0.96。別把0.86當(dāng)做好結(jié)果那是模型作弊了。還有一個(gè)經(jīng)常被問(wèn)的問(wèn)題“為什么推薦出來(lái)的電影評(píng)分均值才3.5”因?yàn)榫祷貧w效應(yīng)。評(píng)分極端分布的數(shù)據(jù)被中心化處理后預(yù)測(cè)值自然向平均值收縮這不是bug。如果你希望推薦列表看起來(lái)更有“驚喜感”可以在預(yù)測(cè)分?jǐn)?shù)后加一個(gè)很小的權(quán)重偏置或者改用排序?qū)W習(xí)的方式去優(yōu)化用戶交互點(diǎn)擊率而不是純回歸分?jǐn)?shù)。8. 項(xiàng)目擴(kuò)展思路與個(gè)人實(shí)操心得做完這個(gè)項(xiàng)目以后我最大的體會(huì)是推薦系統(tǒng)60%的精力要花在數(shù)據(jù)和評(píng)測(cè)上真正的模型部分反而是最“標(biāo)準(zhǔn)化”的。很多人一上來(lái)就折騰深度學(xué)習(xí)模型、圖神經(jīng)網(wǎng)絡(luò)但其實(shí)協(xié)同過(guò)濾、邏輯回歸這波經(jīng)典方法配合好的特征工程和評(píng)估體系已經(jīng)能解決大量業(yè)務(wù)問(wèn)題。如果你想在現(xiàn)有代碼基礎(chǔ)上繼續(xù)擴(kuò)展我建議按這個(gè)優(yōu)先級(jí)來(lái)加入相似度矩陣的持久化緩存用npy格式存盤避免每次重算。把訓(xùn)練好的模型封裝成函數(shù)再接一個(gè)簡(jiǎn)單的Flask API做成一個(gè)能實(shí)時(shí)響應(yīng)的推薦服務(wù)。加入ALS矩陣分解作為第四個(gè)算法對(duì)比一下它在稀疏數(shù)據(jù)上的表現(xiàn)是否優(yōu)于協(xié)同過(guò)濾。在評(píng)估環(huán)節(jié)加入PrecisionN和RecallN直接衡量推薦列表中命中用戶真實(shí)喜歡電影的比例。最后分享一個(gè)小技巧調(diào)參時(shí)不要每次只改一個(gè)參數(shù)看半天結(jié)果直接把參數(shù)組合做成笛卡爾積跑網(wǎng)格搜索用RMSE熱力圖看整體趨勢(shì)。這樣既能發(fā)現(xiàn)參數(shù)之間的相互作用又能快速定位最優(yōu)區(qū)間。整套代碼跑通之后你可以試著把數(shù)據(jù)集換成自己的業(yè)務(wù)數(shù)據(jù)——哪怕是圖書、音樂(lè)、商品評(píng)分算法骨架都不用大改改數(shù)據(jù)加載邏輯就行。這個(gè)遷移能力才是做這些實(shí)驗(yàn)真正值錢的地方。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲、热| 九九热在线视频观看| 丁香六月婷婷综情欧美| 日本久久婷婷| 亚洲殴洲精品Av在线| 九九无码| 99视频精品在线| 99性色| 色视五月天婷婷| 婷婷在线视频| 久久综合首页| 五月丁了香蕉综合| 色婷婷四虎| 中文字幕日产A片在线看| 婷婷五月丁香久久| 五月玖玖| 97操碰在线视频| 丁香五月婷婷亚洲另类| 婷婷5月天av| 久久99热这里只有精品首| 午夜av网| 奇米色大香蕉| 好叼操在线观看| 风流少妇A片一区二区蜜桃| 五月婷丁香| 可以看的AV| 日日操日日射| 99视频在线观看视频| 天天婷婷综合| 五月丁香美女视频| 五月色丁香| 五月天基地| 色婷婷AV久久| 大香蕉婷婷婷| 性爱激情五月| 不卡在线视频| 久久caop| 永久免费一区二区三区| 九九亚洲视频| 蜜乳中文字| 五月丁香六月婷婷免费视频| 襙比视频| 先锋资源 996| 婷婷四色五月| 欧美视频在线观看噜噜| 色婷婷色情| jiujiu无码五区| 九九熱最新視頻| 亚洲天堂啪啪| 婷婷性爱网| 久久WW| 啪精品| 色开心五月婷婷丁香HD| 婷婷桃色网| 99免费在线视频| 色五月综合网| 五月天丁香网| 深爱综合网| 亚洲综合九九| www.婷婷五月天.com| 国产9色在线/日韩| 日本久久人人| 成人视屏在线观看| 久久97| www.五月婷婷| 欧美25p| 99在线热| www.yw尤物| AV中文在线| 97久久超碰| 停停五月天激情网| 99燥99日| 国产乱人偷精品人妻A片| 激情综合亚洲| 久久精品国产一区二区三区四区 | 99综合| 亚洲成人中心| 日韩乱玛久久| 啪啪小说五月天| 五月婷婷二月丁香| 久久五月天婷婷| 丁香五月天在线观看| 色色色色色色色色网站| 九九热精品| 色色五月天婷婷丁香| 久色激情| 91久操| 五月婷婷免费| 日本va欧美va欧美| 开心激情五月天网| 日韩久热| www.五月.com| 免费看欧美成人A片无码| 极品人妻VIDEOSSS人妻| 国外亚洲成AV人片在线观看| 六月婷婷毛片| 国产中文字幕在线视频免费观看| 五月天婷婷操逼视频| 91狠狠综合网| 青青草原中文字幕| 丁香香五月激情免费视频| 精品国产va久久久久久久| 五月丁香六月婷精品视频| 狠狠色婷婷丁香六月| 日本九九热| 99视频热| 色99在线| 丁香色五月天| 7EzOBIhNq85TO| 91精品91久久久久77777| 五月色情婷婷| 九色91国产| 五月6香色婷婷视频| 中文字幕丰满乱孑伦无码专区| 五月婷婷久久综合| 色色色.COM| 五月天久久综合婷婷| 91色噜噜狠狠狠狠色综合| 九九色综合| 26uuu国产| 国外亚洲成AV人片在线观看| 丁香五月天AV在线 | 伊人影音无码一区二区三区| 伊人日日干| 婷色五月天| 99九九精品| 深爱女色婷婷丁香五月亚洲图区| 久噜久噜| 六月婷婷中文字幕| 26UUU欧美| 久久久婷婷婷| www.minyis.com【JT】实力收量可预付QQ2101460746 | 五月丁香六月婷婷综合在线| 夜夜夜叫天天天做| 丁香五月天电影| 亚洲综合成人网| 大香蕉啪啪啪| 免费在线观看av网站| 丁香花成人区| 99er6免费视频热播| 深爱激情九九五月天 | 综合图区激情| 这里只有精品视频在线| 五月天婷婷激情小说电影| 五月天婷婷基地| 国产午夜精品一区二区三区四区| 91综合在线观看首页| 9有码中文| 亚洲国产精品成人免费一区久久久在线观看AAAA | 天天更新天天亚洲| www.日日夜夜.com| 亚洲色五月婷婷| 中文字幕成人网站| 射区导航| 五月婷人妻| www.狠狠艹| 亲子乱AV一区二区三区下载| 99在线精品免费视频| 月丁香久久久| www.天天色综合| 亚洲综合婷婷五月| 大香蕉中文| 97干在线| 大香婷婷| 99热在线爱| 婷婷伊人激情婷婷| 色情五月婷| 五月丁香色综合| 亚洲久热| 婷婷五月天97干| 精品99在线观看| 婷婷激情小说网| 思思热热久久| 亚洲国产成人综合| 久久久精品免费啪啪国| 婷婷六月色开| 色噜噜狠狠狠狠色综合久欧美| 91人久| 久久免费试看120秒| 午夜成人AV在线| 色欲香综合网| 99日在线视频| 玖玖爱伊人网| 97碰超级人人看| 婷婷天天综合| 久久久久久综合88| 淫视馆av三区| 久久婷婷青草五月天| 97久久香草精品视频| 婷婷丁香五月婷婷| 荫道BBWBBB高潮潮喷| 免费人人操| 激情另类综合| 九九无码| 99视频在线9| 九九这里是免费的视频5| 九九草热在线观看| 色五月综合在线| 大香焦啪啪啪| 天天久久66xxx| 国产日韩亚洲欧美在线观看| 99色在线视频| 71在线精品视频一区| 亚洲精品操一操、噜一噜、摸一摸、爽 | 五月激情婷婷开心| 久热无码| ...婷婷五月综合不卡,国产在线手机 | 亚洲视频a| 久久五月综合| 国产这里只有精品| 九九色黄色| www.xtbsty.cn.com蜜乳AV| 91人人爽久久涩噜噜噜| 国产99久久久国产精品免费看| 91se在线观看| 我要看激情五月天| 天天日天天舔| 狠狠第四色| 天天天日天天天干| 婷婷丁香五月综合| 久热 91| 久久66成人网站| 九九视频这里只有精品| 激情久久网| 五月开心播播网| 婷婷在线精品| 丁香婷婷激情五月天无毒不卡蜜桃| 99操| 婷婷黄色| 亚洲色五月婷婷| 久久婷婷视频| 碰97 久| 99热资源在线| www.亚洲激情| 丁香五月婷婷亚洲另类| 五月天婷婷婷| 熟女少妇内射日韩亚洲| 婷婷五月天色| 婷婷五月久久| 婷婷五月丁香五月| 思思99久久| 这里只有精彩视| 色婷婷激情| 97欧美在线| 五月婷婷丁香在线视频| 在线播放中文字幕| 综合网色| 久操福利| 4399欧美另类视频| 婷婷五月天美女视频| 超碰人人草| 97干在线观看视频| 人人摸人人| 99se丁香| 婷婷六月插屄激情| 99热网站| 99热 这里只有精品 国产 日韩| 色欲婷婷五月天丁香| 五月丁香亚州综合网| 婷婷五月天激情在线观看 | 日日噜噜久久婷婷五月天| 色情播放| 精品亚洲国产成AV人片传媒| 丁香丁香激情网| 婷婷色五月激情强奸四射| 激情婷婷五月综合| 夜夜撸日日骑| 亚洲在线免费成人| 婷婷 激情 五月| 激情小说视频图片| 色婷操逼| 日韩AV片| 情色婷婷五月天| 五月丁香成人视频| 色婷婷五月综合色婷婷| 噜噜噜噜噜色| 色婷婷综合久久| 五月天激情网址| 久久草大香蕉| 丁香六月婷婷综合色| 伊人干综合| 国产精品日日躁夜夜躁| 色婷婷a| 99热999| 五月网在线| 日韩精品视频中文字幕| 亚洲综合婷婷| 久久激丁香| 人妻五月天激情开心网| 精品夜夜澡人妻无码AV| 热久久77777| 色五月天电影| 久久99热这里只有精品首| 亚洲五月婷| 色娸娸综合网| 超碰国产在线观看| 蜜桃婷婷狠狠久久| 久久人人九| 色婷婷影| 色爱99| 玖玖色资源| 婷婷六月综合激情| 五月婷婷日本| WWW,五月| 日本三级中国三级99| 亚洲婷婷久久综合| 成年人夜夜喷水| 九月婷婷激情| 黄色成人网站在线播放| www.五月婷婷| 五月久久婷婷丁香| 中文字幕成人| 人人色人人摸人人看| 综合久久99| 亚洲国产成人综合| 97久久超碰| 9色视频在线| 久久99久久99精品免观看粉嫩| 婷婷网影院| 色婷婷亚洲五月天| 综合色色综合| 久久五月网| 97碰久久| 丁香婷婷六月| 激情婷婷亚洲五月| 婷婷香蕉精品| 六月婷婷久久| www.婷婷,com| 亚洲激情综合网| 99综合| 深爱五月激情五月| 91精品熟女| 大地资源色婷婷视频在线| 5月婷婷6月丁香aV| 热思思九九| 一本伊人色婷| 中文字幕不卡视频| 9l视频自拍9l视频自拍九色学生| 狠狠综合久久| 香蕉久久国产AV一区二区| 亚洲九九免费| 秋霞AV吧| 激情丁香图片| 26.uuu丁香五月婷婷| 婷婷五月天国产在线播放| www.99热这里精品| 91综合国免费久入| 国产99热在线看| 大香蕉手机视频| 啄木鸟黑丝一区二区| 97精品人人A片免费看| 亚洲 无码 中文字幕 中出| 久久se 综合网| 噜噜色天天开心| 亚洲激情另类| 丁香婷五月| 丁香99| 婷婷五月丁香五月综合网| 九九综舍久久| 久久九九99| 丁香六月色婷婷欧美| 日韩成人无码| 这里有精品2| 99人人精品| 97色在线视频| 亚洲五月婷婷在线| 婷婷狠狠青青| 婷婷五月天情色| 日本片日本片祼观看网站在线看中文版网页在线看 | www.超碰| 深爱激情69热| 九九热99免费视频| 99九九久久| 99ri精品视频在线观看| 久久丁香| 大地9中文在线观看免费高清| 亚洲人人干| 性欧美日本| 日韩黄色网络| 婷婷丁香五月综合| 亚洲 五月 婷婷 成人| 久久丁香婷婷五月| 思思热视频| 综合在线丁香五月| 婷婷色一二三区波多野结衣| 中文字幕成人| 爱草视频在线| 色婷婷综合丁香五月天| 丁香五月色情| tingtingjiqingwuyue| 思思久久久婷婷| 热99只有里视频| 色婷婷五月天成人网| 国内外色色色色色成人视频| 开心五月色婷婷综合开心网| 日韩人妻在线观看| 国产肥白大熟妇BBBB视频| 99综合色| 久碰视频| 中文不卡av| 久久久性爱视频| 五月丁香婷婷无码中文| 91在线精品一区二区| 五月婷婷六月激情| 丁香六月av| 91精品视频男人的天堂| 99热综合网| 五月丁香六月情婷婷久久| g00d人体西西| 精品亚洲国产成人A片在线鸭王| 婷婷瑟瑟五月天| 色婷婷9| 另类少妇人与禽zOZZ0性伦| 色五月六月| 国产亚洲99久久精品| 天海翼中文字幕高| 婷久久| 五月婷色丁香| 国产av影片| 被强行糟蹋的女人A片| 玖玖婷婷五月天| 欧美色五月| 天天干天天日蜜臀av| 色五月天丁香婷婷| 激情五月婷婷啪啪| 五月天综合激情网| 狠狠爱青青草| 亚洲综合久| 五月天成人在线| 任你日视频| 91人久| 国产成人高清| 99久久精品网| 色婷视频| www91色网站| 99综合视频一体| 99成人免费视频| 色五月色五天色情网| 婷色天堂| 97碰在线视频| AV五月婷婷露脸| 99久久精彩视频。| 91综合在线观看首页| 这里只有精品视频在线| 天天日天天舔| 丁香五月婷婷激情视频播放| 欧美熟女99| 97日本操| 99热在线观看免费精品| 久久性爱视频网站| 婷婷五月天,影院| 精品99视频| 天天弄天天操| 91热网址| 激情综合色| 色情五月丁香| 天堂久久大香蕉| 无码免费人妻A片AAA毛片西瓜| 婷婷丁香五月网| 五月综亚洲| 久操福利| 9色操| 99久视频| 九九综合伊人| 日韩爱操视频| 激情五月丁香色婷婷| 玖玖在线视| 亚洲成人av中文| 啪啪综合网| 五月丁香婷婷基地| 久久草婷婷丁香网站| 九热...av| 九九久久腿| 五月香婷婷| 9l视频自拍九色9l视频在线观看| 五月成人综合| 婷婷在线五月天观看| 九九自拍网| 丁香婷婷五月激情四射网| 亚洲精品亚洲人成人网| 爆乳熟妇一区二区三区爆乳照片| 六月婷婷久久大全| 天天人人天天爽| 97婷婷狠狠| 九九九九成人| 婷婷丁香中文字幕| 久久亚洲激情五码| 婷婷五月色激情欧美激情| 丁香五月婷婷无码AV| 在线中文亚洲| 色吊丝99| 九七色色六月丁香| 五月丁香大香蕉| 99久精品视频| 五月婷婷综合在线视频小说| 久久在线人妻| 久久在这里有精品| 九九国产视频| 五月天丁香综合在线| 婷婷五月丁香青青草在线| 99这里只有精品| 久久东京热婷婷五月| 直接看的AV网站| 亚洲五月丁| 五月色综合| 色欲婷婷五月天丁香| 日韩人妻在线播放| 天天久综合网永久入口18| 丁香五月性| 亚洲在线操| 婷婷五月天激情文学| 丁香婷停五月激情综合深爱| 99色综合网| 五他月天啪啪啪| 成人片黄网站色大片免费毛片| 爱操人妻| 婷丁香五月天| 色综合激情| 五月婷婷色吧!| 五月激情婷婷开心五月| 成人va在线观看视频| 久久久99久久| 中文字幕激情综合| www.刺激色网站www.| 大操人妻| 日本人妻伦在线中文字幕| 五月婷婷婷| 黄网免费看| 婷婷五月色惰| 天天做天天爱天天做| 色色婷婷综合网| 激情伊人五月婷婷久久| 色色色色区| 精品久久人妻| 九九一综合精品| 激情婷婷五月综合| 婷婷久月| 99秘 在线| 亚洲视频无| 国产成人av在线播放| 色五月涩涩婷婷蜜桃| 五月丁香六月激情| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99re热视频这里只精品| 五月色俺婷婷| 久久久91| 激情小说色五月| 五月丁香六月婷婷免费视频| 97操| 大香蕉久操| 九九热精品视频| 久久色五月天综合网| 午夜精品777| www.五月天性.com| 五月天婷五月天综合网在线观| 9 1超碰九色| 欧美啪啪9| Av在线资源| 最近免费中文字幕大全高清大全1| 激情五月天综合网| 无码激情AAAAA片-区区| 热91久| 成人av在线网| 中文字幕中文有码在线| 色色色com| 国产精品成av人在线视午夜片| 亚洲无AV在线中文字幕| 影音先锋自拍网| 色区久久| 亚洲国产精品二二三三区| 乱精品一区字幕二区| 国产AV一区二区三区最新精品| 国产午夜成人AV在线播放| 91人人妻人人操人人爽| 97色精品视频 | 丁香五月天社区| 人人爱人人草| 一区二区乱码视频| 久热九九| 成人精品人妻| 色五月激情婷婷| 亚洲操操| 五月婷婷丁香六月| 人妻无码视频网| 99精品视频免费观看近期发布| 蜜臀AV在线观看| 亚洲日韩成人三级av| 任你弄在线视频免费| 日碰日| 激情五月婷婷色色| 色色色色区| 天天综合五月| 色五月天丁香婷婷色| 超碰在线9| 九九色婷婷| 丁香六月婷婷综合激情欧美 | 天天干天天拍| 极品人妻VIDEOSSS人妻| 狠狠爱成人综合网| 超碰国产一区| 播播网色播播| 久婷久婷| 欧美va视频| 狠狠操狠狠操| 国产做爰视频免费播放| 五月欧美色色五月| 9l视频自拍9l九色成人| 91啪啪视频| 婷婷色色五月| 午夜天堂一区人妻| 天天天天天色| 色婷五月| 久久人妻系列| 天天综合情| 色色色国产| 亚州男人天堂婷婷五月| 玖玖资源在线视频| 开心五月婷婷99| 69超碰在线| 无码区婷婷五月花开| 五月丁香婷婷成人网| 天天综合网亚洲综合网| 色青青五月| 亚洲性爱电影| 91久久久久| 黄色av高清| 久久久天堂国产精品女人| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 六月婷婷最新网址| 九洲一级A片| 成人视频九九| 另类激情五月天| 婷婷五月丁香91| 日本综合久久| 婷婷黄色网| 激情五月,激情综合网| 国产成人网| 五月丁香色狠狠干大屄| 99热综合网| 9999久久久久| 91操操| 丁香五月婷婷操逼| 91久久综合亚洲鲁鲁五月天| 色五月亚洲五月天| 久久久久久性爱视频| 色五月色五天色情网| 亚洲亚洲人成综合网络| 色色影院黄大片| 成人日韩欧美| 婷婷丁香五月天在线| 久久五月天激情| 丁香五月自拍| 99ER热精品视频| AV在线不卡网站| 99狠狠| 婷婷色五月天第7色| 色色色免费视频| 丁香婷婷久久| 色就色94欧美setu| 九色自拍| 色五月成人网| 92久久| 成人综合网站| 日本3级片一区2区| 五月激情综合激情五月| 丁香五月天电影| 激情五月天色色| 91久久国产综合久久| 狠狠大香婷婷爱| 日日夜夜小色哥| 舔色婷婷| 99性爱视频| 免费99色| 91精品久久久久久77777| 久久久久久综合五月婷婷| 4399亚洲视频| 免费视频在线观看的网站| 色色九区| 国产欧美婷婷| 天天综合网亚洲综合网| 99热老网站| 欧美五月停| 91无码视频| 国产一区男女| 色综合色五月| 婷婷狠狠青青| 婷婷免费无马| 丁香婷婷久久综合在线| 91超碰在线观看| 3p九色在线| Av大香蕉| 亚洲精品小视频| www.久久久.com| www.婷婷六月天| 99视频日韩| 婷婷丁香五月av| 欧美色性色好| 99噜噜噜在线播放| 婷婷六月色开| 国产综合网在线| 五月天成人免费视频| 人妻免费网站| 99操视频| 天天噜噜| 国产精产国品一二三在观看| www激情网站| 亚洲无码成人性爰网| 激情五月色婷婷| 婷婷五月天免费99| 天天综合情| 六月合五月婷| 欧美性生交XXXXX无码小说 | 婷婷天堂综合| 五月丁香六月婷婷无码| 少妇AB又爽又紧无码网站| 99精品视频偷拍| 国产裸舞表演WWWW| 激情六月婷婷| 亚洲网站999| 丁香五月停停av| 色墦五月丁香| 日本久热| 久色婷婷200| 亚洲亚洲人成综合网络| 九九热在线观看6| 99这里只有精| 九九操屄| 婷婷丁香视频在线观看免费| 久久综合影院| 婷婷综合天堂| 久久久久久草黄色片AV在线观看| 伊人激情综合网| 日韩美一级毛卡片| 五月婷婷之激情五月| 五月天丁香网| YJLZZJLZZ亚洲乱熟无码| 综合久久五月天| 国产午夜伦鲁鲁| 亚洲精品99| 五月天激情视频| 日本乱子人伦在线视频| 免费黄色视频网址| 综合色影院| 99热最新国内| 我要色综合五月婷婷| www.99热这里只有精品| 性天堂久久| 第四色婷婷丁香五月| 成人国产欧美大片一区| WWW五月婷婷| 亚洲区视频| 亚洲AVDVD| 天天射综合网夜夜操| 欧美日综合| 大香蕉五月天婷婷| 超碰高清在线| 99久久色| 国产婷婷五月天| 日本熟妇乱妇熟色A片蜜桃| 婷五月天天| 日日爽夜夜爽| 一级韩国产精品毛| 五月天激情婷婷小说| 色婷婷五月天| 色婷婷视频| 天天干天天干天天干| 久久久五月天婷婷成人网| 激情五月天网页| 无码日本精品XXXXXXXXX| 激情婷婷丁香五月天小说| 欧美婷婷丁香五月社区| 综合激情五月婷婷| 天天做天天爱| 激情婷婷综合网| 美国天天日天天操| caop视频| 五月亭亭激情综合| 亚洲妇女熟BBW| 第四色色六月色综合| 丁香五月香蕉| 五月天久久久| 色99视频| www.五月婷婷久久.com| 色婷| 亚洲五月天婷婷| 97干婷婷| 九九99在线视频| 婷婷六月啪啪| 婷婷激情四射五月天| 五月丁香婷婷福利| 色99视频| 俺也去婷婷五月天第五色| 99热99美国在线观看| Av在线资源| 日夜夜久久| 日韩AV免费电影在线播放| 热九九在线| 色婷婷成人| 色射7856五月天激情四射| 可以看的av网站| 噼里啪啦完整版中文在线观看| 国产五月天婷婷| 色婷綜合网| www.夜夜操.com| www.91久久| 伊人五月天97| 色情五月综合婷婷| 亚洲婷婷激情综合激情999精品| 人人爱人人添| 在线看九一V图片| 免费试看小视频 99| 国产又爽又猛又粗的视频A片 | 狠狠狠狠狠狠狠狠| 97色综合| 久久久五月四色| 色九九九综合| 色色网站| 人妻中文av| 激情五月天伊人影院| 免费成片在线观看| 欧美色五月| 99啪在线视频| 涩涩五月天| 国产69久久久欧美黑人A片| 久re热视频| 日本九九网| 成人综合AV| 色~性~乱~伦~噜| 婷婷99狠狠| 婷婷五月丁香六月| 99色区| 99精品在这里| www.天天干.com| 国产亚洲精品AAAAAAA片| 婷婷六月天精品| 国产又色又爽又黄又免费| 九九免费精品在线视频| 久激情网| 色色色综合色| 九九Av| 激情网五夜婷婷| 少妇高潮A片无套内谢麻豆传| 思思久久96热在精品国产,| 日本三级中国三级99| 五月天四色房丁香亭亭| 99啪啪网| 99ri在线视频| 五月亭亭六月色| 国产成人精品亚洲线观看| 婷婷色色播五月天| 婷婷九月久久| 婷婷五月天播播| 久久精品五月天| 色婷婷www| 五月伊人综合| 91夫妻视频| 丁香综合网| 色婷婷亚洲综合av| 午夜九九九九九九九九九九九九九| 色欲久久综合| 99国产精品久久久久久久久久久| 丁香五月激情视频在线| 色五月色五天色情网址| 色色五月婷婷久久| 五月婷婷在线丁香| 国产精产国品一二三在观看| 婷婷干五月综合在线播放| 蜜桃五月天| 激情婷婷综合| 97色五月丁香婷婷| 99热资源在线| 五月丁香网视频| 国产精产国品一二三在观看| 婷婷五月中文在线视频| 欧美天堂久久| 亚洲激情久久| 色综合网综合| 久久亚洲无码| 日日夜夜狠狠| 呦呦v线| 久久aaaaa| 九九热黄色| 日韩黄黄| 婷婷狠狠97| 色女人久久| WWW色综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月婷婷色色| 日韩少妇内射免费播放| 婷婷色丁香六月| 色婷亚洲五月丁香| 泰州成人视频| anquye五月| 欧美精品A片一区在线观看| 97色婷婷| www.五月婷婷久久.com| 人妻久久久久久久久妻久久久久久久久| 色九四色| 大香蕉啪啪啪| 婷婷六月久久综合导航| 色综合综合综合| 激情五月婷黄版| 天天狠狠插| 第五婷婷伊人丁香色| 六月成人网| 激情五月丁香六月综合AVXXXX| www.激情在线| 抽插特写| 色吧五月| 激情五月天婷婷丁香 | 4399在线观看免费高清毛片| 中文成人在线| 天天日,夜夜爽| 亚洲区视频| 五月色丁香婷婷综合| 深爱激情综合| 玖玖资源站蜜臀| 99在线观看这里都是精品| 一级七香蕉| 五月丁香久久| 无码地址| 日韩不卡123| 九色婷婷| 战争与艾拉电影免费观看| 98色丁香五月婷婷综合网| 99色视频| 五月婷婷激情久久| www色色色com| 嫩BBB搡BBBB榛BBBB| 丁香六月久久| 婷婷,五月天,丁香,第一| 亚洲第二AV| AV电影在线播放| 五月情涩综合婷婷| 99热亚洲| 操逼五月婷婷| 91丨九色丨白浆秘| 99精品网站| 中文字幕,综合,91| 国产精品久久久久久喷浆| 任你操精品免费| 日韩黄黄| 九九热99久久99| 天天天天干| 五月丁香啪| 久久久婷丁香五月| 久青草大香蕉| 亚洲va综合va国产va中文| 玖玖资源在线视频| 99热这里只有精品在线免费| 色婷婷综合影院| 大地资源色婷婷视频在线| 天天综合色丁香| 密乳视频| 九九久久五月天| 五月丁香婷婷激情图片| 久久这里只有精品热在99| 丁香五月开心婷婷| 久久综合99| 国产综合丁香五月天| 综合五月天| 狼友超碰| 婷婷五月伦理| 殴美激情综合网| 色五月噜噜| 久久激情视频| 色九九九九| 狠狠久综合| 99热国产精品| 无码 av电影| 综合婷婷| 天天玩夜夜操| 色情播放| 色色婷| 久久婷婷的综合色丁香五月| 欧美激情综合| aaa久久| 五月涩涩网| 婷婷综合色图| 色综合9| 极品人妻VIDEOSSS人妻| 婷婷色网站| 丁香婷婷五月| 天天射综合网天天插| 五月色色色| 五月婷婷国产| 黄色片久久| XX色综合| 2020日日干| 五月丁香六月婷婷久久久综合| 2014天天爽| 久超超碰| 九九艹女| 五月天婷婷无码| 少妇性按摩无码中文A片| 99精品在线下载| 精品国产va久久久久| 久99在线视频| 日韩三级视频一区二区| 国产在线aaa片一区二区99| 六月激情婷婷| 久久99综合网| 丁香五月婷婷欧美成人色图| 在线va网站| 96丁香六月婷婷蜜桃综合久久| 99re视频在线| 日操熟女| 国产乱人偷精品人妻A片| av中文在线| 99热这里都是精品| 久热网在线视频| 丁香伊人激情| 五月天激情小说婷婷| 色婷婷中文在线| 18久久| 丁香五月玖玖| 搡BBBB搡BBB搡18| 九九热这里只有精品6| 六月婷婷综合激情| 开心婷婷丁香五月| 99热这里只有精品官网| 79精品在线视频| 色色色激情| 超碰在线免费9| 丁香六月婷婷色XXXXX| 超碰97在线观看免费| 搡BBBB搡BBB搡18| 五月婷婷五月天| 香蕉婷婷| 超碰人人艹| 五月草影视| 日日噜狠狠色综合久久| 丁香五月婷婷呀| 欧美99热| 婷婷五月综合色拍| 91oumei| 高清 码 免费看片短视频| 丁香五月婷婷图片综合| 久久小说网| 99热综合| PORNY九色9l自拍视频成人| 色七七色九九| 骚。com| 亚洲色亚洲精品| 五月婷婷无码专区| 69婷婷丁香午夜| 少妇丁香婷婷 | 丁香九月激情| 久碰婷婷视频| 久久玖玖综合| 18久久| 日本欧美啪啪| 亚洲99一级无嗎特制在线| 五月天久久色| 欧美三级巜人妻互换| 大香蕉啪啪啪| 色色五月婷| 日日夜夜天天| 五月成人网站| 天天精品视频免费观看| 狠狠狠狠狠狠色| 九九热re99re6在线精品| 五月天婷婷激情| 丁香五月成人网| 天天爱天天做天天操| 裸体美女丁香五月天。| 激情小说视频图片网| 5月婷婷五月天| 播五月丁香六月| 五月婷婷开心丁香| 五月婷导航| 天天日天天干天天插天天射| 天天日天天日天天搞| 另类视频丁香五月| 亚洲精品五月| 这里只有精品在线播放| 丁香五月天激情综合网| 99热网站在线观看| 天天上天天爽| 5月丁香综合网| 五月激情偷拍婷婷| 开心五月综合激情综合五月| 99久久思思| 日韩精品色| 色色色色色色97| 婷婷五月天a| 五月婷婷欧美激情| 九九亚洲视频| 色色网站| 六月激情综合| 五月婷婷婷婷网| 五月丁香婷婷AV| 亚洲无码99| 丁香五月激情网| 精品久久9| 丁香色五月 97干| 久久99精品久久只有精品| 26UUU精品一区二区| 久热九九| 色色色热| 欧美成人精品A片免费一区99| 99热日本| 成人午夜视频精品一区| 国产91资源在线| 刘玥精品一区| WWW.久久99| 丁香五月综合无码趴趴| 在线观看免费狠狠色丁香香综合| 大香蕉中文| 久婷五月| 狠狠色噜噜狠狠色噜噜噜999| 久久视这里只有精品| 99 热| 好吊丝aV| 九九热在线观看视频网站| 亚洲国产色色| 激情五月天婷婷丁香 | 激情综合婷婷| 9色91视频| 热久综合| 丁香五月综合激情久久潮喷| 天天干天天av天天射| 超级97碰碰| 开心久久网婷婷| 综合亚洲AV| 激情中文在线| 日本3级片偷拍网站| 91精品久久久久久综合五月天| 色激情综合狠狠婷婷| 狠狠操天天操天天操| 丁香五月六月欧美| 狠狠高潮精品亚洲1| 色情五月丁香| 欧美婷婷| 成人国产欧美大片一区| 色婷婷播放| www.色色com| 五月婷婷色播| 五月婷丁香花| 五月婷婷六月激情在线| 丁香5月婷婷| 天天干夜夜想| 九热免费视频| 伊人婷婷五月天| AⅤ网站在线看| 无码一级片| www.99久| 婷婷丁香五月天综合网| 色婷婷综合网站| 深爱综合网| 五月婷婷啪啪| 丰满老熟妇BBBBB搡BBB| 在线综合亚洲欧美65| 99热插| 丁香色五月婷婷17C| 五月天婷婷开心| 丁香五月天论坛| 庭庭久久内射| 啪啪啪综合网| 婷久久高清| 综合色影| 日本婷婷丁香五月| 亚洲色情网站| 91狠狠综合网| 天天做天天爽| 东北熟女高潮99综合99| 色综合九九色综合88| 七七九九色色| 啪啪亚洲综合| 亚洲不卡| 丁香五月天综合| 久久婷婷超碰| 91凹凸在线| 亚洲 精品 综合 精品| 中文字幕色色| 色情五月婷婷| 亚洲日韩成人三级av| 日韩三级视频一区二区| 97婷婷狠狠| 日韩五月天婷婷| 婷婷六月亚洲综合| 99激情视频| 狠狠色婷| 大香蕉伊人99| 丁香成人综合| 99热国产免费| 色婷五月| 综合久久首页| 5月激情天| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 国产午夜精品一区二区三区四区| 色色婷婷综合网| 免费人人操| 97碰碰视频在线观看免费| 婷五月丁香俺| 国产人妻777人伦精品HD| 五月激情网络| 五月天色站| 激情久久综合| 色狠狠综合| 99国产在线| 79亚洲精品少妇| 99热九九热| 超碰天堂网| 六月丁香影院| 99热在线资源| 亚洲色99| 91啪级电影| 9 9 9色色| 婷婷五月丁香啪啪| 五月丁婷婷| 久青操| 婷婷五月天性色| 日本一级一级一级一级| 亚洲视色| 五月色情网| 日韩无码专区| 婷婷激情97| 激情丁香五月天| 色婷婷播放| 另类激情四射| 5月婷婷激情6月| 九九偷拍网| 日韩成人影片网站| 大香蕉综合| www婷婷| 操一操插一插| 五月婷六月综合在线观看| 女操碰| 91狠狠色丁香婷婷综合久久精品| 欧美日韩成人免费在线| 夜夜躁爽日| 热这里| 成人片久久网站| 精品成人在线观看| 色五月97| av一区二区电影免费在线观看| 久草热8精品视频在线观看| 来吧亚洲综合网| 亚洲五月婷| 久久99精品久久久久久三级| 夜夜爽天天日| 色色啊| aaaaa不卡| 黄色AV日韩| 91碰碰视频| 激情视频综合| 午夜激情久久| 久九男女天堂| 九九色影院| 色五月在线播放| 色情激情五月| 自拍偷窥99热| 另类婷婷五月天啪帕帕| 成人片在线播放| 九九无码| 色综合五月婷婷狠狠干| 色色操| 亚洲在线播放| 99精品综合| 激情VA视频| 激情五月天激情网| 天堂久久性| 五月停性愛| 天天爽人人综合免费7799| 98永久精品|