欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

基于Spark的混合推薦系統(tǒng)實(shí)戰(zhàn):從協(xié)同過濾到實(shí)時(shí)推薦

基于Spark的混合推薦系統(tǒng)實(shí)戰(zhàn):從協(xié)同過濾到實(shí)時(shí)推薦 簡(jiǎn)介這是一份基于Spark的電影推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的完整課題資料面向大數(shù)據(jù)、推薦系統(tǒng)方向的畢業(yè)設(shè)計(jì)與課程設(shè)計(jì)人員也可供對(duì)協(xié)同過濾、內(nèi)容推薦算法感興趣的開發(fā)者參考。文檔以論文形式系統(tǒng)梳理了課題背景、國(guó)內(nèi)外研究現(xiàn)狀、Spark與MongoDB等關(guān)鍵技術(shù)并重點(diǎn)介紹了基于人口統(tǒng)計(jì)學(xué)、基于內(nèi)容、基于協(xié)同過濾三類推薦算法的原理與設(shè)計(jì)思路。系統(tǒng)分析部分涵蓋可行性與功能需求設(shè)計(jì)部分細(xì)化各推薦算法流程實(shí)現(xiàn)部分展示用戶登錄注冊(cè)、個(gè)性化推薦、電影搜索、用戶評(píng)分等核心功能測(cè)試部分給出功能與性能驗(yàn)證結(jié)果目錄結(jié)構(gòu)從緒論到致謝完整清晰可直接作為相關(guān)課題的參考藍(lán)本。資源包內(nèi)僅含單個(gè)DOCX文檔大小約7.46MB內(nèi)容以論文正文為主共一個(gè)文件便于查閱和編輯。目前已有207人學(xué)習(xí)下載適合需要快速掌握電影推薦系統(tǒng)整體架構(gòu)與研究思路的學(xué)生或開發(fā)者。1. 這個(gè)項(xiàng)目不只是論文一套能從登錄跑到推薦的完整系統(tǒng)電影推薦系統(tǒng)這類課題網(wǎng)上源碼不少但多數(shù)是單機(jī)跑個(gè) Python 腳本調(diào)一下 surprise 庫就完事談不上“系統(tǒng)”。這份資源不一樣——它是一份帶完整論文的工程實(shí)現(xiàn)后端用 Spark 做分布式計(jì)算MongoDB 存業(yè)務(wù)數(shù)據(jù)Redis 做緩存Elasticsearch 參與搜索前端還有 AngularJS 頁面。換句話說它不是 toy demo而是一條能沿著“用戶登錄 → 評(píng)分 → 離線統(tǒng)計(jì) → 實(shí)時(shí)推薦 → 詳情頁相似推薦”跑通的完整鏈路。我拆這份項(xiàng)目時(shí)最大的感受是它的核心不在協(xié)同過濾那幾行 ALS 代碼而在“三種推薦算法怎么分工”。基于人口統(tǒng)計(jì)學(xué)的離線推薦管冷啟動(dòng)和熱門榜基于內(nèi)容的實(shí)時(shí)推薦管用戶當(dāng)下行為協(xié)同過濾管個(gè)性化。單一算法都有各自的坑混合起來才是個(gè)能用的推薦系統(tǒng)。這套設(shè)計(jì)思路比代碼本身更值得讀。適合讀這份資源的人有三類做大數(shù)據(jù)課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)的學(xué)生想把 Spark 推薦從“會(huì)調(diào) API”推進(jìn)到“能搭完整服務(wù)”的后端開發(fā)以及想找一個(gè)可復(fù)現(xiàn)的推薦系統(tǒng)基線工程、準(zhǔn)備加功能的算法工程師。下文我會(huì)把技術(shù)選型、模塊結(jié)構(gòu)、核心實(shí)現(xiàn)和運(yùn)行步驟一層層拆開最后給出我的改造建議。2. 整體架構(gòu)拆解Spark 計(jì)算、MongoDB 存儲(chǔ)、三套算法分工2.1 技術(shù)棧全景與數(shù)據(jù)流向這套系統(tǒng)的技術(shù)選型圍繞一個(gè)核心約束單機(jī)環(huán)境下模擬大數(shù)據(jù)處理流程同時(shí)保證每一層都有真實(shí)組件在跑。先看全景計(jì)算引擎Spark負(fù)責(zé)離線批量統(tǒng)計(jì)和實(shí)時(shí)流處理存儲(chǔ)層MongoDB 存用戶、評(píng)分、電影和推薦結(jié)果Redis 緩存熱點(diǎn)數(shù)據(jù)Elasticsearch 做電影搜索后端Spring Maven提供登錄、評(píng)分、推薦結(jié)果的 REST 接口前端AngularJS 2負(fù)責(zé)頁面渲染和交互集群形態(tài)偽分布式1 個(gè) Master 3 個(gè) Worker 用虛擬機(jī)模擬數(shù)據(jù)流向是這樣的用戶在前端頁面產(chǎn)生評(píng)分、點(diǎn)擊、搜索行為這些行為寫入 MongoDB 的業(yè)務(wù)表離線推薦任務(wù)用 Spark SQL 周期性從 MongoDB 讀取評(píng)分表跑統(tǒng)計(jì)和模型訓(xùn)練把結(jié)果寫回 MongoDB 的推薦結(jié)果表實(shí)時(shí)推薦則通過 Spark Streaming 消費(fèi)行為流結(jié)合用戶最近的評(píng)分記錄做基于內(nèi)容的相似推薦前端通過 Spring 后端接口讀取 MongoDB 里的推薦結(jié)果展示給用戶。這里有一個(gè)值得注意的設(shè)計(jì)決定MongoDB 同時(shí)承擔(dān)“業(yè)務(wù)數(shù)據(jù)庫”和“推薦結(jié)果數(shù)據(jù)庫”兩個(gè)角色。好的一面是技術(shù)棧干凈不用在 HBase 和 MySQL 之間做數(shù)據(jù)同步壞的一面是推薦結(jié)果表要按用戶維度設(shè)計(jì)好索引否則前端高頻讀取時(shí)會(huì)有性能壓力。實(shí)際工程里我會(huì)把推薦結(jié)果再拷一層到 Redis這個(gè)后面改造章節(jié)細(xì)說。2.2 離線推薦模塊基于人口統(tǒng)計(jì)學(xué)的四類統(tǒng)計(jì)任務(wù)離線推薦是這套系統(tǒng)的“底座”它解決的核心問題是冷啟動(dòng)新用戶沒有任何行為記錄時(shí)推薦什么答案是給所有人推一樣的榜單——?dú)v史熱門、近期熱門、高分電影、各類型 Top10。四個(gè)統(tǒng)計(jì)任務(wù)分別這樣設(shè)計(jì)歷史熱門影片的統(tǒng)計(jì)直接用 Spark SQL 從 MongoDB 的 ratings 表讀取評(píng)分記錄按電影 ID 分組統(tǒng)計(jì)評(píng)分人數(shù)取數(shù)量最多的前 N 部。這個(gè)邏輯簡(jiǎn)單粗暴但“評(píng)分人數(shù)多 熱門”這個(gè)假設(shè)在大多數(shù)場(chǎng)景下成立。近期熱門影片的統(tǒng)計(jì)在歷史熱門的基礎(chǔ)上加了時(shí)間窗口。實(shí)現(xiàn)方式是定義一個(gè) UDF把評(píng)分時(shí)間戳轉(zhuǎn)換成“是否在近一個(gè)月內(nèi)”的布爾標(biāo)記然后只統(tǒng)計(jì)窗口內(nèi)的評(píng)分。這個(gè) UDF 是理解 Spark SQL 自定義函數(shù)的好例子。電影平均評(píng)分的統(tǒng)計(jì)按電影 ID 聚合所有評(píng)分計(jì)算平均值寫入 AverageMovies 數(shù)據(jù)集。這個(gè)結(jié)果會(huì)用在詳情頁展示電影得分也會(huì)作為離線推薦的一個(gè)排序因子。各級(jí)別影片 Top10 的統(tǒng)計(jì)這是最復(fù)雜的一個(gè)。電影的 genres 字段是“動(dòng)作|冒險(xiǎn)|科幻”這種按豎線分隔的字符串需要先用 UDF 按|切分成數(shù)組再用explode展開成多行最后按每個(gè)類別分別計(jì)算評(píng)分 Top10。核心代碼見下一章。2.3 實(shí)時(shí)推薦與詳情頁推薦基于內(nèi)容的相似匹配實(shí)時(shí)推薦模塊用的是 Spark Streaming它接收用戶的行為流比如剛給某部電影打了高分然后做兩件事一是把行為寫入 MongoDB 作為后續(xù)離線訓(xùn)練的輸入二是立刻基于這部電影的內(nèi)容標(biāo)簽找相似電影推給用戶。這里的“相似”不是協(xié)同過濾算出來的用戶相似而是電影本身屬性類型、導(dǎo)演、主演的相似度用的是基于內(nèi)容的推薦算法。詳情頁推薦是實(shí)時(shí)推薦的“懶加載版本”用戶點(diǎn)進(jìn)某部電影詳情頁時(shí)后端才去計(jì)算這部電影的相似電影并返回。好處是不需要預(yù)先為每個(gè)用戶算好結(jié)果存儲(chǔ)開銷小壞處是首次訪問詳情頁會(huì)有計(jì)算延遲。在 Spark 環(huán)境下這個(gè)計(jì)算可以做成一次性的批處理任務(wù)把每部電影的相似 Top10 預(yù)先算好存起來而不是實(shí)時(shí)算。2.4 協(xié)同過濾模塊ALS 模型的定位論文里提到協(xié)同過濾算法也提到 Spark MLlib 里的 ALS。在這套系統(tǒng)里協(xié)同過濾不是唯一的推薦來源而是作為離線個(gè)性化推薦的補(bǔ)充。它的任務(wù)是從歷史的“用戶-電影-評(píng)分”矩陣中學(xué)習(xí)兩個(gè)隱因子矩陣——用戶特征矩陣和電影特征矩陣然后用矩陣乘法預(yù)測(cè)用戶對(duì)未看過電影的評(píng)分。但 ALS 有兩個(gè)天然痛點(diǎn)論文里也明確說了數(shù)據(jù)稀疏和冷啟動(dòng)。冷啟動(dòng)已經(jīng)靠人口統(tǒng)計(jì)學(xué)推薦兜底了數(shù)據(jù)稀疏則依賴我們輸入 ALS 的數(shù)據(jù)質(zhì)量。常見做法是把評(píng)分人數(shù)少于閾值的電影過濾掉再把評(píng)分矩陣做歸一化讓模型更容易收斂。這塊我在改造章節(jié)會(huì)給出具體參數(shù)建議。3. 核心實(shí)現(xiàn)逐段拆解從 MongoDB 讀取到推薦結(jié)果落地3.1 Spark SQL 讀取 MongoDB連接器與 DataFrame離線推薦的第一步是把 MongoDB 中的數(shù)據(jù)加載成 Spark DataFrame。項(xiàng)目里沒有用自定義讀取器而是直接用了官方 MongoDB Spark Connector。加載評(píng)分表和電影表的寫法如下import org.apache.spark.sql.SparkSession val spark SparkSession.builder() .appName(OfflineRecommender) .master(local[*]) // 偽分布式環(huán)境下這里也可以是 spark://hadoop102:7077 .config(spark.mongodb.input.uri, mongodb://hadoop102:27017/movie.ratings) .config(spark.mongodb.output.uri, mongodb://hadoop102:27017/movie.result) .getOrCreate() val ratingsDF spark.read.format(mongo) .option(uri, mongodb://hadoop102:27017/movie.ratings) .load() .select(uid, mid, score, timestamp) ratingsDF.show(5)注意select里只取了四個(gè)字段uid用戶 ID、mid電影 ID、score評(píng)分、timestamp評(píng)分時(shí)間戳。之所以要顯式限定字段是因?yàn)?MongoDB 的文檔結(jié)構(gòu)往往比關(guān)系表松散early 篩選能顯著減少 Spark 在 shuffle 階段的數(shù)據(jù)量。偽分布式環(huán)境下資源本來就緊張這個(gè)習(xí)慣能幫你少踩不少 OOM 的坑。3.2 UDF 實(shí)現(xiàn)電影類別切分與近期熱門統(tǒng)計(jì)基于人口統(tǒng)計(jì)學(xué)的推薦里兩個(gè)核心統(tǒng)計(jì)邏輯都需要自定義 UDF。第一個(gè)是把電影的 genres 字符串切分成數(shù)組第二個(gè)是判斷評(píng)分時(shí)間是否落在近一個(gè)月窗口內(nèi)。這段代碼集中展示 UDF 的注冊(cè)和用法import org.apache.spark.sql.functions._ import org.apache.spark.sql.expressions.UserDefinedFunction // 按 | 切分電影類別如 Action|Adventure|Sci-Fi - [Action, Adventure, Sci-Fi] val splitGenres: UserDefinedFunction udf((genres: String) { if (genres null || genres.trim.isEmpty) Array.empty[String] else genres.split(\\|).map(_.trim) }) // 判斷評(píng)分時(shí)間是否在近30天內(nèi) val isRecent: UserDefinedFunction udf((ts: Long) { val thirtyDaysAgo System.currentTimeMillis() - 30L * 24 * 3600 * 1000 ts thirtyDaysAgo }) // 各類型電影 Top10 統(tǒng)計(jì) val genreTopMovies ratingsDF .join(moviesDF, ratingsDF(mid) moviesDF(mid)) .withColumn(genre, explode(splitGenres(moviesDF(genres)))) .groupBy(genre, mid) .agg(avg(score).as(avg_score), count(mid).as(score_count)) .withColumn(rank, row_number().over(Window.partitionBy(genre).orderBy(desc(avg_score), desc(score_count)))) .filter(col(rank) 10) .drop(rank)genreTopMovies這段邏輯的關(guān)鍵點(diǎn)在explode它把“一部電影屬于三個(gè)類別”這一行數(shù)據(jù)展開成三行每個(gè)類別一行這樣后續(xù) groupBy 才能按類別獨(dú)立排序。窗口函數(shù)row_number() over partitionBy負(fù)責(zé)在每個(gè)類別內(nèi)部取評(píng)分最高的 10 部。如果你的數(shù)據(jù)里有一些只有一兩人評(píng)分的電影建議在agg之后加一個(gè)過濾條件只保留score_count 10的影片否則“平均分第一名”容易被單條高分評(píng)價(jià)刷上去。近期熱門統(tǒng)計(jì)更簡(jiǎn)單對(duì) ratings 表用 UDF 過濾近一個(gè)月的評(píng)分然后按 mid 聚合計(jì)數(shù)取 Top N 寫入 RateMoreRecentlyMovies 集合。3.3 ALS 協(xié)同過濾訓(xùn)練與個(gè)性化推薦ALS 是 Spark MLlib 里最成熟的協(xié)同過濾實(shí)現(xiàn)。代碼不長(zhǎng)但調(diào)參直接影響推薦質(zhì)量import org.apache.spark.ml.recommendation.ALS import org.apache.spark.ml.evaluation.RegressionEvaluator // 劃分訓(xùn)練集和測(cè)試集測(cè)試集用于評(píng)估模型誤差 val Array(training, test) ratingsDF.randomSplit(Array(0.8, 0.2)) val als new ALS() .setRank(20) // 隱因子數(shù)量越大表達(dá)能力越強(qiáng)但過擬合風(fēng)險(xiǎn)也越高 .setMaxIter(10) // 迭代次數(shù)日志里會(huì)顯示每次迭代的 loss .setRegParam(0.1) // 正則化參數(shù)控制過擬合 .setUserCol(uid) .setItemCol(mid) .setRatingCol(score) .setColdStartStrategy(drop) // 預(yù)測(cè)時(shí)遇到未見過的用戶/電影直接丟棄而非報(bào)錯(cuò) val model als.fit(training) // 為每個(gè)用戶生成 Top20 推薦 val userRecs model.recommendForAllUsers(20) userRecs.write.mode(overwrite).format(mongo) .option(uri, mongodb://hadoop102:27017/movie.UserRecs) .save()setColdStartStrategy(drop)是必須強(qiáng)調(diào)的一個(gè)配置。ALS 模型在預(yù)測(cè)時(shí)如果遇到訓(xùn)練集里沒出現(xiàn)過的用戶或電影默認(rèn)會(huì)拋異常。線上系統(tǒng)里每天都有新用戶新電影所以必須設(shè)置成drop或nan丟棄無法預(yù)測(cè)的條目而不是讓整個(gè)批次失敗。rank 參數(shù)常見取值范圍是 10 到 50regParam 是 0.01 到 0.1調(diào)參時(shí)優(yōu)先觀察測(cè)試集上的 RMSE均方根誤差。3.4 基于內(nèi)容的相似度計(jì)算標(biāo)簽向量與余弦相似度基于內(nèi)容的推薦核心是把電影轉(zhuǎn)成向量然后算向量相似度。這里用的是最簡(jiǎn)單的標(biāo)簽映射法把電影的 genres、主演、導(dǎo)演拼接成文本分詞后映射成 TF-IDF 向量再算兩兩之間的余弦相似度。import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer} import org.apache.spark.ml.linalg.SparseVector // 構(gòu)造電影內(nèi)容描述列 val movieContent moviesDF .withColumn(content, concat_ws( , col(genres), col(actors), col(directors))) // 分詞 TF-IDF得到每部電影的特征向量 val tokenizer new Tokenizer().setInputCol(content).setOutputCol(words) val hashingTF new HashingTF().setInputCol(words).setOutputCol(rawFeatures).setNumFeatures(1000) val idf new IDF().setInputCol(rawFeatures).setOutputCol(features) val pipeline new Pipeline().setStages(Array(tokenizer, hashingTF, idf)) val featureModel pipeline.fit(movieContent) val movieFeatures featureModel.transform(movieContent) movieFeatures.select(mid, features).show(5)這里使用了HashingTF而不是CountVectorizer主要考慮是 HashingTF 不需要預(yù)先構(gòu)建詞典適合跑批任務(wù)缺點(diǎn)是哈希碰撞會(huì)引入噪聲setNumFeatures設(shè)得越大碰撞概率越低。算相似度時(shí)對(duì)每個(gè)電影向量和其余所有向量做點(diǎn)積并歸一化就能得到余弦相似度。如果電影數(shù)量很大更聰明的做法是先用 ALS 電影因子向量代替 TF-IDF 向量因?yàn)?ALS 訓(xùn)練出的隱因子已經(jīng)隱含了“同類型電影向量接近”的特性。3.5 后端接口與前端調(diào)用的銜接推薦結(jié)果算完后展示層還需要后端接口。Spring 后端提供了四類核心接口登錄注冊(cè)、獲取首頁推薦、詳情頁相似推薦、提交評(píng)分。前端 AngularJS 通過 HTTP 調(diào)用這些接口渲染推薦列表RestController RequestMapping(/api/recommend) public class RecommendController { Autowired private MongoTemplate mongoTemplate; // 首頁推薦讀取離線推薦表按用戶返回混合結(jié)果 GetMapping(/home/{uid}) public ListRecommendation home(PathVariable String uid) { Query query new Query(Criteria.where(uid).is(uid)); ListUserRecs userRecs mongoTemplate.find(query, UserRecs.class, UserRecs); return userRecs.stream() .flatMap(rec - rec.getRecs().stream()) .sorted((a, b) - b.getScore().compareTo(a.getScore())) .limit(20) .collect(Collectors.toList()); } // 提交評(píng)分寫入 MongoDB同時(shí)作為實(shí)時(shí)推薦的觸發(fā)信號(hào) PostMapping(/rate) public Result rate(RequestBody RatingRequest request) { mongoTemplate.save(request, ratings); return Result.success(); } }前端接到recommendations數(shù)組后按分?jǐn)?shù)從高到低渲染成卡片列表。這個(gè)接口的寫法比較直白但它把分層關(guān)系講清楚了前端只認(rèn) userId不關(guān)心推薦結(jié)果的來源是離線統(tǒng)計(jì)還是協(xié)同過濾后端通過對(duì)UserRecs聚合實(shí)現(xiàn)多路推薦融合。如果你想加一路“熱門兜底”在接口里把GenresTopMovies也讀出來混進(jìn)去就行。4. 環(huán)境搭建與程序運(yùn)行偽分布式 Spark 集群怎么跑起來4.1 虛擬機(jī)模擬四節(jié)點(diǎn) Spark 集群論文的實(shí)際運(yùn)行環(huán)境是單機(jī)偽分布式一臺(tái)物理機(jī)上用 VMware 開三臺(tái) CentOS 虛擬機(jī)搭一個(gè)四節(jié)點(diǎn) Spark 集群1 Master 3 Worker三臺(tái)機(jī)器的主機(jī)名分別設(shè)計(jì)為 hadoop102、hadoop103、hadoop104。之所以從 hadoop102 開始編號(hào)是為了給 Namenode 留出 101 的位置如果是生產(chǎn)環(huán)境你還會(huì)加一個(gè) 105 做備用 Master。搭建步驟如下在三臺(tái)虛擬機(jī)上分別安裝 JDK 并配置JAVA_HOME配置 SSH 免密登錄三臺(tái)機(jī)器兩兩互信修改/etc/hosts把三個(gè)主機(jī)名映射到固定 IP在 Spark 的conf/slaves文件里填寫三個(gè) Worker 主機(jī)名修改spark-env.sh指定SPARK_MASTER_HOSThadoop102、SPARK_MASTER_PORT7077完成后在 Master 節(jié)點(diǎn)執(zhí)行start-all.sh瀏覽器訪問hadoop102:8080Worker 列表里能看到三個(gè)節(jié)點(diǎn)說明集群搭好了。4.2 MongoDB 集合設(shè)計(jì)與啟動(dòng)MongoDB 在 Windows 本機(jī)運(yùn)行負(fù)責(zé)存業(yè)務(wù)表和推薦結(jié)果表。數(shù)據(jù)庫里設(shè)計(jì)了兩類集合一類是原始數(shù)據(jù)——User用戶、Ratings評(píng)分、Movies電影另一類是推薦結(jié)果——AverageMovies、GenresTopMovies、RateMoreMovies、RateMoreRecentlyMovies、UserRecs。啟動(dòng)方式最簡(jiǎn)單命令行直接跑mongod --dbpath /data/db --port 27017 --bind_ip 0.0.0.0要注意的是--bind_ip 0.0.0.0否則虛擬機(jī)里的 Spark 應(yīng)用連不上 Windows 宿主機(jī)上的 MongoDB。這是偽分布式環(huán)境里的常見坑后面避坑章節(jié)還會(huì)細(xì)說。業(yè)務(wù)表創(chuàng)建之后用mongoimport把 ratings.dat 和 movies.dat 導(dǎo)入即可。4.3 Redis 與 Elasticsearch 配置Redis 在 Linux 虛擬機(jī)里運(yùn)行主要給實(shí)時(shí)推薦模塊做緩存緩存用戶最近評(píng)分記錄和熱門推薦結(jié)果。配置項(xiàng)只需要改兩處bind 0.0.0.0允許遠(yuǎn)程訪問maxmemory設(shè)一個(gè)合理上限如 2GB避免緩存無限增長(zhǎng)把內(nèi)存吃光。Elasticsearch 的作用是搜索。電影搜索功能沒有走 MongoDB 的模糊查詢而是把電影標(biāo)題、類別、主演信息同步到 ES用 ES 的倒排索引做全文檢索。配置上需要注意 ES 的network.host要改成虛擬機(jī)能訪問的 IPdiscovery.type設(shè)為single-node否則單機(jī)模式會(huì)因組播發(fā)現(xiàn)失敗而啟動(dòng)異常。4.4 系統(tǒng)啟動(dòng)順序與驗(yàn)證整個(gè)系統(tǒng)啟動(dòng)依賴順序很關(guān)鍵錯(cuò)了會(huì)出現(xiàn)“Spark 任務(wù)提交成功但讀寫數(shù)據(jù)失敗”的怪問題# 1. 啟動(dòng) MongoDBWindows 宿主機(jī) mongod --dbpath /data/db --port 27017 --bind_ip 0.0.0.0 # 2. 啟動(dòng) Redishadoop103 redis-server /etc/redis/redis.conf # 3. 啟動(dòng) Elasticsearchhadoop104 elasticsearch -d # 4. 啟動(dòng) Spark 集群hadoop102 Master start-all.sh # 5. 啟動(dòng)后端 Spring 服務(wù)WindowsIDEA 里直接 Run mvn spring-boot:run # 6. 前端 AngularJS 通過 Nginx 或開發(fā)服務(wù)器訪問 localhost:8088啟動(dòng)完成后驗(yàn)證路徑瀏覽器訪問localhost:8088能看到登錄頁登錄后首頁能看到“熱門推薦”“近期熱門”“高分電影”三個(gè)榜單點(diǎn)進(jìn)任何一部電影詳情頁能看到相似電影給任意電影打 5 分后隔幾秒刷新首頁實(shí)時(shí)推薦區(qū)應(yīng)該出現(xiàn)與剛評(píng)分電影類型相近的影片。這四條驗(yàn)證過了系統(tǒng)鏈路就算通了。4.5 推薦任務(wù)的手動(dòng)觸發(fā)離線推薦任務(wù)如果用spark-submit提交可以做成 jar 單獨(dú)跑spark-submit \ --class com.movie.recommender.OfflineRecommender \ --master spark://hadoop102:7077 \ --executor-memory 1G \ movie-recommender-1.0.jar--executor-memory在偽分布式環(huán)境下不要超過 2G。三臺(tái)虛擬機(jī)共享一臺(tái)物理機(jī)的內(nèi)存給多了反而會(huì)因?yàn)槲锢韮?nèi)存不足引起整機(jī) swapSpark 任務(wù)會(huì)越跑越慢最后表現(xiàn)為 Web UI 上任務(wù)卡在 SCHEDULED 狀態(tài)不動(dòng)。5. 常見問題避坑偽分布式環(huán)境下的血淚經(jīng)驗(yàn)5.1 Spark 任務(wù)報(bào)錯(cuò)找不到 MongoDB 驅(qū)動(dòng)類現(xiàn)象提交離線推薦任務(wù)后任務(wù)在讀取 MongoDB 階段拋出ClassNotFoundException: com.mongodb.MongoClient或類似驅(qū)動(dòng)類缺失錯(cuò)誤。原因Spark 集群的 Executor 節(jié)點(diǎn)沒有加載 MongoDB Connector 的依賴 jar。本地 IDEA 運(yùn)行時(shí)依賴在 classpath 里沒問題但spark-submit提交到集群后Executor 的 classpath 是獨(dú)立的。解決打包時(shí)把依賴打進(jìn) fat jar或者提交任務(wù)時(shí)用--packages org.mongodb.spark:mongo-spark-connector_2.11指定依賴。從那以后我每次提交 Spark 任務(wù)都強(qiáng)制檢查一遍--packages列表和代碼里 import 的包一一對(duì)應(yīng)。5.2 Executor 頻繁 OOM任務(wù)卡死在 SCHEDULED 狀態(tài)現(xiàn)象離線統(tǒng)計(jì)任務(wù)在跑大表聚合時(shí)報(bào) Executor OOM日志里有java.lang.OutOfMemoryError, Web UI 里看到多個(gè) Executor 處于 FAILED 狀態(tài)。原因偽分布式集群的內(nèi)存總量有限三臺(tái) Worker 共享物理內(nèi)存。默認(rèn)配置下 Spark 會(huì)為每個(gè) Executor 分配物理內(nèi)存的很大比例多個(gè) Executor 疊加直接吃滿內(nèi)存。另外讀取 MongoDB 時(shí)如果沒有提前 select 字段DataFrame 會(huì)帶著大量冗余字段參加 shuffle內(nèi)存壓力更大。解決第一spark-env.sh里把SPARK_WORKER_MEMORY降到 2G提交任務(wù)時(shí)--executor-memory 1G第二所有 Spark SQL 讀取后的第一步就是select精簡(jiǎn)字段第三對(duì)特別大的 ratings 表先按 uid 做一次repartition再聚合。這條優(yōu)化在真實(shí)集群同樣適用只是真實(shí)集群閾值可以放寬。5.3 UDF 在集群模式下拋序列化異常現(xiàn)象本地跑沒問題spark-submit提交到集群后報(bào)Task not serializable或org.apache.spark.SparkException: Task not serializable錯(cuò)誤棧指向代碼里定義的 UDF。原因如果 UDF 內(nèi)部引用了外部對(duì)象比如配置類實(shí)例、SparkSession 以外的全局變量這個(gè)外部對(duì)象必須可序列化否則閉包無法在 Executor 間傳輸。本地模式下 Driver 和 Executor 在同一 JVM問題不會(huì)暴露。解決UDF 內(nèi)部不要引用外部非序列化對(duì)象把所有依賴封裝成Serializable案例類或者在 UDF 內(nèi)部直接創(chuàng)建所需對(duì)象。我的習(xí)慣是任何 UDF 先問自己“如果它在另一臺(tái)機(jī)器上執(zhí)行需要帶什么東西”只帶字符串和基本類型就是最安全的。5.4 Elasticsearch 啟動(dòng)后外部無法訪問現(xiàn)象ES 在本機(jī)啟動(dòng)正常curl localhost:9200有響應(yīng)但在另一臺(tái)機(jī)器上訪問hadoop104:9200超時(shí)或拒絕連接。原因Elasticsearch 默認(rèn)只綁定127.0.0.1虛擬機(jī)上的 Spark 應(yīng)用當(dāng)然訪問不到。解決修改elasticsearch.yml設(shè)置network.host: 0.0.0.0同時(shí)設(shè)置discovery.type: single-node否則單節(jié)點(diǎn)會(huì)因?yàn)?bootstrap checks 拒絕啟動(dòng)。改完重啟 ES 后用curl http://hadoop104:9200驗(yàn)證。5.5 前端頁面能打開但登錄后一直跳回登錄頁現(xiàn)象localhost:8088 的頁面加載正常輸入用戶名密碼后接口也能返回成功但頁面刷新后又回到登錄頁。原因AngularJS 前端把登錄狀態(tài)存到了瀏覽器 localStorage但后端接口跨域或 Cookie 配置了Secure屬性導(dǎo)致 Cookie 沒寫進(jìn)去。Spring 后端返回登錄態(tài)時(shí)如果沒有正確配置跨域頭瀏覽器會(huì)攔截寫入。解決后端在 WebMvcConfigurer 里配置 CorsRegistry允許前端域名跨域請(qǐng)求帶上 Cookie同時(shí)確認(rèn)登錄接口的響應(yīng)頭包含Access-Control-Allow-Credentials: true。如果用了 Nginx 代理前端還要檢查代理配置是否把 Cookie 頭透?jìng)髁恕?. 二次開發(fā)改造思路把“能跑的推薦”變成“好用的推薦”讀完源碼、跑通鏈路之后真正的價(jià)值在于改造成符合自己場(chǎng)景的系統(tǒng)。我會(huì)從四個(gè)層面動(dòng)刀按投入產(chǎn)出比排序。第一層推薦結(jié)果的加權(quán)融合。當(dāng)前首頁接口直接合并 UserRecs 排序本質(zhì)上還是單一算法輸出輪流展示。更穩(wěn)的做法是給每路推薦打分ALS 結(jié)果乘 0.5基于內(nèi)容的結(jié)果乘 0.3熱門榜乘 0.2做加權(quán)取 TopN。這幾個(gè)權(quán)重可以先用固定值跑一周看各路的點(diǎn)擊轉(zhuǎn)化率再調(diào)。代碼改動(dòng)只在 RecommendController 里加一個(gè)融合函數(shù)不動(dòng)底層。第二層給 ALS 加一個(gè)數(shù)據(jù)預(yù)處理。當(dāng)前 ratings 表是原始評(píng)分直接進(jìn)模型數(shù)據(jù)稀疏時(shí)會(huì)訓(xùn)練出大量零向量。建議訓(xùn)練前過濾掉評(píng)分人數(shù)少于 20 的電影對(duì) score 做標(biāo)準(zhǔn)化到 0-1 區(qū)間。能明顯提升收斂速度和推薦精度。第三層實(shí)時(shí)推薦的觸發(fā)源擴(kuò)展。當(dāng)前實(shí)時(shí)推薦只響應(yīng)“評(píng)分”事件。改造方向是把“點(diǎn)擊詳情頁”“搜索電影”也作為行為流輸入對(duì)點(diǎn)擊行為降權(quán)即可。改動(dòng)工作量集中在行為日志接入和權(quán)重映射。第四層把熱點(diǎn)數(shù)據(jù)推進(jìn) Redis。詳情頁相似推薦和首頁熱門榜都可以做成定時(shí)任務(wù)預(yù)熱進(jìn) Redis前端接口只讀緩存降低 MongoDB 讀壓力。改造點(diǎn)是在離線任務(wù)結(jié)束后加一步寫 Redis 的操作。驗(yàn)證改造效果的方法不需要上線 A/B準(zhǔn)備兩組用戶一組走老邏輯一組走新邏輯各推 50 部電影比較兩組用戶的點(diǎn)擊率和評(píng)分?jǐn)?shù)量。這個(gè)比較可以在 MongoDB 里直接用聚合查詢完成不用額外搭數(shù)據(jù)平臺(tái)。這套工程我前前后后拆過兩次每次都被同一個(gè)問題卡住偽分布式環(huán)境下只要集群一重啟MongoDB 里的推薦結(jié)果表和 Redis 緩存就不同步。從那以后我每次改完離線任務(wù)都強(qiáng)制走一遍“清空結(jié)果表 → 重跑離線批 → 刷新 Redis 預(yù)熱”的流程確認(rèn)三份數(shù)據(jù)一致才交給前端驗(yàn)收。做推薦系統(tǒng)數(shù)據(jù)一致性和算法效果一樣影響體驗(yàn)——希望這篇拆解能幫你少走我來回折騰的那幾步路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲精品乱码久久久久99| 99热这里只有精品13| 51国精产品自偷自偷综合| 丁香久久在线| 九月色婷婷综合| 麻豆AV一区二区三区| 五月婷婷激情综合在线| 无码激情AAAAA片-区区| 淫荡工a| 丰满少妇猛烈A片免费看观看 | 五月开心网| 亚洲中文字幕在线电影| 伊人婷婷五月天| 伊人大香蕉综合在线| 丁香五月六月| 天天爱天天做天天日| 泰州成人视频| tingtingzonghewang| 久久综合26p| 丁香五月第四色88| 激情视频综合| 五月激情小说| 99成人免费视频| 五月婷婷av在线| 色婷婷狠狠18| 婷婷天堂综合| 国产,欧美,学生妹,视频| 亚洲mm色| aaa9区免费在线观看| 九九这里是免费的视频5| 亚洲最大在线| 伊人丁香五月天丁香在线婷| 久久色五月天综合网| 情色五月天 网站| 久久久噜噜噜久久人妻| 成人五月天在线观看| 天天综合精品| 五月婷婷亞洲中文| 五月丁香成人| 超碰人妻公开在线| 九九综合| 激情六月一二| 91色久| 人人爱操| 中文在线成人| 五月婷婷这里都是精品| 97黑人精品区| 久久婷婷五月丁香蜜桃网| 五月草视频| WWW.99视频| 丁香五月激情五月| 色婷婷综合影院| 国产67194| 欧美顶级少妇做爰HD| 丁香五月婷婷色情综合| www,久久久| 26uuu欧美| 蜜桃五月天| 五月丁香色婷婷色| 午夜微拍福利| 丁香九月婷婷| 超级碰碰91| 五月天·www·com| 久久久ww| 色婷婷色综合| 欧美 日韩 人妻 高清 中文| 五月丁香综合在线| 美女要搞搞天天搞搞搞网站| 色五月色五天色情网| 日日干四虎| 久久五月天色婷婷| 久8色色| 97婷婷狠狠| 欧美内射AAAAAAXXXXX| 99精品在这里| 亚洲人人操BD| 热久久99视频| 久热久| 91九九热| 国产成人综合亚洲| 人人操AV| 月婷婷婷婷五月| 国产在线6| Av在线资源| 色播播五月天| 色综合久久44| 久久性爱视频| 五月丁香在线观看| 丁香婷婷在线| 久久99热精品a片在线观看| 亚洲AV网址| 91久久久久| 丁香成人五月天| 97色色色| 五月婷婷第四色| 99热的无码| 亚洲天堂99| 丁香五月98| 九九99九九99九九99视频网| 停停五月色宗合| 日韩乱轮AV| 色五月婷婷av| 狠狠狠狠狠狠色| 亚洲行行色色| 五月天成人在线| 亚洲精品色色| 91丨九色丨白浆| 亚洲精品一区中文字幕乱码| 久热九九| 五月婷婷综合网| www.久久久.com| 久久小片| 五月丁香在线综合| 五月婷婷色激情| 色之综合网| 亚韩在线视频| 久久九九综合| 人妻自慰在线| 天天插天天插天天日| 日本 色综合| 婷婷丁香五月天综合激情| 丁香九月激情| 超碰v| 天天天天天天操| 人人97碰| 9久久精品| jiZZdr| 亚洲AV免费国产电影| 伊人网色婷婷五月天| 69精品人人人人| 五月婷婷深深爱| 五月天激情影院| 日本九九视频| 色丁香五月婷婷| 久久丁香五月| 九九黄色网| 色人久久| 九月丁香| 亚洲网在线观看| 午夜天堂一区人妻| 婷婷五月丁香综合亚洲| 9 1大香蕉| 欧美影院| 成人av在线电影| 免费国产视频| 深爱激情综合网| 99爱这里只有精品免费视频| 97干在线| 97luluse| 婷婷综合在线播放| 色婷婷久久| 97色色婷婷| 99热自拍| 婷婷在线五月天观看| 五月丁香六月婷婷综合免| 狠狠五月丁香色婷| 天天天天色天天天天天干| 这里只有精品9| 天天爽日日爽夜夜爽| 六月亭亭久久综合激情| 五月天婷婷丁香六月| 欧美爆乳一区二区三区| 欧美久久网| 伊久久婷婷| 天天摸天天肏| 亚洲成人AV电影在线| 人妻丰满精品一区二区A片| 色五月婷婷777| 婷婷伊人综合| 四射综合网| 亚洲免费观看高清完整版AV线| 99热国内精品| 六月五月久久丁香| 亚洲视频色婷婷| 91人人网| 爱iii做iiii日| 色很久综合| 激情婷婷在线中文字幕| 开心婷婷五月花| 久久婷婷色五月| 色久综合| 天堂成人A片永久免费网站| 丁香五月天之婷婷影院| 99久久天堂婷婷| 97热在线精品| 色综合五月婷婷狠狠干| 五月天婷婷爱| 五月天激情国产综合婷婷| 青柠影视免费高清电视剧| 五月激情丁香啪啪| 97干97色| 噜噜噜精品欧美成人在线观看| 日本在线va| 激情五月婷婷五月| 中文字幕人妻AV| 成人短视频在线| 桃色激情婷婷伊人网| 99久久婷婷五月天| 久99视频在线观看| 一级内射毛片| 国产 码在线成人网站| 内射激情在线| 99热在线精品观看| 亚洲99一级无嗎特制在线| 色碰干| 色青青电影色五月| 亚洲五月天第一综合干| 26uuu欧美| 97碰在线视频| 日韩精品一区二区亚洲AV观看| 色综合久久五月| 五月天综合影院| 99热地址| 另类A片| 五月丁香六月欧美| 午夜色婷婷| 五月天啪啪网| 狠狠狠激情网| 久久永久视频| 丁香六月av| 激情网 五月天| 婷婷五月天综合网| 五月婷婷性爱网| 九九国产视频| 97碰| 伊人久久中文网| 天天天添天天操| 亚洲成人AV在线播放| 精品9久| a色色色色色| 五月天开心激情综合网| 日本三级成人秘书精品片| 五月丁香无码| 五月天激情啪啪| 综合福利网| 激情婷婷丁香五月天小说| 五月开心啪啪| 婷婷六月色| 天天艹夜夜艹| 九九干视频| 思思久久青草热| 五月天激情四射| 操日本三片99| 五月色丁香| 狠狠婷婷色| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | av在线资源| www色五月天| 超碰人人草| 超碰99久久| 五月婷婷六月少妇激情| 97色精品视频| 精久久色| 六六久久黄色| 激情网婷婷婷| 日本在线观看aaa 99| 新99思思视频| 日日干夜夜干| 久久成人性爱| 少妇被躁爽到高潮无码文| 永久无码色| 精品久久9| 超碰国产在线观看| 毛片新网地| 91在线视频综合| 久久九九热视频| 亚洲中文字幕翔田千里| 色色色.COM| 伊人99久久| 五月丁香啪啪啪啪| 久久se 综合网 | 九九综舍久久| 五月婷婷色影院| 色婷婷久久视屏| 精品51XX| 欧美日韩五月婷婷| 成人网站免费在线播放| 久久久香| 丁香五月五月婷婷| 怡红院院在线导航网| 欧美日韩99| 日操| 婷婷中文字幕欧美| 丁香婷婷久久综合在线| 五月丁香综合久久夜夜| www.夜夜操.com| 任你日热视频| 伊人玖玖网| 91精品无码久久久久久五月天| 婷婷激情五月| 五月丁香六月激情综合网| 日本久久网| 婷婷久久欧美| 伊人久久丁香狠狠婷婷综合香蕉 | 丁香花成人区| 亚洲成人免费在线| 色的色综合| 精品欧美性爱超级爽| 伊人深爱综合| 色婷婷在线影院| 色色色地址| 亚洲婷婷91丁香| 色婷婷视频在线| 婷丁五月| 激情婷婷在线| 狠狠干婷婷| 婷婷五月天AV在线| 疯狂做受XXXX高潮A片| 六月婷五月丁香| 久热99中文字幕| 天天日夜夜拍| 伊人婷婷青青cao| 丁香网站| 欧美丁香五月夫妻天| 97在线综合| 五月激情天| 丁香五月激情站| 97超碰色| 五月婷婷五月| 性生活久久朋友人妻| 色婷av| 91久久久久久| 五月激情偷拍婷婷| 99精品超在线播放| 久99| 96五月丁香熟女| 丁乡久久| 少妇伦子伦精品无吗| 婷婷五月天在线观看免费| 丁香久久综合| www.丁香黄色五月天人与| 激情六月婷婷| 狠狠人妻久久久久久综合丁香| 人人操大| 国产亚洲精品久久久久久豆腐| 五月婷婷五月天亚洲无码| 丁香五月停停基地| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 五月丁香影院| 26uuu欧美亚洲日韩| 性热视频99精品| 国产午夜精品AV一区二区麻豆| 五月婷婷激情久久| 国产人妻操逼| www.99热这里精品| 91se视频| 婷婷五月天精品| 婷婷五月噜噜| 丁香五月天天哦| 99色在线视频观看| 国产古装妇女野外A片| 66成人网| anquye五月| 久久停停超碰| 五月丁香六月婷婷的女人| 婷婷九月色| 五月综合激情| 激情网婷婷婷| 成人五月天在线视频在线观看| 丁香五月综合久久综合| 一本婷婷丁香久久| 免费看欧美成人A片无码| 先锋资源婷婷| 狠狠五月激情丁香六月| 丁香五月激情综合网激情五月| 中文字幕av亚洲| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 夜夜爱网站| 【乱子伦】黄色| 亚洲成人另类| 日韩xx在线| 日本不卡高字幕在线2019| 五月花免费视频| wwccc久久久| 超碰超碰在线| 色婷婷香蕉丁丁网| 微拍92| 亚洲蜜桃精久久久久久久久久久久| 日本色久| 欧美婷婷五月天| 国产又黄又爽又激情不遮挡视频在线观看| 熟女色专区| 99热综合色图| 激情图片婷婷| 激情五月色综合网| 9久热精品在线视频| 婷婷97| 久热亚洲| 色婷婷综合影院| 五月婷婷丁香在线| 五月天婷婷丁香社区| 岛国资源网| 久婷婷五月丁香在线观看| 中文字幕在线免费| 日韩AV在线免费观看| 丁香五月影| 99这里只有精品| 99性爱视频| 久久网日本| 天天爱天天秀天天做| WWW、日本色丁香、co m| 久久这里只有国产| site:esunnet.com| 天天在线天天综合网色| 丁香婷婷六月天| 激情99。| 国产人妻777人伦精品HD| 99国产在线| 精品在线网站| www久久99| 成人五月天丁香| 狼人婷婷久久| 欧美久热| 99热在线看| 激情五月影院| 四月婷婷五月丁香| 婷婷五月电影| 九月婷婷综合| 天天色综网| 99视频自拍| 国产精品成人在线| 丁香五月久久| 嫩草极品| 禁片二区| 久久伦乱| 九九伊人网| 伊人五月婷婷| 久久这里只有精彩| 热99久久这里只有精品| 六月久久狠狠| 亚洲色五月| 夜夜爱伊人| 婷综合| 九九综合精品| 亚洲精品久久久无码| 中文字幕乱码亚洲精品一区| www.99精品日操伊人乱碰在线| 91婷婷丁香五月亚洲| 久久182| 1024你懂的欧美曰韩| 伊人玖玖婷婷| 天天综合情| 婷婷五月天亚洲色| 黄色激情五月天| www.五月天婷婷| 综合网色| 亚洲无AV在线中文字幕 | 成 人片 黄 色 大 片| 超碰97在线操| 欧美碰碰| www久久99| 五月丁香六月婷| 免费精品66| 九九热这里只有精品31| 青青草轻轻操| 欧美私人家庭影院| 超碰在线资源| 色婷婷五月天激情| 天天谢天天操| 婷婷五月天AV| 丁香五月天大香蕉啪啪| 99热1| 综合亚洲六月婷婷在线| 色综合久久88色综合天天人守婷| 五月婷婷中文| 91九色首页| 99精品久| 久久久妻人人人| 9久热这里只有精品| 色五月婷婷在线观看| 五月婷婷性爱| 久久国产一区二区三区| 成人网在线视频| 天天搞夜夜六| 婷婷欧美| 在线观看免费视频| 操日视频| 婷婷深爱网| 综合色色婷婷| www网站在线观看| 久久久久久综合88| 中国激情网| 免费亚洲婷婷中文字幕| 99精品综合| 久热 91| 另类小说婷婷色| www,色婷婷| 精品9197碰| 色色色色色日韩午夜激情| aⅤ79成人片| 99热这里只要精品免费| 色情成人五月天| 婷婷色一二三区波多野结衣| 五月激情婷婷六月丁香| 久久久8| 色婷婷丁香| 狠狠色综合无线观看| 婷婷色五月婷婷姐妹| 99热这里有精力| 亚洲1区| 一本九九色| 婷婷五月天xxx| 91无码视频| 国产av网| hd五月婷婷在线| 99超级碰碰| 婷婷的五月天另类视频| 成人做爰A片免费看网站找不到了| 99操逼| 亚洲视频一区| 丁香五月日韩| 一丁香五月天月AV| 青青久久五月天丁香婷婷| 99精品国产在热久久| 精品无吗va视频免费观看| 亚洲乱码日产精品BD| 成人视频在线免费播放| 激情五月,婷婷五月,丁香五月| 香蕉综合网| 日本精品99网站| 99热免费看| 免费超碰在线观看| 丁香色啪综合| 色婷婷五月天| 激情深爱婷婷网| www.99精品在线| 五月久久| 天天做天天爱天天综合网| 99热 免费| 久热一本| 97香蕉久久超级碰碰高清版| 99视频激情四射| 五月婷婷精品视频| 日韩六六久久电影| 亚洲精品久久久无码 | 琪琪色五月天| 九九青草热| 偷拍五月丁香| 人人爽欧美婷婷久久久五月丁香 | 亚洲综合色色| 日本啪啪天堂| 伊人91| 色久九| 美女网黄| 亚洲永久四色| 天天天天操| 亚洲激情av| 99精品久久久久久久婷婷| 9久热在线精品| 婷婷五月深爱五月| 激情国产五月| 激情综合色婷婷六月天| 丁香久久九九99| 丁香五月天在线观看| 色婷婷精品视频在线播放| 99热在线免费| 五月天婷婷涩涩| 99在线观看精品视频| 综合狠狠干| 国产精品国产| 成人在线网| www.丁香五月| 婷婷亚洲色| 亚洲熟妇AV综合网五月丁香伊人| 99热久久这里只有精品| 色色综合视频| 九九热99久久99| 五月激情在线| 99爱爱| 99热这里有精品| 九九色中文| 婷婷网五月天| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 五月婷婷亚洲天堂97色婷婷| 久色欧美| 国产操B视频| 五月天色丁香| 色婷婷六月天| 欧美一级色| 99热这是里只有精品| 国产成人AV| 婷婷五月丁香伊人| 久久香蕉丁香| 91精品丝袜久久久久久| 欧美性爱5月天天天看| 高清免费在线视频| AV成人在线播放| 五月婷婷五月天| 久久这里只有精品热在99| 狠狠擼综合| 亚洲无码免费看| 亚洲人成色A777777在线观看| 婷婷丁香五另类网站| 中文字幕永久在线| 日日夜夜狠狠干| 丁香五月停停基地| 饮料下药迷倒漂亮女同事强干| 婷婷六月开心网| 亚洲精品**不卡在线播he| 五月香婷婷| 激情丁香婷婷六月天| 91超级碰碰| 天天舔天天摸天天透| 97综合视频在线| 九色无码| 亭亭色天香| 综合色视频| 日本丁香五月| 婷婷五月天黄色小说| 99这里有精品视频| 婷婷五月色播天| 亚洲综合另类| 91视频精品99| 午夜天天精品视频| 色情婷婷。| 久操b网| 91热久| 欧美成人AAA片一区国产精品 | 91热视频| 极品人妻VIDEOSSS人妻 | 99A片| 日韩一级网站| 六月丁香深深爱| 九九精品热播| 久久婷婷七月丁香| 91操人视频| 丁香婷婷婷五月| 牛牛澡牛牛爽| 国产性色蜜乳| 五月丁香777| 男女啪啪做爰高潮无遮挡| 日韩黄黄| 99男人天堂| 精品亚洲国产成AV人片传媒| 五月婷网| 99热免费看| 激情久久五月天| 亚洲精品一二三| 亭亭五月色男人| 婷婷六月啪啪| xxx综合在线| 天天肏天天肏| 国产在线网| 中文久久婷婷| 思恩热国产视频右线观看| 久婷婷视平| 天天操B| 婷婷五月天电影区小说区| 精品色情一区二区三区四区| 日本高清久| αV电影| 亚洲V国产V欧美V久久久久久| 九九AV在线| 五月天婷婷激情综合| 色情丁香五月天| 色五月色五天色情网| 久久码久久无清| 春色激情| A片试看50分钟做受视频| 97在线精品| 天天日天天舔| 91精品综合久久久久久五月丁香 | 色综合色色色色| 色色99| 操碰97| 另类图片五月天| 丁香五月综合在线观看| 婷婷开心青青草| 午夜色色色极品视频| yellow视频在线观看91| 色色五月婷婷久久| 五月婷婷日| 色婷婷av综合网| Blackedraw视频一区二区| 综合五月婷婷| 激情综合一| 色色激情五月天| 久月婷婷| 丁香九月综合激情| 五月婷激情影院| 26uuu精品一区二区| 九九热99在线视频| 激情网色五月| 肏日网在线看| 人人操人人添人人摸97| 丁香婷婷综合色五月激情国产基地| 91久女| AA片在线观看视频在线播放| 五月丁香六月婷| 精品色色| 欧洲第一无人区观看| 开心五月婷婷| 久久三级视频| 久久婷网| 色色色欧美| 色色婷婷五月天| 久久伊人五月天| 五月天婷婷久久视频| 天天干天天干天天干天天干天天干| 五月婷婷大香蕉| 色婷婷亚洲精品天天综| 超碰爱爱爱| 激情色情五月天| 99热这里只有的精品视| 狠狠xx| 夜夜撸日日操| 五月色婷| 丁香五月影院| 极品少妇高潮啪啪AV无码| 国产精品激情AV久久久青桔| 五月婷婷丁香91| 91大操| 色婷成人狠干| 9999三级片| 无码激情| www.狠狠狠.com| 五月丁香欧美在线| 日日操夜夜爽| 丁香五月天亚洲视频| 中文字幕精品在线观看| 日日夜夜狠狠| 丁香五月播播| 免费无码毛片一区二区A片| 99精品综合| 超级碰碰碰久久网站| 亚洲一级AV在线免费播放| 丁香大香蕉| 婷婷五月天Av| 丁香婷婷啪啪啪| 久久99热在线观看| 99re8这里只有精品99re8热视频| 色婷婷久久综合丁香五月| 五月丁香啪啪综合网| 99精品综合| 天天狠天天叉| 99精品在线观看| www.色色色com| 99热在线看片| 色一情一乱一乱一区91| 深爱激情四射| 五月天另类激情在线| 色色色色色色色色五月先| 成人在线日韩| 丁香综合久久| 日韩色色色99| 激情婷婷啪啪| 亚洲操B| WWW色色色COM| 大香蕉520| 欧洲亚洲激情五月天在线| 天天插天天插| 少妇AB又爽又紧无码网站| 狠狠色丁香婷婷| 99色区| 视色综合| 网色99| www日本熟妇99在线视频| 99热1| 激情五月丁香激情综合网 | 日本九九网| 激情综合网五月天天| 深爱五月激情五月| 99热综合| 亚洲婷婷久久综合| 精久久色| 天天干天干| 成人在线免费网址| 2014天天爽| 亚洲另类久久| 久久丁香五月天| 人妻在线网站| 停停色综合伊人| 99热综合在线| 久久月天堂| 亚洲人人96@| 婷婷五月天综合AV| 亚洲婷婷五月天| 成人综合视频在线| 99热视精品| 激情五月综合网| sewuyuetingtingiii| 狠狠婷婷爱| 丁香激情久久| 久久婷婷电影| 激情五月婷婷啪啪| 亚洲这里只有精品| 九九热最新地址| 99riAV成人在线视频| 99免费热在线精品| 久久五月天视频| 狠狠精品干练久久久无码中文字幕 | 色婷婷丁香五月观看| 五月丁香成人| 大香蕉啪啪啪啪啪啪| 五月丁香五月激情综合色综合| 在线看片av| 五月丁香A片| 激情综合五月激情17| 五月婷婷狠狠干| 99综合成人视频在线观看| hd五月婷婷在线| 夜夜夜夜夜操| 亚洲熟女色| 五月丁香婷婷激情澎湃四射| 疯狂做受XXXX高潮A片| 色狠狠综合| 五月婷婷免费在线视频| 亚洲传媒在线观看| www天天干| 操人无码| 91尤物九色在线| 欧美成人性爱网| 婷婷在线日韩综合| 天天拍久久| 五月激情天| 婷婷丁香六月综合激情站| 婷婷五月综合网| www久久久久久久久久久久久久久久久| 人人爱干人人爱草| 丁香五月天婷婷激情| 日韩99视频| 欧美狠狠色| 婷婷亚洲在线| 丁香婷婷色五月天| 美女久久天堂| 日日肏夜夜干| 91人人爱| 亚洲女婷婷五月基地综合久久久| 婷婷久热| 色色色99| 97色碰| 欧美在线视频9| 人妻久久久久久久 | 五月天婷婷色播| 蜜桃成语时李时珍 免费| 五月久久噜噜| 91精品久久久久久77777| 亚洲精品网站色视频| 丁香五月在线自慰| 99色干| 丁香婷婷九月| 婷婷五月亚洲综合| 538在线精品| 夜夜爽天天| 9精品久久999| 秋霞三及片| 一区=区操屄高清大全av| 黄色激情五月天| 亚洲AV无码一区二| 超碰国产在线观看| 九九99免费理论| 99热在这里只有精品| 激情四射五月天偷偷看婷婷| 人妻久久久| 六月丁婷婷| 成人做爰高潮A片免费视频| 婷婷五月天深爱| 99综合97| 婷婷另类小说| 婷婷五月电影院| 色噜噜婷婷| 婷婷五月成人有| 久热婷婷综合| xxx.色婷婷| 99riAv1国产在线观看| 五月婷婷三级| 可以免费看av网站| 爆乳熟妇一区二区三区四区| 成年人看Va免费视频| 亚洲综合在线网站| 黄网在线播放| 激情五月天开心网丁香无码| 香蕉曰比| 青青草轻轻操| www.婷婷网| 亚洲精品第一国产综合亚AV | 六月丁香婷婷五月| 五月天婷婷情色| 久热这里| 成人色色视频| 9热视频在线观看| 狠狠综合| 亚洲性图一区二区| 综合网狠狠| 五月丁香婷草| 国产一级片| 极品人妻VIDEOSSS人妻| 丁香六月婷婷色XXXXX| www.9797国产| 综合婷婷| 99热这里只有精品50| 97碰精品| 91精品无码| 婷婷五月天成人五月天| 婷婷情色五月| 欧美99| 色五月天综合| 丁香五月天天| 99热.com| 亚洲aV写真天天综合网久久| 久9精品视频| 午夜精品人妻无码一区二区三区| 婷婷五月天色| 五月天激情综合网俺也去| 波多野结衣不卡AV| 国产成人av在线| 亚洲综合婷婷| 久99精品视频| 五月激情综合网| 深爱五月网| 久青青久| 国产婷婷婷| 久久综合激情| 少妇人妻凹凸视频| 91超级碰| 伊综合蕉| 中文字幕在线日亚洲9| 丁香五月婷婷乱| 黄网免费观看| 中国女人做爰A片| 激情丁香六月| 99思思热只有在这里看| 永久无码色| 红桃91人妻爽人妻爽| 97人人操在线| 九九综合久久| 婷婷五月天综合激情| 中文字幕久久婷九女同| 五月天婷婷基地| 亚洲色视频| 五月丁香六月婷婷综合网| 丁香五月婷婷AV| 色婷婷精| 五月婷婷综合网| 色婷婷亚洲五月天| 99成人网站| 亚洲超级碰| 大香蕉在线99热| 天天射影院| 色色色色五月| 99热这里只有精品33| 日韩婷婷| 9 1 A v久久久| 欧美性生交XXXXX无码小说 | www.深爱激情| 天天色天天爱天天舔| 草草操操| 婷婷狠狠97| 久久3级片| 少妇性BBB搡BBB爽爽爽电影| 日日爽日日| 五月天丁香婷婷社区| 成人五月天在线观看| 超碰在线观看9| 色综合色综合色综合| 天天干,天天日| 9l视频自拍9l视频自拍九色学生| 99热这里只有精品国产免费| 国产精品色婷婷久久久精品| 色五月天 丁香| 99ER热精品视频| 色婷五月| 色爱综合网| 色久女| 激情五月婷黄版| 精品久久久人妻| 直接看的AV网站| 久久久久思思热| 日韩一区二区三区无码| 欧美激情五月天婷婷| 五月丁香影院| 婷婷久久亚洲| 九九99在线免费在线观看视频| 啪啪丁香五月| 特级操b片| 97伊人综合婷婷| 婷婷色情五月| 久久九⑨| 婷婷自拍| av五月丁香| www.久操| 777久久久| 日韩伊人大香蕉| 国产99久9在线| 久草丁香婷婷五月天婷| 日韩欧美一道四区中文字幕| 停停五月色宗合| 一操久久| 亚洲人人操| 婷婷色操| 欧美影院婷婷| 超碰亚洲天堂| 成人做爰A片免费看网站找不到了| 99在线精品观看99| 综合综合色色| 久久久er热| 中文字幕日韩无码制服诱或| 9久热这里只有精品视频| 婷婷在线五月天观看| 婷婷丁香视频| 999热成人在线综合网| 射久久丁香五月| 婷婷夜夜操| 影音先锋天天日| 久色大| 丁香五月婷婷亚洲综合精品| 成人在线精品| 操人无码| 超碰人人在线| 日韩av手机在线观看| 另类国产欧美视频| 丁香婷婷性久久| AV在线免费播放| 五月丁色AV| 伊人婷婷五月| 久久久久久久久人妻| www,超碰| 色偷偷综合| 日日影院 | 九色视频入口91| 色欲婷婷五月天丁香| 欧美99热| 激情婷婷人妻| 激情五月狠狠| 婷婷五月天欧美图片在线播放电驴| 少妇达人正片在线播放_ikun_福利吧| 天天干天天操天天射| 婷婷综合五月| 色偷偷AV亚洲男人的天堂| 影院久久久| www.五月天色色.com| 激情五月天婷婷激情| 婷婷狠狠五月综合| 极品另类| 涩五月婷婷| AV成人在线网站| 国产44页| 婷婷亚洲五| 婷婷香五月| 99热99精品| 97五月天| 亚洲AV无码影院| 五月丁香久久精品在线观看| 另类小说婷婷色| 五月天网站亭亭| 深爱综合网| 999热这里只有美国精品| 亚洲啪啪自拍| 91男同| 五月综合六月婷婷| 色5月婷婷色| 成人无码精品1区2区3区免费看| 996黄色片| 久草婷婷| 人妻操在线看| 97碰碰在线看视频免费| 欧美性生交XXXXX无码小说| 久久 中文 日本| 99 热| 91人人爽久久涩噜噜噜| 丁香六月婷婷综合| 婷婷国产五月天17c| 激情AV| 久久这里只有精品视频1| 人人摸人人搞| 9l视频自拍九色9l黑人| 影音先锋毛片网站| 五月丁香久久激情网| 91超级碰| 老司机视频lsj爱就色| 久久婷婷精品| 亚洲性天天| 亚洲激情婷婷| 99精品成人无码A片观看金桔 | 九九这里是免费的视频5| 青青草国产亚洲精品久久| 中文字幕欧美久久| 五月婷无码| www.97碰碰com| 丁香五月婷婷激情四射深爱激情| 色婷婷免费观看| 综合色天天| 综合色影院| 五月婷婷 激情按摩| 九九碰九九爱97超碰| 激情五月婷婷开心网| 欧美精品XXXXBBBB| 久久婷婷内射| 夜夜骑福利资源| 亚洲第一综合| 亚洲激情婷婷| 婷婷草| 综合av在线| 五月丁香激| 久色国产| 99色在线观看| 99久扒热| 久久精品亚洲一级牲爱综合| 激情久久久| 久久五月天免费网站| 日本九九热| 97久久超碰| 九九AV在线| 色色99| 亚洲成AV人片在线观看| 再次出发二| www.久久99热地址发布| 丁香五月婷婷香| WWW、日本色丁香、co m| 婷婷的99视频网站| 97电影99热| 91人人爽久久涩噜噜噜| 国产毛片精品一区二区色欲黄A片| 色,激情五月天| 欧美日本国产欧美日本韩国99| 九九99热精品| 开心五月深爱五月婷| 激情九月婷婷| 色人久久| 91操片| 久久色五月天| 五月综合婷婷五月| 精品热九九| 欧美激情丁香五月天久久婷婷一区| 色情五月综合婷婷| 狠狠色丁香久久| 日日狠狠久久偷偷四色综合免费 | 夜夜资源站| 欧洲S级在线观看| 九九热经典视频在线观看| www免费在线视频| 狠狠操.com| 五月天啪啪啪| 99热精品在线观看| 丁香五月色色| 五月激情啪啪啪| 91九色首页| 欧洲不卡视频| 激情婷婷| 亚洲综合一区二区| 女人被男人吃奶到高潮| 久久hd| 天天爽天天操| 中文字幕av亚洲| 99免费在线视频| 99九精品| 久色大| 一本色道久久88加勒比—| 直接看的AV| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 丁香婷婷成年| 五月天播播综合| 五月婷婷激情综合| 婷婷五月天激情在线观看| 色五月婷婷久久| 伊人婷婷五月天| 99热综合网| 黄色大片又大粗又爽| 日日日日日| 天堂爱爱| 激情av| 婷婷综合激情五月综合| 婷婷中文字幕网站| 另类小说婷婷色| 久久香视频| 天天操天天插| 热五月婷婷| 人人操AV| 亚洲视频丁香网va| 成人国产欧美大片一区| 五月天俺去也| 最新AV在线观看| 久久与婷婷| 99色6爱9热| 成人免费120分钟啪啪| 色播五月丁香综合| 天天色五月婷婷91久久久久久久| 丁香六月五月天| 婷婷色网址| 新激情五月天天在线网| 色五月色图| 欧洲不卡视频| WWW.激情| 色青青电影色五月| 色色欧美色色| 99热在线资源| 婷婷色五月天在线| 香蕉综合网| 婷婷D区| 欧美性丁香色色五月天干干| 五月天婷婷香蕉狠狠超碰综合| 激情综合网五月激情| 日本婷婷综合精品| 爱操天堂| 天天搞天天色综合| 人人人操Av| 99在线精品免费视频| 亚洲最大五月天成人网| 综合伊人久久| 激情五月综合亚洲另类| 国产精品大香蕉| 99ER热精品视频| 色婷婷日本| www.粉嫩av.com| 天天干天天日蜜臀av| 九九re精品视频在线观看 | 婷婷五月天成人网| 五月亚洲| 婷婷丁香久久| 波多婷婷久久| 99在线免费视频| 狠狠另类视频| 色婷成人狠干| 久久99精品视频| 成人精品99| 色狠狠综合网| 国产精品久久久久9999小说| 色婷婷成人久久| 天天综合天天玩夜夜玩天天玩夜夜玩| 丁香五月av在线| 九九青草热| 久热99| 色五月色五天免费视频| 亚洲色婷婷| 精品亚洲国产成AV人片传媒| 巴基斯坦粉嫩无码视频| 五月丁香激| 亚洲蜜桃精久久久久久久久久久久| 天天干夜夜谢| 五月天婷婷一起草| ai97re99一本| 婷婷综合五月| 日韩操| 色婷婷五月影视| 五月天婷婷丁香人人操91| 日韩久热| 台湾佬天天日丁香婷婷五月天| 欧美日韩123| 大战熟女丰满人妻AV| 91九色在线视频| 天天干天天操天天干天天操天天干天天操 | 日日操夜夜擼| 婷婷丁香成人| 999热在线视频| 九九色色| 欧洲电影在线观看免费版英语版 | 成年人最刺激的综合网| 三区激情四射av| 曰曰久久| 久久电影五月天丁香电影| 99热这里只有精品2| 99色色色色| 成人婷婷色五月天| 超碰在线精品| 亚洲视频另类| 日本狠狠色| 天天拍天天操| 婷婷亚洲在线| 99视频地址| 丁香五月欧美色综合| 久久精品一区二区三区四区| 激情综合色网| 国产午夜一区二区三区| 色婷婷丁香五月丁香| 综合色99| 五月婷婷婷色|