欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于Hadoop、Spark與Python的英雄聯(lián)盟陣容分析平臺實戰(zhàn)

基于Hadoop、Spark與Python的英雄聯(lián)盟陣容分析平臺實戰(zhàn) 很多同學(xué)拿到大數(shù)據(jù)相關(guān)的課程設(shè)計題目會慌尤其是那種把 Hadoop、Spark、Python 串起來的綜合項目。這個hadoopSpark基于Python的英雄聯(lián)盟排位賽陣容分析平臺就是我做過的一個典型題目——聽起來是三個技術(shù)棧疊在一起實際上拆開看每個組件干的事情非常清晰。這篇文章就圍繞這個項目把從需求拆解、架構(gòu)設(shè)計、環(huán)境搭建、代碼實現(xiàn)到可視化大屏的經(jīng)驗完整寫出來給正在做同類型題目的朋友一個能直接參考的完整流程。先交代背景這個平臺解決的核心問題是從海量《英雄聯(lián)盟》排位賽對局?jǐn)?shù)據(jù)里挖掘陣容層面的規(guī)律——比如哪些英雄在當(dāng)前版本勝率最高、哪些組合同時出場時勝率明顯偏高、不同位置的英雄優(yōu)先級怎么排。數(shù)據(jù)量達(dá)到幾十萬場以上的對局記錄時單機(jī) Excel 和 Pandas 已經(jīng)跑不動了這時候 Hadoop 負(fù)責(zé)存儲、Spark 負(fù)責(zé)分布式計算、Python 負(fù)責(zé)采集和最終的分析邏輯最后將聚合結(jié)果投到可視化大屏上展示。這套流程恰好覆蓋了大數(shù)據(jù)的經(jīng)典鏈路也是很多院校課程設(shè)計和畢業(yè)設(shè)計偏好的選題方向。如果你對大數(shù)據(jù)分析、游戲數(shù)據(jù)洞察、數(shù)據(jù)可視化感興趣或者正在找類似的完整項目參考這篇文章應(yīng)該能幫上你。1. 項目整體設(shè)計與思路1.1 需求拆解陣營分析到底要算什么指標(biāo)拿到題目后第一步不是急著裝環(huán)境而是把陣容分析這四個字拆成可執(zhí)行的計算指標(biāo)。我在做這個項目時參考了常見游戲數(shù)據(jù)分析平臺的做法把指標(biāo)分成四個維度。第一類是英雄基礎(chǔ)數(shù)據(jù)出場率、勝率、禁用率。這三個指標(biāo)能快速反映出當(dāng)前版本的強(qiáng)勢英雄。第二類是位置維度因為 LOL 的排位賽有上單、打野、中單、ADC、輔助五個位置不同位置的英雄池差異很大單純看全局勝率會掩蓋位置特征所以必須按位置拆分統(tǒng)計。第三類是英雄搭配組合分析也就是經(jīng)常說的陣容羈絆——某些英雄同時出場時會產(chǎn)生體系效應(yīng)比如雙核發(fā)育體系強(qiáng)開團(tuán)陣容韓國式運營體系等這類分析需要統(tǒng)計英雄之間的共現(xiàn)頻次以及組合勝率。第四類是分段過濾不同段位的對局策略差異很大黑鐵局和大師局的陣容邏輯完全不同所以在計算指標(biāo)時必須能夠按段位區(qū)間做過濾。把這四個維度落到技術(shù)層面對應(yīng)的就是一系列分組聚合、排序、TopN 截取和關(guān)聯(lián)規(guī)則的批量計算。整個項目的數(shù)據(jù)規(guī)模如果采集 20 萬場以上的對局記錄每場對局包含雙方十個英雄的選人信息、段位、位置、勝負(fù)等 18 個左右的核心字段展開成明細(xì)行之后數(shù)據(jù)量在百萬級別。單機(jī)處理這種量級的多次聚合不是不行但速度很慢而且頻繁的內(nèi)存排序容易把筆記本卡死。這正是引入 Spark 的充分理由把明細(xì)數(shù)據(jù)分布式存儲到 HDFS用 Spark 的 DataFrame API 快速完成多輪聚合。1.2 為什么技術(shù)上選了 Hadoop Spark Python 這套組合這個技術(shù)選型首先要考慮的是題目的教學(xué)意義。Hadoop 生態(tài)中的 HDFS 提供了分布式文件系統(tǒng)的概念NameNode 和 DataNode 的角色分工、數(shù)據(jù)塊的副本機(jī)制這些都是大數(shù)據(jù)入門躲不開的基礎(chǔ)知識。Spark 則是目前業(yè)界最主流的分布式計算引擎它用內(nèi)存計算替代了 MapReduce 反復(fù)落盤的機(jī)制在迭代計算場景下性能優(yōu)勢明顯。Python 則是用來做數(shù)據(jù)采集、清洗和統(tǒng)計分析的主力語言生態(tài)成熟編寫效率高。很多同學(xué)會問為什么不用純 Python 加 Pandas 直接分析答案是可以但這違背了題目想要考察的技術(shù)點。課程設(shè)計和畢業(yè)設(shè)計本質(zhì)上要展示你對整套大數(shù)據(jù)處理流程的掌握程度而不僅僅是一個分析結(jié)果。HDFS 上的原始數(shù)據(jù)落盤、Spark 任務(wù)的提交和監(jiān)控、YARN 對資源的調(diào)度這些過程本身就是加分項。另外一個很現(xiàn)實的原因是容錯率。Hadoop 和 Spark 都是成熟的分布式框架本地用偽分布式模式跑批量計算非常穩(wěn)定不會因為數(shù)據(jù)量大一點就 OOM。相比之下單機(jī) Pandas 在內(nèi)存吃緊的時候處理幾個 G 的數(shù)據(jù)經(jīng)常直接崩潰尤其是做笛卡爾積類操作的時候。我在這類項目里有一條經(jīng)驗數(shù)據(jù)量上了百萬行以后凡是涉及多輪 groupBy 和 join 的活兒優(yōu)先交給 Spark凡是數(shù)據(jù)量不大但對靈活性要求高的活兒留在 Python 里處理。1.3 系統(tǒng)整體架構(gòu)從數(shù)據(jù)采集到可視化大屏的完整鏈路整個平臺的數(shù)據(jù)鏈路可以分成四層。采集層負(fù)責(zé)從 Riot 開發(fā)者平臺或公開數(shù)據(jù)集拉取排位賽對局?jǐn)?shù)據(jù)解析成結(jié)構(gòu)化 JSON 存入本地存儲層用 Hadoop HDFS 構(gòu)建偽分布式文件系統(tǒng)把原始 JSON 按天或按大區(qū)劃分成數(shù)據(jù)文件計算層交給 Spark讀取 HDFS 上的數(shù)據(jù)清洗后轉(zhuǎn)成 DataFrame執(zhí)行勝率計算、搭配挖掘、分位置聚合等任務(wù)結(jié)果寫成分析結(jié)果表和 Top 榜單展示層由 Python 的 Flask 框架提供數(shù)據(jù)查詢接口前端頁面通過 ECharts 渲染大屏可視化。這里有一個架構(gòu)上的取舍值得說清楚為什么計算結(jié)果不直接 feed 給前端頁面而是要通過 Flask 再做一層接口原因是為了解耦。Spark 分析任務(wù)是批處理模式可能跑幾分鐘甚至更久而大屏展示是實時頁面請求不能等 Spark 跑完才響應(yīng)。把分析結(jié)果預(yù)先落地成 MySQL 表或者 JSON 文件前端只做展示查詢響應(yīng)速度能達(dá)到毫秒級。這其實也模擬了真實企業(yè)里離線計算 線上查詢的分層思路。2. Hadoop 和 Spark 在項目中的分工與協(xié)作2.1 HDFS 存儲層設(shè)計數(shù)據(jù)文件應(yīng)該怎么規(guī)劃HDFS 的核心思想是把大文件切成小塊分散存儲在多個節(jié)點上并對每個塊做冗余備份。本項目的偽分布式模式就相當(dāng)于只有一個 DataNode 節(jié)點運行在本機(jī)所以副本數(shù)一般設(shè)為 1 就夠。實際規(guī)劃 HDFS 目錄時我建議把原始數(shù)據(jù)、清洗后數(shù)據(jù)和計算結(jié)果分別存放在不同路徑下避免后續(xù)任務(wù)讀錯文件。推薦的目錄規(guī)劃是/lol/raw/存放從 API 拉下來的 JSON 原始文件/lol/clean/存放經(jīng)過清洗之后的 Parquet 或 CSV/lol/result/存放分析結(jié)果集。這樣做的好處很明顯——Spark 作業(yè)可以只讀取指定層的數(shù)據(jù)也方便出錯時單獨重算某一層。相比之下如果所有數(shù)據(jù)都堆在一個目錄里排查問題和任務(wù)失敗重跑的成本都會翻倍。HDFS 寫入時我習(xí)慣用-put命令上傳本地文件也可以用 Python 的hdfs庫直接對接 WebHDFS 接口。在 20 萬場對局的規(guī)模下原始 JSON 文件總量一般在 5-10GB 左右HDFS 的默認(rèn)塊大小 128MB 對這個場景很合適。有一點需要特別注意HDFS 對小文件非常不友好如果采集程序把每場比賽單獨存成一個 JSON一會兒就在目錄里產(chǎn)生幾萬個小文件NameNode 內(nèi)存壓力很大后續(xù) Spark 讀取也會因為文件列表過長而變慢。我的做法是采集端每收集 5000 場對局就合并寫成一個文件Spark 讀取時的效率會明顯好很多。2.2 Spark 計算引擎為什么在這么多選型里選它Spark 在項目中的定位是計算引擎它從 HDFS 上讀數(shù)據(jù)然后做分布式計算。Spark Core 提供了彈性分布式數(shù)據(jù)集 RDD 的抽象Spark SQL 提供了更高層的 DataFrame/Dataset 接口后者有 Catalyst 優(yōu)化器對寫 SQL 和聚合類操作極其友好。在本項目里我用得最多的就是 Spark SQL。為什么 Spark 跑這批聚合任務(wù)比傳統(tǒng)方式快核心原因在于它的內(nèi)存計算模型。MapReduce 在每一輪任務(wù)結(jié)束后會把中間結(jié)果寫入磁盤下一輪任務(wù)再重新讀入在需要多次迭代的統(tǒng)計分析例如逐層計算組合勝率里磁盤 IO 開銷非常大。Spark 則盡量把中間結(jié)果留在內(nèi)存里跨越多個 stage 時不需要反復(fù)落盤。用生活化的類比來解釋MapReduce 像是一個來回跑倉庫搬運貨物的工人每搬一趟都要把貨先存進(jìn)倉庫再取出來Spark 像是直接在貨物旁邊搭了個臨時貨架同一批數(shù)據(jù)在多輪計算中都能快速訪問。本項目的核心計算模式是先做寬泛聚合再做精細(xì)挑選。先用一個 SQL 查詢把所有明細(xì)數(shù)據(jù)按英雄和位置分組計算出場次數(shù)和勝場數(shù)然后基于結(jié)果集再做一輪 join算出英雄共現(xiàn)組合的勝率。這類多輪 join 和聚合在 Spark 里跑得很快實測 50 萬行明細(xì)數(shù)據(jù)完成全部指標(biāo)計算不到 3 分鐘這比單機(jī) Pandas 滾動計算要可靠得多。2.3 Python 在鏈路里的三個角色采集、粘合、展示Python 在這個項目里不是替代 Spark 的而是和 Spark 各司其職。首先數(shù)據(jù)采集腳本通常用 Python 寫因為 Riot API 返回的是 JSONPython 的requests加json庫處理起來最順手。采集腳本要處理限流、重試、斷點續(xù)采等問題這些用 Python 寫非常簡單。其次Python 是連接各組件的主力。這里有一個容易被忽略的細(xì)節(jié)Spark 官方雖然提供了 Scala 和 Java 接口但是通過 PySpark你可以直接用 Python 寫 DataFrame 操作并提交到 Spark 執(zhí)行。PySpark 只是在 Python 進(jìn)程和 JVM 之間加了一層通信橋真正執(zhí)行的還是 Spark 底層的分布式計算邏輯。所以項目的核心分析代碼可以用純 Python 風(fēng)格寫同時享受 Spark 的分布式能力。第三Flask 后端和可視化大屏的前端頁面也歸 Python 管。Flask 啟動一個輕量 Web 服務(wù)定義幾個返回 JSON 的接口前端 AJAX 拉數(shù)據(jù)ECharts 渲染圖表。整個項目從數(shù)據(jù)采集、指標(biāo)計算到頁面展示全部統(tǒng)一在 Python 技術(shù)棧里代碼交付和維護(hù)都很順暢。3. 從零搭建 Hadoop 偽分布式與 Spark 的完整實操3.1 Hadoop 安裝配置偽分布式模式的關(guān)鍵步驟Hadoop 的安裝在整個項目里看似基礎(chǔ)但確實是新手耗時最多的環(huán)節(jié)。我在做這個項目時用的是 Hadoop 3.3 版本部署在 CentOS 7 虛擬機(jī)里本機(jī)開發(fā)環(huán)境是 Windows。下面梳理一下完整流程和我在配置過程中做的關(guān)鍵調(diào)整。第一步是安裝 JDK。Hadoop 3.x 要求 JDK 8 以上推薦 JDK8。記得配好JAVA_HOME和PATH環(huán)境變量后在終端里執(zhí)行java -version驗證。第二步是配置 SSH 免密登錄這一項非常關(guān)鍵因為 Hadoop 的啟動腳本需要通過 SSH 連接到 localhost 啟動各個守護(hù)進(jìn)程。我踩過的一個典型坑是ssh localhost都通了但啟動集群后 DataNode 進(jìn)程不斷退出最后發(fā)現(xiàn)是免密配置不完整導(dǎo)致的。第三步是編輯三個核心配置文件。core-site.xml里設(shè)置默認(rèn)文件系統(tǒng)為hdfs://localhost:9000hdfs-site.xml里設(shè)置副本數(shù)為 1并配置 NameNode 的存儲目錄yarn-site.xml里配置資源調(diào)度相關(guān)參數(shù)。我習(xí)慣把這兩段配置直接寫在配置文件里就像下面這樣!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configuration!-- hdfs-site.xml -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/home/hadoop/data/name/value /property property namedfs.datanode.data.dir/name value/home/hadoop/data/data/value /property /configuration第四步是執(zhí)行格式化操作hdfs namenode -format。這一步我特別提醒一下格式化會把 NameNode 元數(shù)據(jù)清空如果集群里已經(jīng)有數(shù)據(jù)千萬不要反復(fù)格式化。第五步就是啟動集群start-dfs.sh和start-yarn.sh。啟動后用jps命令檢查進(jìn)程看到NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager這五個進(jìn)程都在說明偽分布式模式起來了。3.2 Spark 部署local 模式和 yarn 模式怎么選Spark 的安裝比 Hadoop 簡單。它不依賴 Hadoop 的配置只需要下載編譯好的 tar 包解壓后改一個環(huán)境變量就行。但有一個容易踩的坑Spark 默認(rèn)會用系統(tǒng)里的JAVA_HOME如果你的 JDK 版本和 Hadoop 不匹配Spark 作業(yè)會報各種詭異的 JVM 錯誤。Spark 有本地模式、獨立集群模式和 YARN 模式三種運行方式。課程設(shè)計階段我建議先用本地模式跑通邏輯也就是local[*]參數(shù)它表示用本機(jī)所有 CPU 核心作為并行度不依賴 YARN 調(diào)度。這種方式調(diào)試速度快報錯也直觀。項目收尾或演示階段再切到 YARN 模式提交展示 Spark 作業(yè)在 ResourceManager 里被調(diào)度執(zhí)行的過程這種演示效果會給答辯加分不少。實際啟動時我習(xí)慣這樣配置環(huán)境變量export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME/home/hadoop/hadoop-3.3.6 export SPARK_HOME/home/hadoop/spark-3.5.0-bin-hadoop3 export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin export PYSPARK_PYTHON/usr/bin/python3其中PYSPARK_PYTHON用來指定 PySpark 驅(qū)動使用的 Python 解釋器路徑。如果這個變量沒設(shè)置正確提交作業(yè)時會出現(xiàn) Python 解釋器不匹配的情況網(wǎng)上有大量同學(xué)在這個問題上卡住。3.3 Python 環(huán)境準(zhǔn)備依賴包和版本兼容Python 部分的準(zhǔn)備工作核心是版本對齊。我用的 Python 3.8安裝了pyspark、requests、pandas、flask和hdfs庫。這里需要特別注意pyspark版本要和你的 Spark 版本一致否則 API 會變。我的 Spark 是 3.5.0對應(yīng)的 PySpark 就用 3.5.0直接用 pip 安裝即可pip install pyspark3.5.0 pip install flask pandas requests在 Windows 本機(jī)開發(fā)時在命令行里寫 PySpark 代碼可以通過spark-submit提交到遠(yuǎn)程服務(wù)器也可以直接用pyspark交互式環(huán)境調(diào)試。我一般先在本地把 DataFrame 操作寫順了再整段搬到服務(wù)器上執(zhí)行這個開發(fā)節(jié)奏比較穩(wěn)。4. 數(shù)據(jù)采集與預(yù)處理分析結(jié)果的源頭保障4.1 數(shù)據(jù)從哪來API 采集與公開數(shù)據(jù)集的取舍做游戲數(shù)據(jù)分析的第一步永遠(yuǎn)是確認(rèn)數(shù)據(jù)來源。最規(guī)范的做法是使用 Riot 開發(fā)者平臺的官方 API 拉取比賽記錄但注冊開發(fā)者密鑰和調(diào)用限流比較繁瑣。另一種方式是使用公開的數(shù)據(jù)集比如 Kaggle 上有不少 LOL 排位賽對局?jǐn)?shù)據(jù)集包含比賽編號、召喚師信息、英雄 ID、位置、勝負(fù)等字段直接下載即可。我的做法是以公開數(shù)據(jù)集為主API 采集腳本為輔這樣既保證了數(shù)據(jù)量夠用也展示了數(shù)據(jù)采集能力。這里提醒一點如果從 API 采集一定要看接口文檔里rate limit的說明單位時間的請求次數(shù)是受限的。我在采集腳本里加入了重試和限速邏輯控制請求頻率在每秒 5 次以內(nèi)避免觸發(fā)封禁。另外不要只采排位賽數(shù)據(jù)也不要只采一個分段的要考慮覆蓋面足夠代表性。4.2 核心字段說明一場對局里能抽出哪些特征每場排位賽對局的數(shù)據(jù)結(jié)構(gòu)是嵌套 JSON。大致包含比賽時間戳、對局類型、游戲版本號、勝利方陣營、失敗方陣營每個陣營下又有五個位置的信息。展開成結(jié)構(gòu)化表單后核心字段大概是這些字段名含義處理說明game_id對局ID作為去重主鍵game_time比賽時間需從時間戳轉(zhuǎn)為日期格式tier段位區(qū)間如黃金、鉑金、鉆石用于分組position位置TOP、JUNGLE、MID、BOT、SUPPORTchampion_id英雄ID需關(guān)聯(lián)英雄名字映射表team_side陣營藍(lán)方或紅方win是否獲勝1 表示勝 0 表示負(fù)英雄 ID 映射表是很容易遺漏的準(zhǔn)備工作。API 返回和大部分?jǐn)?shù)據(jù)集里存的都是數(shù)字 ID比如某英雄 ID 對應(yīng)暗裔劍魔、另一個對應(yīng)九尾妖狐如果前端要顯示英雄名必須在分析鏈路里提前把 ID 映射成中文名或英文名。我用一個靜態(tài)映射 JSON 文件來管理這個對應(yīng)關(guān)系這樣分析結(jié)果導(dǎo)出后可以直接用于展示。4.3 清洗規(guī)則與臟數(shù)據(jù)處理對局?jǐn)?shù)據(jù)雖然來源正規(guī)但依然存在不少臟數(shù)據(jù)。我在項目里總結(jié)的清洗規(guī)則主要有這幾條第一按game_id去重因為 API 重試可能導(dǎo)致同一場對局被拉取多次。第二處理缺失值有些棄權(quán)局在英雄字段上是空值直接過濾掉。第三段位信息統(tǒng)一歸一化比如韓服鉑金和大師30星這類不同表述統(tǒng)一映射到標(biāo)準(zhǔn)段位級別。第四時間戳轉(zhuǎn)成日期后按周聚合可以觀察版本更新前后的英雄勝率變化這一點對分析非常有價值。清洗完成的數(shù)據(jù)落盤到 HDFS 的/lol/clean/目錄以分區(qū)目錄存成 Parquet 格式。Parquet 是一種列式存儲格式它相比 JSON 和 CSV 有兩個優(yōu)勢壓縮比高、按列讀取快在 Spark 后續(xù)處理時能大幅減少 IO 開銷。5. 用 Spark 實現(xiàn)陣容分析的完整代碼過程5.1 讀取 HDFS 數(shù)據(jù)并構(gòu)建分析視圖PySpark 讀取 Parquet 數(shù)據(jù)非常直接。要注意的是如果你的 PySpark 代碼跑在本地模式spark.read.parquet(hdfs://localhost:9000/lol/clean/match.parquet)這種帶完整 HDFS URL 的寫法最穩(wěn)妥不會因為默認(rèn)文件系統(tǒng)配置問題而讀錯路徑。我通常這樣啟動 SparkSessionfrom pyspark.sql import SparkSession spark SparkSession.builder \ .appName(LoLMatchAnalysis) \ .master(local[*]) \ .config(spark.sql.shuffle.partitions, 50) \ .getOrCreate() df spark.read.parquet(hdfs://localhost:9000/lol/clean/match.parquet)spark.sql.shuffle.partitions這個參數(shù)在實際項目中特別重要。它控制聚合運算時的分區(qū)數(shù)默認(rèn)值是 200意味著每個聚合操作都會產(chǎn)生 200 個分區(qū)。如果你的數(shù)據(jù)量只有幾十萬行200 個分區(qū)反而會加劇任務(wù)調(diào)度開銷。調(diào)整為 50 之后小數(shù)據(jù)量下的運行速度能快不少。5.2 核心分析一英雄勝率與出場率排名英雄基礎(chǔ)指標(biāo)是統(tǒng)計分析的起點。用 Spark SQL 或者 DataFrame 的groupBy操作一條語句就能完成勝率和出場率統(tǒng)計top_champion df.filter(df[position] ! ) \ .groupBy(champion_id, champion_name) \ .agg( func.count(champion_id).alias(play_count), func.round(func.sum(win) / func.count(champion_id), 3).alias(win_rate) ) \ .filter(func.col(play_count) 200) \ .orderBy(func.desc(win_rate)) top_champion.show(20)過濾play_count 200是統(tǒng)計分析里的常見手段它的目的是排除那些出場次數(shù)太少、樣本量不足的英雄這類英雄的勝率波動大參考價值很低。比如一個英雄總共出場 3 場勝 3 場勝率 100%但其實說明不了任何問題。樣本量閾值建議按照總數(shù)據(jù)量來調(diào)我 20 萬場的數(shù)據(jù)里設(shè)為 200 比較合適。5.3 核心分析二位置維度的英雄優(yōu)先級位置維度的分析和整體分析邏輯幾乎一樣只是多了position分組條件。但它在業(yè)務(wù)上意義很大同一個英雄在不同位置的勝率表現(xiàn)差別可能非常大典型例子是某些戰(zhàn)士英雄打上單和打野是兩種打法整體勝率被平均后就沒有參考價值了。按位置統(tǒng)計后可以為每個位置生成一份優(yōu)先推薦英雄榜單這也是陣容推薦功能的基礎(chǔ)。pos_stats df.groupBy(position, champion_name) \ .agg( func.count(champion_name).alias(pick_count), func.round(func.avg(win), 3).alias(win_rate) ) \ .withColumn(rank, func.row_number().over( Window.partitionBy(position).orderBy(func.desc(win_rate)) )) \ .filter(func.col(pick_count) 100) pos_stats.filter(func.col(rank) 5).show()窗口函數(shù)row_number()在這里派上了大用場。它按位置分組后從勝率最高的英雄開始編號取前 5 名就是該位置的 Top 5。這種寫法比先按位置分開查、再手動排序要簡潔得多。5.4 核心分析三英雄搭配組合挖掘英雄搭配組合是本項目最有看點的分析。思路是找到同一陣營內(nèi)部兩兩英雄的組合統(tǒng)計組合出現(xiàn)的場次和勝率勝率高的組合就是值得關(guān)注的強(qiáng)勢體系。實現(xiàn)的核心是自連接也就是 DataFrame 自己 join 自己。我把一場比賽的五個人拆成長表每個英雄一條行然后alias成兩份按game_id和team_side關(guān)聯(lián)起來并排除champion_name相同的組合就拿到了所有共現(xiàn)對兒detail df.select(game_id, team_side, win, champion_name, position) pair_df detail.alias(a) \ .join(detail.alias(b), (func.col(a.game_id) func.col(b.game_id)) (func.col(a.team_side) func.col(b.team_side)) (func.col(a.champion_name) func.col(b.champion_name)) ) \ .select( func.col(a.champion_name).alias(champ_a), func.col(b.champion_name).alias(champ_b), func.col(a.win).alias(win) ) \ .groupBy(champ_a, champ_b) \ .agg( func.count(champ_a).alias(pair_count), func.round(func.sum(win) / func.count(champ_a), 3).alias(pair_win_rate) ) \ .filter(func.col(pair_count) 50) \ .orderBy(func.desc(pair_win_rate))這里用func.col(a.champion_name) func.col(b.champion_name)做 join 條件是一個避免重復(fù)組合的技巧。如果不加這個條件組合盲僧亞索和亞索盲僧會分別統(tǒng)計成兩條記錄后續(xù)展示時會混亂。按字符串大小比較之后每一對英雄只會出現(xiàn)一次。執(zhí)行效率方面這種自連接在 Spark 中會觸發(fā)一次 shuffle但在這個量級完全可以接受。5.5 計算結(jié)果的落地導(dǎo)出為報表數(shù)據(jù)所有分析結(jié)果最終要導(dǎo)出到后端可讀取的位置。我的做法是寫到 MySQL 數(shù)據(jù)庫中用 PySpark 的jdbc連接器直接寫入也可以用toPandas()轉(zhuǎn)成 Pandas DataFrame 再通過 SQLAlchemy 寫入。前者適合大數(shù)據(jù)量后者簡單直接。課程設(shè)計場景下數(shù)據(jù)量不大toPandas()方案更省事top_champion_df top_champion.toPandas() top_champion_df.to_csv(/home/lol/result/top_champion.csv, indexFalse)MySQL 表結(jié)構(gòu)按照分析維度設(shè)計champion_rank表存英雄總榜position_rank表存分位置榜單pair_rank表存組合榜單。每個表帶上update_time字段方便大屏展示時標(biāo)記數(shù)據(jù)更新時間。6. 可視化大屏從數(shù)據(jù)到可讀性強(qiáng)的展示6.1 大屏布局設(shè)計信息層次決定觀看體驗可視化大屏的布局會直接影響評委的觀看體驗。我采用的是經(jīng)典的三欄式布局頂部是整體數(shù)據(jù)概覽中間是英雄勝率 TOP 榜單左右兩側(cè)分別放位置推薦和組合分析。整體配色用深色背景配合藍(lán)紫漸變的高亮圖表視覺效果偏向科技感。大屏頁面的數(shù)據(jù)全部來自 Flask 接口。Flask 讀取 MySQL 或者 CSV 文件后返回 JSON前端 ECharts 通過fetch拉取。這里要注意一個前后端聯(lián)調(diào)問題Flask 默認(rèn)開啟的CORS不支持跨域請求如果前端頁面和 Flask 端口不一致瀏覽器會攔截接口返回。我在 Flask 里設(shè)置了一個全局響應(yīng)頭允許所有來源的跨域請求。app.after_request def add_cors_headers(resp): resp.headers[Access-Control-Allow-Origin] * return resp6.2 核心圖表類型選擇什么場景配什么圖大屏的圖表選型是我覺得最能體現(xiàn)項目完成度的地方。英雄勝率排行用橫向條形圖最直觀一目了然地看出勝負(fù)率高低的優(yōu)劣差距注意條形圖的英雄名稱過長時要啟用豎排標(biāo)簽。組合分析適合用帶權(quán)重的關(guān)系圖兩個英雄之間連線越粗代表出場次數(shù)越多連線顏色偏向暖色代表勝率越高這樣玩家一眼就能看出哪些體系勝率高。分位置的推薦榜單我用了雷達(dá)圖或者分組柱狀圖橫軸是五個位置縱軸是勝率同一位置內(nèi)多個英雄用不同顏色區(qū)分。頂部概覽區(qū)域放三個指標(biāo)卡累計分析對局?jǐn)?shù)、平均對局時長、版本強(qiáng)勢英雄數(shù)量。6.3 大屏數(shù)據(jù)刷新的聯(lián)動機(jī)制大屏不能做成靜態(tài)頁面。我加了一個定時刷新機(jī)制前端每隔 60 秒請求一次接口檢查數(shù)據(jù)的update_time是否有變化有新數(shù)據(jù)就無感刷新圖表。這個功能雖然簡單但在答辯演示時很加分因為可以現(xiàn)場跑一次 Spark 任務(wù)看到大屏數(shù)據(jù)實時變化整個項目的完整閉環(huán)感一下子就出來了。7. 開發(fā)過程中遇到的經(jīng)典問題與排查經(jīng)驗7.1 Hadoop 啟動相關(guān)的坑DataNode進(jìn)程一直啟動不起來的排查思路必須清楚。首先用jps看進(jìn)程在不在不在的話直接查看logs/hadoop-hadoop-datanode-主機(jī)名.log日志文件。常見原因是dfs.datanode.data.dir目錄沒有創(chuàng)建成功或者目錄權(quán)限不對。另一個高頻問題是NameNode格式化之后DataNode 的注冊信息不一致啟動時也會被拒絕。解決辦法非常簡單但容易忘把 Hadoop 的臨時目錄和數(shù)據(jù)目錄整個刪除重新格式化后啟動。我在實際開發(fā)中遇到過一個更隱蔽的問題虛擬機(jī)的內(nèi)存只有 2GB啟動 Hadoop 加 Spark 后內(nèi)存吃滿NameNode被系統(tǒng)殺掉日志里能看到明顯的 OOM 記錄。后來給虛擬機(jī)漲到 4GB并在hadoop-env.sh里限制每個進(jìn)程的 JVM 堆大小這個問題就再沒出現(xiàn)過。7.2 Spark 作業(yè)報錯和性能問題PySpark 最常見的報錯是Python in worker has different version這是PYSPARK_PYTHON環(huán)境變量沒有正確指向服務(wù)器上的 Python 解釋器導(dǎo)致的。另外Executor lost和Job aborted due to stage failure這類錯誤很多時候不是代碼邏輯有問題而是內(nèi)存配置不足。在提交任務(wù)時加--executor-memory 4g --driver-memory 2g參數(shù)大部分情況下能解決。性能調(diào)優(yōu)方面的一個心得是盡量避免collect()拉取大數(shù)據(jù)量到本地。有同學(xué)習(xí)慣在 PySpark 里用.collect()把所有結(jié)果變成 Python 列表再做剩余處理數(shù)據(jù)量一大內(nèi)存就爆了。正確的做法是讓 Spark 完成盡可能多的計算最后只用show()或toPandas()導(dǎo)出小體量的聚合結(jié)果。7.3 可視化展示中的問題大屏頁面顯示空白百分之八十是因為 ECharts 圖表寬度和高度沒有初始化。這個問題說大不大但調(diào)試起來很煩。還有中文亂碼問題Flask 返回 JSON 時需要確保數(shù)據(jù)源文件用 UTF-8 編碼讀取 CSV 時顯式指定encodingutf-8。前端展示中文英雄名時如果接口里已經(jīng)亂碼改前端沒有意義必須回到數(shù)據(jù)分析階段解決編碼問題。我把這些高頻問題整理成一個排查速查表方便遇到同類情況時快速對照現(xiàn)象可能原因解決辦法DataNode 啟動后立即退出數(shù)據(jù)目錄權(quán)限不對檢查并創(chuàng)建 hdfs-site 配置的目錄權(quán)限NameNode 無法啟動格式化元數(shù)據(jù)損壞清除臨時目錄重新格式化Spark 作業(yè) Python 環(huán)境崩潰PYSPARK_PYTHON 路徑錯誤在 spark-env.sh 中顯式指定 Python 路徑Spark 作業(yè)內(nèi)存溢出默認(rèn)內(nèi)存配置不足提交時加內(nèi)存參數(shù)調(diào)低分區(qū)數(shù)大屏圖表不顯示前后端跨域問題Flask 添加 CORS 響應(yīng)頭中文顯示為亂碼文件編碼不一致統(tǒng)一讀寫時使用 UTF-8 編碼8. 項目實操的額外收獲與心得整個項目完整做下來我投入的時間大約是三周加一個周末的集中開發(fā)。第一周用來搭建 Hadoop 和 Spark 環(huán)境、跑通數(shù)據(jù)采集第二周集中寫 Spark 分析代碼此時是最容易焦慮的階段因為環(huán)境問題、版本問題會同時冒出來第三周做可視化大屏和整體調(diào)試這個階段其實成就感最強(qiáng)因為數(shù)據(jù)開始變成看得見的圖表。我個人做這類大數(shù)據(jù)綜合項目最深的體會是不要試圖一步到位把環(huán)境搭完美再寫代碼而是先打通最簡路徑。比如先不管 YARN用 Spark 本地模式直接讀本地 CSV 把分析代碼跑通再逐步接入 HDFS、切換到 YARN 模式。循序漸進(jìn)的好處在于整個項目有多個 checkpoint每一次成功都會給你往前推進(jìn)的信心。數(shù)據(jù)平臺項目最大的敵人不是某一個復(fù)雜的技術(shù)點而是多組件協(xié)作時那種哪個環(huán)節(jié)都不確定哪里出了問題的失控感。如果你也準(zhǔn)備做同類型的題目建議在規(guī)劃時就把源碼、文檔、調(diào)試記錄三樣產(chǎn)物同步整理。光有能跑的代碼不夠文檔里要把每一步操作命令、每個核心算法的設(shè)計思路寫清楚調(diào)試記錄里留下真實遇到問題和解決方式的截圖或日志。這不僅是答辯時的加分項也是對整個項目過程最好的復(fù)盤。我自己做完這個項目后再回看最初的版本最大的改變是學(xué)會了用分層的眼光看待一個完整系統(tǒng)——采集、存儲、計算、展示各管一段每個模塊都可以被單獨替換和優(yōu)化這和大數(shù)據(jù)生態(tài)本身的設(shè)計哲學(xué)是一致的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠干综合| 久久婷五月| 伊人丁香婷婷东京| 激情小说色五月| 五月激激网w'w'w| 五月天开心网| www.五月婷婷久久.com| 91伦| 思思热高清在线观看| 色综合久久久综合久久网| 5月婷婷六月丁香| 亚洲最大成人综合网720P| 精热在线综合网| 五月丁香在线| www.热99热| 桃色五月婷婷| 丁香婷婷九月| 五月开心婷婷中文字幕| 色色色色色色色色色影院| 亚洲天天免费| 色婷婷亚洲在线观看| 五月婷婷激情视频| 国产成人网| 九九RE视频在线精品| 五月婷婷伦理| 五月婷久久综合| 国产激情婷婷| 日韩免费乱轮网站| 99热热热天天人人人超超碰| 天天弄天天操| 琪琪秋霞| 亚洲成人av在线观看| 色色网站在线| 永久无码色| 久久激情网| www婷婷色情网| 丁香五月伊人| 亚洲综合无码| 99免费视频精品| 夜夜穞天天穞狠狠穞AV美女按摩| 丰满熟女人妻一区二区三| 夜色综合网| 丁香五月天堂| 人人爽欧美婷婷久久久五月丁香| 精品久热| 伦乱人妻| 欧美色五月| 日韩激情人伦人| 国模狼狼| 99热精品无码| 另类综合色| 超碰碰碰碰| 日韩AV免费电影在线播放| 婷婷五月图片小说网| 铁牛TV人妻| 欧美色图天堂网| 中文字幕+乱码+中文字幕在线观看| 黄色中文字目| 99在线精品视频在线观看| 六月婷色六月| 9er热在线精品视频| 99re8热精品免费视频| 日本系列_4页_777FP| 99惹| 超碰在线9| 成人免费120分钟啪啪| 99热这里只有精品首页| AV 3P| 91打屁股视频网站| 日本韩国视频在线观看社区免费的9| 五月丁香婷婷爱| 日韩一区二区在线播放| 久大香蕉| 97操男人的天堂| 色日本五月天| 五月婷婷丁香大陆免费| a v色婷婷| 九月停停| av操逼网| 久久精品99国产精品日本| 天天干夜夜谢| 99久久免费精品| 色五月综合激情| 五月九九综合| AV中文网| 青草视频在线播放| 亚洲成人免费电影| 五月丁香六月激情欧美综合| 99久精品视频| 六月综合在线| 色婷婷五月亚洲| 超碰成人免费| 影音先锋一区| 色日本综合| 大香蕉啪啪啪| 日本天天色| 亚洲操操操| 五月色丁香国产在线视频| 色五月色图| 婷婷桃色网| 97人人射| 99热这里有精品| 五月婷婷六月丁香在线视频| 久久九九蜜| 开心婷婷五月激情网小说 | 婷婷久久五月天亚洲欧美国产日韩在线观看 | 欧美性爱日韩性爱| 色婷婷玖玖影院| 99ree6| 午夜天堂啪啪| 91婷婷在线| 一起草性爱不卡视频| 深爱丁香激情| 五月天色婷婷基地| 乱轮A片| 国产va在线视频| 日本在线视频www色| 在线观看亚洲AV| 在线不卡的视频| 秋霞av吧| 激情婷婷五月在线合集| 日韩啪啪自拍| 五月婷久久综合| 成人无码髙潮喷水A片| 午夜成人AV在线| 激情综合五月婷婷| 日韩久久色| 丁香五月婷婷五月天| 另类综合婷婷五月天欧美视频| 人人爽人人爽人人爽人人爽| 日本特黄aaaaa| 日韩好吊操| 69热在线| 色视五月天婷婷| 日本精品。999| 五月天亚洲图片婷婷| 亚洲综合视频网| 性生活视频98791| 在线资源av-超碰中文在线-成人AV| 九97免费视频| 亚洲午夜电影| 激情网第九色| 青青草原中文字幕| 午夜九九电影| 综合婷婷五月丁香在线观看| 婷婷在线播放| 大香蕉啪啪啪| 国产亚洲精品AAAA片APP| www.色婷婷| 人人操AV| 91丁香色五月| 婷婷激情在线| 99久久黄色顶级视频| 丁香五月婷婷婷婷欧美综合| 天天操夜夜夜夜爽| 人人爽亚洲| 五月激情基地| 五月天婷婷丁香导航| 六月丁香色色| 丁香五月影院| 99碰碰碰| 狠狠综合久久| 丁香婷婷久久老熟女综合网| 91成人性爱视频| 丁香婷婷色| 91婷婷五月天嫩女| 成人va在线播放| 激情综合色| 久久精品一区二区三区四区| 久久99日本精品视频免费观看| 亚洲mm免费| 日本久久9| 色婷天天| 丁香婷婷久久老熟女综合网| 天天久| 开心五月综合激情网| 天天日夜夜拍| 91人人人人人人人| 久热久| 色五月aV| 中文字幕AV网址| 亚洲AV网址| 九九操操| 国产av网| 婷婷和五月天| 这里只有久久精99| 日日日日日| 色色五月婷婷狠狠| 欧洲综合视频| 丁香激情综合| 99热国产| 婷婷伊人75| 久久曰曰| 久久九九热视频| 激情四射五月天| 日韩黄在免| enecarbon-materials.com污K127封锁请涟系@wip1688 | 欧美色五月| 色五月综合在线| 午夜伊人大香蕉| 99热丁香五月| 婷婷伊人网| 色婷五月| www九九热| 国产女人十八水真多1| 婷婷永久在线| 激情五月六月婷婷| 99综合视频| 99热全是精品| 五月婷婷深爱六月| 综合大香蕉| 人妻激情久久| 五月激情丁香久久综合网| av操一操| 人妻丰满精品一区二区A片| www.久9| 久热这里只有精品在线观看| 99九九99九九九视频精彩| 大陆极品少妇内射AAAAAA| 人人插9| 国熟女视频| 久久五月天激情| 99久热| 亚洲成人av在线播放| 婷婷五月丁香五月丁香| 一起草Av| 五月花激情网| 欧美激情综合色综合| 欧美色久| 欧美婷婷九月| 五月丁香狠狠| 搡BBBB搡BBB搡18 | 美女五月天婷婷| www.99热精品| 激情婷婷视频在线| 九九热经典视频在线观看| 婷婷色在线| 狠狠五月激情丁香六月| 99性爱视频| 熟女强人妻一区二区三区四区无| 亚洲婷婷视频| 97婷婷丁香| www.91热久久| 国产一区男女| 91人人人人人| 狠色狠色狠色狠色狠色网| 亚洲综合色色| 久久九区| 99啪啪视频| 婷婷娌伦网| 日本熟女内射| 久综合4| 99热国内| 色狠狠综合| 色婷婷中文在线| 丁香五月六月综合激情| 无码动漫AV| 色婷婷九月| 搡BBBB搡BBB搡18 | 色五月婷婷丁香婷婷| 九九热在线视频| 欧美丁香五月97色| 97热视频| 五月丁香六月香香蕉| 97碰碰视频| 丁香六月av| 色停停五月天| 九九综合图片网| 五月成人天| 91人人人人人人人| 免费在线观看欧美激情xx小视频| 色婷婷性爱| 激情五月六月婷婷| 丁乡久久| 人妻AV在线| 色色丁香五月天| 激情伊人| 国产精品久久久99视频| 69精品人人人人| 色色色99韩| 亚洲中文字幕在线观看| 五月婷婷插一插| 啪啪日热| 五月天激情小说| 高清成人综合| 99精品在线| 99五月丁香丁| 777精品久无码人妻蜜桃| 桃色伊人在线| 婷婷酒色网| 色爱亚洲| 色欲av伊人久久大香线蕉影院| 色婷婷久久综合久色综| 99久久97久久欧美综合网| 一区二区免费看| 五月丁香无码| 五月天激情四射| 色丁香五月婷婷婷| 欧美 色婷婷| 色操b| 婷婷国产五月天17c| 久久丁香五月天| 五月久久婷婷天堂视频| 99日本黄站| 五月婷婷色| 日本色色网| 五月丁香狠狠地噜噜噜噜| 91碰碰视频在线观看| 成人丁香五月天Av| 五月丁香六月情| 香蕉伊人综合| 久草热在线视频| 色婷五月| 久久婷婷成人视频| 夜夜综合色| 天天色天天| 婷婷色在线观看| 97色婷婷| 丁香五月ⅤA久久久| 日韩99视频| 久久亚洲A| 久热这里只有精品99re,久热这里只有精品7| Jh7Uf088VHafNm| 狠狠干天天日| 狠狠干夜夜干| 久久久久久久91| 91疯狂操操操操| 九九热亚洲中文在线观看免费| 色狠狠伊人久久五月丁香| 五月丁香花婷婷玉莉AV| 婷婷综合色色| 欧洲综合一区| 99色色网| 亚洲bt丁香五月天婷婷激情小说| 激情六月丁香| 欧美性猛交99久久久久99按摩| 五月天激情日色在线| 久久久久亚洲AV成人无码电影| 婷婷色五月婷婷姐妹| 这里只有精品在线播放| 伊人久久婷| 激情五月天色播| www网站在线观看| 武则天精品久久| 极品人妻videosss人妻| 99热大香蕉| 丰满少妇乱A片无码| 婷婷欧美激情| 五月丁香综合啪啪対白| 99在线播放视频| 成人.在线日韩| 久99久热| 色色综合色| 久久这里都是精品| 久久99久久久久久久噜噜| 丁香五月天信号| 色婷婷视频在线| 天天操夜夜操| 非洲一级AV| 韩国婷婷丁香五月| 五月天伊人网| 超碰在线综合| 婷婷四色成人综合色视| 婷婷五月天色| 九九re视频在线视频| 天天综合激情| 婷婷色啪| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看| 九九AV在线| 五月丁香无码| av国产精品| 99热亚洲精品| 色色色色色爱| 噼里啪啦在线观看免费完整版视频 | 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久久久久婷| 天干天天干天天天天天| WWW,五月| 五月天婷婷激情网| 99小视频网站| ..真实国产乱子伦对白在线_欧 | 91女人18毛片水多国产| 亚洲精品网站色视频| 色色亚洲视频| 大香蕉视频婷| 五月丁香色狠狠干大屄| 久久五月丁香| 五月丁香啪啪啪| 精品人妻一区二区三区四区不卡在| 国外亚洲成AV人片在线观看| 狠狠色婷婷| 免费AV在线| 色吧婷婷五月亚洲| 五月婷无码| 婷婷色色网| 99热欧美精品| 久久九九热视频| 中文字幕在线aⅴ免费观看| 2015好吊操| 五月丁香六月激情综合| 婷婷综合影院| 中文字幕 中文字幕明步| 亚洲宗合激情| 九六五月天婷婷| 免费黄色片子| Xx色综合| 日本色婷婷| 色色五月天丁香| 婷婷的色色五月天| 综合久久久婷| 操逼棍操逼| 天堂伊人干| 欧美亚洲999| 婷婷色婷婷| 色啪影院| 很很干天天干| 丁香五月情色| 婷婷久久五月天| 久久五月天激情美女| 色综合色五月| 久久激情网| 成人婷99最新| 在线婷婷| www.久热| www.激情五月天.com| 亚洲中文乱字字幕在线永久| 久久色情| 丁香五月天激情综合| 国产67194| 久激情网| 激情五月伊人婷婷| 夜夜爽77777妓女免费下载| 日本熟女三区| 五月婷色| 色五月婷婷开心| 色欲一区二区三区精品A片| 亚洲亚洲激情| 北条麻妃九九九国产精品视频| 五月丁香婷婷国产精品综合| 日韩AV免费电影在线播放| 久久996re热这里只有精品无码| 国产熟妇的荡欲午夜视频| 婷婷五月天成人动漫 | 婷婷五月天电影网| 日韩黄黄| 婷婷激情五月呦呦| 色色射| 91性人人| 久99| 婷婷久久视频| 9热成人在线视频| 婷婷五月情天| 激情av在线| 婷婷午夜精品久久久| 在线观看av网站| 激情丁香社区| 婷婷成人综合免费视频| 激情久久伊人| 99色亚洲| 97人人操在线| 极品少妇XXXX精品少妇偷拍| 激情网综合| 9久久网| 婷婷五月色综合| 国产成人网址| 久久综合99综合| 99re这里只有精品视频了| 激情丁香久久久久久| 久久92| 99热永久在线观看| 9热在线| 爽天天天天天天天| www色五月| 99热亚洲| 五月丁香六月婷婷的女人| 欧美激情久| 91viP在线看| 五月天婷婷午夜丁香| 97精品人人A片免费看| 国产午夜精品久久久观看| 超碰在线免费9| 欧美性爱五月天| 五月丁香青草综合啪啪| 色香久久| 激情又色又爽又黄的A片| 五月丁香六月婷婷视频| 99热这里只有精品1025| 欧美性生交xXxX久久久| 日日干日日| 99热只有精品在线播放| 五月成人丁香av91| 国产精品社区| 色五月婷婷DVD| 丁香六月婷婷综合欧美| 日本欧美成人片AAAA| site:pnnrt.com| 色情五月婷婷| 极品五月天| 大香蕉啪啪啪| AV五月婷婷露脸| 色五月综合网| 亭亭丁香97| 色色色色色色色色综合网| 久久婷婷五月天激情唯美| 五月天丁香成人| 国产成人精品一区二三区熟女在线| 丁香五月激情六月综合| 色九月婷婷综合| 激情文学综合婷婷五月天丁香花| 丁香婷婷五月六月久久| 这里只有精品视频在线看| 99热这里只有精品1025| 91av色色乱视频| 亚洲乱码在线观看| AV五月婷婷露脸| 狠狠色婷婷在线| 九九久久精品國產| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 婷婷99视频在线| 激情色播| 婷婷丁香18| 色的色综合| 天堂久久婷婷| 99re视频在线精品| 五月天成人综合| 噜噜色婷婷| 婷婷免费成人视频| 伊人婷婷大香蕉| 91狼友视频在线观看| 激情五月天婷婷五月天| 综合一区二区三区| 91久久婷婷人人澡草| 天天日日夜夜爽| 91精品视频男人的天堂| 99ree6| 六月丁香啪啪| 九月色婷婷综合| 五月丁香色播| 五月丁香色婷婷婷基地| 91网站黄| 97在线/日本| 人妻丰满精品一区二区A片| 色综合综合色| 狠狠干综合| 久久婷婷五月天亚洲欧美| 亚洲成人色五月天| 天天爽人人综合免费7799| 香蕉曰比| 激婷网| 色婷婷久久| 91一起艹| 91视频精品99| 五月色综合| 色婷亚洲| 99热精国产这里只有精品| 亚洲中文字幕AV| 婷婷综合九月| 久久香视频| 艹B高清无码| 99久久综合| 色五月在线观看| 婷婷五月综合社区| 久久久性爱视频| 日日操夜夜爽| 六月合五月婷| www,婷婷| 怡红院视频| 伊人婷婷五月| 九九热区一区二区三区| 丁香五月影院| 一区二区中文字幕| 天堂久久丁香| 亚洲丁香婷婷丁香五月天激情| 婷婷五月丁香超碰| 婷婷性爱| 手机激情网| www.婷婷久久五月天| 婷婷深爱五月| 婷婷黄色| 婷婷色影院| 人妻在线中文字幕久久| 色五月婷婷天堂| 涩综合网| 99久久99热| 大操人妻| 天天肏在线观看| 五月丁香美女| 9l久久久视频| 9色在线| 深爱激情九九五月天| 五月婷婷 激情按摩| 99re视频精品| 五月天久久婷婷| 亚州美女| 99综合| 91蜜桃婷婷狠狠久久综合9色| 五月丁香六月激情| 玖玖精品视频| 婷婷色五月噜噜| 免费91久久精品| 五月天开心网| 九九性视频| 久久9热好| 天天操天天操天天操天天操天天操 | 婷婷丁香色五月天久久88| 在线观看免费观看在线9久| 亚洲99精品欧美一区| 99热日韩| 五月伊人91| 大香蕉婷婷五月| 五月色情婷婷开心五月色情| 狠狠色丁香婷婷| 综合网亚洲| 婷婷五亚洲| A片一曲| 深夜婷婷 丁香| Av狠狠色丁香婷| AV电影在线播放| 五月天无码视屏播放| 色婷婷啪啪| 色狠狠色| 久久 天天| 天天爱天天做天天舔| 丁香五月婷婷99| 丁香色婷婷| 婷婷网五月天| 丁香五月骚喷水视频| 99ri国产精品| AV九九| 色狠狠婷婷| 思思热思在线精品视频| 六月丁香婷婷色狠狠久久| 人人草人人舔| 五月丁香六月激情| 激情激情激情网| 婷婷色五月激情| 天天久久婷婷| 大地资源色婷婷视频在线| 免费观看大片视频 丁香婷婷 六月欧美| 99国产小视频免费观看| 夜夜爱伊人| 九色综合五月天婷五月| 91日韩在线| 五月天丁香成人| 亚洲第一视频 久久| 五月天丁香综合| 夜色爱爱亚洲| 五月丁香网站| www.日韩国产| 色爱五月天| 激情影院免费视频婷婷五月天| 色欲av伊人久久大香线蕉影院| 伊人天堂婷婷| 欧美性做爰大片免费看办公室| 日本三级中国三级99| 天天谢天天操| 激情综合网激情五月网| 丁香六月婷婷| 婷婷99视频精品| 久久码久久无清| 国产麻豆视频| 强辱丰满人妻HD中文字幕| 天天搞天天爽| 婷婷久久五月| 午夜激情婷婷| www.日韩国产| 丁香五月婷婷AV在线| 婷婷色五月天综合网| 在线va网站| 婷婷色五月激情| 色日本综合| 996热re视频在线观看视频| 免费黄网不卡AV| 开心五月深爱五月| 中文字幕在线免费观看视频| 色综合伊人网| 丁香六月婷婷五月婷婷| 99热6这里只有精品| 伊人色综在线| 99色爱| 一区二区三区四区无码| 丁香五月天五码婷婷| 99在线观看视频蜜臀| ri电影在线| 再綫Av免费視品| 亚洲精品网站色视频| 久久人人看| 深夜男女福利刺激影院一区完整| 国产ava| 五月婷婷激情久久| 91九色|疯狂|高潮|对白|| 欧美色图天堂网色| 99热国产精品| 五月久久五月激情| 日日操夜夜爽白洁| 色五月激情五月丁香五月婷婷啪啪综合 | 国产精品色色| 色婷婷丁香五月天| 99热精品99| 狠狠色婷婷综合开心影视 | 97伊人综合婷婷| 亚洲性色XXXXX| 色五月综合网| 色狠狠综合| 五月天久久综合婷婷| 婷婷五月色综合香五月| 99精品国产在热久久| 99.N在线视频| 91精品国产色猫| 69婷婷丁香午夜| 五月丁香网站| 香蕉婷婷| 在线成人网址| 五月丁香婷婷婷激情爱爱| 婷婷六月色播| 日本色色影片| 婷婷丁香五月久久| 久久人人超| 婷婷的色色五月天| 狠狠插狠狠操| 丁香激情五月天| 色射婷婷五月天| 日日操夜夜爽| 亚洲 视频 导航 一区| 久9视频| 亚洲操操| 97人操| 激情色色色| 色色色色色色色色色色色色色色,网站| 99色.com| 国产免费一区二区三区三州老师F1F1.CC | 九色婷婷| 色婷婷AV久久| 五月丁香色色| 日韩无码人妻一区二区三区综合| 少妇人妻凹凸视频| 久久小视频| 中文字幕在线日亚州9| www.色婷婷.com| 91啦丨九色丨刺激中文| 免费在线观看av网站| 五月停停999| 五月天 综合 在线| 5月丁香婷婷激情网| 婷婷综合| 久热A片| 91视频精品99| 丁香五月天欧美| 99热免费| 久久久99精品免费观看| av第一二区| 亚洲精品色色| 色综合色综合色综合色综合| 日本色五月| 少妇大叫太大太粗太爽了A片| 99热观看| 五月丁香日本片| 九九精品网| 97色在线视频| 国产精品成av人在线视午夜片| 日韩操逼大片| 天天天天天天天操| 色婷婷基地| 99久99久| 色婷婷色人人射| www.久操| 九九久久综合| 九月婷婷丁香| 婷婷91| 色欲久久99精品久久久久久| 99热婷婷| 99综合| 少妇大叫太大太粗太爽了A片| www91在线| 激情99热| 亚洲最大成人综合网720P| 激情丁香网| 天天视频精品9| 99爱爱网| 婷婷99中文字幕| 天天爱天天爽| 天堂婷婷丁香六月网| 在线看AV| 九艹在线| 六月婷婷五月丁香首页| 婷婷丁香五月天中文字幕| 91激情五月开心| 天天插操| 丁香五月日啪| 九九色综合| 热99精品视频在线观看| 超级碰碰97在线| 激情5月婷婷| 91色五月| 超碰v| 色五月色五天免费视频| 久碰久| 国产精品电影| 久久网思思| 26uuu偷拍亚洲欧洲综合| 99热这里只有精品1| 狠狠操狠狠狠| 一区二区乱码视频| 91狠狠综合久久| 亚洲性爱区无码区| 97碰超级人人看| 色欲丁香| 中文字幕 久久9999| www.99热在线| 激情五月综合网| 九九99免费视频| 婷婷噜噜| 91嫩草国产线观看亚洲一区二区| 亚洲在线激情婷婷五月| 99色精品| 99re66热这里只有精品| 狠狠干在线| a在线观看| 色婷婷中文| www九九| 玖玖资源网站最新站| 99亚洲精美视频在线观看| 香蕉婷婷| 丁香五月天AV| 欧美va亚洲va| 9热在线视频| 99热超碰在线| 亚洲色婷婷五月天| 5月丁香综合网| 成人中文字幕在线| 亚洲欧洲中文日韩久久AV乱码| 亚洲婷婷欧美婷婷| 午夜丁香六月婷| 日韩黄色网络| 三男玩一女三A片| 久久久久婷| 五月丁香婷婷激情在线视频| 天天操天天干天天射| 五月丁香婷婷综合| 婷婷五月综合激情免费| 五月激情六月| 色综合色色色色| 乱精品一区字幕二区| 成人婷婷| 人妻精品久久久久久| 日本精品在线噜噜噜| 婷婷五月天首页激情| 国产精产国品一二三在观看| 久久在线大香蕉| 天天操夜夜夜拍拍拍| 欧美特大片黄| www婷婷亚洲| 五月婷婷涩涩爱| 另类国产综合| 永久天堂日本| 婷婷日欧美在线观看| 99人人干人人| 亚洲中文字幕AV| 二色av| 婷婷五月天伊人| 就99这里只有精品| 婷婷欠久少妇| 天天爽天天透天天爱| 无码AV大香线蕉伊人| 79精品视频在线观看,| 啪啪黄页网| 日本三级中文字幕| 久久色在线视频| 人妻熟女一区二区AV| 五月婷婷自拍视频| 97超级碰碰碰| 五月久视频| 久热一本| 丁香婷婷综合激情五月色| 新激情五月天色播| 青青草99热久久精品国| 九九热AV| 午夜性爱影视一区77| 亚洲AV成人无码精品| 欧美五月婷婷| 国产婷婷综合| 色婷婷激情| 五月丁香青草综合啪啪| 成人毛片在线免费观看| 另类激情五月在线视频欧美| 日本五月丁香| 久久婷婷成人视频| 久久丁香五月婷婷| 婷婷射丁香| 小色小蛇伊人婷婷色香五月| 久99久视频精品| 日日鲁鲁鲁夜夜爽爽狠狠视频97 | www激情网| 久久丁香五月综合六月激情红杏视频| 亚洲色视频| 新激情五月天色播| av国产精品偷| 亚洲V国产V欧美V久久久久久 | 影音先锋天天日| 激情五月天婷婷| 这里只有精彩视| 国产97色在线| 艳妇野外情欲放荡HD| 五月丁香婷婷深深爱| 中文字幕丰满乱孑伦无码专区| 日韩不卡123| 五月丁香六月香香蕉| 美女主播野战视步页| 91综合在线视频| 蜜桃成语时李时珍 免费| 五月天天爽| 久久这里只精品66| 超碰99热精品在线| 色情综合| Jh7Uf088VHafNm| 五月色婷婷影院| 亚洲亚洲人成综合网络| 超碰在线中文字幕| 成人婷婷五月| 99亚洲精美视频在线观看| 欧美搡BBBBB摔BBBBB| 色婷婷国产精品综合在线观看| 日本美女天天日天天爽| 婷婷色六月| 大地9中文在线观看免费高清| 天天摸天天日天天舔| 色色五月婷| 99亚洲天堂| 丁香婷婷五月天网站| 99自拍视频在线| 这里只有精品偷拍| 激情深爱综合| 久草五月天电影网| 成人网丁香五月| 99爱精品视频| 亭亭五月色男人| 九九99免费视频| 激情五月婷婷综合| 欧洲色| 99热这里只有精品50| 大香蕉啪啪网| 97se视频在线| Av中文在线| 啊V视频在线观看| 丁香六月在线| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 国产精品日日躁夜夜躁| 成人AV在线电影| 五月天激情站| 久久 这里只有精品1| 九九视频精品视频精品| 五月天 另类图片| 女人天堂AV| 香蕉综合网| 亚洲AV免费在线| 六月丁花香啪啪激情欧美| 亚洲 成人 电影av在线观看| 99日精品视频| 九九蜜臀精品| 五月婷婷网久久| 久久少妇视频| 色色激情五月天| 无码AV久久久久久久久| 九九99热精品| 九九热AV| 丁香五月综合在线播放| 五月好婷婷| 激情婷婷久久| 婷婷天天色| 天天爽天天| 色色97丁香婷婷五月天| www.五月丁香| 夜夜人妻五月天| 久久综合伊人综合在线| 天天久| 色婷婷小说| 色色欧美色色色| 婷婷五月欧美| 九九色影院| 久久婷婷五月天激情| 密乳视频| 婷婷五月丁香六月伊人网| 日韩中文欧美| 激情婷婷五月天。| 99热丁香五月| 婷婷精品| 五月天六月婷婷电影| 66色在线日韩| 五月综合色| 精品五月天| 日韩av在线免费观看| 色婷婷激情四射视频| www激情com| 激情五月天开心总和网| 久久久精品色| 久热网站| 婷婷日欧美在线观看| 色五月激情| 亚洲中文字幕AV| 99视频在线精品免费观看2| 成人午夜无码视频| 性无码专区无码| 99热个人在线| 67194线路二在线观看| 91呦呦呦| 婷婷五月天丁香社区| 久久色五月| 9l视频自拍9l九色成人| 99re这里只有精品免费| 99热青青草原| 99久久久| 五月丁香欧美综合| 久久五月丁香| 热91久| 99精品久久久久久久久| 婷婷色情五月| 亚洲成人综合在线| 色九月激情综合网| 夜夜骑天天玩天天日| 色婷婷激情四射视频| 思思精品视频| 免费无码毛片一区二区A片| 五月丁香六月激情| 日本三级网址| 青青热视频| 性 色 婷婷| 五月WWW| 97热精品| 天天综合网站| 丁香婷婷激情网站| 婷婷成人在线| 99碰网站| 五月婷成人网| 第五色色色婷婷| 色婷婷亚洲| 人妻丰满精品一区二区A片| 久人人操| 大香蕉啪啪网| 99热精这里只有精品| 丁香五月天激情综合| 色色色免费视频| 教师性爱毛片| 久久看婷婷| 99这里有精品免费| 天天干天天操天天爽| 色综合大香蕉| 北京熟妇搡BBBB搡BBBB| 在线看黄色| 99惹在线精品免费观看| 思思 热 99| 97碰| 屁股翘好撅高迎合跪趴| 国产亚洲99久久| 欧美美女国产日韩一区二区久| 久热视频这里只有精品| 天天综合网在线| 超碰自拍天堂| 午夜婷婷丁香| 天天日天天日天天搞| 婷色五月| 黄色av网站在线免费播放| 久久亚洲婷婷| 欧美VA在线观看| 任你草| 亚洲成人在线观看网址| 丁香六月天AV| 亚洲精品婷婷| 国产肥白大熟妇BBBB视频| 亚洲国产网站| 亚洲激情网站无码| 精品人妻一区| 五月丁久久| 97久久久久| A片试看120分钟做受图片| 亚洲亚洲激情| 日B日潘金莲BB| 久久99热网| 丁香激情五月少妇| 99精品在| 激情综合网五月| 九九亚洲无码| 狠狠88综合久久久久噜噜噜| 亚洲色网络| 凹凸7777操操操| 天天干天天干天天干| 五月婷婷色播视频| 久热99| 五月丁香六月婷婷在线小说视频| 免费看欧美成人A片无码| 五月丁了香蕉综合| 人人操av| 丁香激情六月天婷婷| 91色综合网站在线| 亚洲Av成人在线观看| 五月天激情偷拍| 久久婷婷亚洲| av在线免费网站 | 亚洲人人操| 成人电影AV在线观看| 婷婷日日夜夜| 成人 在线观看国产| 久久久这里都是精品| 超碰97干| 玖玖婷婷视频| 四色AVwww| 色噜噜狠狠一区二区三区| 狼人婷婷久久| 99色视频在线| 亚洲成人av在线播放| 日本狠狠网| 99热线观看9| 丁香六月在线| 丁香六月天婷婷色| 人妻在线观看视频| 五月丁香六月激情综合欧美| 五月色亚洲| 国产成人综合网| 激情五月天开心网丁香无码| 182无码| 青青草成人网| 五月婷精品| 免费看欧美成人A片无码| 亚洲国产va| 国产在线自| 日本久久高清| 亚洲丁香五月天在线视频| 婷婷在线五月综合| 色婷婷六月天| 伊人干综合| 亚洲人人操| 婷婷色5月激情网| 九九自拍网| 99热最新| 日日操,天天操| 激情国产综合| 可以直接看的av| 色狠狠色狠狠| www.99热这里精品| 夜夜爽天天爽| 六月婷色六月| 五月丁香婷婷综合视频| 色色色色综合网| 91人妻视频| 三级毛片7979| 国产毛片精品一区二区色欲黄A片| 欧美色色色| 激情五月天啪啪| 九九碰九九爱97超碰| 婷婷五月天六点丁香五月| 久久久久久久久久91| 欧美成人精品三区综合A片| 丁香婷婷伊人| 色婷天天| 国产一级视频a| 激情五月天色播| 日本的α片xxxwww| 97操碰日本女人| 大香网伊人久久综合| AV片在线观看| www激情com| 日本乱论99| 欧美啪啪9| 久久er视频6| 99色在线视频| 99视频精品全部免费观看| 婷婷综合亚洲| 免费看欧美成人A片无码| 99ri视频在线播放| 天天做天天爰天天爽天天无遮挡| 碰久久精品w| 色五月五月天色婷婷色五月| 91/九色黑人| 99无码| 狠色综合网| 五月天综合视频| 丁香婷婷丁香五月欧美人| 午夜69成人做爰视频| 美女美女美女三级色天天天天天| 国产欧美va| 97搞在线| www.五月天婷婷| 香蕉综合在线| 99无码视频| 99视频这里只有久久精品 | 国产精产国品一二三在观看| 另类丁香五月天区图| 婷婷天堂综合网| 色婷婷五月在线| 亚洲夜五月| 亚洲第一成人AV| 五月天婷婷爱| 久久激情综合| 午夜天堂一区人妻| 开心深爱激情网| 婷婷色婷婷亚洲成人| 少妇性BBB搡BBB爽爽爽视頻| www.色五月天.com| 182TV大香蕉| 亚洲操操| 成人丁香五月| www,超碰| 99精品综合视频| 丁香色五月婷婷17C| 人妻激情久久| 91AV婷婷| 婷婷六月天精品| 97色综合视频| 色婷婷久久综合| 五月天婷婷导航| 色噜噜97视频在线观看| 欧美人与性动交CCOO| 婷婷综合精品视频97| 97干在线| 97超碰,人人舔,人人操,人人摸| www.色五月| 色婷婷深爱五月| 色婷婷AV在线观看| 色一情一乱一乱一区91Av| 色综合久久88色综合天天人守婷| 一级无码作爱片| 中文字幕无码人妻少妇免费视频| 欧美色色色色色| 玖玖资源站国产| 日本三级网址| 婷婷综合视频| 五月天综合久久| 六月婷婷色五月| 婷婷五月综合网| 无码 av电影| 五月激情啪啪啪| 亚洲行行色色| 9 1超碰九色| www.久操| 丁香六月综合激情| 综合婷婷五月天| 丁香五月婷婷88在线| 超碰a女人的天堂| 影音先锋秋秋五月婷婷| 99爱视频免费| 99热.com| 日韩五月天婷婷| 在线观看的av| 午夜伊人大香蕉| 色碰碰视频| 五月在线| 丁香五月天人体| 久草五月婷婷| 久久日曰| 欧美性生交XXXXX无码小说| 九热精品| 日本颜色视频人人爱| aaaaaa片| 97精品欧美91久久久久久久| 五月婷婷精品视频| 97在线观视频免费观看| 婷婷五月丁香伊人| 森林影视大全,最好看的2019年视频 | 99热在线里有精品| 色黑鬼导航| 美女婷婷六月色| 色天天狠狠干| 六月丁香深深爱| 婷婷五月天成人动漫 | 色综合视频| 丁香花大香蕉婷婷综合| 99热在线播放|