欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Jenkins持續(xù)集成部署實(shí)戰(zhàn):從選型到容器化維護(hù)全解析

Jenkins持續(xù)集成部署實(shí)戰(zhàn):從選型到容器化維護(hù)全解析 1. 項(xiàng)目概述1.1 我為什么在一開始就盯上了持續(xù)集成先說我自己的經(jīng)歷。以前做項(xiàng)目最怕的不是寫代碼是“發(fā)布當(dāng)天”。早上開會說好了十點(diǎn)上線結(jié)果十點(diǎn)半了組里還有人抱著筆記本在改配置文件另一個同事在群里喊“誰動了數(shù)據(jù)庫連接串”然后整個下午就耗在“代碼在本地是好的、到測試環(huán)境就掛了”“這次明明只改了一個函數(shù)為什么部署包沒更新”這種問題里。后來我認(rèn)真復(fù)盤了一下問題不出在某一個人身上而是整個團(tuán)隊(duì)的交付方式還是手工時代——拉代碼、打包、扔到服務(wù)器、手動重啟每一步都靠人來盯每一步都可能漏。所以當(dāng)某團(tuán)隊(duì)讓我牽頭梳理交付流程時我第一個確定的方向就是持續(xù)集成。持續(xù)集成CI的核心其實(shí)很簡單把代碼提交、靜態(tài)檢查、單元測試、構(gòu)建、產(chǎn)物歸檔這些動作全部自動化每次提交都觸發(fā)一次完整的驗(yàn)證。相當(dāng)于每時每刻都在自動做一次“它能不能上線”的體檢。而在這個體檢流程里最重要的執(zhí)行引擎就是Jenkins。Jenkins這個工具能解決的問題我用一句話概括把“人肉流程”變成“機(jī)器流程”。它有豐富的插件生態(tài)可以對接各類代碼倉庫、構(gòu)建工具、測試框架、部署平臺而且部署方式非常靈活——單機(jī)、集群、容器里都能跑。它也是目前開源社區(qū)里生態(tài)最成熟的持續(xù)集成調(diào)度器之一。網(wǎng)上討論它的文章很多但大多數(shù)只講“怎么裝”很少有人講透“怎么穩(wěn)穩(wěn)地裝、裝完怎么配、配完怎么維護(hù)”。我這一篇就把自己完整跑過一遍的路程整理出來從環(huán)境準(zhǔn)備、部署方案選型、初始化配置到第一個流水線任務(wù)跑通再到權(quán)限安全、備份恢復(fù)、容器化擴(kuò)展這些操作細(xì)節(jié)全部過一遍。1.2 閱讀這篇文章你能得到什么這篇文章不是寫給“已經(jīng)精通CI/CD的高級工程師”看的也不是寫給零基礎(chǔ)完全沒聽過持續(xù)集成的人看的。最適合的讀者是已經(jīng)知道持續(xù)集成大概是什么但真正動手部署Jenkins時缺一份完整實(shí)操參考的開發(fā)者、運(yùn)維工程師、以及團(tuán)隊(duì)里需要牽頭做交付流程梳理的技術(shù)負(fù)責(zé)人??催^這篇文章之后你會得到幾樣?xùn)|西第一一張清晰的決策列表知道自己該用哪種方式部署Jenkins而不是隨便找一個安裝教程抄一遍第二一套可以直接照抄的初始化配置流程包括管理員賬號、插件源加速、全局工具配置這些容易踩坑的點(diǎn)第三一個完整的最小流水線示例從拉代碼到構(gòu)建到產(chǎn)物歸檔每一步都注釋到位第四一組我在實(shí)際維護(hù)中遇到的故障場景和解決思路比如插件裝不上怎么排查、進(jìn)程突然掛掉怎么恢復(fù)、數(shù)據(jù)怎么備份才是安全的。我的習(xí)慣是先把“為什么”講清楚再給“怎么做”。因?yàn)閱渭兂顩]有意義環(huán)境一變就會抓瞎但只要理解了背后的邏輯換一臺機(jī)器、換一個網(wǎng)絡(luò)環(huán)境你也能自己把問題順出來。2. 部署方案選型的核心邏輯2.1 Jenkins部署方式的三種主流選擇部署Jenkins表面上是“裝個軟件”實(shí)際上背后是“你打算怎么運(yùn)維它”。我先把我試過的三種主流方式羅列出來大家可以直接看對比結(jié)論。第一種是使用發(fā)行版原生包安裝。比如在Ubuntu上用apt安裝Jenkins系統(tǒng)會把init腳本、開機(jī)自啟、日志輪轉(zhuǎn)這些基礎(chǔ)的東西都配好。這種方式的好處是與系統(tǒng)集成度最高升級時包管理器會幫你處理依賴關(guān)系如果你只需要在本機(jī)快速跑起來這是最省心的路。但壞處是Jenkins自身數(shù)據(jù)全部放在一個目錄里系統(tǒng)如果出了亂七八糟的問題數(shù)據(jù)和系統(tǒng)環(huán)境耦合在一起遷移會比較被動。第二種是直接使用jenkins.war包配合外部Servlet容器運(yùn)行比如Tomcat。這種方式在老一代運(yùn)維那里比較流行把war包丟到Tomcat的webapps目錄里就能跑。好處是可以復(fù)用已有的Tomcat運(yùn)維經(jīng)驗(yàn)但代價是出了任何問題都要同時排查Tomcat和Jenkins兩層而且Jenkins對Servlet容器的版本有隱性要求踩過坑的人都知道這里面有多少兼容性問題。我個人的意見是如果不是公司里有強(qiáng)制要求必須復(fù)用Tomcat新項(xiàng)目完全沒必要選這條路徑。第三種是使用Docker容器化部署。這也是我目前在項(xiàng)目里采用的方式。Jenkins官方維護(hù)了若干鏡像比如jenkins/jenkins鏡像提供的是基于官方穩(wěn)定版的鏡像而jenkinsci則有更多歷史版本標(biāo)簽。容器化之后最直觀的好處是分發(fā)和升級都非常干凈數(shù)據(jù)目錄用數(shù)據(jù)卷獨(dú)立掛載想遷移就換個宿主機(jī)重新run一下想升級就把鏡像標(biāo)簽改掉跑一個新的容器連上同一個數(shù)據(jù)卷。但代價是你需要理解Docker的基本概念鏡像、容器、掛載、網(wǎng)絡(luò)。如果團(tuán)隊(duì)里沒有一個人對這些有概念容器化初期會有一點(diǎn)學(xué)習(xí)成本。下面我用一個表格把這三種方式的區(qū)別列出來方便大家做決策。對比維度原生命令行安裝war包 TomcatDocker容器安裝難度低中中低與系統(tǒng)集成度高中低升級與回滾依賴包管理器替換war包切換鏡像數(shù)據(jù)隔離弱弱強(qiáng)故障排查復(fù)雜度中高中遷移便攜性低低高適合場景一次性體驗(yàn) / 小團(tuán)隊(duì)單機(jī)老系統(tǒng)復(fù)用Tomcat需要頻繁升級或換環(huán)境看完這個表其實(shí)就很清楚了如果你只是個人練手用原生命令行裝沒問題十分鐘就能跑起來如果你所在的公司容器化已經(jīng)是事實(shí)標(biāo)準(zhǔn)你最好直接用Docker方案因?yàn)楹竺娌还芙覭8s還是做動態(tài)Agent都能順滑地過渡。而Tomcat這條路除非有明確的存量約束我是不建議新嘗試的。2.2 為什么容器化是多數(shù)團(tuán)隊(duì)的推薦起點(diǎn)有不少人問過我一個問題Docker跑Jenkins數(shù)據(jù)到底放哪里Jenkins有一個環(huán)境變量叫JENKINS_HOME它保存了所有任務(wù)配置、構(gòu)建記錄、插件、用戶信息、憑據(jù)。容器里這個目錄默認(rèn)是鏡像內(nèi)的某個路徑但容器一旦刪除目錄里的一切也跟著沒了。所以我強(qiáng)調(diào)的第一個原則就是JENKINS_HOME必須掛載到宿主機(jī)獨(dú)立目錄或者外部存儲卷。我在實(shí)際操作中用的命令基本長這樣mkdir -p /data/jenkins_home docker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v /data/jenkins_home:/var/jenkins_home \ -v /etc/localtime:/etc/localtime:ro \ -e TZAsia/Shanghai \ jenkins/jenkins:lts這里有一個容易被忽略的細(xì)節(jié)端口50000。Jenkins主節(jié)點(diǎn)和構(gòu)建Agent節(jié)點(diǎn)之間默認(rèn)通過這個端口通信。如果以后要加構(gòu)建節(jié)點(diǎn)這個端口就必須保持可用而且防火墻里要放行。我見過有人圖省事只映射了8080最后加Agent的時候怎么都連不上排查半天才發(fā)現(xiàn)是端口沒映射。另一個細(xì)節(jié)是TZ環(huán)境變量。鏡像默認(rèn)的時區(qū)是UTC構(gòu)建日志里的時間戳看起來會跟北京時間差8個小時排查問題的時候非常折磨。掛載宿主機(jī)的時間配置文件或者直接設(shè)置TZ都能解決我更推薦直接設(shè)置環(huán)境變量干凈利落。2.3 關(guān)于硬件配置我的建議部署之前還要想一下資源規(guī)格。我自己在內(nèi)部項(xiàng)目里用的是一個2核4G的實(shí)例跑十幾個普通的構(gòu)建任務(wù)基本沒有壓力。但如果你打算讓Jenkins頻繁執(zhí)行大型前端項(xiàng)目的npm構(gòu)建或者Java項(xiàng)目的Maven打包節(jié)點(diǎn)內(nèi)存建議至少給到4核8G。原因很簡單Jenkins本身是一個常駐JVM進(jìn)程默認(rèn)的JVM堆設(shè)置會占掉不少內(nèi)存而在任務(wù)構(gòu)建高峰期系統(tǒng)里同時會有多個子進(jìn)程在跑內(nèi)存不夠會直接導(dǎo)致構(gòu)建機(jī)器無響應(yīng)。我建議剛上手的人在開始階段不用過度規(guī)劃先把最小配置跑起來等實(shí)際跑的任務(wù)量上來了再根據(jù)監(jiān)控數(shù)據(jù)做擴(kuò)容。說到底Jenkins的性能瓶頸大概率不在主節(jié)點(diǎn)本身而在同時觸發(fā)的構(gòu)建任務(wù)數(shù)和Agent節(jié)點(diǎn)的數(shù)量。主節(jié)點(diǎn)最怕的是同時跑太多重量級構(gòu)建所以后面有條件就盡量把構(gòu)建下沉到獨(dú)立的Agent上執(zhí)行。3. 從零到一Jenkins初始化與核心配置3.1 第一次啟動后你一定會經(jīng)歷的五步無論用哪種方式部署第一次打開Jenkins網(wǎng)頁都會進(jìn)入初始化向?qū)ЬW(wǎng)上很多教程把這一步一帶而過但這里面的每一步都有講究。我按自己實(shí)際走的順序拆開說。第一步是解鎖。安裝過程中會生成一個初始管理員密碼Docker方式可以通過docker log命令查看原生方式一般在安裝日志或指定文件里。拿到密碼輸入進(jìn)去才能繼續(xù)。這一步大家基本不會卡住唯一要提醒的是這個密碼只用于首次解鎖之后你會創(chuàng)建自己的管理員賬號來登錄。別把初始密碼記到筆記里就算完后面的賬號管理要盡早切換。第二步是安裝推薦插件。界面上會給兩個選項(xiàng)“安裝建議的插件”和“選擇插件來安裝”。對沒有明確插件管理經(jīng)驗(yàn)的人我建議先選“安裝建議的插件”把最常用的一組裝好然后在此基礎(chǔ)上按真實(shí)需求增補(bǔ)。不要一上來就裝一堆聽別人說好用的插件插件數(shù)量多了之后每次啟動光掃描更新就能讓人等很久而且插件之間的兼容性問題會在升級時集中爆發(fā)。第三步是創(chuàng)建第一個管理員用戶。這里我多說一句很多人圖省事直接用admin賬號繼續(xù)用這是運(yùn)維上的壞習(xí)慣。正確做法是創(chuàng)建一個帶真實(shí)業(yè)務(wù)含義的管理員賬號比如jenkins-admin然后把默認(rèn)的admin賬號設(shè)置成強(qiáng)密碼放在一邊只在緊急情況下使用。這樣后面無論接入LDAP還是做API Token管理身份邊界都更清晰。第四步是配置實(shí)例地址。系統(tǒng)會預(yù)填一個地址一般就是訪問Jenkins的URL。如果你后面要通過GitLab或GitHub的Webhook回調(diào)Jenkins這個地址必須是從外部能訪問到的地址。我在內(nèi)網(wǎng)環(huán)境里就吃過虧地址填了localhost結(jié)果代碼倉庫那邊回調(diào)總是失敗。記住這里填的是“別人能訪問到你的地址”不是你本機(jī)自我感覺的地址。第五步是初始配置完成后進(jìn)入主界面。到這一步部署還沒有結(jié)束因?yàn)槟氵B一個真正的構(gòu)建任務(wù)都還沒有。下面幾節(jié)我們要把跑任務(wù)前的基本功補(bǔ)上。3.2 插件源加速國內(nèi)環(huán)境部署一定要做的調(diào)整Open Source項(xiàng)目有一個共同的煩惱默認(rèn)下載源在國外。Jenkins的更新中心和插件下載中心默認(rèn)都指向國外地址在國內(nèi)網(wǎng)絡(luò)環(huán)境下經(jīng)常出現(xiàn)插件列表刷不出來、下載到一半超時的現(xiàn)象。這里的解決方案是把它切換到國內(nèi)的鏡像源。具體操作路徑是進(jìn)入“Manage Jenkins” - “Plugins” - “Advanced settings”把最下面“Update Site”里的URL替換成國內(nèi)鏡像地址。我用過之后發(fā)現(xiàn)效果穩(wěn)定的是清華鏡像源具體URL形如https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json。但這個還不算完因?yàn)楹芏嗖寮?shí)際下載時走的還是自身pom里寫的下載地址所以更保險的做法是把鏡像源信息同時寫進(jìn)配置文件。有一種更徹底的方式是直接修改Jenkins主目錄里hudson.model.UpdateCenter.xml這個文件把下載地址整體替換掉。改完之后進(jìn)入插件管理界面點(diǎn)擊“Check now”就能看到插件列表很快刷出來。我實(shí)測下來切換后的下載速度有質(zhì)的提升幾MB的插件幾秒鐘就能拉完。這一步對國內(nèi)使用者來說幾乎等于“不換源就勸退”強(qiáng)烈建議部署完第一時間處理。注意修改Update Center地址后如果點(diǎn)擊檢查發(fā)現(xiàn)還是訪問原地址可以重啟一次Jenkins服務(wù)然后重新進(jìn)入插件管理頁面。3.3 全局工具配置讓Jenkins知道JDK和Maven在哪插件裝好之后還需要配置全局工具。這一步很多新手容易犯的錯是在服務(wù)器上明明已經(jīng)裝了Maven和JDK但Jenkins任務(wù)里就是提示找不到命令。原因在于Jenkins的任務(wù)進(jìn)程環(huán)境變量和當(dāng)前登錄用戶的環(huán)境變量不一定一致尤其是通過Docker啟動時容器基礎(chǔ)上可能壓根沒有你要用的工具。推薦的做法是直接在“Manage Jenkins” - “Tools”里配置工具。以JDK和Maven為例在JDK配置里可以指定一個已有的JDK路徑也可以讓Jenkins自動下載指定版本的JDK這會用到國內(nèi)網(wǎng)絡(luò)如果下載源不穩(wěn)定就手動上傳JDK包。Maven也是同樣的邏輯我可以給出一個最穩(wěn)妥的路徑下載一個Maven二進(jìn)制包解壓到宿主機(jī)目錄然后在“Tools”里把它設(shè)置成固定路徑。配完之后建議先做一個冒煙測試新建一個自由風(fēng)格任務(wù)里面的構(gòu)建步驟寫mvn -v執(zhí)行一次看控制臺輸出是否正常。這樣能確認(rèn)Jenkins和Maven之間的調(diào)用鏈?zhǔn)峭ǖ?。這個冒煙任務(wù)后面還能用來測試Webhook觸發(fā)不要刪留著當(dāng)“探針”用。3.4 憑據(jù)管理從第一次使用賬號密碼說起自動化流程里最不能出差錯的是憑據(jù)。Git拉取代碼要用戶名密碼或SSH Key推送產(chǎn)物到服務(wù)器要私鑰調(diào)接口要Token。這些東西如果直接寫在流水線腳本里風(fēng)險極大我見過不止一個人把密碼提交到代碼倉庫里然后被安全掃描抓出來。Jenkins提供了一套憑據(jù)管理機(jī)制在“Manage Jenkins” - “Credentials”里可以創(chuàng)建全局憑據(jù)。支持的類型包括Username with password、SSH Username with private key、Secret text、Certificate等。我在實(shí)際項(xiàng)目里最常用的組合是Git倉庫用SSH Key云平臺API用Secret text。創(chuàng)建好之后在流水線里通過憑據(jù)ID來引用別人只能看到ID和綁定類型看不到具體值。這里有一個細(xì)節(jié)值得記住憑據(jù)ID在建完之后最好手動改成有意義的字符串比如gitlab-ssh-key不要保留系統(tǒng)自動生成的那串UUID。因?yàn)楹竺婺銜谠絹碓蕉嗟牧魉€腳本里引用這個ID可讀性差會直接增加維護(hù)成本。4. 第一個流水線任務(wù)從自由風(fēng)格到Pipeline4.1 自由風(fēng)格任務(wù)最快看到構(gòu)建結(jié)果的方式對第一次接觸Jenkins的人來說我建議不要一上來就寫聲明式Pipeline雖然那是以后的主流但從自由風(fēng)格任務(wù)起步更容易建立感覺。Dashboard頁面上點(diǎn)“New Item”輸入一個任務(wù)名稱選擇“Freestyle project”然后進(jìn)入配置頁面。一個最小可用的自由風(fēng)格任務(wù)至少要配置三塊第一是源碼管理選擇Git并填上倉庫地址然后在Credentials中選擇前面配好的憑據(jù)第二是構(gòu)建觸發(fā)器最簡單的先選“Poll SCM”或手動點(diǎn)“立即構(gòu)建”觸發(fā)Webhook我們稍后單獨(dú)講第三是構(gòu)建步驟比如“Invoke top-level Maven targets”或直接執(zhí)行Shell命令。以Java項(xiàng)目為例構(gòu)建步驟可以簡單寫成這樣mvn clean package -DskipTests保存之后點(diǎn)擊“立即構(gòu)建”第一次構(gòu)建會從零開始跑。這時候可以左側(cè)面板進(jìn)入“Console Output”觀察實(shí)時日志。我看了無數(shù)次這個日志說句實(shí)在話這個頁面就是你診斷一切構(gòu)建問題的第一現(xiàn)場學(xué)會在這里面快速撈關(guān)鍵行是一項(xiàng)基本能力。第一次構(gòu)建完成后如果Workspace里能看到target目錄和最終的jar包說明這條鏈路已經(jīng)通了??刂婆_輸出末尾出現(xiàn)Finished: SUCCESS就是一個里程碑式的時刻。但請注意這個任務(wù)現(xiàn)在還只是“能跑”離“自動觸發(fā)”“產(chǎn)物歸檔”還差好幾步。4.2 聲明式Pipeline讓流程變成代碼自由風(fēng)格任務(wù)跑通之后我強(qiáng)烈建議你再往前推進(jìn)一步改成聲明式Pipeline。理由很實(shí)在自由風(fēng)格任務(wù)的配置存在Jenkins內(nèi)部抄到別的環(huán)境非常麻煩而Pipeline把整個流程寫成一份Jenkinsfile放在你的項(xiàng)目倉庫里跟著代碼走換環(huán)境、換機(jī)器、換Jenkins實(shí)例都不怕。一個最小可用的Jenkinsfile大概長這樣pipeline { agent any stages { stage(拉取代碼) { steps { echo 代碼已由SCM模塊處理 } } stage(單元測試) { steps { sh mvn test } } stage(構(gòu)建打包) { steps { sh mvn clean package -DskipTests } } stage(歸檔產(chǎn)物) { steps { archiveArtifacts artifacts: target/*.jar, fingerprint: true } } } }這份文件放到倉庫根目錄后在Jenkins里新建一個“Pipeline”類型任務(wù)在Pipeline配置段里選擇“Pipeline script from SCM”指定倉庫地址和文件路徑保存后點(diǎn)擊構(gòu)建效果跟之前的自由風(fēng)格任務(wù)一致但你現(xiàn)在可以把整個流程和代碼一起進(jìn)行版本管理了。這里有一個經(jīng)驗(yàn)歸檔產(chǎn)物是整個流水線里容易被忽視的一環(huán)。不管你是構(gòu)建jar包、鏡像還是安裝包都應(yīng)該把關(guān)鍵產(chǎn)物通過archiveArtifacts保留下來。因?yàn)楹罄m(xù)你想回滾、想審計某個版本是哪個代碼構(gòu)建出來的靠的就是這些歸檔記錄。不要覺得“反正有構(gòu)建日志”日志會滾動清理而歸檔產(chǎn)物在保留策略內(nèi)是穩(wěn)定存在的。4.3 構(gòu)建觸發(fā)器從手動到自動的關(guān)鍵一步任務(wù)能手動構(gòu)建只是第一步持續(xù)集成的核心在于“自動觸發(fā)”。常用觸發(fā)方式有四種我逐一說明。第一種是定時構(gòu)建配置里可以寫cron表達(dá)式固定每天幾點(diǎn)構(gòu)建一次。適合夜間打包場景比如每天凌晨跑一次全量測試。第二種是Poll SCMJenkins會定期檢查代碼倉庫里是否有新提交有變化就構(gòu)建本質(zhì)上也是輪詢有延遲但簡單。第三種是Webhook觸發(fā)代碼倉庫每次推送代碼時主動調(diào)用Jenkins接口實(shí)時性最強(qiáng)也是現(xiàn)代CI的推薦做法。第四種是上下游任務(wù)觸發(fā)的Pipeline方式在代碼里通過build步驟來聯(lián)動適合有依賴關(guān)系的多個任務(wù)。Webhook的配置要點(diǎn)我之前提過一部分這里再補(bǔ)充一點(diǎn)在項(xiàng)目配置里勾選“GitHub hook trigger for GITScm polling”然后在代碼倉庫的管理端配置Webhook地址指向http://你的Jenkins地址/github-webhook/。如果是其他代碼托管平臺路徑稍有差別但思路是一樣的。我當(dāng)初第一次配Webhook花了很長時間排查問題最后發(fā)現(xiàn)是地址里漏了/github-webhook/這個固定后綴代碼倉庫那邊怎么推都觸發(fā)不了。所以遇到類似問題第一反應(yīng)先檢查回調(diào)地址的后綴拼寫是否完整。4.4 環(huán)境變量與參數(shù)化構(gòu)建讓任務(wù)變得更靈活自動化程度越高越會發(fā)現(xiàn)“硬編碼”是一件讓人頭疼的事。比如你給它寫死了要構(gòu)建的分支是master等你想構(gòu)建release/1.0分支時還得去改配置。解決這個問題的方式是參數(shù)化構(gòu)建。在Pipeline中可以通過parameters指令定義參數(shù)運(yùn)行時由用戶在界面上填寫或選擇。舉一個例子pipeline { agent any parameters { choice(name: BRANCH, choices: [master, develop, release/1.0], description: 請選擇要構(gòu)建的分支) string(name: TAG, defaultValue: , description: 可選指定構(gòu)建標(biāo)簽) } stages { stage(Checkout) { steps { checkout scm } } stage(Print Params) { steps { echo 當(dāng)前分支: ${params.BRANCH} echo 當(dāng)前標(biāo)簽: ${params.TAG} } } } }有了這樣的參數(shù)同一個任務(wù)就可以面對不同的發(fā)布場景。團(tuán)隊(duì)里別的同事只需要在界面上選一個分支點(diǎn)構(gòu)建剩下的流程完全由Pipeline自己跑。這對交付效率的提升是立竿見影的終于不用半夜把運(yùn)維叫起來改配置了。注意參數(shù)化配置應(yīng)該是“默認(rèn)有合理值、支持特殊情況覆蓋”而不是每個任務(wù)都要求人去填一長串字段。填參數(shù)也是心智負(fù)擔(dān)能少填就少填。5. 權(quán)限、安全與維護(hù)5.1 基于角色的權(quán)限控制多團(tuán)隊(duì)協(xié)作不能省當(dāng)團(tuán)隊(duì)里只有你自己在用Jenkins時管理員權(quán)限怎么折騰都行。但當(dāng)人多起來比如后端、前端、測試、運(yùn)維都要進(jìn)同一個Jenkins看構(gòu)建結(jié)果如果你的權(quán)限管理是一團(tuán)漿糊很快就會出亂子有人誤刪了別人的任務(wù)有人改了生產(chǎn)環(huán)境的構(gòu)建配置。這里我建議引入基于角色的權(quán)限控制。Jenkins自帶的“安全”配置里第一件事是把“Authorization”設(shè)置成“Logged-in users can do anything”或更細(xì)粒度的矩陣授權(quán)策略。注意我不會建議你把“Anyone can do anything”保留太久哪怕是在內(nèi)網(wǎng)這也不應(yīng)該長期存在。安全最佳實(shí)踐是默認(rèn)情況下禁止匿名用戶做任何寫操作。更進(jìn)一步可以裝一個Role-based Strategy插件它能實(shí)現(xiàn)“按角色分配任務(wù)和視圖”。比如某一個團(tuán)隊(duì)的角色只能看到自己的項(xiàng)目不允許操作別人的任務(wù)。這種管控在多人協(xié)作場景下幾乎是剛需。我經(jīng)歷過一次“某同事在做測試演練時一下子把所有任務(wù)全刪了”的事故之后就堅定地給每個團(tuán)隊(duì)劃了獨(dú)立視圖和獨(dú)立權(quán)限。5.2 Jenkins主目錄解析數(shù)據(jù)到底存放在哪里JENKINS_HOME是一個核心目錄整個Jenkins的一切狀態(tài)都在里面。我建議每個維護(hù)者都花十分鐘把里面的結(jié)構(gòu)走一遍。最核心的幾個子目錄是jobs目錄存放所有任務(wù)定義和構(gòu)建記錄plugins目錄存放已安裝的插件users目錄存放用戶信息credentials.xml存放憑據(jù)配置config.xml是全局配置文件workspace是構(gòu)建工作目錄。搞懂這個目錄結(jié)構(gòu)有兩個實(shí)際的用處。第一個是備份你不需要什么高級工具直接打包整個JENKINS_HOME目錄就是一份完整的備份第二個是遷移把打包目錄解壓到新機(jī)器的同一個掛載路徑下重啟Jenkins你的任務(wù)和配置就全部回來。我在遷移一個跑了一年多的Jenkins實(shí)例時就是靠這個目錄拷貝完成的整個過程沒有丟失任何配置。當(dāng)然有一點(diǎn)要提醒workspace下面那些臨時構(gòu)建文件其實(shí)沒必要備份備份時可以用排除規(guī)則把workspace、logs這類目錄去掉能明顯減小備份體積。更安全的做法是同時備份所有者和權(quán)限位尤其在Linux下直接壓縮解壓時要留意用戶ID是否一致否則可能出現(xiàn)權(quán)限錯亂導(dǎo)致Jenkins啟動異常。5.3 定期備份與版本升級維護(hù)者的兩條保命繩維護(hù)Jenkins最怕的兩件事一是數(shù)據(jù)丟失二是升級失敗。數(shù)據(jù)丟失的應(yīng)對方式就是備份升級失敗的應(yīng)對方式就是回滾。備份策略我的做法是這樣的用crontab每天凌晨執(zhí)行一次全量打包同時保留最近7天的備份把備份文件存放到另一臺機(jī)器或獨(dú)立存儲上。為什么一定要“異地”因?yàn)槿绻拗鳈C(jī)本身壞了放在同一臺機(jī)器上的備份也是廢的。這個道理看起來簡單但我確實(shí)見過很多團(tuán)隊(duì)把備份文件放在Jenkins同一臺服務(wù)器上結(jié)果服務(wù)器磁盤故障時連備份一起沒了。升級的邏輯則是“先備份再升級”。有人會說升級前一點(diǎn)小事用得著備份嗎實(shí)際體驗(yàn)是插件版本變化對配置文件的兼容性影響有時候非常隱蔽你可能升級完之后發(fā)現(xiàn)某個任務(wù)的配置項(xiàng)失效了構(gòu)建開始報錯。這時候如果你的升級前備份還在直接把舊版本數(shù)據(jù)和舊版本鏡像倒回去十分鐘就能恢復(fù)環(huán)境。這個操作成本很低收益卻極高。5.4 日志管理與系統(tǒng)清理別讓磁盤悄悄爆掉Jenkins是一個日志大戶。每次構(gòu)建的控制臺輸出、任務(wù)的歷史記錄、插件的日志、系統(tǒng)日志日積月累磁盤占用非??捎^。我遇到過一次最典型的故障構(gòu)建任務(wù)突然大面積失敗報錯是“No space left on device”最初以為是系統(tǒng)盤滿了一查才發(fā)現(xiàn)是JENKINS_HOME里的構(gòu)建日志和workspace占滿了數(shù)據(jù)盤。解決這個問題不能靠“滿了再刪”應(yīng)該建立一套日常清理機(jī)制。Jenkins的任務(wù)配置里可以對構(gòu)建記錄設(shè)置保留策略比如只保留最近10次構(gòu)建記錄舊的自動清理。在全局配置里也可以設(shè)置系統(tǒng)日志的保留條數(shù)和文件大小。另外workspace目錄可以定期寫一個清理腳本把超過一定天數(shù)的臨時目錄清掉。我的建議是把這些清理動作固化成一個定時任務(wù)每月執(zhí)行一次并且輸出清理報告到日志里方便后續(xù)追溯。這些事看起來瑣碎但是只要出一次磁盤故障你就會明白這十分鐘的日常維護(hù)有多值。6. 常見問題與排查技巧實(shí)錄6.1 插件安裝失敗或下載速度慢場景描述插件管理頁面刷新列表超時或者點(diǎn)擊安裝某插件后進(jìn)度條一直不動最后報錯。排查思路第一步檢查Update Center的配置是不是默認(rèn)國外源如果是盡快切換國內(nèi)鏡像源第二步確認(rèn)鏡像源URL是否加對了路徑有的鏡像源需要在URL后追加update-center.json這樣的固定路徑缺少會報404第三步如果改完后還是沒有變化重啟Jenkins再試一次。我遇到過一種特殊情況內(nèi)網(wǎng)環(huán)境與公網(wǎng)隔離根本訪問不了任何外部鏡像源。這種情況下只能走離線安裝路線在另一臺能聯(lián)網(wǎng)的機(jī)器上把插件.hpi文件下載好然后通過插件管理的高級標(biāo)簽頁上傳安裝。注意插件之間也有依賴關(guān)系離線裝之前先把它的依賴插件一并下載否則很可能報“依賴缺失”一類錯誤。6.2 構(gòu)建任務(wù)一直卡在等待狀態(tài)場景描述點(diǎn)擊構(gòu)建之后任務(wù)一直顯示“等待”或者“pending”狀態(tài)面板提示queue里卡住了。排查思路最常見的兩個原因一是沒有可用的執(zhí)行節(jié)點(diǎn)二是執(zhí)行節(jié)點(diǎn)的并發(fā)數(shù)到達(dá)上限。查看“Build Executor Status”區(qū)域看主節(jié)點(diǎn)是否有空閑的executor如果全部是busy狀態(tài)說明同時跑的構(gòu)建太多要么調(diào)大executor數(shù)量要么安排構(gòu)建排隊(duì)。還有一種原因是某個構(gòu)建腳本卡死占著executor不放。這時候需要去對應(yīng)任務(wù)里停止或終止那個構(gòu)建釋放executor。在容器化環(huán)境下還有第三種原因Docker容器啟動時資源限制設(shè)置過低系統(tǒng)因資源耗盡而無法fork新進(jìn)程來執(zhí)行構(gòu)建。這時候看宿主機(jī)日志會發(fā)現(xiàn)OOM相關(guān)記錄通常是給容器調(diào)高內(nèi)存配額就能解決。6.3 Git拉取代碼時報權(quán)限錯誤場景描述流水線在checkout階段報“Permission denied”或“Host key verification failed”。排查思路前者通常是SSH Key沒有配好或憑據(jù)ID引用錯誤后者是第一次連接代碼倉庫時出現(xiàn)的主機(jī)指紋確認(rèn)提示而Jenkins任務(wù)是非交互環(huán)境沒法手動輸入yes。常見的解決辦法是在全局配置里設(shè)置StrictHostKeyChecking為no或者在執(zhí)行構(gòu)建動作前先手動把代碼倉庫主機(jī)加入known_hosts。另一個容易被忽略的點(diǎn)如果你在憑據(jù)里配的是用戶名密碼而不是SSH Key要確認(rèn)代碼托管平臺允許HTTP方式的密碼認(rèn)證。不少平臺已經(jīng)不支持這種老式認(rèn)證必須改用Token或個人訪問令牌。這時候可以把Token作為密碼字段填入憑據(jù)一般都能解決。6.4 Webhook觸發(fā)了但任務(wù)沒反應(yīng)場景描述代碼倉庫已經(jīng)配置好了Webhook推送代碼之后Jenkins這邊沒有自動觸發(fā)構(gòu)建。排查思路第一查Webhook地址是否能從外網(wǎng)訪問我前面強(qiáng)調(diào)過地址里不能有l(wèi)ocalhost第二查Webhook地址后綴是否是/github-webhook/這個路徑是Jenkins內(nèi)部約定的回調(diào)路徑很多人漏掉第三查任務(wù)配置里是否勾選了對應(yīng)的觸發(fā)選項(xiàng)第四查Jenkins日志里有沒有收到POST請求的痕跡。如果日志里根本沒有請求記錄問題大概率出在網(wǎng)絡(luò)路徑上如果有請求記錄但任務(wù)沒觸發(fā)大概率是任務(wù)配置或插件問題。最后一個小技巧很多代碼托管平臺的Webhook管理后臺會保留最近幾次請求記錄和響應(yīng)狀態(tài)進(jìn)去看那些信息排查效率會高很多。7. 進(jìn)階擴(kuò)展容器化時代的Jenkins維護(hù)7.1 流水線中構(gòu)建Docker鏡像從jar包到鏡像在CI流程里如果你只構(gòu)建到j(luò)ar包那還算傳統(tǒng)意義上的CI但如果你能做到“提交代碼 - 自動測試 - 自動構(gòu)建鏡像 - 推送到鏡像倉庫 - 觸發(fā)部署”那就已經(jīng)摸到了CI/CD一體化的邊。Pipeline里要把構(gòu)建出的jar包做成鏡像通常的做法是在Jenkins里配置Docker Host的地址然后在Pipeline中調(diào)用docker build和docker push。如果是通過Docker容器方式啟動的Jenkins本身這里有一個經(jīng)典的坑容器內(nèi)沒有Docker客戶端和守護(hù)進(jìn)程。解決辦法有幾種一種是通過掛載宿主機(jī)的docker.sock文件來讓容器內(nèi)操作宿主機(jī)Docker守護(hù)進(jìn)程另一種是在容器里安裝Docker客戶端然后通過網(wǎng)絡(luò)連接到遠(yuǎn)程Docker引擎。我在內(nèi)部實(shí)驗(yàn)環(huán)境用的是掛載socket的方式命令大概長這樣-v /var/run/docker.sock:/var/run/docker.sock但這種方式有安全代價誰能在Jenkins容器里執(zhí)行命令誰就基本等同于拿到了宿主機(jī)的Docker控制權(quán)。所以線上環(huán)境如果有條件更推薦使用獨(dú)立Agent節(jié)點(diǎn)執(zhí)行這類構(gòu)建不要在Jenkins主容器里直接掛socket。安全性和便利性往往是取舍但越是生產(chǎn)環(huán)境越要偏向安全。7.2 動態(tài)構(gòu)建節(jié)點(diǎn)從單機(jī)到分布式的一點(diǎn)思路當(dāng)構(gòu)建任務(wù)多了以后單機(jī)跑所有構(gòu)建會讓主節(jié)點(diǎn)負(fù)載過高。最常見的演進(jìn)方向是引入構(gòu)建Agent。Agent節(jié)點(diǎn)的職責(zé)是執(zhí)行構(gòu)建任務(wù)主節(jié)點(diǎn)只負(fù)責(zé)調(diào)度、記錄和展示。這樣主節(jié)點(diǎn)可以保持輕量化重型構(gòu)建任務(wù)都下沉到按需創(chuàng)建的Agent上執(zhí)行。容器化時代比較流行的方案是使用Docker插件或Kubernetes插件。Docker插件可以在每次構(gòu)建時動態(tài)創(chuàng)建一個干凈的容器作為Agent任務(wù)結(jié)束后容器自動銷毀保證了構(gòu)建環(huán)境的一致性避免“上次構(gòu)建留下的殘留文件影響這次構(gòu)建”這種老問題。Kubernetes插件則更進(jìn)一步讓Jenkins從K8s集群中動態(tài)申請Pod作為Agent。如果你現(xiàn)在只是在單機(jī)上跑Jenkins我的建議是不用急著上這些重量級方案。先把轉(zhuǎn)發(fā)代理、流水線參數(shù)化、制品歸檔這些基本功打牢等任務(wù)量增長到單機(jī)明顯扛不住的時候再花時間搭A(yù)gent體系。工具的演進(jìn)永遠(yuǎn)跟著實(shí)際瓶頸走不要為“炫技術(shù)”而引入復(fù)雜度。7.3 備份遷移的容器化便捷之處容器化之后做遷移有一個非常直觀的體驗(yàn)只需要把宿主機(jī)上掛載的JENKINS_HOME目錄完整拷貝到新機(jī)器然后在新機(jī)器上用同樣的掛載參數(shù)啟動一個同版本鏡像的容器再重啟服務(wù)整個環(huán)境就回來了。相比傳統(tǒng)安裝方式需要重新裝系統(tǒng)依賴、重新做JDK環(huán)境配置的做法容器化省去的這些環(huán)節(jié)在時間緊張的故障恢復(fù)場景里就是救命。這里有一個細(xì)節(jié)我在遷移時不僅拷貝數(shù)據(jù)還會記錄啟動時的鏡像tag最好把鏡像tag也固定下來。這樣一旦升級后發(fā)現(xiàn)不兼容可以迅速降級回原來的鏡像版本數(shù)據(jù)目錄完全不用動。這個“鏡像版本固定 數(shù)據(jù)獨(dú)立掛載”的組合是我認(rèn)為容器化部署Jenkins最核心的一個實(shí)踐原則。8. 實(shí)例復(fù)盤一次完整的部署落地8.1 現(xiàn)場環(huán)境回顧我以自己實(shí)際做過的某次部署為例把整個過程的決策鏈串起來復(fù)盤一遍。環(huán)境是這樣的某內(nèi)部研發(fā)團(tuán)隊(duì)需要支撐Java后端和Node前端兩條業(yè)務(wù)的構(gòu)建代碼托管在內(nèi)網(wǎng)Git服務(wù)上最終目標(biāo)是把制品交給后續(xù)的發(fā)布平臺來消費(fèi)。沒有外網(wǎng)到內(nèi)網(wǎng)的直接訪問但在內(nèi)網(wǎng)環(huán)境可以訪問到公共鏡像源的鏡像本身網(wǎng)絡(luò)條件不算復(fù)雜但有一點(diǎn)要注意插件下載需要走外部網(wǎng)絡(luò)通道。我選擇的方案是Docker部署。具體步驟為先在一臺內(nèi)網(wǎng)機(jī)器上創(chuàng)建JENKINS_HOME目錄用官方LTS鏡像啟動一個實(shí)例接著處理插件源加速把Update Center換成可訪問的鏡像地址然后配置JDK和Maven的全局工具重點(diǎn)確認(rèn)這些工具的路徑在容器內(nèi)可見再創(chuàng)建憑據(jù)接入內(nèi)網(wǎng)Git最后建第一個自由風(fēng)格任務(wù)做冒煙測試確認(rèn)基礎(chǔ)鏈路可用。這份流程看起來平淡無奇但每一步都踩過一些坑我下面把關(guān)鍵的決斷點(diǎn)展開講一講。8.2 第一次冒煙測試為什么失敗了第一次執(zhí)行冒煙測試時我預(yù)期是“mvn -v”能直接打出版本信息但控制臺輸出是“mvn: command not found”。問題出在工具路徑配置上。我在宿主機(jī)上裝了Maven但容器內(nèi)看不到宿主機(jī)的路徑必須在Jenkins的全局工具配置里指定容器內(nèi)可見的Maven路徑或者直接把Maven解壓到掛載的數(shù)據(jù)卷目錄里讓JENKINS_HOME和工具目錄在同一個卷內(nèi)。第二個問題是時區(qū)。第一次構(gòu)建日志里的時間戳全部顯示UTC我排查構(gòu)建任務(wù)執(zhí)行順序時完全對不上預(yù)期。把TZ環(huán)境變量設(shè)置好重啟容器之后日志時間才與本地時間一致。第三個問題是目錄權(quán)限。Docker容器是以jenkins用戶身份運(yùn)行的默認(rèn)UID為1000。如果宿主機(jī)創(chuàng)建的數(shù)據(jù)目錄所有者是root容器內(nèi)jenkins用戶就沒有寫權(quán)限。解決辦法是把數(shù)據(jù)目錄所有者的UID改成1000或者通過chown將目錄所有權(quán)調(diào)整給UID 1000。這個細(xì)節(jié)如果不注意啟動容器時會看到日志里不斷報目錄無法寫入的異常很多人會誤以為是啟動命令寫錯了實(shí)際上是權(quán)限問題。8.3 上線后的第一個高峰并發(fā)構(gòu)建卡死跑了一段時間后團(tuán)隊(duì)開始在上面執(zhí)行前端、后端兩類任務(wù)的批量構(gòu)建很快出現(xiàn)了高峰期構(gòu)建排隊(duì)嚴(yán)重的情況。查看后發(fā)現(xiàn)是主節(jié)點(diǎn)默認(rèn)的executor數(shù)量只有2同時只能跑兩個任務(wù)。我將主節(jié)點(diǎn)executor數(shù)量調(diào)大到4并用參數(shù)化構(gòu)建讓重量級任務(wù)顯式排隊(duì)問題緩解了不少但接著又出現(xiàn)了一個更隱蔽的問題某個任務(wù)構(gòu)建過程中產(chǎn)生了大量臨時文件主節(jié)點(diǎn)磁盤空間在一天之內(nèi)從40%漲到85%。這次經(jīng)歷堅定了我做定期清理的決心。我把workspace保留天數(shù)調(diào)整為7天把構(gòu)建歷史保留到最近20次設(shè)定了一個每天凌晨執(zhí)行的清理腳本并加了一個磁盤使用率告警。從這以后磁盤容量再也沒有成為運(yùn)維事故的觸發(fā)點(diǎn)。8.4 從主節(jié)點(diǎn)構(gòu)建到獨(dú)立Agent的遷移計劃隨著任務(wù)種類越來越多我越來越覺得在主節(jié)點(diǎn)上直接跑構(gòu)建不是長久之計。計劃把運(yùn)行時的構(gòu)建任務(wù)逐步轉(zhuǎn)移到Docker動態(tài)Agent上主節(jié)點(diǎn)只承擔(dān)調(diào)度和展示。這樣每次構(gòu)建的環(huán)境都是全新的不受歷史殘留影響而且可以針對Java和前端任務(wù)分別定義帶不同工具鏈的Agent容器。這個遷移過程不用急我采用的方式是先把一個新的任務(wù)配置成“在Docker容器中運(yùn)行”驗(yàn)證通過后再逐個遷移。這種漸進(jìn)的切換方式最大的好處是出了任何問題都能快速回退不至于整個CI系統(tǒng)一下子癱瘓。9. 個人經(jīng)驗(yàn)補(bǔ)充兩個值得長期堅持的習(xí)慣最后說兩個我一直堅持的習(xí)慣。第一個習(xí)慣是任何時候修改Jenkins配置之前先導(dǎo)出一份配置文件快照。這個操作成本極低但效果極大。我見過太多人改了一個權(quán)限策略之后整個團(tuán)隊(duì)什么都看不了了最后只能靠回憶往前翻既耗時又容易出錯。如果你在改動前有一個完整備份恢復(fù)只是覆蓋還原目錄的事。第二個習(xí)慣是把Jenkins的維護(hù)要點(diǎn)用文檔記錄下來包括部署時的初始命令、配置文件路徑、插件清單、備份策略、恢復(fù)步驟全部寫成一份運(yùn)行手冊。這看起來不是技術(shù)活但當(dāng)團(tuán)隊(duì)里換人交接時這份手冊就是整個CI系統(tǒng)能否持續(xù)運(yùn)轉(zhuǎn)的定心丸。設(shè)備會變技術(shù)棧會升級但一套被驗(yàn)證過的維護(hù)流程能幫你和你的團(tuán)隊(duì)省下大量重復(fù)踩坑的時間。Jenkins這套系統(tǒng)部署起來其實(shí)不算難難的是你在部署時有沒有把后續(xù)的擴(kuò)展、安全、備份這些事想清楚。把它當(dāng)作一個長期在線的服務(wù)來維護(hù)而不是一個裝完就跑的臨時工具是我從多次實(shí)踐中得到的最重要的心得。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香蕉久久婷婷| 五月婷婷电影院| 99,色| 精品免费99| 国产欧美日韩综合精品一区二区| 久久久久人无码人妻| 国产小精品| 色色色色色级无码| 人妻熟人中文字幕一区二区| 丁香婷在线| 激情综合九| 天天干天天爽天天爽| 99色热综合| 欧美久久五月婷婷| 色婷婷播放| 99九九精品视频| 北条麻妃伊人| 久久人妻视频| Se.婷婷五月天| 国产肥白大熟妇BBBB视频| 亚洲精品操一操、噜一噜、摸一摸、爽| av中文在线| 99热在线免费观看精品| 丁香五月ⅤA久久久| 丁香五月激情五月| 五月丁香在线视频观看| 青青草原亚洲久| 激情综合网丁香| 五月丁香婷婷色色| 亚洲成人乱码av网站| jiujiuxiangjiaowang| 色婷婷AV久久久久久久| 婷婷五月大| 99久re热视频精品98| 99热大全在线观看| 就爱日五月天| 中文激情网| caopeng超碰| 亚洲激情四谢| 91狠狠色丁香婷婷综合久久精品| 五月丁香婷色| 丁香色成人| www.色五月| 亚洲人妻一区二区 | 999激情视频| 开心五月综合激情网| 久草热在线视频| 综合色天天| 91中文狠狠综合| 婷婷综合色播网| 婷婷色吧| 无码 av电影| 五月丁香婷婷五月| 五月婷成人网| 人人操人人操919999| 婷婷五月天成人网| 色播五月天激情| 五月天激情小说| 亚洲激情四射色| 亚洲av骚货| 91久操| 91919191919久久成人视频| 色亚洲激情| 99热在线观看| 日本久久色| 久久免费操| 9999热精品在线免费播放| 极骚大香蕉伊人| 日日夜夜狠狠| 极品人妻videosss人妻| 99久久人人| 色噜噜综合网| 99激情视频| 五月丁香婷婷综合网| 我淫我色婷婷五月天激情四射| 天天干夜夜谢| 亚洲俩性性爱图片久久第六页| 丁香五月97视频| 天天干天天日天天操| 开心五月婷婷在线视频免费观看| 婷婷性爱| 99热大香蕉| 男人大jjc女人免费视频| 婷婷午夜激情| 丁香六月婷婷激情| 亚洲色色色色| 逼逼AV| 国产 亚洲 在线| 精品一二三区久久AAA片| 大香蕉久久婷婷| 五月天激情婷婷五月天久久| 五月丁香婷婷综合在线| 婷婷人人操| 色五月综合网站| 91丨九色丨国产打屁股| 中文字幕 中文字幕明步| 六月婷婷开心| 五月天婷婷婷| 婷婷五月激情视频| 久狠日av| 九九久久五月天综合伊人| 夜夜夜天天操| 大香蕉五月天| 婷香五月| 啪啪91| 99色五月| www.婷婷五月天| 丁香花五月天社区| 亚洲中文乱字字幕在线永久| 国产精品蜜臀99| 亚洲最大视频| 人草人人| 亚洲无码九九| 999影院成人在线影院| 99色激| 99资源在线视频| 在线日韩av| 性欧美大战久久久久久久83| 苗黎美女四级成人版一级二级毛片| 久色激情| 秋霞免费视频| 六月综和久久| 99精品手机在线视频| 狠狠穞A片一區二區三區| AV在线观看网站| 少妇搡BBBB搡BBB搡毛茸茸 | 六月婷婷综合| 激情久久久久久| 丁香五月婷婷在线| 激情婷婷久久| 日本三级黄色大片| 日韩另类| 狠狠干综合| 大香蕉九操| 91日视频| 操一区| 97精品自拍| AV成人在线播放| 久久久久人妻精品| 五月丁香久久网| 26.uuu丁香五月婷婷| 久久久人妻| 99在线精品视频| 婷婷丁香五月网| 人人干人人看| 成人精品在线| 少妇出轨做爰高潮A片| 九九色色| 婷婷黄色网| a毛片二逼wwwwwwwwww| 久操香蕉| 99九九热视频| 亚洲性受XXXX五月丁香| 婷婷天天插天天爱| 婷婷丁香在线播放| 爽极品色| 狠狠色综合网| 五月Huangsewang| 日韩五月婷婷久久| 九九精品综合| 噜色精品| 几激情五月婷婷色五月色天堂| 亚洲激情免费视频观看| 99热资源在线| 天天干,天天日| 中国女人内射6XXXXX| 熟惀91九色在线| 天天肏在线视频| 婷婷色一二三区波多野结衣| 色区久久| 天天色天天舔天天爱天天爽| 五月狠狠| 婷婷五月天成人| 色日本颜射| 婷婷五月丁香色色| 91超碰在线观看| XXXX岛国| 99热这里只有精品9| 五月丁香免费视频| 丁香五月之久操视频| 九色激情| 亚洲成人综合在线| 狠狠插日日干撸| 超碰在线综合| 亚洲国产精品二二三三区| 97碰 在线视频观看| 99re久热只有精品6在线直播.com| 婷婷久久五月天| 影音先锋 婷婷| 婷婷五月天综合在线| 99热最新网址| 欲求不满的人妻| 婷婷综合色图| 婷婷精品性性性性性性性| 丁香五月婷婷基地| 中国女人内射6XXXXX| 一婬一伦一区二区三区| 丁香婷婷激情五月色| 99色最新在线视频网站| AV人人操| 97色一二三| 人妖色AV色综合| 美女五月激情| 午夜色婷婷| 亚洲五月六丁香激情| 欧州色色| 婷婷色情 | 99re在线精品视频| 亚城区在线| 婷婷久久色| 天天操天天插天天射| 国产老熟妇亲子乱对白| 99热日韩| 亚洲欧洲中文日韩久久AV乱码| 丁香久月| 丁香久久久| 欧美在线视频99| 嫩草AV久久伊人妇女超级A| 九九九九中文字幕| 97干干干丁香| 九色99视频| 99精品久久久久久久婷婷| 丁香五月天激情小说| 色婷丁香| 精品久热69| 五月社区婷婷激情| www久久99| 日本黄色在线观看| 欧美丁香五月| 97色射| 婷婷五月大| 婷婷五月激情视频在线| 丁香五月天AV在线| 丁香五月婷婷成人色区| 九九热精品在线| 五月天丁香婷婷社区| 天天日人人爽| 粉嫩AV久久一区二区三区| 蜜桃婷婷狠狠久久综合| 婷婷色狠狠| 亚洲综合五月天| 97热九九| 狠狠操狠狠操| 色婷婷色| 色五月丁香伊人| 精品国产AV色一区二区深夜久久| 五月婷婷深深的爱| 99色综合| 九久9精品| 96丁香六月婷婷蜜桃综合久久| 五月天sesese| 人人操A| 久热9| 久久婷婷五月天| 97精品自拍视频| 丁香六月婷婷社区| se99视频| 九九99视频精品| 久久久久久草黄色片AV在线观看| 国产67194| 婷婷精品在线| 婷婷激情四射| 新久久五月天激情| 超碰碰碰碰| www.yw尤物| 97人人操| 久久激情五月天| 丁香五月婷婷大香蕉| 激情九九九九| 久久综合婷婷五月| 草草操操| 欧美在线干| 激情无码五月天| 超碰在线视屏| 91操人| 殴美激情综合网| 国产免费av在线| 久久99热这里只有精品| 夜夜躁婷婷AV| 久99热| 狼人久草| 99在线免费视频| 伊人春天av| 久久久久婷婷| 久er7久热| 国产又黄又爽又色的免费| 综合婷婷六月| 欧美日本不卡黄色片| 开心五月色婷婷综合开心网| 91干99| 丁香五月人妻| 久久婷婷亚洲| www.色99| 激情久久综合网| 99热久久这里只有精品| 黄色99网| av在线不卡播放| 色五月婷婷影院| 五月婷婷五月色| 国产精品电影网| av在线资源| 秋霞黄色一级久久| av婷婷六月丁香社区在线观看| 丁香婷婷伊人| 性热视频99精品| 五月婷婷激情综合| 99视频久久免费视频| 国产成人精品亚洲线观看| 九九这里精品| 国产九九一区二区三区| 久久婷婷视频| 久久久久丁香婷婷五月天| 九九人人看| www.久久爱| 99性爱| 色婷婷色综合激情91| 99热99极品观看| 99欧州偷拍视频| 五月天激情网图片| 玖玖资源站中文| 性爱网六月丁香| 五月婷婷熟女| 色情免费视频播放| 91啪啪网| 免费视频WWW在线观看网站| 五月婷婷福利| 91日韩在线| 亚洲妇女熟BBW| 直接看的AV网站| 天天搡日日搡aaaaⅩ| 午夜69成人做爰视频| 成人丁香五月天| 久久色天堂| 中文字幕无码人妻少妇免费视频| 亚洲色另类| 99人人干| 日韩成人影片网站| 狠狠操天天干| 少妇人妻综合色6699| 成人VAV视频在线观看| www.狠狠| 99亚洲无码| 久久久999精品| 欧类av怡春院| 超碰免费成人| 九艹在线| 韩日AV片| 六月婷婷av| 涩综合婷婷| 九色porny在线观看激情四射| 狠狠操性爱av| WWW色综合| 五月天久草| 日日操天天操| 99热这里只有精品86| 九九视频免费| 婷婷爱爱蜜臀天天操| 久久久av久av久片一区二区| 久99久精品视频| 婷婷五月综合激情小说| 桃色五月婷婷| 99热最新精品| 2021日韩无码| 伊人久久丁香狠狠婷婷综合香蕉| 人人摸人人干| 亚洲成人AV在线观看| 成人婷婷五月| 色五月丁香五月五月婷婷| 婷婷五月色色| 日本专区久久| 婷婷五月综合色小姐小说| 色色无码| 丁香六月在线| 婷婷五月激情图片| 五月天婷综合| 第五色婷婷| 亚洲尤物在线| 97丁香花五月天激情小说| 精品人妻在线| 美欧成人视频| 激情丁香五月天图片| 中文字幕按摩做爰| 九九热超碰| 爱操人妻| 丁香六月激情| 激情婷婷五月| 精品久久这里热66| 激情网五月| 五月开心深深爱激情综合 | 51国精产品自偷自偷综合| 五月激情六月| 六月激情婷婷色| 8区视频在线| 婷婷丁香综合在线| 综合久久综合五月天婷婷| 99国产精品久久久久久久久久久| 五月婷婷大香蕉| 91综合国免费久入| 色婷婷综合成人| 激情五月天婷婷色色色色色色色色色色色| 丁香六月综合| 色婷婷五月综合色婷婷| 色九月丁香婷婷蜜桃在线观看| 色婷婷色99国产综合精品| 26uuu精品国产| 久久东京热婷婷五月| 精品久热69| 99热这里有精力| 青青草蜜臀| 婷婷丁香久久五月综合| 五月婷婷免费| 丁香婷婷在线| 九九免费视频| 99re6久热只有精品6在线直播| 九九免费精品| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 91九色中文| 99精品丰满| 日本波多野结衣视频| 97luluse| 淫荡A片| 欧美男女婷婷| 91丨九色丨熟女丰满| 色丁香五月| 婷婷激情视频| 色情五月丁香婷婷网| 91精品熟女| 色综合爱综合| 丁香五月另类小说| 六月撸婷婷| 九九九九毛片| 成人精品在线| seuuu婷婷| 九九久久偷拍| 2015WWW永久免费观看播放| 国产44页| 激情五月天色色网| 色月视频| 日本五月婷婷| 丁香五月久久| 国产偷人爽久久久久久老妇APP| 亚洲偷| 人操91在线| 色五月婷婷自拍| 色色色色色色色色五月先| 香蕉婷婷色五月| 99精品爱| 婷婷五月天国产| 激情五月天综合网| 久久综合婷婷| 久草视频大香蕉99| 99热精品在线播放| 亚洲色色精品| 成人在线不卡| 日日操夜夜擼| 激情五月,激情综合网| 六月丁香婷婷视频综合在线观看| 甈你aaaaa| 九九视频在线| 五月婷婷综合视频| 亚洲日比视频| 五月婷婷影院| 天天夜夜六月丁香五月婷婷老师| 久久久ww| 婷婷97色| 91日本在线观看| 色情播放| 五月婷婷六月丁香综合| 久久加勤综合| 色播播婷婷| 在线区区区| 九九亚洲视频| 99热这里只有精品8| 丁香五月之久操视频| 色噜噜97视频在线观看| 99热这里只有精品23| 婷婷五月综合啪| 色婷婷电影网| 丁香五月婷婷综合91| 毛片网站谁有| 亚洲综合色网| 色婷青青| 99精品激情| 色女伊人| 国产亚洲成AV人片在线观黄桃| 一婬一伦一区二区三区| 婷婷九月激情网| 婷色五月天| 欧美成人精品A片免费一区99| 亚洲激情五月| 五月丁香色狠狠干大屄| 99色视频| 伊人玖玖网| aaaaaa片| 欧美日朝成人| 激情婷婷五月天丁香| 精品国产人人爱人人| AVDV久久| 丁香婷婷综合影院| 婷婷丁香五月精品| 综合色五月| 91女人18毛片水多国产| 玖玖在线资源视频| 99爱在线精品视频免费观看| 97热九九| 日韩五月丁香| 国产美女无遮挡裸体毛片A片| www.99热在线观看| 橾逼网| 青草视频在线观看视频| 成人色五月天婷婷| 久久女婷| 婷婷网影院| 亚洲综合色色| 国产亚洲成人综合| 亚洲国产色色| 99天天操夜夜操| 呦呦v线| 99色在线| 精热在线综合网| 久热超碰91| 日日夜夜亚洲一区| 俺也去综合| 成人在线日韩| 激情图片亚洲| 人人干人人看| 亚欧州精品视频| 色XX综合网| 99cao婷婷| 五月丁香六月婷婷中文版| 三级三久久线久久99久目本WW| 91色色色视频| 天天综合影院| 久久婷婷五月综合网| 三十路磁力链接| 午夜69成人做爰视频| 丁香 婷婷 激情 综合 五月| 日韩亚洲视频| 五月天综合视频| 国内久久亭亭| 99re6久热只有精品6在线直播| 中文字幕无码人妻少妇免费视频| 六月伊人婷婷| 免费视频WWW在线观看网站| anquye伊人| 久久婷婷六月综合综合| 九九色中文| 深爱开心激情| 五月丁了香蕉综合| 欧美成人AAA片一区国产精品| 99这里有精品久久97| 天天弄天天操| 五月天成人在线播放丁香| 九九热青草| 婷婷丁香五月六月激情| 婷婷久综合| 9999热这里只有精品| 九九成人电影婷婷| 婷婷五月美女直播| 日韩成人电影Av| 99这里只有精品| 色玖玖综合网| 欧美三级A做爰在线观看| 丁香婷停五月激情综合深爱| 免费观看日韩成人av| 婷婷五月天综合在线| 九九99精品视频| 人妻操逼视频| 色青五月天| 五月丁香婷婷老司机| 超碰爱爱爱| 激情五月综合网| 99这里只有精品| 天天免费日日夜夜夜夜| 超碰97免费在线| 丁香六月婷婷| 五月天久久丁香| 五月丁香综合影院| 色五月婷婷五月天| 激情五月色综合| 开心五月婷婷婷美女| 婷婷激情五月| 婷婷五月丁香香蕉| 99 热国产在| 婷婷97色| 色色五月丁香婷婷| 99热精品一区| 国产熟女大叫受不了| 99人人干| 日日操日日撸| 六月欧美综合色情| 国产精品岛国片在线观看免费| 日本九九九九| 五月婷婷激情四月| 亚洲超碰在线| 色激情网| 色五月av| 人人视频人人干人人做| 天天色情站| 久热伊人在91| 六月天婷婷| 日本五月天婷婷丁香| 深爱五月月天| 日本情色一区二区| 丁香五月激情综合| 97色色综合| 五月情婷婷五月| 欧美人人超级碰| 狠狠穞A片一區二區三區| 色五婷婷开心缴| 爱之国产色情综合| 日本九九网| 国产亚洲精品久久久久苍井松 | 日日舔夜夜操| 26uuu.| 伊人大香蕉综合在线| AV九九| 狠狠色噜噜狠狠狠狠综合| 丁香五月AV综合| 999久久久国产精品| 国产欧美熟妇另类久久久| 五月丁香婷婷综合视频| 狠色狠色综合久久| 综合综合色色| 国产99久久久| 激情五月天99色| 97超碰婷婷五月天| 激情图片五月天| 综合网亚洲| 五月激情婷婷播播网| 综合婷婷| 日韩在线99| 激情婷婷五月在线合集| 国产又粗又大又爽又黄| 任你草| 色色亚洲| 日日.c| 深爱丁香激情| 五月婷婷播| 在线观看中文字幕亚洲| 激情久久综合网| 丁香六月婷婷操逼网| 色婷婷丁香| 天天摸天天肏| 激情五月婷黄版| 色色五月婷婷丁香| 五月丁香好婷婷A片网| 婷婷精品| 碰碰91| 五月婷婷|欧美| 1024在线观看免费视频| 99人人爽| A短视频免费在线观看| 激情第四色| 91久久1118| 久9免费视频| 婷婷五月天天天| 婷婷夜夜操| 激情综合网 激情五月天| 婷婷五月天天| 天干天天干天天天天天| 亚洲久久视频| 永久99免费视频网站| 五月丁香网视频| 伊人99热| 久久丁香五月综合六月激情红杏视频 | 久久深爱激情网| 无码人妻一区二区三区四区| 欧洲激情五月天婷婷| 激情网五夜婷婷| 新久久五月天激情| 六月婷婷无码| 婷婷丁香五| 妻久久久久| 性 色 婷婷| 亚洲色五月天在线| 五月丁香六月婷婷综合网| 丁香六月 人妻| 亚洲综合干| 色狠狠六月| http://www.lingjunshare.com/ | 久久久久五月丁香| 日本一级大片| 黑人熟妇一区二区三区| 日韩一级A片黄色| 久激情网| 激情五月图| 婷婷五月天va| 五月天激情久色| 天天天天爽爽天干| 综合网激情| 久婷五月| 亚洲小视频免费播放| WWW.99热| 26uuu色噜噜精品一区| ,99视频久久| 99性爱无码| 丁香五月综合在线观看| 九九在线精品| 玖玖在线视| 超碰在线国产| 亚洲乱码日产精品BD| 五月丁香六月婷| 久久久一级AAA| 中文字幕91,综合| 琪琪色热色色| 日本精品在线噜噜噜| 天天爽—爽| 欧美性爱特黄一级aaaassss| 韩国三级五月天婷婷。| 六月激情久久| 一起草av| 成人免费120分钟啪啪| 91热视频| 天天肏高清在线| 另类小说五月天| 开心亚洲久久开心| 亚洲综合激情五月| 另类激情五月| 99亚洲精品| 亚洲精品第一国产综合亚AV | 欧美激情综合色丁香婷婷五月天| 五月丁香影院| 亚洲激情AV| wwwss在线观看| 久久九九思思| 九热久| 99热 在线观看| 五月婷婷婷婷婷| 婷婷综合视频| 激情综合五月婷婷| 六月丁香成人| 免费AAAAA网| www.26uuu.com亚洲电影| 99爱在线视频| 亚洲视频在线观看| 激情婷婷黄色五月| 婷婷开心深爱五月天| 久久婷婷五月丁香| 97在线精品视频| 国产精品美女久久久久AV超清| 久久综合9| 狠狠久久婷五月| 天天日天天操天天干| WWW.桔色成人.COM| 中文成人在线| 五月丁香婷婷综合视频| 丁香六月色情| 国产精品色婷婷久久久精品| 色色色无码| 色欲久久99精品久久久久久| 91精产品自偷自偷综合| 激情婷婷五月天伊人在线观看| 日日.c| 中文字幕永久在线| 五月丁香婷婷啪啪网| 天堂爱爱| 超级碰碰碰97免费| 婷婷丁香成人色综合| 91在线日| 婷婷淫淫狠狠六月| 大学生高潮无套内谢视频| 射久久丁香五月| 丁香五月婷婷丫| 国産精品| 任我肏视频精品| 99这里只有免费的小视频在线观看| 五月天开心婷婷激情网站| 天堂无码人妻精品AV一区| 夜夜爱影院| 久8色色| 色色色综合网| 91网站黄| Www.激情| 国产,欧美,学生妹,视频| 天天操无码| 五月天婷婷婷| 99无码视频| 大香蕉婷婷久久| 艾小青av| 亚洲中文字幕av| 99操免费视频| www,99热| 专区无日本视频高清8| 天天做天天爱高潮片| 四月丁香五月婷婷久久| 丁香综合| 色婷婷色五月另类综合| 中文字幕黄色片| 久热婷婷在线视频| 久久久久久五月天| 国产真人做爰视频免费| 色情性爱视频网址| 久久激情五月婷婷| 亚洲黄3级片网站欧美| 四五月婷婷| 亚洲AV成人在线| 五月婷婷与六月丁香图片激情| 99热这里有精力| av免费在线看不卡无毒| 人人操Av| 色色射| 五月天婷婷操逼视频| 天天狠狠干| 伊人喵咪a V| 亚洲色婷婷网站| 婷婷成人五月天| av在线观看网站| 久久婷婷五月综合色丁香| 欧美人人草草| 天天夜天天色天天| 国产毛片精品一区二区色欲黄A片 极品人妻VIDEOSSS人妻 | 超碰在线免费9| 99性爱视频| 一区二区你懂的| 九九爱激情| 久久性爱99国产| 97激情五月天| 九九热视频在线观看| 色婷婷五月天激情| 色啪综合| 色综合久久天天综合网| 97碰久久| 激情综合五| 99热国内精品| 色色丁香婷婷综合| 五月天淫乱视频| 99精品视频推荐| 丁香五月综合激情性爱| 婷婷网影院| 97欧美在线| 天堂综合久| 亚洲99在线| 91人人澡人人爽人人看| 色女人久久| 久青操| 九热精品| 97av在线视频| 亚洲免费婷婷| 五月天激情站| 五月天久久久| 99综合婷婷五月| 久久人妻熟女一区二区| 视频这里只有精品16| 99久久国产综合精品五月天喷水\| 丁香五月婷婷姐| 热思思九九| 六月亭亭久久综合激情| 婷婷94s| 很很干天天干| 69久久99精品久久久久| 99在线观看精品| 婷婷色网站| 色五月av| 激情综合网 激情五月天| 久久久五月天婷婷成人网| 久久丁香五月天| 特黄三级片| 久热大香蕉| 九九热在线视频,| 夜精品无码A片一区二区蜜桃| 色五月婷婷激情五月| 欧在线一区| 99∨VTV| 大香蕉久久伊人婷婷五月丁香| av九九| 天天爽天天摸| 久久天堂| 成人日韩欧美| 天天色天天舔天天爱天天爽| 超碰爱爱爱| 五月丁香婷婷爱| 六月色色| 免看黄大片AA | 色婷婷www| 久久久精品AV| 国产精产国品一二三在观看| 婷婷色网站| 永久免费一区二区三区| 日韩无码色色| 思思热久久爱| 丁香婷婷91在线观看视频| 婷婷网五月天| www国产亚洲色婷婷com| 性爱激情小说AV五月丁香花| 丁香六月婷婷久久综合| 亚洲99手机免费看视频| 超碰熟女农村在线69| 在线视频99| 亚洲激情电影五月天色婷婷丁香一起草| 毛片九九九九九九九九18| 99九九综合久久九九| oumeisesewang| 热久久婷婷| 俺去也五月天婷婷| 五月婷婷黄色视频| 天天操加勒比| 七七婷婷综合| 超碰超碰在线| 六月丁香婷婷拍拍| CAOBIBI| 99色性爰网络| 亭亭五月天成人| 99五月丁香丁| 中文字幕人妻AV| 夜夜躁爽日日| 婷婷五月激情天| 天天拍夜夜撸| 久久婷婷六月综合综合| 五月天丁香网| 99精品国产在热久久婷婷| 婷婷美女精品视频| 五月丁香啪啪综合| 婷婷欠久少妇| 久久久久人妻精品| 大婷婷色呦呦噜噜色呦呦噜噜| 丁香丁香激情网| 97九色视频| 四季8848精品成人免费网站| 欧美性爱五月天| 丁香婷婷视频一区二区| 玖月婷婷爱丁香| 激情九九六月激情免费视频| 搡BBBB搡BBB搡五十| 五月天堂婷婷| 美国色五月天婷婷资源站| 久久在这里有精品| 久久99三级在线视频| 中文字幕有多少字| 99久视频| 久久综合影院| 六月 丁香 视频| 亚洲婷婷月丁香五月| 26.uuu丁香五月婷婷| 九月丁香很很色| 大香蕉五月天| Av大香蕉| 九九热免费视频| www.色五月天.com| 婷婷久久五月| 97碰超级人人看| 影音先锋AV资源男人站| 成人做爰A片免费看视频| 五月丁香色色| 免费在线观看欧美激情xx小视频| 3p日韩网站视频| 九九久久99| 九九热视频99| 色天堂97| 男人的天堂99| 91丁香色| 风流少妇A片一区二区蜜桃| 99热这里全都是精品| 日日杆天天| 欧美丁香五月| 大香蕉院线| 小视频aaa久久久| 在线观看熟女少妇| 97碰久久| 亚洲精品国产setv| 丁乡久久| 久久免费试看120秒| www.婷婷久久五月天| 免费看欧美成人A片无码| 久草五月| 99热精品在线观看| 香蕉久久国产AV一区二区| 成人短视频在线| 99热精品观看| 国产.亚洲.欧洲视频在线| 亚洲 五月 婷婷 成人| 六月五月久久丁香| 99热99免费| 丁香色啪综合| 婷婷狠狠五月综合| 国产成人网| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 99热思思在线观看| 第二色AⅤ| 人人干天天舔| 99热久久这里只有精品| 激情婷婷人妻| 婷婷五月AA五月在线| 久久午夜理论| 襙比视频| 日韩色色视频www| 99热在线这里| 激情五月天电影| 色婷婷亚洲婷婷在线观看| 久久婷婷综合五月天| 激情五月天小说| 婷婷 丁香 精品| 色五月婷婷很很操| 伊人久久大香线蕉av一区| 色天堂A| 久久精典| 色五月婷婷五月天| 亚洲激情五月| 色播丁香| 亚洲第一成人无码A片| 国产乱子轮XXX农村| Aaa久久| 日本A片一区| 婷婷玖玖丁香| 五月天伊人综合| 99精品久久久| 丁香五月婷婷五月天在线| 亚洲欧洲色色| 六月丁香综合网| 色综合网综合| 五月天天天色| 色女人久久| 色婷婷狠狠| www.婷婷.com| 欧美槡BBBB槡BBB少妇| www久久久久久久久久久久久久久久久| 999热视频精品99免费在线| 色色综合五月| 久久综合干| 色综合色综合婷婷热| 开心五月丁香综合久久| 米奇影视五月天| 99看片| 黄色三级日本| 噼里啪啦在线观看免费完整版视频 | 人人干Av| 九九热精品在线| 99综合在线| 丁香五月色| 天天综合色99| 91尤物九色在线| 九九热视频网站| 人妻VideOssS人妻| 婷婷日欧美在线观看| 天天做天天爱| 九色综合网| 久久婷丁香五月| 天天操天天爽天天爱| 99热在线这里| 欧美日韩成人| 婷婷99视频在线| 日本99视频精品免费播放| 婷婷丁香视频在线观看免费| 五月天激情美女久久| 久色大| 九九激情| 少妇被躁爽到高潮无码文| 狠干综合| 就要去操亚洲成人精品五月天丁香婷婷| 色婷婷色情| 亚洲综合无码| 国产亚洲精品久久久久久郑州| 亚洲精品第一国产综合亚AV | 色欲天天综合| 激情www.98com| 天天爽天天爽| 99干日日干| 五月丁香综合影院| 热这里只有精| 射区导航| AA片在线观看视频在线播放| 色婷婷久久视屏| 婷婷五月天无码视频| 人人色婷婷| 日本一级一级一级一级| 97日本在线| 五月丁香 六月婷婷a| 天天色天天操天天射| 粉嫩AV久久一区二区三区| 亚洲操B视频| 深爱五月天 开心网| 天天色天天日天天舔| 天天综合色| 91色综合网| 丁香六月亚洲综合| 色色色色色色网| 色色色色色色五月婷婷| 国产精品久久在线观看技巧| 天天爱天天操| 色色色com| 亚洲av综合网| 91wwmm导航| 亚洲亚洲人成综合网络| 亚洲韩国日产综合AV| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 99精品视频网| 91av色色乱视频| 色很很96| 婷婷五月天影视首页| 丁香五月婷婷激情97| 婷婷五月天伊人在线| 亚洲激情综合五月婷婷啪啪| 99精品在线| 色婷婷亚洲婷婷| 久久这里有精品视频在线免费观看| 久久婷婷六月综合| 色婷久九| 99网| 亚洲六月色| 91久久久久久| 五月婷婷欲色| 国产人妻人伦精品一区二区| 骚。com| 亚洲日韩一页精品发布| 9久精品视频| 婷婷六月激情| 2025超碰| 婷婷五月天在线观看av| 超碰在线成人| 丁香五月最新网址| 丁香五月a| 欧美69久成人做爰视频| 六月丁香婷婷视频综合在线观看 | 五月激情丁香啪啪| 精品五月丁香| 婷婷综合五月| 丁香婷婷六月天| 丁香六月婷婷综合缴| 91九九热| 五月丁香无码| 亚洲第一成人无码A片| 91操色| 狠狠操天天干| 日本一级一级一级一级| 久久婷婷色| 天天色天天射天天日| 五月婷婷六月色| 久色88| 九九综合| 99久久高清视频| 人草人人| 97ai婷婷| WWW五月| 碰久久精品w| 啪到高潮激情丁香五月| 婷婷五月天av小说| 欧美综合五月丁香六月婷| 国产成人精品一区二区三区视频| 欧美婷婷五月激情| 狠狠干综合| site:picc-up.com| 日本精品人妻无码77777| 久久精彩综合视频| 99色免费观看全部| 99色6爱9热| 久久久精品人妻| 精热在线综合网| 噜噜噜狠狠色综合| 一夜福利不卡| 色婷婷六月| 91婷婷五月天综合视频| 9久久狠狠的| 思思热热久久| 九色亚洲| 五月六月丁香激情| 久久久精品99| 无码色| 激情九月综合| 大香蕉AV在线| 久久婷五月婷| 99久久婷婷国产综合| 婷婷丁香色五月亚洲| 狠狠干综合| 五月婷婷丁香大陆免费| 超碰97在线观看免费| 色丁香婷婷| 狠狠色丁香久久综合婷婷亚洲成人福利 | 99激情在线| 六月丁香婷婷视频综合在线观看| 99re6久热只有精品6在线直播| 久久99热这里| Blackedraw视频一区二区| 色五月婷婷色五月| 伊人玖玖婷婷| 五月婷婷激情中文字幕| 欧洲毛片基地c区| 五月天婷婷成人网| 六月丁香五月激情网| 99热香港| 色五月天电影| 香蕉综合网| 9久热精品在线视频| 婷婷94s| 另类综合国产| 午夜丁香 婷婷| 激情伊人五月天| 天天射综合网站| 欧类av怡春院| 色色色色网| 综合久久高清| 婷婷午夜丁香| 夜夜躁狠狠 | 都市激情蜜桃婷婷五月天| 久久久aaa| 丁香六月激情综合| 99久热这里只有精品视频删减版| 午夜天堂一区人妻| 中文字幕色色| 日本综合色色| 91无码一区人妻A片蜜| 色五月色五天免费视频| 亚洲国产成人在线| 97精品人人A片免费看| 久久国产色| 97操碰视频| 国产AV影片| 久久激情五月婷婷| 久久在这里有精品| 3DAV亚洲香蕉久久 一区二区| 99人人干| 伊人午夜综合色啪| 亚洲天99| 五月Huangsewang| 99九无网码| 婷婷丁香激情五月| 第四色五月婷婷| 99热在线观看| 久久总和99| 蜜臀A∨在线水帘洞| 综久久久| 99九九久久| 99热这里只有精品55| 色综合久久天天综合网| 久久久全国免费视频| 丁香六月啪| 六月丁香色婷婷| 丁香五月婷婷啪啪| 激情婷婷22月间| 九九色热| 高清无码网址| 婷婷五日b| 丁香五月综合激情啪啪| 超91热| 另类视频五月天| 天天五月天综合网址| 天天在线天天综合网色| 五月天婷婷香蕉狠狠超碰综合| 亚洲丁香五冃97色| 91色久| 青青草成人网| 内射丰满人妻| 五月天社区婷婷丁香社区| 强辱丰满人妻HD中文字幕| 九月激情网| 五月婷婷五月丁香| 五月丁香啪啪啪免费看| 激情AV中文| 国产在线激情视频| 婷婷五月天久久| 夜夜骑天天操| 婷婷黄色五月天在线视频| 91九色国产在线| 婷婷丁香五月天操逼| 91碰碰| 91操片| 五月亭亭开心网| 丁香婷婷伊人| 99热在线爱| 五月丁香六月成人| 天天操天天插天天射| 免费视频WWW在线观看网站| 99热这里只有精品9| 五月婷色啪| 伦乱美欧| 草综合网| 在线中文字幕视频|