欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

SonarQube+Jenkins+GitLab:持續(xù)代碼審查與質(zhì)量門禁實(shí)戰(zhàn)

SonarQube+Jenkins+GitLab:持續(xù)代碼審查與質(zhì)量門禁實(shí)戰(zhàn) 代碼審查這件事很多團(tuán)隊(duì)都經(jīng)歷過同一條曲線項(xiàng)目立項(xiàng)那陣子每次 Merge Request 下面都有人認(rèn)真寫評論、提改進(jìn)點(diǎn)三五個(gè)月之后評論變成了清一色的LGTM評審就剩一個(gè)形式。不是大家變懶了而是靠人力去守住風(fēng)格統(tǒng)一、空指針、資源未釋放、SQL 注入、硬編碼密鑰這類機(jī)器天生比人敏感的問題本身就撐不住。我這幾年搭過幾套持續(xù)代碼審查鏈路核心思路一直是同一套組合GitLab 管代碼和觸發(fā)Jenkins 管調(diào)度和執(zhí)行SonarQube 管靜態(tài)分析和質(zhì)量門禁。三個(gè)東西各司其職串起來之后代碼一提交就自動(dòng)跑掃描不達(dá)標(biāo)直接卡住合并按鈕。這篇文章我把這套SonarQube Jenkins GitLab的搭建過程完整拆開講一遍包括版本怎么挑、參數(shù)怎么設(shè)、流水線腳本怎么寫以及最值錢的那部分——跑通之后會(huì)遇到的真實(shí)故障怎么排查。適合已經(jīng)用過這三個(gè)工具里至少一個(gè)、準(zhǔn)備把它們組起來的后端或 DevOps 同學(xué)也適合完全沒搭過但想照著復(fù)現(xiàn)的運(yùn)維新手。1. 手工評審撐不住的地方正好是這條流水線要補(bǔ)的位1.1 代碼審查真正卡住的不是沒人看而是看不全先別急著裝軟件得先想清楚這條路要解決什么。人工評審最擅長的其實(shí)是設(shè)計(jì)層面的判斷這個(gè)抽象合不合理、這個(gè)接口劃分會(huì)不會(huì)導(dǎo)致后面耦合、這段業(yè)務(wù)邏輯有沒有理解偏差。這些是機(jī)器給不出意見的。但人工評審最不擅長的恰恰是逐行的一致性檢查一個(gè) 800 行的 diff里面混著 3 個(gè)未關(guān)閉的流、2 處字符串拼接 SQL、4 個(gè)復(fù)制粘貼出來的重復(fù)代碼塊評審人大概率會(huì)漏掉其中兩三個(gè)。所以持續(xù)代碼審查鏈路的定位很明確它不替代人它把人從找低級問題里解放出來讓人只專注在這個(gè)設(shè)計(jì)對不對上。理解了這個(gè)定位后面所有配置的取舍就有依據(jù)了規(guī)則集不要追求全開門禁不要追求一步到位因?yàn)樗哪繕?biāo)是讓問題消解在合并之前而不是讓所有人每天被一堆不痛不癢的告警淹沒。1.2 三個(gè)組件各自管哪一段邊界先劃清楚搭之前先把職責(zé)邊界畫出來不然很容易出現(xiàn)到底該在哪一層配置的反復(fù)糾結(jié)。我用一張表把實(shí)際分工列清楚組件在這條鏈路里的職責(zé)不負(fù)責(zé)的部分GitLab代碼托管、分支與 MR 管理、變更事件觸發(fā)、拉取憑證不做分析、不做構(gòu)建調(diào)度Jenkins拉代碼、跑構(gòu)建與單測、調(diào)用 Scanner、查詢質(zhì)量門結(jié)果、通知不存規(guī)則、不做靜態(tài)分析引擎SonarQube規(guī)則庫、掃描結(jié)果存儲(chǔ)、質(zhì)量門判定、歷史趨勢不主動(dòng)拉代碼、不感知 MR 狀態(tài)一個(gè)常見的誤區(qū)是希望 GitLab CI 直接調(diào)用 SonarQube 完成全部工作。技術(shù)上可行但如果你的構(gòu)建體系本來就在 Jenkins 上強(qiáng)行搬遷意味著所有歷史任務(wù)、憑據(jù)、構(gòu)建節(jié)點(diǎn)都要重新梳理成本遠(yuǎn)高于收益。我通常的做法是GitLab 只負(fù)責(zé)通知有事發(fā)生Jenkins 負(fù)責(zé)干活SonarQube 負(fù)責(zé)下結(jié)論。三者之間靠 Webhook 和 Token 通信邊界清晰任何一個(gè)組件換掉都不至于推倒重來。2. 資源盤點(diǎn)和版本取舍這一步省下來的時(shí)間后面都要還2.1 版本組合怎么選踩坑成本最低SonarQube 的版本策略這幾年變化挺大社區(qū)版Community Edition一直免費(fèi)但功能上有邊界比如不支持多分支項(xiàng)目的完整分析也不帶某些語言的企業(yè)級規(guī)則。對絕大多數(shù)中小團(tuán)隊(duì)來說社區(qū)版完全夠用。版本上我建議優(yōu)先選LTS 版本比如 9.9 這個(gè)長期支持線原因是插件生態(tài)和文檔都穩(wěn)定遇到問題好搜。想嘗鮮上最新版也行但要接受插件兼容性可能需要自己折騰。Jenkins 建議用LTS 版本的 war 包或官方鏡像不要用每周更新版。Jenkins 的插件升級經(jīng)常會(huì)帶出兼容問題LTS 至少給你一個(gè)相對固定的基線。Java 運(yùn)行時(shí)我一般固定 JDK 17Jenkins 從 2.357 之后對 JDK 11 以上支持已經(jīng)比較成熟17 是當(dāng)前比較穩(wěn)的選擇。GitLab 這邊如果是自建社區(qū)版CE也足夠跑這套流程。裝的時(shí)候別用太低的配置GitLab 本身對內(nèi)存要求不低4GB 起步是底線8GB 更舒服。2.2 內(nèi)存與內(nèi)核參數(shù)這塊最容易低估SonarQube 內(nèi)部帶著 Elasticsearch這是它最吃資源的部分也是最容易在第一次啟動(dòng)時(shí)直接崩掉的地方。有兩個(gè)參數(shù)必須在啟動(dòng)容器前設(shè)好否則日志里會(huì)出現(xiàn)一堆看不懂的報(bào)錯(cuò)。第一是內(nèi)核參數(shù)vm.max_map_countElasticsearch 要求至少 262144。臨時(shí)生效可以用sysctl -w命令但重啟就沒了所以務(wù)必要寫進(jìn)配置文件# 追加到 /etc/sysctl.conf echo vm.max_map_count262144 /etc/sysctl.conf sysctl -p第二是文件句柄數(shù)限制nofile這個(gè)在 docker-compose 里通過ulimits聲明比較干凈。我在一臺(tái) 8 核 16G 的機(jī)器上跑 SonarQube Jenkins GitLab 三個(gè)服務(wù)實(shí)測下來內(nèi)存分配大概是GitLab 3G、SonarQube 3G含 ES 約 1G、Jenkins 2G剩下的留給系統(tǒng)和 PostgreSQL剛好不緊張。如果機(jī)器只有 8G建議把 GitLab 放到另一臺(tái)機(jī)器上或者直接用云托管的 GitLab 服務(wù)別硬塞。2.3 用 compose 把 SonarQube 和數(shù)據(jù)庫拉起來SonarQube 從 7.9 之后就不再內(nèi)置數(shù)據(jù)庫了必須外掛一個(gè)。生產(chǎn)環(huán)境推薦 PostgreSQL別用 H2 或者 MySQL前者是給測試用的后者官方支持已經(jīng)在逐步收縮。下面這份 compose 文件我用了很久可以直接參考version: 3.8 services: sonar-db: image: postgres:14 container_name: sonar-db environment: POSTGRES_USER: sonar POSTGRES_PASSWORD: Change_This_Pwd POSTGRES_DB: sonar volumes: - ./pgdata:/var/lib/postgresql/data networks: - sonarnet restart: always sonarqube: image: sonarqube:9.9-community container_name: sonarqube depends_on: - sonar-db environment: SONAR_JDBC_URL: jdbc:postgresql://sonar-db:5432/sonar SONAR_JDBC_USERNAME: sonar SONAR_JDBC_PASSWORD: Change_This_Pwd SONAR_ES_BOOTSTRAP_CHECKS_DISABLE: true volumes: - ./sonar/data:/opt/sonarqube/data - ./sonar/extensions:/opt/sonarqube/extensions - ./sonar/logs:/opt/sonarqube/logs ports: - 9000:9000 ulimits: nofile: soft: 65536 hard: 65536 networks: - sonarnet restart: always networks: sonarnet: driver: bridge啟動(dòng)之后別急著訪問SonarQube 首次初始化要建表日志里出現(xiàn) SonarQube is operational 才算真正就緒這個(gè)過程在機(jī)械盤上可能要兩三分鐘。默認(rèn)賬號(hào)密碼都是 admin第一次登錄會(huì)強(qiáng)制你改密碼。注意SONAR_ES_BOOTSTRAP_CHECKS_DISABLE這個(gè)環(huán)境變量是繞過 ES 啟動(dòng)檢查的只在確認(rèn)服務(wù)器參數(shù)已經(jīng)設(shè)好的情況下使用。它的作用是避免容器因?yàn)樗拗鳈C(jī)檢查失敗而直接退出而不是讓你跳過參數(shù)配置。3. GitLab 側(cè)的準(zhǔn)備賬號(hào)、權(quán)限與兩類憑證的分工3.1 建項(xiàng)目、建賬號(hào)堅(jiān)決不用 root 跑流水線GitLab 裝好之后第一件事是建一個(gè)專用的服務(wù)賬號(hào)比如叫ci-bot給它 Developer 或 Maintainer 權(quán)限就夠了。很多團(tuán)隊(duì)圖省事直接把管理員賬號(hào)的 Token 塞進(jìn) Jenkins短期看不出問題等到有人離職或者需要審計(jì)的時(shí)候發(fā)現(xiàn)所有操作記錄都是同一個(gè)身份根本查不清是誰觸發(fā)的。接著按業(yè)務(wù)把代碼倉庫建好命名上建議和 SonarQube 里的 projectKey 保持一致比如倉庫叫order-serviceSonarQube 里的 key 也叫order-service。這樣流水線里不用額外維護(hù)一份映射關(guān)系省事而且不容易錯(cuò)。3.2 Personal Access Token 與 SSH Key各自管一攤這是新手最容易混的地方。GitLab 里有兩類憑證用途完全不同Personal Access Token給 API 用的Jenkins 的 GitLab 插件靠它去回寫構(gòu)建狀態(tài)、讀取項(xiàng)目信息、給 MR 打評論。創(chuàng)建的時(shí)候至少要勾api和read_repository兩個(gè) scope。SSH Key給 Git 協(xié)議用的Jenkins 拉代碼時(shí)用它做免密認(rèn)證。把公鑰傳到 GitLab 的 SSH Keys 頁面私鑰存進(jìn) Jenkins 憑據(jù)。兩者不能互相替代。我見過有人拿著 PAT 去配 SSH 拉取報(bào)了一堆認(rèn)證失敗最后發(fā)現(xiàn)方向就錯(cuò)了。還有一種情況是倉庫地址用的是 HTTP 協(xié)議那就不需要 SSH Key直接在 Jenkins 憑據(jù)里存賬號(hào)密碼或者用 Token 當(dāng)密碼用。Token 的有效期也得留意。GitLab 現(xiàn)在默認(rèn)給 PAT 設(shè)了過期時(shí)間如果設(shè)得太短某天早上流水線突然全部拉不到代碼你會(huì)發(fā)現(xiàn)是 Token 過期了。我的習(xí)慣是設(shè)一年同時(shí)在日歷上留個(gè)提醒。3.3 Webhook 配置里兩個(gè)坑內(nèi)網(wǎng)地址與觸發(fā)令牌代碼提交要能自動(dòng)觸發(fā) Jenkins靠的就是 Webhook。在 GitLab 項(xiàng)目的 Settings → Webhooks 里填 Jenkins 的地址勾選 Push events 和 Merge request events。這里第一個(gè)坑是地址可達(dá)性。如果 Jenkins 跑在內(nèi)網(wǎng)GitLab 是云端的這個(gè) Webhook 根本發(fā)不進(jìn)來。解決方案是在內(nèi)網(wǎng)部署一個(gè)輕量的轉(zhuǎn)發(fā)服務(wù)接收外網(wǎng)請求再轉(zhuǎn)給 Jenkins或者干脆把 GitLab 也放在同一內(nèi)網(wǎng)。別指望用 NAT 端口映射解決安全組策略和證書校驗(yàn)會(huì)帶來一堆額外麻煩。第二個(gè)坑是URL 末尾的斜杠。GitLab 的 webhook 地址如果寫成http://jenkins:8080/project/order-service有些版本會(huì)返回 404正確寫法通常要看 Jenkins 這邊配的是哪種觸發(fā)方式。用 GitLab 插件自帶的觸發(fā)器時(shí)地址形如http://jenkins.internal:8080/project/order-service而用 Generic Webhook Trigger 插件時(shí)地址是http://jenkins.internal:8080/generic-webhook-trigger/invoke?token訂單服務(wù)令牌兩個(gè)方式我都用過前者配置簡單后者解析 payload 更靈活能直接拿到分支名、MR 標(biāo)題這些字段。如果只是做基礎(chǔ)的自動(dòng)觸發(fā)第一種足夠了。4. SonarQube 服務(wù)端的落地配置從默認(rèn)狀態(tài)到能用的狀態(tài)4.1 第一次登錄后必須動(dòng)的三處設(shè)置SonarQube 裝完是能跑但不好用的狀態(tài)有三處必須調(diào)。第一是強(qiáng)制改掉 admin 密碼這個(gè)不用多說。第二是關(guān)閉匿名訪問默認(rèn)情況下未登錄用戶也能看到項(xiàng)目在 Administration → Configuration → Security 里把Force user authentication打開即可。第三是確認(rèn)服務(wù)端地址在 Administration → Configuration → General → Server base URL 里填上外網(wǎng)可訪問的地址比如http://sonar.internal:9000。這一項(xiàng)很關(guān)鍵因?yàn)?SonarQube 生成 Webhook 回調(diào)地址、生成報(bào)告鏈接都依賴它如果這里空著回到 Jenkins 的鏈接會(huì)是localhost點(diǎn)開就是 404。4.2 質(zhì)量門不是越嚴(yán)越好得分階段推Quality Gate 是這套鏈路的核心卡點(diǎn)也就是什么條件下允許合并。SonarQube 默認(rèn)內(nèi)置了一個(gè)叫 Sonar way 的門規(guī)則大致是新代碼覆蓋率不低于 80%、重復(fù)率不高于 3%、無 Blocker 級別問題、技術(shù)債比率不超過 5%。直接把 Sonar way 套到一個(gè)跑了三五年的老項(xiàng)目上結(jié)果一定是全線飄紅然后團(tuán)隊(duì)就會(huì)習(xí)慣性地點(diǎn)忽略門禁形同虛設(shè)。我的做法是分三步走階段門禁策略目標(biāo)第一階段只統(tǒng)計(jì)新代碼覆蓋率不設(shè)限只看 Blocker/Critical 問題讓團(tuán)隊(duì)先接受有掃描這件事第二階段新代碼覆蓋率設(shè) 50%重復(fù)率設(shè) 10%開始對新增質(zhì)量提要求第三階段新代碼覆蓋率 80%重復(fù)率 3%對齊 Sonar way穩(wěn)定運(yùn)行后的常態(tài)這里的關(guān)鍵在于**新代碼這個(gè)概念**。SonarQube 支持設(shè)置 New Code Period可以按天數(shù)比如最近 30 天、按版本號(hào)、按指定分支基準(zhǔn)來定義。對存量項(xiàng)目一定要用 New Code 做門禁否則你永遠(yuǎn)在還歷史債誰也推不動(dòng)。這個(gè)能力只在社區(qū)版以外的版本提供完整支持社區(qū)版也能配但選項(xiàng)少一些夠用。4.3 Scanner 的兩種接入方式和選擇依據(jù)SonarScanner 有兩類用法。一類是獨(dú)立的命令行 Scannersonar-scanner-cli通過sonar-project.properties文件傳參適合前端、Go、Python 這類沒有專門插件的項(xiàng)目。另一類是構(gòu)建工具的原生插件比如 Maven 的sonar:sonar目標(biāo)、Gradle 的sonar任務(wù)把分析直接嵌進(jìn)構(gòu)建生命周期參數(shù)可以寫在 pom.xml 里也可以命令行傳。選哪個(gè)的判斷標(biāo)準(zhǔn)很簡單項(xiàng)目用什么構(gòu)建就用什么方式接。Java Maven 項(xiàng)目用 Maven 插件原因是它已經(jīng)知道源碼目錄、編譯產(chǎn)物目錄、依賴 jar 路徑不需要你再手動(dòng)指定sonar.java.binaries這類參數(shù)省去一堆路徑錯(cuò)誤。而如果是前端項(xiàng)目用獨(dú)立 Scanner 更合適配一份 properties 文件就夠了。實(shí)在不想在構(gòu)建節(jié)點(diǎn)上裝 Scanner還能用 docker 鏡像方式跑docker run --rm \ -v $(pwd):/usr/src \ --network host \ -e SONAR_HOST_URLhttp://sonar.internal:9000 \ -e SONAR_LOGIN${SONAR_TOKEN} \ sonarsource/sonar-scanner-cli:5這種方式的好處是節(jié)點(diǎn)上零依賴壞處是每次都要拉鏡像、映射目錄分析大項(xiàng)目時(shí) IO 會(huì)慢一些。我一般在多語言混合、構(gòu)建節(jié)點(diǎn)不方便裝東西的場景下用這個(gè)方案。5. Jenkins 上把憑據(jù)和插件配起來5.1 插件清單和安裝順序Jenkins 裝完先別急著建任務(wù)插件沒裝齊后面會(huì)反復(fù)報(bào)錯(cuò)。這套鏈路需要的插件其實(shí)不多我把清單列一下Git plugin拉代碼的基礎(chǔ)幾乎必裝。GitLab Plugin負(fù)責(zé)和 GitLab 通信回寫構(gòu)建狀態(tài)、解析 Webhook payload。SonarQube Scanner提供withSonarQubeEnv和waitForQualityGate這兩個(gè)流水線步驟。Pipeline含 Declarative Pipeline寫 Jenkinsfile 用。Credentials Binding把憑據(jù)注入環(huán)境變量。Build Timeout給質(zhì)量門等待加超時(shí)防止流水線卡死。DingTalk 通知插件或普通 HTTP 請求插件構(gòu)建結(jié)束后發(fā)通知。如果 Jenkeins 服務(wù)器在內(nèi)網(wǎng)、無法訪問外網(wǎng)插件中心就得走離線安裝在有網(wǎng)的機(jī)器上下載.hpi文件從 Manage Jenkins → Plugins → Advanced 里手動(dòng)上傳。離線安裝最煩的是依賴關(guān)系插件 A 依賴插件 BB 又依賴 C裝完重啟發(fā)現(xiàn)啟動(dòng)失敗日志里提示某個(gè)類找不到。我的建議是先裝 Git plugin再裝 Pipeline最后裝業(yè)務(wù)插件按這個(gè)順序走基本不會(huì)缺依賴。5.2 憑據(jù)管理Token 放哪里、怎么命名憑據(jù)統(tǒng)一放在 Manage Jenkins → Credentials → System → Global credentials 下面。這套鏈路至少需要三個(gè)憑據(jù) ID類型用途gitlab-ssh-keySSH Username with private keyJenkins 拉代碼gitlab-api-tokenSecret textGitLab 插件回寫狀態(tài)sonar-tokenSecret textScanner 上報(bào)分析結(jié)果命名上我堅(jiān)持用帶前綴的規(guī)則比如gitlab-和sonar-開頭好處是憑據(jù)列表一多還能快速辨認(rèn)用途。ID 一旦定下來就盡量別改因?yàn)?Jenkinsfile 里會(huì)硬引這個(gè) ID改了要同步改一堆腳本。SonarQube 那邊的 Token 在用戶頭像 → My Account → Security 里生成生成后只顯示一次務(wù)必當(dāng)場復(fù)制。這個(gè) Token 的權(quán)限跟著生成它的用戶走所以別用 admin 賬號(hào)生成用前面建的那個(gè)服務(wù)賬號(hào)。5.3 GitLab Connection 的填法以及 login failed 從哪來在 Manage Jenkins → System 里找到 GitLab 配置區(qū)填兩樣?xùn)|西GitLab 服務(wù)器地址和憑據(jù)。地址必須寫根地址比如http://gitlab.internal不要帶結(jié)尾斜杠也不要帶/api/v4后面的路徑插件會(huì)自己拼接。這一點(diǎn)很多人搞錯(cuò)填成http://gitlab.internal/之后保存測試連接就報(bào)錯(cuò)。如果測試連接時(shí)彈出login failed. check api token or gitlab version按這個(gè)順序排查Token 是否真的勾了apiscope。只勾read_api是不夠的插件需要寫權(quán)限來回寫狀態(tài)。Token 有沒有過期。GitLab 的 PAT 現(xiàn)在默認(rèn)帶有效期過期后接口返回 401。GitLab 版本是否過老。GitLab Plugin 對服務(wù)端版本有最低要求太老的版本 API 路徑不一致插件直接判定失敗。如果用的是 Git 協(xié)議訪問而不是 API 訪問那這個(gè)報(bào)錯(cuò)本身就說明配錯(cuò)了入口應(yīng)該去檢查憑據(jù)綁定那一層而不是在 GitLab Connection 里糾纏。順帶說一個(gè)容易忽略的點(diǎn)如果 GitLab 是自簽證書的 HTTPSJenkins 的 JVM 里沒有導(dǎo)入這個(gè) CA連接會(huì)直接拋 SSL 握手異常。解決方式是給 Jenkins 的啟動(dòng)參數(shù)加上信任庫或者用 Jenkins 內(nèi)置的-Djavax.net.ssl.trustStore指定。內(nèi)網(wǎng)環(huán)境里這個(gè)問題出現(xiàn)的頻率比想象的高。5.4 那些真正好用的 Jenkins 可用環(huán)境變量寫 Jenkinsfile 時(shí)用好環(huán)境變量能讓腳本短一大截。這套鏈路里我用得最多的是這些GIT_BRANCH當(dāng)前構(gòu)建的分支名回寫狀態(tài)、拼通知消息都要用。GIT_COMMIT完整 commit hashSonarQube 關(guān)聯(lián)分析結(jié)果靠它。GIT_PREVIOUS_SUCCESSFUL_COMMIT上一次成功構(gòu)建的 commit做增量分析時(shí)非常有用。WORKSPACE工作目錄Scanner 的路徑參數(shù)直接引這個(gè)。BUILD_NUMBER構(gòu)建序號(hào)通知里帶上能快速定位。JOB_NAME任務(wù)名多任務(wù)共用一套 pipeline 時(shí)用來區(qū)分。NODE_NAME構(gòu)建節(jié)點(diǎn)名排查為什么這臺(tái)機(jī)器上沒有輸出時(shí)有奇效。提示GIT_BRANCH在 MR 場景下拿到的值形如origin/feature/login前面帶origin/。拼進(jìn) SonarQube 參數(shù)時(shí)要先剝掉這個(gè)前綴否則分支名對不上。這個(gè)細(xì)節(jié)我踩過一次掃描結(jié)果全落到一個(gè)叫origin/xxx的假分支上去了。6. Jenkinsfile把分析、門禁、通知串成一條鏈6.1 聲明式流水線的整體骨架我不太推薦用自由風(fēng)格任務(wù)配這套流程雖然能跑通但腳本一旦變復(fù)雜就沒法維護(hù)而且核心步驟還是得寫 shell不如直接用聲明式流水線。整體骨架是四段拉代碼、構(gòu)建與單測、執(zhí)行掃描、查詢質(zhì)量門。順序不能隨意調(diào)整因?yàn)橘|(zhì)量門必須在掃描完成、SonarQube 處理完之后才能查否則查到的永遠(yuǎn)是上一次的結(jié)果。pipeline { agent any tools { maven maven-3.9 jdk jdk-17 } options { timeout(time: 30, unit: MINUTES) buildDiscarder(logRotator(numToKeepStr: 30)) } stages { stage(Checkout) { steps { checkout scm script { env.BRANCH_NAME env.GIT_BRANCH.replaceFirst(origin/, ) } } } stage(Build Test) { steps { sh mvn -B -U clean test } } stage(SonarQube Analysis) { steps { withSonarQubeEnv(sonar-server) { sh mvn -B sonar:sonar \ -Dsonar.projectKeyorder-service \ -Dsonar.projectNameorder-service \ -Dsonar.branch.name${env.BRANCH_NAME} } } } stage(Quality Gate) { steps { timeout(time: 5, unit: MINUTES) { waitForQualityGate abortPipeline: true } } } } }6.2 Checkout、Scanner、Quality Gate 三段里的關(guān)鍵參數(shù)Checkout 段里我加了一步剝離origin/前綴原因前面說過。另外如果要多倉庫同時(shí)構(gòu)建checkout scm就換成顯式的git步驟把 url 和 credentialsId 寫清楚。Scanner 段靠withSonarQubeEnv注入環(huán)境變量這個(gè)步驟會(huì)把 SonarQube 服務(wù)地址和 Token 自動(dòng)塞進(jìn)環(huán)境變量Scanner 直接讀就行不用明文寫 Token。里面那個(gè)sonar-server是 Jenkins 全局配置里給 SonarQube 服務(wù)器起的名字兩邊必須一致。sonar.branch.name參數(shù)在社區(qū)版里支持有限如果是社區(qū)版可以考慮用-Dsonar.projectKey拼分支后綴的方式區(qū)分。Quality Gate 段的核心是waitForQualityGate它不主動(dòng)去查而是等 SonarQube 回調(diào)。也就是說SonarQube 那邊必須配好一個(gè) Webhook地址指向http://jenkins.internal:8080/sonarqube-webhook/這個(gè)地址是固定的路徑不能改。如果 SonarQube 是容器部署從容器里能不能訪問到 Jenkins 的地址也得驗(yàn)證一下容器內(nèi)的jenkins.internal未必能解析這種情況直接寫宿主機(jī)的內(nèi)網(wǎng) IP。6.3 分支和 MR 場景下的差異化策略主干和特性分支的要求不應(yīng)該一樣。我的做法是主干分支跑全量分析 嚴(yán)格門禁特性分支只統(tǒng)計(jì)新代碼 寬松門禁。實(shí)現(xiàn)方式是用流水線里的條件判斷根據(jù)分支名走不同參數(shù)stage(SonarQube Analysis) { steps { withSonarQubeEnv(sonar-server) { script { def extraArgs env.BRANCH_NAME master || env.BRANCH_NAME main ? -Dsonar.qualitygate.waitfalse : -Dsonar.newCode.referenceBranchmaster sh mvn -B sonar:sonar \ -Dsonar.projectKeyorder-service \ -Dsonar.branch.name${env.BRANCH_NAME} \ ${extraArgs} } } } }MR 場景下還有個(gè)實(shí)用技巧把 SonarQube 分析出來的問題數(shù)寫進(jìn)構(gòu)建描述里評審人在 GitLab 的 MR 頁面上就能看到這次提交引入了 3 個(gè)新的嚴(yán)重問題比讓人去點(diǎn)開 Sonar 頁面直觀得多。這個(gè)通過 Jenkins 的currentBuild.description屬性設(shè)置即可配合 GitLab 插件的狀態(tài)回寫信息就同步過去了。7. 跑起來之后真正的麻煩才剛開始7.1 Webhook 發(fā)了Jenkins 一點(diǎn)反應(yīng)都沒有這是最高頻的問題。排查思路是按鏈路倒著走第一步去 GitLab 的 Webhooks 頁面點(diǎn) Test 按鈕看響應(yīng)碼。如果是 403基本都是 Jenkins 的 CSRF 保護(hù)攔住了。用 GitLab 插件自帶的觸發(fā)方式時(shí)在任務(wù)的構(gòu)建觸發(fā)器里要勾選 Enable GitLab trigger插件會(huì)自動(dòng)處理鑒權(quán)。如果用的是 Generic Webhook Trigger地址里帶 token 參數(shù)就能繞過。第二步如果響應(yīng) 404檢查項(xiàng)目路徑對不對尤其注意任務(wù)名里帶中文或者空格時(shí) URL 編碼的問題能避則避。第三步如果響應(yīng) 200 但 Jenkins 沒建新任務(wù)那就是觸發(fā)的分支過濾沒配對。GitLab 插件默認(rèn)只對配置里允許的分支觸發(fā)比如確實(shí)配了master但你提交的是feature/xxx自然不會(huì)觸發(fā)。7.2 質(zhì)量門結(jié)果回寫不回來流水線卡在 waitForQualityGate現(xiàn)象是掃描步驟明明成功了SonarQube 頁面上也能看到結(jié)果但 Jenkins 一直停在 Quality Gate 那一步最后被 timeout 干掉。九成的原因是SonarQube 的 Webhook 配置有問題。去 SonarQube 的 Administration → Configuration → Webhooks 里加一條URL 填 Jenkins 的sonarqube-webhook地址然后點(diǎn)測試。這里最常見的失敗原因是 SonarQube 的容器網(wǎng)絡(luò)訪問不到 Jenkins 的地址或者 Jenkins 地址里填了localhost。SonarQube 是從它自己的網(wǎng)絡(luò)視角去回調(diào)的你本機(jī)瀏覽器能打開的localhost:8080它未必打得開。還有一個(gè)隱蔽的原因sonar.branch.name參數(shù)和 Webhook 回調(diào)里帶的分支標(biāo)識(shí)對不上導(dǎo)致 Jenkins 收到回調(diào)后找不到對應(yīng)的等待中的任務(wù)只能干等。這種情況在社區(qū)版里出現(xiàn)得多一個(gè)繞法是不用waitForQualityGate改用輪詢方式調(diào) SonarQube 的 Web API 查結(jié)果curl -s -u ${SONAR_TOKEN}: \ http://sonar.internal:9000/api/qualitygates/project_status?projectKeyorder-servicebranch${BRANCH_NAME}拿到 JSON 后判斷projectStatus.status字段不是OK就讓構(gòu)建失敗。這種方式犧牲了實(shí)時(shí)性但穩(wěn)定得多。7.3 Scanner 報(bào)超時(shí)、內(nèi)存溢出和構(gòu)建節(jié)點(diǎn)上的路徑錯(cuò)誤大項(xiàng)目上跑 Scanner報(bào)內(nèi)存不足是常事。默認(rèn) JVM 堆可能只有幾百 M分析幾萬行代碼直接 OOM。解決辦法是設(shè)SONAR_SCANNER_OPTSexport SONAR_SCANNER_OPTS-Xmx2g -Xms512m如果用的是 Maven 插件方式改設(shè)MAVEN_OPTS。另一個(gè)高頻問題是 Java 項(xiàng)目的sonar.java.binaries找不到報(bào)錯(cuò)說Please provide compiled classes。用 Maven 插件不會(huì)有這問題因?yàn)樗赾ompile之后才跑sonar:sonar但如果流水線里把sonar:sonar放在了clean后面沒跟compile編譯產(chǎn)物就被清掉了自然找不到。順序必須是clean compile sonar:sonar或者至少保證target/classes存在。還有一種情況發(fā)生在多模塊項(xiàng)目里父 pom 和子模塊的路徑關(guān)系沒配好Scanner 只掃到了父模塊的空殼子模塊代碼一行沒進(jìn)。判斷方法是看 SonarQube 報(bào)告里的代碼行數(shù)如果遠(yuǎn)小于實(shí)際代碼量基本就是這個(gè)原因。7.4 各類認(rèn)證失敗報(bào)錯(cuò)的真實(shí)成因除了前面說的 GitLab Connection 報(bào)錯(cuò)還有幾個(gè)容易撞上的報(bào)錯(cuò)信息關(guān)鍵詞大概率原因處理方向401 UnauthorizedScanner 上報(bào)Sonar Token 錯(cuò)誤或已失效重新生成 Token 并更新 Jenkins 憑據(jù)Permission denied (publickey)SSH 私鑰不匹配或格式問題確認(rèn)公鑰已加進(jìn) GitLab私鑰是 OpenSSH 格式Host key verification failedJenkins 節(jié)點(diǎn)首次連接該主機(jī)手動(dòng)執(zhí)行一次 ssh-keyscan 寫入 known_hostsdocker: error response from daemon: Get https://registry-1...構(gòu)建節(jié)點(diǎn)拉不到鏡像配置鏡像加速或改用本地已緩存鏡像最后那條在離線或網(wǎng)絡(luò)受限的環(huán)境里特別常見。如果構(gòu)建節(jié)點(diǎn)不能訪問公共鏡像倉庫方案是在有網(wǎng)的機(jī)器上docker save導(dǎo)出鏡像傳過去docker load導(dǎo)入然后把流水線里的image換成本地已有的 tag避免觸發(fā)拉取。8. 讓它長期活下去誤報(bào)治理、掃描節(jié)奏和升級順序8.1 誤報(bào)治理比加規(guī)則重要得多工具上線三個(gè)月之后最大的敵人不是漏報(bào)而是誤報(bào)堆積導(dǎo)致的麻木。團(tuán)隊(duì)慢慢發(fā)現(xiàn)Sonar 報(bào)的這些問題其實(shí)沒關(guān)系然后所有人都開始忽略整個(gè)門禁就廢了。治理誤報(bào)有幾種手段按推薦順序排標(biāo)記為 False Positive確實(shí)不成立的規(guī)則告警在界面上直接標(biāo)掉下個(gè)版本就不再出現(xiàn)。這個(gè)動(dòng)作要有人定期做我一般安排每兩周花半小時(shí)過一遍新增的誤報(bào)。調(diào)整規(guī)則的嚴(yán)重級別有些規(guī)則本身成立但對當(dāng)前項(xiàng)目來說不算關(guān)鍵把它從 Major 降到 Minor不再影響門禁。在代碼里注釋抑制// NOSONAR這種注釋要慎用它只適合極個(gè)別場景一旦泛濫就失去意義。我見過一個(gè)項(xiàng)目里幾十處 NOSONAR最后沒人知道哪處是合理的。8.2 全量掃描和增量掃描的節(jié)奏安排每種掃描的目的不同頻率也該不同。我的實(shí)際安排是這樣每次提交/推送跑增量分析只看變更文件幾十秒出結(jié)果不阻塞開發(fā)節(jié)奏。每天一次定時(shí)任務(wù)跑全量分析發(fā)現(xiàn)那些跨文件的、需要全局視野才能看出來的問題比如循環(huán)依賴、大范圍的重復(fù)代碼。每個(gè)版本發(fā)布前跑一次帶完整門禁的全量分析作為發(fā)布卡點(diǎn)。定時(shí)掃描用 Jenkins 的 cron 觸發(fā)器實(shí)現(xiàn)寫在流水線里就一行triggers { cron(H 2 * * *) }H是 Jenkins 的散列語法用來打散同一時(shí)刻的任務(wù)避免所有任務(wù)半夜兩點(diǎn)同時(shí)起跑把機(jī)器壓垮。這個(gè)細(xì)節(jié)在小規(guī)模時(shí)無所謂任務(wù)一多就是救命的東西。8.3 升級 SonarQube 和 Jenkins 的穩(wěn)妥順序升級是有順序的亂了容易出大問題。SonarQube 升級必須先備份數(shù)據(jù)庫和data、extensions目錄然后按官方文檔的升級路徑走。跨大版本比如 8.9 到 9.9不能跳要經(jīng)過中間版本。升級完第一件事是檢查插件兼容性很多第三方插件在新版本上會(huì)失效需要重新下載對應(yīng)版本。Jenkins 升級的風(fēng)險(xiǎn)點(diǎn)主要在插件。我一般先在測試環(huán)境升一遍重點(diǎn)驗(yàn)證 GitLab 插件和 SonarQube Scanner 插件能不能正常工作。這兩個(gè)插件是鏈路的生命線它們出問題整條流水線就斷了。升級前把當(dāng)前插件版本列表導(dǎo)出來備份出問題時(shí)能快速回滾。還有一個(gè)跨版本的坑SonarQube 大版本升級時(shí)Scanner 的版本可能也需要同步跟進(jìn)。新舊版本之間 API 協(xié)議有變化時(shí)會(huì)出現(xiàn)分析提交上了但結(jié)果不完整這種軟失敗日志里不一定有明顯報(bào)錯(cuò)只有看 SonarQube 上的分析詳情才能發(fā)現(xiàn)。升級后一定要跑一次完整回歸核對代碼行數(shù)、問題數(shù)量是否合理。這套鏈路我前后搭過四五次從最早的純手工到后來全自動(dòng)最深的一個(gè)體會(huì)是第一次搭起來不算完成能連續(xù)跑半年不被人嫌棄才算完成。中間那段調(diào)整期基本都花在把門禁從卡所有人調(diào)成只卡新代碼、把誤報(bào)一條條清掉、把通知從每次都發(fā)改成只有失敗才發(fā)這些細(xì)節(jié)上。所以如果你正準(zhǔn)備動(dòng)手建議第一版就把質(zhì)量門設(shè)得寬松一些先讓大家感受到代碼提交完半分鐘就能看到自己引入了什么問題這個(gè)即時(shí)反饋的價(jià)值等人習(xí)慣了再逐步收緊。反過來先上嚴(yán)格門禁大概率第二周就會(huì)有人在群里問這個(gè)能不能先關(guān)掉。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲中文字幕av| 九月色婷婷婷| 开心五月深爱五月| 九九婷婷五月天影视| 午夜在线成人网站免费观看| 99re久久| 精品人人操| 丁香婷婷丁香五月欧美人| 五月天婷婷婷| 97综合在线| 天天日天天草| 亚洲综合狠狠艹| 久久激情五月婷婷| 日韩色五月| 婷婷五月天AV| 无码区婷婷五月花开| www婷婷| 激情98色婷婷五| 六月丁香六月婷婷欧美| 亚洲va欧美va国产综合久久久| 国产av一区二区三区| 日韩六六久久电影| 色欲丁香久久| 婷婷五月 丁香六月| 丁香六月婷| 婷婷综合中文| 少妇做爰免费视看片| 亚洲激情五月天| 亚洲婷婷丁香五月天激情小说| 九九精品99| 五月天伊人手机在线播放AV| 久久五月婷天天干| 丁香五月综合高清在线| 日本三级黄色大片| 五月婷婷啪啪啪| 狠狠狠狠狠狠狠狠| 久99热| 五月天综合网| 欧美色色色| 五月婷婷综合天天操| 五月天色社区| 99A片| 五月婷婷激情| 99热只有国产在线精品| 伊人婷婷五月| 青青草蜜臀| 婷婷色导航| 91日韩美女被插视频| 六月丁香婷婷爱| 国产精品第一国产精品| AAA级久久久精品| 人妻久久久| 成片免费观看视频大全| 色婷婷视频在线| 九九色播五月丁香| 99热国产精品| 综合激情视频| 色五月成人| 综合婷婷都市激情| 丁香九月综合激情| 香蕉综合在线| 亚洲成人超碰| 久久99精品九九久久久婷婷| 色婷婷基地| 日本天天色| 超碰久热| 51精品国自产在线| 久久婷婷桃花五月天| 婷婷五月天综合久久日| 亚洲av无码精品色午夜| 五月天久久久| 亚州视频九九99| 蜜臀九九九九| 五月丁香六月成人| 99免费| 狠狠综合网| 九九精品免费| 婷婷五月婷婷五月| 婷婷五月丁香伊人| 色五婷婷开心缴| 五月色婷婷亚洲 | 亚洲精品V天堂中文字幕| 亚洲精品视频在线播放| 99热这里只有精品9| 永久精品| 五月婷婷 激情按摩| 99视频综合网| 九九九九无码| 天天性视频| 激情另类综合| 亚洲狠狠干| 无码区婷婷五月花开| 色情五月婷| 五月婷久久| 激情第四色| 爱射综合| 婷婷五月色播天| 丁香婷婷综合色五月激情国产基地| 国产黄大片在线观看画质优化| www.婷婷五月| 精品一二三区久久AAA片| 被强行糟蹋的女人A片| 老妇六区| 五月丁香六月婷婷啪啪| 日韩久久这里只有精品| 五月天操逼网| 看片视频在线免费日产在线看| 九九九九国产| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 91婷色| 天天操天天插| 99精品视频推荐| 婷婷午夜| 亚洲aV写真天天综合网久久| 丁香六月婷婷久久综合| www.九九婷婷| 婷婷五月激情热播| 成人免费在线电影| 久热这里只有精品6| 激情综合网五月激情| 97丨九色丨国产丨PORNY| 美女91一起草| 天天日人人爽| 天天搞天天爽| 日韩黄色电影| 亚洲激情色色| 久久丁香五月天| 丁香五月天堂网| 激情五月天久久| 91精产一区三区免费观看| 无码色综合| 天天爱天天做天天日| 26uuu亚洲精品国产| 99热这里只有精品3| 激情五月综合网| 天天色五月婷婷91久久久久久久| 成人精品人妻| 狠狠干伊人| 五月婷婷影| 任我干视频在线观看| 丁香激情网| 久久A V无码视频| 亚洲VA口| 99综合99| 色婷婷五月综合网| 99在线精品免费视频| 色情成人五月天| 久热这里只有国产| 99久久婷婷国产综合| 草了bav视频在线观看| 亚洲啪啪网| 五月天婷婷成人资源站| 精品国产AV色一区二区深夜久久 | 亚洲性爱AV在线| 午夜亚洲国产精品av一区二区| 九九视频这里只有精品在线播放| 九九色色| www综合久久| 日韩激情人伦人| 五月色婷婷综合| 婷婷九九视频| 丁香婷婷激情| 婷婷爱五月| 五月丁香六月综合激情网| 六月丁香五月天| 久久99精品久久久久子伦| 丁香5月婷婷| 精品无码久久久久久久久| 色综合久久天天综合网| 亚洲综合99| 久久在线视频免费观看| 中文aV网| 97综合视频在线| 在线五月婷婷小电影| 91免费看片| 日韩久久欧亚| 超碰人人干| 丁香五月天社区婷婷| 美国天天日天天操| 久久婷婷艹| 另类激情五月| 色yeye欧美| 五月深爱网| 电影91久久久| 99免费热视频| 亚洲乱码日产精品BD| 色色综合无码| 亚洲乱码精品久久久久..| 五月婷婷丁香大香蕉| 狠狠色噜噜色狠狠狠综合久久成人波 | 日本一级淫| 婷婷六月爽| 激情五月激情综合网| jiujiu热在线视频| 99在线免费视频| 激情丁香婷婷六月天| 六月丁香婷婷五月| 丁香五月成人丝袜| 五月丁香色情| 五月天婷爱综合| 一级黄在线| 婷婷五月天性| 九九亚洲天堂| 婷婷五月天视频亚洲| 色综合色色色色| 午夜成人网站在线观看| 天天草狠狠擦| 1024你懂的欧美曰韩| 五月婷婷激情综合| 丁香婷婷五月激情综合| 丁香五月狠狠在线观看| 91久久电影| 婷婷色色丁香五月天| 国产精品电影| 五月天电影网| 97色久| 久热这里只有精品6| 婷久看人爽| 日本一级黄色片。| 色五月五月天色婷婷色五月| 丁香五月婷婷Av| 国产成人av在线| 色播五月婷婷综合| 丁香六月婷婷开心婷婷网| 天天插天天插| 9热视频在线观看| 婷婷激情综合| 成人性爱精品视频| 九九综合色| 日韩中文字幕| 激情五月少妇| 国产婷婷色五月| 老师的粉嫩小又紧水又多A片视频| 五月丁香久久精品在线观看 | 变态 另类 在线| 激情综合网亚洲色图| 亚洲成人在线播放| 欧美性猛交99久久久99| 久色中文| 国产综合色婷婷精品久久| 亚洲精品又粗又大又爽A片| 99热无码精品| www.天天日| 91精品婷婷国产综合久久| 六月丁香啪啪啪| 五月婷婷婷婷| 天天激情视频| 色婷婷免费观看| 五月天婷婷色播综合在线| 久久婷婷综合国产| 日本五月视频| 五月婷婷色丁香| 超碰国产av| 99国产精品久久久久久久久久久| 丁香六月成人网| 久久婷婷五月综合伊人| 婷婷新网址| 狠狠穞A片一區二區三區| 五月婷婷亞洲中文| 伦乱美欧| 色香欲综合| 日撸夜撸日操| 99热 在线观看| 日韩综合久| 日韩乱轮AV| 久久久18| 开心婷婷五月中文字幕组| 高清无码.com| 五月天久久www| 操97在线观看| 中文字幕日产A片在线看| 激情九九六月激情免费视频| 五月情色天| 色婷婷五月影视| se婷97| 午夜丁香| 国产成人av在线| 五月丁香 久久久| A久久| 五月婷婷综合在线视频小说| 婷婷丁香五月天中文字幕| 人人操婷婷| 无码少妇高潮喷水A片免费| 超碰成人在线观看| 一级二级色大片| 丁香五月婷婷色综合基地| 大香蕉操操| www,黄色在线,con| 精品夜夜澡人妻无码AV| 丁香五月成人| 天天日夜夜爽| 婷婷五月丁香五月| 亚洲综合色网| 亚洲激情四射| 国产日产亚系列精品版优势| 99热9| 99色最新在线视频网站| 伍月婷丁香婷| 激情五月天啪啪视频| 色久九| 亚洲无码11| 激情国产综合| 久久久久网站| 色婷婷久久综合| 丁香五月综合网| 五月激情综合网| 五月丁香综合啪啪啪啪啪| 色色色九九九五月婷婷| 色色欧美色色色| 久9精品视频| 日本激情五月天‘| 69五月天视频| 欧美天天爽| 五月天丁香六月综合| 97操在线资源| 97视频.干com| 密黄站| 亚洲精品网站色视频| 91日本在线观看| 大香蕉精品视频| www.狠狠| 九九视频在线免费视频| 五月丁香六月激情欧美综合| 激情婷婷久久| 亭亭玉月丁香| 精品一区久热| 99综合一区| 色色吧综合| 五月天日日操夜夜操 | 五月丁香激| 性爱网五月天| 六月丁香婷婷网| 丁香六月毛片| 思思热在线视频精品| 丁香五月婷婷色情综合| 大香蕉久久| 99性视频| 色约约视频一区二区三区四区五区 | 亚洲熟女色| 丁香五月在线人妻| 色欲资源网| 99热8| 91日本在线| 九九色综合九九色| 婷色影院| 99视频在线观看视频| 粉嫩av蜜桃av蜜臀av| 九九免费精品在线视频| 91精品久久久久久综合五月天| 欧美Va在线| 五月天综合激情网| 五月婷婷深深爱| 五月丁香六月成人| 91在线观看www| 欧美熟女99| 这里只精品| 无码人妻一区| 91色色色| 在线看黄色| 激情五月天婷婷直播| 色综合久| 五月花激情| 9999三级片| 202丰满熟女妇大| 97自拍视频在线| 俺也去五月婷婷丁| 九九大香蕉黄色影院| 激情五月伊人婷婷| 人人操人人爱丁香五月| 99在线免费观看| 人妻久久久| 色噜久| 五月丁香激情五月天| 97色色色色色色色色色色色色色| 开心色五月天久久久久久久| 97干在线| 9操在线| 亚洲小说欧美激情| 色五月av| 另类激情五月| 欧美婷婷五月天| 国产精产国品一二三在观看| 激情综合啪啪| 色五月丁香六月婷婷| 无码任你操| 超碰97色| 丁香网五月天激情| 天天干天天拍| www.97碰碰com| 婷婷香五月综合激情| 玖玖婷婷五月天| 99热全是精品| 日韩操| 婷婷综合五月| 91九色精品熟女内射| 婷婷五月丁香香蕉| 午夜微拍福利| 丁香五月性| 色五月在线播放| www.色五月| 91精品国产色猫| 五月婷网| 婷婷中文在线| 日本久久综合| 久99久在线| 9色91视频| 成人 在线 日韩| 2025年最新亚洲在线欧美| 九九碰九九爱97| 伊人碰碰碰| 婷婷五月天激情基地| 专区无日本视频高清8| 66精品国产成人| 日本久久婷婷| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 伊人大香蕉爱聚| 亚洲精品va| 99操视频| 九九久久玖玖爱| 亚洲精| 99久在线精品99re8热| 91啪啪啪啪| 99热99热99热99热| 在线观看欧美3区| 99热777| 色色色九九九五月婷婷| 色综合日日| 色色色香蕉五月婷| 五月婷婷开心丁香| www,99色| 丁香婷婷九月| 综合99久久天天综合| 国产婷婷综合| 五月婷婷影院| 九九aV| 97影院一级片| 五月丁香六月激情欧美综合| 天天爽爽日日做做| 婷婷丁香六月天| 夜夜www| 女人被躁到高潮嗷嗷叫小| 无码中文一区二区三区| 1024欧美看片| 涩五月色婷婷| 婷婷综合色图| 国产精品色| 99久久国产宗和精品1上映| 成人无码髙潮喷水A片| 深爱激情四射| 夜夜操夜夜操| 色综合久久天天综合网 | 99精品国产在热久久婷婷| 激情五月天色色色| 色婷婷免费观看| 665566 无码| 婷婷丁香人妻久久在线观看| 综合网色综合| 激情九月婷婷| www.狠狠操.con| 天天综合网~91| 天天日夜夜B久久| 九九香蕉网| 99福利视频| 人人超碰99| 99狠狠色| www.91有码.com| 婷婷五月成人有| 日本91在线播放| 97色色网| 国产欧美婷婷五月| 婷婷影院欧美| 99热这里有精品| 五月婷婷免费| 免费看成人747474九号视频在线观看| 婷婷激情五月色综合| 日本eVa一区=区视频| 天天天干夜夜夜操| 人妻中文在线| 日本精品人妻无码77777| 深爱激情婷| 色欲久久综合| 欧美槡BBBB槡BBB少妇| 婷婷五月天啪啪| 狠狠色婷婷777| 国产免费性爱| 9久久精品| 热久久66| 日本69日人视频| 婷婷激情久久| 丁香五月天视频| 婷婷激情五月色综合| www九月婷婷| www.五月婷婷.com| 久久精品66| 97综合在线| 影音 五月 婷婷 久久| 国产丁香五月天婷婷| 婷婷五月丁香A∨| 激情五月天婷婷| 婷婷五月天a| 久久9久| 天天日日| 亚洲亚洲人成综合网络| 99re免费精品视频| 免费观看大片视频 丁香婷婷 六月欧美| 月丁香久久久| 人妻丰满精品一区二区A片| 久艹大香蕉| 色久综合天天做视频| 色欲色天天香综合| 男人天堂AV在线一区二区| 五月天激情小说| 婷婷五月天第四色| 日本狠狠爽| 婷婷五月花| 91干| 99热思思| 人人射人人高潮| 99热综合网| 亚洲色图啪啪| 91九色首页| 丁香五月天激情视频| 丁香婷婷少妇| 色色色777| 丁香五月www| 性色五月天| AA久久| 丁香五月伊人| 中文AV网站| 激情综合六月| 五月丁香六月综合激情网| 日韩好吊操| 五月色网| 五月伊人网| 天堂久久婷婷| 大香蕉久久草| 香蕉99网| 丁香花狠狠婷婷亚洲中文字幕| 成人va在线播放| 五月色网| 丁香五月天的网址。| 久久aaa| 青青草a在线| 97亚洲色 torrent magnet| 99精品久久久| 99免费热在线精品| 天天干夜夜操A片| 69热在线| 爆乳熟女一区二区三区爆乳| www.com色播五月天| 五月天婷婷激情六月久久| 丁香六月在线综合| 综合网精品99| 国产三级在线播放| 久久婷婷六月综合综合| 久久9精品视频| 久久99网址| 色五月婷婷操逼| 第五婷婷伊人丁香色| 婷婷激情人妻| 色婷丁香五月| 丁香五月天av| 激情五月天伊人影院| 丁香五月电影| 色五月在线视频观看| 丁香成人五月天| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | www婷婷| 玖玖视频福利| 婷婷综合成人五月天| 欧美丁香五月天| 99热亚洲精品66| 精品久久这里热66| 欧美熟女99| 99热这里只有精品8| 色玖玖| 色色综合网www| 国产这里只有精品| 懂色av粉嫩AV蜜臀AV| 中文字幕欧美日韩VA免费视频| 超碰成人免费| 精品人妻伦一二三区久久| 日本人妻伦在线中文字幕| 色色五月天 亚洲| 超碰中文字幕在线| 超碰av在线| 99热这里只有精品33| 久久人妻视步| 开心五月婷婷激情| 中文字幕 中文字幕明步| www.色五月| 在线中文字幕免费视频| 色综合九九色综合88| 日韩欧美一级大黄网站| 丁香五月亚洲综合| 五月丁香影院| 99超超碰| 婷婷操久久| 五月天无码视屏播放| 激情播丁香| 成人丁香婷婷| 超碰超碰在线| 婷婷中合| 日韩成人AV在线| 五月婷婷之六月丁香| 五月婷婷免费在线视频| 色九区| 一区二区三区XXXXXX| 五月丁香爱婷婷深深| 色五月丁香六月婷婷| 色综合综合色| 日本色色视频| 亚洲色爽| 噜噜噜久久| 亚洲精品白浆高清久久久久久| 国产日产亚系列精品版优势| 色婷婷成人色网| 高清不卡一区| 午夜做爱影院| 欧美日韩999| 天堂美国久久| 五月天五月色婷婷综合| 丁香五月激情网| 日本操B视频| 人人操AV| 婷婷久久草| 日韩一级一片内射视频4K| 超碰在线资源| 日日夜夜青青草| 五月丁香琪琪| 99ri视频在线观看| 伊人午夜综合色啪| 国产日韩欧美| 日本色色网| 99精品视频免费观看| 97人人操人人插| 久久久色婷婷五月天| 丁香 久久| 99热最新| 91视频综合网| 九九热在线精品视频| 九九99久久精品| 五月丁香啪啪| 亚洲综合视频网| 性做爰A片免费视频A片直播| 人人草成人视频| www.久久99热地址发布| 人妻在线网站| 亚洲五月停停| 色玖玖网| 天天色综合图片| 久久精品国产AV一区二区三区 | 激情 婷婷| 激情丁香网| 另类视频在线| 99久久亚洲精品视频| 五月丁香啪啪综合网| 在线视频你懂得| 国产精品操| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 91九九九九九九| 夜夜骑日日夜夜| 大香蕉啪啪啪| 99色色网站| 五月婷婷之综合激情| 日韩在线视频中文字幕| 99在线资源| 操操人人| 91综合在线| WWW久久久| 996热re视频精品视频| 人妻激情在线| 久久精品99| 婷婷精品视频| 这里只有精品在线观看视频| 亚洲第一色色色| 狠狠综合网| 婷婷五月天在线观看av| 99热| 激情综合网激情五月丁香| 色五月婷婷7777| 色婷婷五月天在线| 九九色插| 99热在这里只有精品| 成人午夜无码视频| 亚洲婷婷五月草久| 影音先锋高清无码资源网| 五月丁香六月婷婷综合伊人| 五月天大香蕉| 丁香涩涩五月天| 亚洲99热| 高清无码入口| 天天色播| 色婷婷成人做爰A片免费看网站| 91九色中文字幕女在线观看| 大香蕉啪啪| 亭亭五月丁香综合欧美| 色色欧美色色色| 五月天婷婷婷| 很很干天天干| 久9热视频| 99re在线视频| 丁香五月花婷婷开心| 99国产精品久久久久久久久久久| 婷婷色中文字幕| 超碰人人超碰| 我爱宗和色| 色yeye色综合| 久久HD| 激情深愛五月視頻| 丁香六月婷婷社区| 婷婷久久丁香| 日韩色色小视频| 色999;丁香五月| 开心五月综合| 超碰免费99| 噼里啪啦在线观看免费完整版视频| 久9视频| 伊人综合网站| 欧美日韩一区二区三区四区| 久久九九爽| 色五月婷婷在线观看第一页舔| 久久欧洲久久| 99色综合| 在线成人视频免费| 99热精品在线播放观看| 五月婷婷丁香综合,亚洲天堂| 精品亚洲VA网站| 金桔一区二区ab地址| 婷婷色五月大香蕉在线| 操操人人| 亚洲综合婷婷六月丁香五月| 香蕉久久国产AV一区二区| 丁香六月成人| 亚洲99热| 五月婷婷深爱六月| 99ri国产在线| 色婷婷av综合网| 79精品视频在线观看,| 亚洲五月天第一综合干| 色婷婷性爱| 欧美激情综合色综合啪啪五月| 人人爽人人爽人人爽人人爽| 丁香九九九九| 色婷婷av综合网| 激情图片婷婷丁香五月| 色视五月天婷婷| 日夜操B| 免费操超碰| 啪啪激情综合| 26uuu精品国产| 久久机热这里只有 | 超级碰碰碰久久网站| 久久狠狠干| 婷婷五月天777| 91干在线| 欧美超碰亚洲| 五月天社区| 五月天操逼网| 丁香五月婷婷色五月| 人伦30P| 婷婷五月综合啪| 五月婷婷 婷婷五月 一区二区 久久久 | 五月天成人网婷婷| 色色五月婷| 伊人九九综合| 婷婷丁香六月天激情四射网| 欧美大片| 久久综合激情| 丁香五月婷综合网| 99色热视频| 國語久久婷| 久久久A级视频| 91色性感五月婷婷丁香| 欧美性猛交99久久久久99按摩| 激情综合激情综合| 夜夜操天天爽| 色婷婷五月婷婷五月婷婷五月| 97艹| 国产4P视频精品五区| 色婷婷狠狠久久综合五月| 久久久国产精品黄毛片| 色天堂在线| 婷婷五月天AV在线| 五月婷婷婷| 丁香婷婷中文字幕| 五月激情丁香五月宗合| 五月天合网 | 亚洲十月婷婷综合| 五月婷婷亚洲综合网| 激情婷婷丁香五月天小说| 久久er视频6| 激情av| 久久久久久激情| 免费国产视频| 99热国产| 成人天天爽| 亚洲va欧美| 免费日韩99| 99热成人精品| 桃色伊人在线| 六月丁香深深爱| 天天摸日日舔狠狠添婷婷婷| 99热99色| 国产乱码久久| 精品久久久999| www.超碰在线| 婷婷激情伍月网| 最新日本A片| 婷婷色日本| 外国碰视频网站97| 久久婷色| 第四色婷婷最爱| 婷婷亚洲在线| 免费观看欧美成人AA片爱我多深 | 激情五月婷黄版| 婷婷黄色| 色999五月色| 大地资源色婷婷视频在线| 啪啪日本欧美| 99性视频| 亚洲乱码精品久久久久..| 欧美成人猛片AAAAAAA| 色婷婷AV久久| 青青草视频免费观看| 激情九月婷婷九月| 综合激情肏逼网| 久久久久9999| 丁香五月激情综合网激情五月| 97超碰色| 伊人久久大香网| 91天堂网综合| 日本三级日本三级99| 能看的av片| 这里只有精品免费| 欧美99热| 久久婷婷综合基地| 亚洲妇女熟BBW| 天天做天天爽| 丁香六月成人| 五月丁香福利| 熟女五月天久久综合| 五月婷婷开心综合| 色色五月天婷婷| 九八Av| 9999热在线观看| 色色色99韩| 欧美成人网99网| 香蕉综合在线| 五月天婷婷综合网| 色五月激情综合网| 丁香婷婷婷婷十二月在线观看视频| 国产毛片操B| 婷婷色狠狠| 久久9视频欧美| 极品 少妇 内射| 天天操,天天插| 五月丁香六月婷婷久久肏| 综合色、色综合| 99热这里只有精品21| 国产精品日日躁夜夜躁| 激情纯色婷婷五月天在线不卡视频| 99激情网| 天天色色天天| 嫩草AV久久伊人妇女超级A| 夜夜AVV| 亚洲激情免费久久| 久久天堂| 国产精品天天狠天天看| 日本三级日本三级99| 色六月天| 久热这里| 婷婷五月综合色拍| 久久久久99精品成人片| 五月激情偷拍| 色天使久久综合| 久热无码| 色欲五月婷婷| 九月丁香很很色| WWW色综合| 成人av在线电影| 操逼综合激情网| 五月天色婷婷图片| 激情六月丁香| 丁香香蕉婷婷| 婷婷91| 色爱亚洲| 六月丁香婷婷爱| 激情五月天之六月婷婷| 日韩成人电影AV| 99玖玖人人| 五月丁香六月婷婷在线播放| 婷婷色婷婷| 色婷婷狠狠| 97色97干| 伊人五月综合网| 久热网在线视频| 国产精产国品一二三在观看| 亚洲操B视频| 中文字幕在线观看视频www| 色噜噜狠狠一区二区三区| 激情五月天。| 中文无码精品一区二区三区| 99热最新| 亚洲色综合| 久九色| 男人大jjc女人免费视频| 波多野结衣AV无码Porn| 99久在线精品99re8热| 欧美性猛交AAAA片黑人 | 思思热闹这里只有精品| 思思热99热| 亚洲天堂爱爱| www.91操| 99日视频在线| 九九热只有精品| 日操熟女| 日本欧美国产| 九九热欧美| 91色在线| 五月婷婷五月天| 99在线爽| 狠狠狠狠狠狠狠狠| 久久天堂女人| 婷婷五月中文在线视频| h在线看免费版在线看| 99热热九九| 国产暴力强伦轩1区二区小说| 五月婷婷导航| 情色婷婷五月天| 美女黄频aⅴ视频| 超碰猛烈的性猛交| 国产免费AV在线| 97人人超| 天天五月香欧美| 国产肥白大熟妇BBBB视频| 婷婷丁香成人五月天| www.精品99| 伊人超碰在线| 久久成人精品视频| AV在线不卡播放| 亚洲五月丁香综合网| 亚洲综合视频网| 日夜操B| 97人人草| 六月丁香婷婷尤物| 激情国产五月| 五月天婷婷影院| 91丨九色丨丰满人妖| 色色色图| 色婷婷丁香特级性爱视频| 婷婷97色| 五月婷庭丁香在线| 伊人99久久| 五月天播播| 五月天综合久久丁香91| 五月丁香六月婷婷中文版| 97人人妻人人艹| 丁香六月视频| 婷婷色综合| 天天拍夜夜爽日日| 色情网综合| 成人网址在线观看| 99在线精品观看99| 操九色| 狠狠干婷婷| http://www.com久久久精品一区| 五月停停直播| 日本91在线播放| 亚洲另类婷婷五月综合| .青娱乐天天操B| 激情丁香五月| 亚洲一色色色色色色色色| 超碰成人黄色网| www.狠狠色.com| 日韩无码91| 99日本黄站| 五月丁香六月色婷婷| 天天干天天操天天射| 五月婷婷婷婷| 天天综合社区| WWW,色五月| 国产精女同一区二区三区久| 激情综合网五月| 米奇激情婷婷| 疯狂做受XXXX高潮A片动画| 婷婷六月啪啪| 亚洲激情无码久久| 最近中文字幕大全免费版在线| www.99婷婷| 欧美精品中文字幕亚洲专区| 婷婷五月丁香六月综合网| 亭亭丁香aV| 婷婷色情五月| 成人做爰高潮A片免费视频| 99精彩视频| 婷婷六月插屄激情| 一月婷婷色色| 婷婷五月激情基地| 色色色色色色色色网站| 玖玖国产视频一区| 五月婷婷精品| 性av| 99热只有精品在线观看| 99日韩| 中文字幕欧美精品久久| 色色色网站| 久久玖玖综合| 亚洲人成人五月天| 这里只有精品偷拍| 超碰97久久| 色婷婷AV久久| 婷婷五月天激情网| 五月丁香花视频| 婷婷五月深爱五月| 天天天久久久| 五月丁香啪综合| 激情婷婷22月间| 五月天伊人| 婷婷五月天激情四射| 婷婷成人五月天成人文学| 色婷婷成人影片| 丁香五月中文字幕| 天天操五月天| 久久精品国产精品| 五月婷婷,六月丁香| 欧美成人日韩| 激情五月婷婷丁香| 九九九成人在线视频| 色五月激情问网站| 奇米色大香蕉| 99操逼视频| 成人va视频| 五月婷婷婷婷网| 五月婷丁香在线视频在线| 婷婷丁香五月天哟啪| 波多婷婷久久| 中字幕视频在线永久在线观看免费| Www,五月天| 这里只有免费的精品| 开心六月丁香五月婷婷| 欧美内射AA| 激情黄色小说色五月| 青青久久大香蕉| AV六月丁香| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 国产黄色大片| 91人妻九色大屁股| 色五月综合网| 五月天·www·com| 婷婷综合在线| 99热在线播放| 五月久久五月激情| 青青.com| eeuss人妻| 色狠狠综合入口| 激情色情五月天| 精品一区二区三区三区| 色五月激情五月| 影视av久久久噜噜噜噜噜三级| 91视屏在线观看com.wwwvv| 色色色综合视频| 国产五月丁香在线| 久久9久| 天天色月| 丁香婷婷五月综合影院| 丁香五月大香蕉AV| 婷婷五月色图| 91人人操人人| 91久久久久久久久| 六月婷婷天天操夜夜爽视频| 91pornav在线| 99@久久@99精品视频| 天天综合区| 五月婷婷,六月婷婷| 国产44页| 99啪99| 久久久久9| 五月天婷婷三级黄| 激情图片99| www.婷婷六月天| 免费国产VA国产免费| 国产一级片| 五月丁香婷婷无码A∨| 91人妻视频| 婷婷欧美色| 五月丁香六月婷婷中文版| A久网| 91色吧网| 91九九| 国产无套精品一区二区| 综合色播| 丁香五月婷婷啪啪| 国产婷伊人| 丁香五月天婷婷91| 婷婷综合天堂| 久久久久久久久久久44| 午夜一区| 另类国产综合| 九九激情视频| 91综合国免费久入| 丁香五月天堂网| chaopeng在线人人| 天堂综合久久| 97碰人人操| 九九99视频精品| 九九热re99re6在线精品| 精品国产va久久久久| 色五月综合网| 欧美日韩123| 无码色| 丁香花操逼| 激情婷婷五月久久| www.五月婷婷久久.com| 五月狠狠| 日日躁夜夜躁狠狠久久AV | 欧美色一级色| 久热超碰91| 大波美女VA网站| 五月丁香在线综合| 激情五月天com| 在线播放中文字幕| 九九精品9| 亚洲精品一区中文字幕乱码| 开心婷婷五月中文字幕组| 天天摸夜夜爽天天做| 99爱在线精品视频免费观看| 26uuu精品一区二区| 91操女| 99爽视频| 日本精品在线噜噜噜| 五月丁香六月婷婷综合| 欧美va在线| 91热视频| 亚洲另类在线观看| 亚洲欧美另类在线23p| 五月婷久久| 亚洲欧洲一二| 玖玖在线资源视频| 狠狠色综合网站久久久久| 久久免片| 国精产品一区二区三区| 操比激情五月综合| 婷婷六月婷婷| 91凹凸在线| 五月天激情婷婷| 十区AV| 操逼福利视频| 99福利导航| 天天插天天干| 丁香六月婷婷社区| 大香久久综合网| 婷婷伊人| 亚洲天堂色色| 五月婷婷影视| 狠狠香婷婷五月| 欧美噜一噜| 丁香五月婷婷日本| 五月停停大香蕉| 丝袜大香蕉| 天天摸天天做天天爱天天爽| 日韩一区二区A片免费观看| 91碰碰碰| 日日日日日| 色九九一二| 丁香五月色情| 免费视频WWW在线观看网站| 丁香av网| 丁香五月亚洲综合| 九九Av| 国产亚洲精品AAAA片APP| www.久久久久久久| www夜夜| .肏屄视频一区二区| 婷婷激情五月天色| 99久久这里只有精品| 丁香色六月婷婷| 婷婷五月综合视频免费播放| 99久久9| 五月天成人在线精品| 67194国产| 激情五月综合第一页| 色婷婷色人人射| 亚洲精品V天堂中文字幕| ww亚洲ww在线观看| 香蕉久久国产AV一区二区| 91精品啪| 久久婷婷成人综合色怡春院| 黄色高清无码| 激情网婷婷婷| 成人αV视频免费观看| 亚洲色婷婷99一9|| 内射爽无广熟女亚洲| 深情六月婷婷综合久久| 91啪啪视频| www.99视频| 五月婷婷激情久久| 69精品人人人人| 久久精品99久久久久久| av无码电影| 99啪99| 婷婷久久五月天丁香| 91碰碰视频| 激情AV在线| 人人人操| 丁香五月欧美成人| 丁香五月激情综合| 色情丁香五月婷婷精品| 激情久久五月天| 亚洲天堂99| 久综合网| 久久婷出差欧美色两性综合网| 无码操B| 亚洲免费视频网站| 五月丁香婷婷人体| 丰滿爆乳一区二区三区| 武汉美女啪啪视频免费一级片| 色色色婷婷五月| 91精品婷婷国产综合久久| 色五月天婷婷| 99热网站在线观看| 久久97| 九六五月天婷婷| 中文字幕黄色片| www.久久五月天.com| 久久AAAA片一区二区| 噜噜狠狠| 老师的粉嫩小又紧水又多A片视频| 97操操| 天天日天天插| 99爱爱| 日日夜夜干| 丁香五月色五月婷婷宗合| www.1024久久| 亚洲人人操| 婷婷色导航| 国产真实乱了老女人视频| 直接看的AV网站| 影音先锋男人资源站一区二区| 丁香婷婷久久综合在线| 丁香五月婷婷色偷偷| 任你爽免费视频| 久久视频这里都是精品| 熟女色色一区二区| 天天爽天天操| 亚洲艹网| 97超美国视频在线观看| 国产精品日韩十五区| 婷婷色五月激情强奸四射| 色综合五月| 99免费视频在线观看爱| 五月丁香自拍| 9久久精品| 九色色| www.色色色com| 伊人久久大香蕉网| 影音先锋xfplay资源男人网| 国产成人综合亚洲| 99久热| 天天草婷婷五月| 综合日本婷婷| 伊人AV五月婷| 色婷婷XXXXX| 啪啪色激情五月天| 国产成人亚洲综合A∨婷婷| 天天夜夜六月丁香五月婷婷老师|