欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

HAProxy七層代理實戰(zhàn):從負載均衡原理到ACL動態(tài)路由配置詳解

HAProxy七層代理實戰(zhàn):從負載均衡原理到ACL動態(tài)路由配置詳解 1. 七層代理到底解決了什么問題先說個實際場景。之前幫某公司做一套內部業(yè)務系統后端就三臺應用服務器一開始用的輪詢DNS哪臺掛了不知道流量還經常打偏一到高峰期總有那么一兩臺撐不住另外兩臺閑著看熱鬧。后來就是靠部署HAProxy七層代理把這些亂象一次性理順的。HAProxy是目前生產環(huán)境里用得最多的高性能負載均衡軟件之一所謂“七層代理”指的是它工作在OSI模型的第七層也就是HTTP/HTTPS應用層。跟四層代理最大的區(qū)別在于四層代理只看數據包里的IP和端口拿到連接就轉發(fā)不關心你訪問的是哪個域名、哪條路徑、帶了什么Cookie七層代理則會把HTTP請求完整拆開來看拿到URL、Header、Cookie、請求方法甚至請求體里的關鍵字段然后根據這些信息決定把這個請求轉發(fā)給哪個后端。說白了一句四層代理是快遞分揀員只看包裹上的地址七層代理是掛號導診臺會問你是哪里疼、掛哪個科把你送到對應的醫(yī)生面前。那這個能力到底適合誰如果你只是兩臺服務器做高可用四層方案其實也夠用但如果你的業(yè)務里面有多個域名共用一臺入口、有不同路徑要轉發(fā)給不同服務、有像 /api 和 /static 這樣的動靜分離、需要根據請求頭里的版本號做灰度路由這時候七層代理基本就是最優(yōu)解。HAProxy在這塊的優(yōu)勢一是性能極強單實例輕松扛住每秒幾萬請求二是配置靈活ACL規(guī)則寫起來像寫業(yè)務代碼一樣順手三是穩(wěn)定性經過大規(guī)模生產環(huán)境檢驗我用了這么多年還沒見過HAProxy自己崩掉的場景。2. 方案選型為什么是HAProxy而不是其他負載均衡器2.1 HAProxy、Nginx、LVS三者怎么選很多剛接觸負載均衡的讀者都會問這個問題同樣是做流量分發(fā)Nginx不是也能做七層代理嗎LVS在四層領域不也很強嗎為什么偏偏選HAProxy我自己的使用體會是這樣的。LVS工作在四層性能確實是天花板級別的但它有個天然短板不解析HTTP層想做七層路由、域名分發(fā)、路徑匹配這些業(yè)務邏輯基本無能為力。而且LVS配置多、規(guī)則多架構上還要引入額外的Director節(jié)點日常維護成本比HAProxy高不少。Nginx做七層代理當然可以很多團隊也確實在用。但Nginx本身的定位是Web服務器代理能力是它的擴展技能。在負載均衡這個專項場景里HAProxy有幾點是Nginx比不了的HAProxy原生支持配置熱加載改完配置直接執(zhí)行reload命令幾乎零中斷地切換配置不需要像Nginx那樣小心地執(zhí)行nginx -s reload還要擔心worker進程的日志句柄問題。HAProxy的統計信息頁面開箱即用還能通過socket接口實時調整權重、下線后端、查看連接數運維操作非常方便。健康檢查類型豐富可以配置幾十種檢查方式從簡單的TCP探測到復雜的HTTP關鍵字匹配、LDAP檢查、Redis協議檢查都能做。會話保持機制做得細基于Cookie的會話粘滯、基于來源IP的哈希、基于URL的哈希選擇面遠比Nginx寬。當然Nginx在緩存、靜態(tài)文件處理、腳本擴展這些領域有自己的優(yōu)勢。我通常的建議是如果你需要的是緩存或復雜的請求重寫可以考慮Nginx如果核心訴求就是高并發(fā)流量分發(fā)給后面的應用服務器HAProxy是更純粹的“專業(yè)選手”配置更清晰排查問題也更容易。2.2 版本選擇與部署方式的影響HAProxy從2.0開始引入了不少重要特性比如HTTP/2支持、PROMEX指標暴露、多線程模型優(yōu)化等。到2.4、2.6、2.8這些版本七層代理能力和性能一直在增強。我跟你說句實在話對于生產環(huán)境建議直接選2.4以上的穩(wěn)定版本別在老版本上糾結。一個很重要的原因是2.4之后配置里支持了純環(huán)境變量替換可以在global段用setenv/getenv指令配合運行時環(huán)境變量來管理配置差異這讓配置的復用和環(huán)境遷移方便了一大截。部署方式上最常見的兩種是裸機直接裝二進制包或系統包以及用容器跑HAProxy。容器化部署最大的好處是配置變更可以通過鏡像版本控制回滾很直接但要注意容器里跑HAProxy時一定要把系統文件描述符限制打開很多人在容器里遇到文件句柄耗盡就是因為沒做這個操作。裸機部署則更適合那種追求極致性能、網絡綁定比較復雜的場景。另外一個常被忽略的點是HAProxy處理七層代理時最核心的優(yōu)化點不在HAProxy進程本身而在它后面的操作系統網絡棧。比如tcp_tw_reuse、tcp_fin_timeout、somaxconn這些內核參數直接決定了HAProxy能否扛住高并發(fā)短連接的壓力。簡單說配置層面做好還不夠系統層面同樣得配合這部分我會在后面的實操段落里給出具體的參數。3. 核心配置術語與參數深解先花點篇幅講清楚HAProxy配置里的幾個核心“區(qū)塊”這是所有七層代理配置的基礎你熟悉了之后再看任何一份HAProxy配置都能快速上手。3.1 frontend、backend、listen的關系HAProxy七層代理配置通常分成三段global段、defaults段以及frontend/backend段落。global段是進程級配置比如日志、線程數、運行用戶、最大連接數。defaults段是默認參數的模板后面所有frontend和backend都會繼承這里的設置適合統一設置超時時間、模式等。frontend段定義入口監(jiān)聽客戶端連接解析HTTP然后根據ACL規(guī)則決定把請求轉發(fā)到哪個backend。backend段定義后端服務器池包括服務器列表、負載均衡算法、健康檢查方式等。實際配置里還有一種listen段它是frontend和backend的結合體適合端口和用途都比較單一的簡單場景。但做七層代理尤其是有多個域名、多個路徑、多個后端池的復雜業(yè)務我更推薦把frontend和backend分開寫邏輯清晰得多。當你后面需要新增一個域名路由時只需要在frontend里加幾條ACL然后加一個backend段不需要動其他配置。3.2 mode http與七層代理模式的關鍵設置HAProxy最核心的一句配置就是mode。默認情況下如果沒寫mode會繼承defaults里的設置很多新手容易踩這個坑——defaults里忘了寫mode結果前置的七層ACL規(guī)則完全不生效。做七層代理必須明確設置mode http。mode http會啟用HTTP解析引擎這時候你可以用path、hdr、url、method這些關鍵字來寫ACL規(guī)則。比如frontend web_front bind *:80 mode http use_backend app_backend if { path_beg /api/ }這里path_beg就是路徑前綴匹配意思是請求路徑以 /api/ 開頭時轉發(fā)到app_backend后端。沒有mode http這種規(guī)則是寫不出來的因為四層模式下HAProxy根本不解析HTTP報文。還有一個容易被忽略的配置option httplog。這個選項會讓HAProxy按照HTTP格式輸出訪問日志里面包含請求方法、路徑、狀態(tài)碼、響應時間、前后端連接信息這些信息在排查問題的時候價值極高。我見過有些部署為了省日志空間把這個關掉的真出問題時完全無從下手我強烈建議必須開著。通過log global配置把日志交給系統syslog然后用httplog格式輸出排查問題時你會感謝當初開啟了這個選項。3.3 超時參數與連接復用七層代理里最容易讓人困惑的就是各種超時時間。HAProxy里的超時主要分三類timeout connect連接后端服務器的超時時間一般設置5秒左右比較合理。如果后端在網絡層面就比較慢可以適當調大但不要超過10秒否則用戶體驗會很差。timeout client與客戶端連接之間空閑狀態(tài)的超時時間默認可以設60秒配合HTTP長連接使用。timeout server與后端服務器連接之間空閑狀態(tài)的超時時間通常要跟后端的處理節(jié)奏匹配比如后端要跑大查詢、導出報表這個就適當調大比如300秒。超時設置的核心原則客戶端超時要比服務器超時長否則后端還在處理請求客戶端這邊等不及先斷了后端白忙活一場。典型的問題場景是應用導出報表后端要算兩分鐘客戶端超時設了30秒結果前端一直報網關超時后端實際還在算。這就是典型的超時配置未對齊問題。另外如果想優(yōu)化連接性能可以開啟option http-keep-alive并配合connection復用參數。默認情況下HAProxy每處理完一個請求就可能關閉連接如果業(yè)務里大量請求是短連接、請求頻率高頻繁握手會浪費大量CPU和網絡資源開啟連接復用之后性能提升非常明顯。4. 七層代理核心玩法ACL規(guī)則與動態(tài)路由4.1 ACL到底怎么用ACL全稱Access Control List在HAProxy里就是一組匹配規(guī)則用來描述“什么樣的請求滿足什么樣的條件”。七層代理的靈魂就在這——ACL規(guī)則寫得好不好直接決定你的路由邏輯是否靈活。常見的ACL類型包括基于路徑匹配path_beg前綴、path_end后綴、path_reg正則基于域名匹配hdr(host) 精確匹配、hdr_beg(host) 前綴匹配、hdr_reg(host) 正則基于方法匹配method GET / POST / PUT基于來源IPsrc 匹配來源地址基于請求頭hdr_user-agent、hdr_referer等等基于Cookiecookie(name) 匹配Cookie字段一個典型的場景某個業(yè)務系統要按請求路徑分流前端靜態(tài)資源走靜態(tài)服務器后端API走應用服務器上傳管理功能走單獨的文件服務。配置長這樣frontend web_front bind *:80 mode http option httplog acl is_static path_beg /static /images /css /js acl is_api path_beg /api/ acl is_upload path_beg /upload use_backend static_pool if is_static use_backend api_pool if is_api use_backend upload_pool if is_upload default_backend web_pool這一段配置讀起來幾乎跟自然語言一樣維護成本極低。新同事接手也只要照著原有的ACL樣式加幾行就行不需要理解復雜的路由表邏輯。ACL還能組合判斷比如“來源IP是內網網段并且路徑是 /admin/ 的請求才允許訪問管理后臺”寫法是acl is_admin_net src 10.0.0.0/8 acl is_admin_path path_beg /admin/ use_backend admin_pool if is_admin_net is_admin_path這里兩個ACL之間是“與”關系都滿足才命中。如果想要“或”關系就用or連接HAProxy的ACL組合邏輯非常靈活這也是它相比其他方案的優(yōu)勢所在。4.2 請求重寫與Header操作七層代理不僅要會“轉發(fā)”還要能“改造”。實際業(yè)務里最常見的三個改造需求改寫Host頭、插入客戶端真實IP、添加安全頭。先說Host頭。當后端多個虛擬主機共用一個IP時后端服務器根據Host頭來區(qū)分。如果你的前端HAProxy和后面的Nginx之間沒有做Host頭透傳后端拿到的Host就是前端代理的地址或默認的IP業(yè)務可能直接報錯。HAProxy里配置是backend app_backend server web1 10.0.1.11:8080 check http-request set-header Host myapp.example.com再就是X-Forwarded-For頭。后端應用經常要記錄客戶端真實IP而代理轉發(fā)之后默認TCP連接里看不到原始來源IP。要在HAProxy層開啟option forwardfor讓HAProxy在請求頭中插入X-Forwarded-For后端應用取這個Header就能拿到真實IP。需要提醒的是option forwardfor默認會保留客戶端已經存在的X-Forwarded-For字段如果客戶端偽造了這個頭后端拿到的可能不是真實IP。生產環(huán)境如果對來源IP要求比較嚴格建議用if-none參數強制覆蓋option forwardfor except 127.0.0.1 header X-Real-IP這句的意思是除了本機訪問之外統一覆蓋X-Real-IP頭的值避免偽造。4.3 灰度發(fā)布和AB測試的天然幫手HAProxy的ACL規(guī)則直接支持灰度發(fā)布。最常用的兩種方法按來源IP的網段灰度以及按URL參數或Header標記灰度。比如要上線新版本的訂單系統老版本是old_pool新版本是new_pool希望先把公司內部員工和某個測試合作方的流量導入新版本。配置是這樣acl is_employee src 10.0.10.0/24 acl is_partner src 192.168.88.0/24 acl is_new_ver hdr(beta-version) -i v2 use_backend new_pool if is_employee use_backend new_pool if is_partner use_backend new_pool if is_new_ver default_backend old_pool這種做法的好處是當新版本出問題時只需要把這幾條ACL注釋掉執(zhí)行一次reload流量就全部切回老版本。灰度發(fā)布的核心訴求就是“快上快下”HAProxy這種方式比改應用代碼、改DNS都可靠得多。按比例灰度也可以用HAProxy實現最簡單的方式是用random算法配合weight權重。比如新版本后端server只分配5的權重老版本分配95權重balance random server old1 10.0.1.10:8080 weight 95 server new1 10.0.1.20:8080 weight 5這種按權重的灰度方案適合那種無法用IP或Header精準圈定用戶范圍的場景操作直觀便于隨時調整。5. 完整實操一個可落地的七層代理配置5.1 場景設定與整體拓撲為了把這個技術講透我拿一個實際項目來做示例。假設有個電商業(yè)務系統后端有三組服務靜態(tài)資源服務圖片、CSS、JS跑在三個Nginx節(jié)點上端口80API服務HTTP接口跑在兩個Tomcat節(jié)點上端口8080管理后臺獨立的Web應用跑在兩個節(jié)點上端口7001還有一個需求出于審計要求管理后臺只能允許內網IP訪問。同時需要把客戶端真實IP傳給后端API服務。這個場景基本把七層代理的常見需求都覆蓋了域名轉發(fā)、路徑分流、IP限制、Header改寫、健康檢查、負載均衡算法。5.2 完整配置與每段含義解析直接上完整配置我每一步都加了注釋和說明global log /dev/log local0 info maxconn 100000 nbthread 4 user haproxy group haproxy stats socket /run/haproxy/admin.sock mode 660 level admin defaults mode http timeout connect 5s timeout client 60s timeout server 300s option httplog option dontlognull option forwardfor frontend web_front bind *:80 bind *:443 ssl crt /etc/haproxy/cert.pem maxconn 30000 default_backend static_pool # 按Host頭識別不同域名 acl api_host hdr(host) -i api.example.com acl admin_host hdr(host) -i admin.example.com acl static_host hdr(host) -i static.example.com # 按路徑識別API acl api_path path_beg /api/ # 管理后臺限制內網 acl admin_net src 10.0.0.0/8 192.168.0.0/16 # 路由決策 use_backend api_pool if api_host OR api_path use_backend admin_pool if admin_host admin_net use_backend static_pool if static_host backend api_pool balance roundrobin option httpchk GET /healthz server api1 10.0.2.11:8080 check inter 3s fall 2 rise 3 server api2 10.0.2.12:8080 check inter 3s fall 2 rise 3 backend admin_pool balance leastconn option httpchk GET /admin/login server admin1 10.0.3.11:7001 check inter 5s fall 3 rise 2 weight 1 server admin2 10.0.3.12:7001 check inter 5s fall 3 rise 2 weight 1 backend static_pool balance source hash-type consistent option httpchk GET / server static1 10.0.4.11:80 check inter 2s fall 2 rise 2 server static2 10.0.4.12:80 check inter 2s fall 2 rise 2 server static3 10.0.4.13:80 check inter 2s fall 2 rise 2 listen stats bind 127.0.0.1:8404 stats enable stats uri /stats stats refresh 5s stats auth admin:yourpassword這個配置里幾個關鍵點需要展開講一下。首先是global段的nbthread 4指的是啟動4個線程來處理請求。注意這個值不是越大越好建議跟機器的物理核數對齊或者略微小于核心數。之前在生產上遇到過一個案例一臺32核機器把nbthread設置成32結果CPU跑滿但吞吐率反而下降因為線程切換開銷過高了后來調整到16才恢復正常。然后是defaults里的option dontlognull這個選項很有用它會讓HAProxy不記錄“健康檢查”之類的空連接日志減少日志噪音。如果不加這個健康檢查產生的刷屏日志會淹沒真正有價值的訪問日志查問題時特別煩。再說到frontend里的bind *:443 ssl crt這是HTTPS終止。HAProxy可以直接終止SSL然后以HTTP方式轉發(fā)給后端這樣后端的應用就只需要處理HTTP請求SSL證書的管理集中在前端一個入口省事很多。正式環(huán)境證書需要注意定期續(xù)期我用的是腳本配合定時任務檢查證書過期時間過期前自動重新加載HAProxy配置。5.3 負載均衡算法的選擇邏輯配置里三個后端池我用了三種不同的算法這不是隨便選的背后各有道理。api_pool用的是roundrobin也就是輪詢每個請求按順序輪流分發(fā)到后端節(jié)點。這個算法適合后端各節(jié)點性能相近、接口耗時相對平均的場景實現簡單、分布均勻度好。admin_pool用的是leastconn最小連接數。管理后臺有個特點用戶登錄后長時間保持HTTP連接會話停留在某臺節(jié)點上。如果還沿用輪詢新建連接會固定散到不同節(jié)點上但舊用戶的連接全集中在一臺機器上就會造成負載不均。leastconn會優(yōu)先把新連接分配到當前活躍連接數最少的節(jié)點對長連接場景非常友好。這里管理員用戶量不算大用leastconn基本是最佳選擇。static_pool用的是source算法加一致性哈希。source算法是按客戶端IP哈希同一個IP的請求始終落到同一臺后端節(jié)點這對靜態(tài)資源來說能充分利用節(jié)點本地緩存緩存命中率明顯上升。加hash-type consistent是為了避免節(jié)點增減時大量請求重新映射。靜態(tài)資源場景下緩存命中率直接影響響應速度和后端壓力所以這個選擇是從實戰(zhàn)出發(fā)的。如果你拿不準該用哪種算法默認從roundrobin開始是比較穩(wěn)妥的。等觀察一段時間訪問日志和節(jié)點負載分布后再根據實際情況調整成leastconn或source。5.4 健康檢查參數詳解健康檢查是負載均衡里絕對不能省略的環(huán)節(jié)。沒有健康檢查某臺后端宕機了流量照樣發(fā)過去用戶的請求直接超時等到你發(fā)現線上問題業(yè)務早就受了損失。配置里我寫了option httpchk GET /healthz意思是HAProxy定期以GET方式請求這個路徑只要返回狀態(tài)碼在2xx—3xx范圍就認為節(jié)點健康。這個健康檢查路徑很有講究建議后端專門實現一個輕量級健康檢查接口這個接口不僅要檢查進程還活著還要檢查依賴的數據庫連接池、緩存連接是否正常。有些團隊直接用首頁當作健康檢查路徑這其實隱患很大——進程還在但數據庫連接池滿了首頁還能返回健康檢查卻誤判為健康流量照樣灌進去直到用戶側真正報錯才發(fā)現問題。再說inter、fall、rise這三個參數。inter是健康檢查間隔我API池設了3秒。間隔太短會增加后端不必要的壓力一個健康檢查請求雖然輕量但節(jié)點多的時候累計起來也很可觀間隔太長又會讓故障感知變慢。生產經驗是2~5秒之間比較合理。fall是連續(xù)幾次失敗就判定節(jié)點故障rise是連續(xù)幾次成功就判定恢復。這兩個參數需要平衡設得太小容易誤判比如節(jié)點一次GC停頓時間稍長觸發(fā)了超時就立刻被摘除影響穩(wěn)定性設得太大又會讓故障轉移變慢。常規(guī)推薦是fall 2~3rise 2~3。5.5 reload與平滑切換HAProxy做大版本配置修改后不需要重啟進程只需要執(zhí)行reload命令。這是HAProxy相比其他同類型工具很省心的地方之一。在systemd環(huán)境下執(zhí)行haproxy -f /etc/haproxy/haproxy.cfg -c systemctl reload haproxy第一行是檢查配置語法如果配置有問題會直接報錯此時不能執(zhí)行第二行。實際生產操作中我通常把這兩句放在一個腳本里先檢查配置語法通過后再執(zhí)行reload。這樣無論誰去操作服務器都不會因為手誤把錯誤配置加載上去導致服務中斷。reload過程的原理是HAProxy主進程會啟動一個新的子進程加載新配置老的子進程繼續(xù)處理已有連接等所有老連接處理完畢后才退出。這意味著reload操作對用戶幾乎是無感知的不會造成在線連接的閃斷。這里有個細節(jié)要注意如果老的子進程有大量長連接一直不關閉它就會一直不退出導致系統里堆積大量殘留進程。這種場景下建議配合timeout server http-keep-alive設置一個合理的超時避免連接無限期占用。6. 高級功能與常見問題排查6.1 會話保持的三種方式HTTP業(yè)務里經常需要把同一個用戶的請求固定分發(fā)到同一臺后端服務器特別是登錄狀態(tài)存在本地內存里的老系統。HAProxy實現會話保持有幾種方式我按推薦程度排序介紹。第一種是基于Cookie插入。HAProxy會在響應里給客戶端種一個帶路由信息的Cookie后續(xù)請求帶上這個Cookie時HAProxy就根據Cookie里的路由標記把請求轉發(fā)到最初處理會話的那臺后端。配置是這樣的backend api_pool cookie SERVERID insert indirect nocache server api1 10.0.2.11:8080 check cookie s1 server api2 10.0.2.12:8080 check cookie s2這種方式的優(yōu)勢是精準不受IP變化影響劣勢是需要后端應用配合Cookie處理有些前后端分離的應用會自己管理Cookie需要溝通排除沖突。第二種是IP哈希就是前面static_pool用過的source算法。只需要配置balance source一鍵生效。缺點是客戶端出口IP如果變化比如4G網絡切換基站導致IP變化會話就會漂移。所以這種方案適合局域網內的B端業(yè)務不太適合移動互聯網場景。第三種是基于Cookie的值做哈希比如按用戶ID字段做哈希。這種方式不需要后端顯式管理路由Cookie但要求請求里有可用的標識字段比如通過hdr(cookie)提取用戶ID。如果用戶清掉了Cookie哈希值就沒了會話也就保不住了。生產里怎么選核心看業(yè)務對“會話丟失”的容忍度。如果登錄狀態(tài)丟失會造成明確損失建議優(yōu)先用Cookie插入如果只是希望同一用戶的靜態(tài)請求盡量落在同一臺節(jié)點上IP哈希就夠用了。6.2 后端獲取不到客戶端真實IP怎么辦這個坑我在排查線上問題時遇到太多次了?,F象是后端應用查看訪問日志時REMOTE_ADDR全是HAProxy節(jié)點的內網IP看不到真實用戶IP導致風控和用戶行為分析的數據全部失效。原因很簡單HAProxy做完代理轉發(fā)之后和后端建立TCP連接的是HAProxy自己的IP不是客戶端IP。要解決這個問題有三個層次的做法。最標準的做法是在HAProxy里開啟option forwardfor讓HAProxy在轉發(fā)HTTP請求時插入X-Forwarded-For頭。后端應用需要配置信任這個頭比如Tomcat的RemoteIpValve、Nginx的set_real_ip_from real_ip_headerSpring Boot也可以通過server.forward-headers-strategyNATIVE開啟。這里有個安全小細節(jié)X-Forwarded-For客戶端是可以偽造的。如果后端不加區(qū)分直接信任會帶來IP偽造風險。所以更穩(wěn)妥的做法是在HAProxy層對源IP做一次過濾只信任從前端代理過來的請求也就是配置option forwardfor except 127.0.0.1或者設定trusted proxies的白名單。我在前面配置示例里用到了header X-Real-IP的寫法就是給指定Header賦值并把原有內容覆蓋掉從源頭上杜絕偽造。6.3 504/502錯誤排查七層代理環(huán)境下最常見的兩類錯誤是502和504。502 Bad Gateway代表HAProxy成功接收了客戶端請求但無法從后端服務器獲得有效響應??赡苁呛蠖藳]有進程在監(jiān)聽端口、網絡不通、后端服務器直接掛了也可能是健康檢查已經標記該節(jié)點宕機但仍有請求被轉發(fā)到一個已經被摘除的節(jié)點這種情況極少見往往是健康檢查配置異常。排查思路一般是這樣先看stats頁面里后端節(jié)點的狀態(tài)是否全部DOWN如果是直接用curl測試后端curl -v http://后端IP:端口/healthz看后端本身能不能通。如果后端本身一切正常再查HAProxy到后端服務器之間是否有防火墻攔截。504 Gateway Timeout則代表后端響應超時也就是說HAProxy已經連上后端服務器、也發(fā)出了請求但后端在timeout server設置的時間內沒返回。這種問題一要檢查后端是否真的有慢查詢或外部接口超時二要看timeout server是不是設置得太短。有個經典案例后端處理圖片上傳大圖片壓縮需要一分多鐘前端界面一直報504后端明明還在正常處理。處理方式是把timeout server從60秒調到300秒問題立即消失。我在生產環(huán)境里還遇到過一個比較隱蔽的問題后端應用在壓測中出現周期性的504排查了很久發(fā)現是數據庫連接池在預熱階段連接建立過慢導致個別請求首次處理超過了3秒的connect timeout。后來把timeout connect稍微調大并讓后端應用啟動時做一次連接池預熱徹底解決了。6.4 統計頁面的正確用法HAProxy自帶的統計頁面是個非常好用的線上診斷工具配置也簡單listen stats bind *:8404 stats enable stats uri /stats stats refresh 3s stats admin if LOCALHOST要注意的是stats頁面必須做訪問控制。不要把8404端口暴露到公網至少要把它綁到內網或本機然后用防火墻限制訪問來源。如果確實需要遠程訪問給stats auth設置強密碼是底線。頁面上最有價值的幾個字段每個后端的Status狀態(tài)UP/DOWN、Sessions Current當前連接數、Response Time響應時間、Session Rate連接速率。排查問題時我一般先看Status字段是不是全UP如果有DOWN的節(jié)點再看是主動下線還是被動檢查失敗然后回到第六節(jié)說的健康檢查邏輯去分析原因。Sessions Current字段如果長時間逼近maxconn上限說明后端擴容已經迫在眉睫或者是負載均衡算法選擇不合理導致節(jié)點分配不均需要結合連接數分布和響應時間一起判斷。7. 性能與安全調優(yōu)心得7.1 內核參數、連接隊列與文件描述符配置層面的調優(yōu)做完了還差系統層面的調優(yōu)。這里我整理了一份常用的內核參數參考清單注意這是基于常見實踐的補充生產環(huán)境還是要先在測試環(huán)境驗證再上線net.ipv4.tcp_tw_reuse 1 net.ipv4.tcp_fin_timeout 30 net.ipv4.tcp_max_syn_backlog 65535 net.core.somaxconn 65535 net.core.netdev_max_backlog 65535 fs.file-max 65536000tcp_tw_reuse和tcp_fin_timeout解決的是高并發(fā)短連接場景下TIME_WAIT堆積的問題。HAProxy做七層代理時每個普通請求都會消耗一個端口和連接請求處理完畢后連接立即關閉會留下大量TIME_WAIT狀態(tài)的連接。如果等待時間去到默認的60秒大量連接資源被占據后續(xù)新連接就會受影響。開啟tcp_tw_reuse后內核可以安全地復用這些TIME_WAIT連接效果非常顯著。somaxconn和tcp_max_syn_backlog則決定了系統在請求風暴下能承載多少未處理的連接請求。HAProxy的maxconn是一個全局限制超出了這個數字的請求會被拒絕這其實是一種保護機制——寧可排不上隊也不能拖著大量連接拖垮整個進程。之前給一個高并發(fā)項目壓測一開始沒有調somaxconn壓測剛開始階段就出現大量連接失敗操作系統的半連接隊列直接滿了。調大之后壓測曲線立即變得平滑。另外必須提到ulimit。HAProxy進程能打開的文件描述符數量直接受系統硬限制約束。在systemd服務里可以通過LimitNOFILE設置[Service] LimitNOFILE1048576這是高并發(fā)環(huán)境下HAProxy啟動之后“莫名”報too many open files時最常見的解法。注意不止systemd的unit文件要改還要同步檢查一下/etc/security/limits.conf里的nofile設置兩邊要一致。7.2 安全加固IP黑白名單與其他防護措施七層代理天然處在一個可以介入安全策略的位置。我這邊至少保留了以下幾類措施。最簡單的是IP封禁。比如某個惡意IP持續(xù)掃描或高頻請求直接在frontend里加一條ACL攔截acl banned_ip src 1.2.3.4 http-request deny if banned_ip比直接在防火墻封禁更靈活的地方在于你不需要動系統防火墻改配置reload一下就生效了還可以配合stats頁面觀察被攔截的請求有沒有降下來。更精細的防護手段包括限制請求速率。HAProxy自帶stick table可以做速率統計backend rate_limit stick-table type ip size 100k expire 30m store http_req_rate(10s) backend api_pool http-request track-sc0 src table rate_limit acl too_fast sc_http_req_rate(0) ge 50 http-request deny if too_fast這段配置的意思是為每個來源IP維護一個10秒窗口內的HTTP請求計數如果超過50次直接拒絕。這個機制特別適合在惡意爬蟲、刷接口攻擊來臨時做快速止血。帶寬防護、單IP并發(fā)數限制也可以通過類似方式實現。當然要注意的是一旦啟用了這些規(guī)則誤殺的可能性也存在。比如公司出口IP可能是公網NAT共享的幾十個人共享一個IP出口如果把閾值設得太低正常同事的請求也會被攔截引發(fā)“上不了系統”的工單轟炸。所以閾值的設置一定要結合業(yè)務實際情況統計一段時間內的訪問分布后再定別拍腦袋。7.3 配置規(guī)范與變更發(fā)布的經驗關于HAProxy配置本身我最后分享幾條實踐經驗。每次做變更前一定要用-c參數做語法檢查這個習慣能攔截掉90%的低級錯誤。配置文件的版本管理要用Git這是最基本的底線這樣任何一次變更都可以追溯是誰改的、為什么改、改了什么。reload之前把當前生效配置備份一次出問題時能用最快的速度回滾。還有一個容易忽略的環(huán)節(jié)HAProxy的知識庫和社區(qū)非常成熟遇到沒見過的報錯先把報錯信息原樣搜索一遍通常都能找到遇到過同樣問題的人。我自己比較偏愛的排查順序是先看stats頁面、再看日志、然后看后端節(jié)點狀態(tài)、最后才看配置和代碼這樣能最大化縮小排查范圍。8. 一條實戰(zhàn)鏈路從壓測到上線最后講一個完整案例。某套電商促銷系統上線前我負責整個入口的流量驗證。當時用壓測工具模擬了1萬并發(fā)客戶端請求直接懟到HAProxy七層代理入口。第一輪壓測的結果很不理想節(jié)點2的負載明顯高于節(jié)點1響應時間也不穩(wěn)定。通過stats頁面看到節(jié)點2的Sessions Current長期高于節(jié)點1于是判斷負載均衡算法可能不均衡但配置里用的是roundrobin啊。仔細檢查后發(fā)現健康檢查里配置的權重沒有對齊節(jié)點2回頭查配置發(fā)現它的server行多了一個weight 2導致流量分配比重是2:1輪詢被權重干擾了。把權重統一改為1之后第二輪壓測負載曲線基本重合。接著又出現了一個新問題壓測過程中大量請求報504。通過查看后端應用日志發(fā)現后端節(jié)點有慢SQL單接口耗時最長的到了8秒。臨時調大timeout server到10秒后504消失但整條鏈路的響應時間依然偏高。最后通過優(yōu)化SQL索引和緩存方案后端耗時降到了100毫秒左右壓測數據才算真正合格。整個過程下來的經驗是性能瓶頸往往不是單一因素造成的代理層、網絡層、后端應用、數據庫可能同時存在隱患。而七層代理作為流量入口恰好是一個天然的“觀測點”通過它你能像看實時交通路況一樣看到每條鏈路的健康狀況然后再順著線索一層層往下查。這也是我一直覺得HAProxy七層代理值得認真對待的原因——它不僅能幫你把流量分發(fā)好更能在關鍵時刻幫你快速定位問題到底出在哪一環(huán)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲免费av观看| 天天久久人人| A1片久久久| 日本丰满久久| 99免费在线| 久久日本wwww色| 天天搞天天色综合| 99精品97| 五月丁香六月婷婷网| 九月婷婷久久| 插插干干干色| 婷婷成人综合| 99热在线99| 色婷婷影院| 婷婷色五月亚洲| 99热亚洲| 天天综合天综合| 久操大屁股女人av| 在线中文av| 久久性爱视频| 亚洲精品久久久久久久久久飞鱼 | 97综合在线| 在线婷婷| 青草视频在线观看视频| 五月天亭亭俺也| 日本黄色精品| 狠狠色噜噜狠狠狠狠综合| 色噜噜伊人| 99国产精品久久久久久久久久久 | 天天做天天双| www色综合亚洲92| 国产成人高清| 午夜 外网 精品 在线| 无码AV久久久久久久久| 五月婷婷69| 9有码中文| 九九亚洲视频| 久久99热 这里有精品| 超碰九热| 91精品久久久久久77777| 婷婷欧美激情综合| 蜜乳AV成人| 五月婷婷啪啪| 久久亚洲色导航| 啪啪日本欧美| 超碰在线91| 亚洲综合新99视频| 99亚洲精美视频在线观看| 综合色色网| 婷婷五六月丁香| www.wuyuetian啪啪| 婷婷综合色五月天| 激情五月婷婷丁香六月| 色五月婷婷丁香凹凸| 人人摸人人| 色婷婷五月开心六月综合| 一起草AV入口| 九九黄色网| 色色色色色色色色色999| 色 噜噜 九月 婷婷| 九九re精品视频在线观看| 天天弄天天爽| 涩九九九九| 开心激情站| 欧美激情综合色综合色| 激情五月丁香婷婷夜夜操| 91蝌蚪窝视频在线| 亚洲激情五月天| 丁香婷婷视频一区二区| 国产在线6| 色色草97| 岛国在线观看91| 99热热这里只精品996小说| 色五月天综合| 久久婷五月天| 99干视频| 九九精品re免费视频| 99爱在线视频| 噜噜噜狠狠色综| 丁香六月亚洲| 好好干Av| 色玖玖综合网| 激情久久丁香| 久久精品日| 亚洲天堂99| 亚洲va成人va成人va在线观看| 人妻性爱| 色玖玖| 婷婷新网址| 久久久久久久人妻| 激情综合网五月丁香| 天天干天天操天天上| 好看的国产精品| 91人人人人人| www.五月天。com| BT综合在线视频观看| 婷婷五月丁香综合亚洲| 成人国产欧美大片一区| 丁香五月综合| 激情丁香五月婷婷| 亚洲午夜AV| 99riAV国产精品视频| 色婷婷五月天小说网| 久久婷婷精品| 91碰在线| 亚洲激情综| 韩国97天堂| 国产精品一区在线观看你懂的| 97性视频| 99热亚洲| 99er日韩| 色欲天天综合网| 热99玖玖99玖玖99九九| 99视频热99| 成人视频网| 中文字幕 码精品视频网站| 九色无码| 亚洲操精品| 怡红院一二三| 深爱激情五月网| 亚洲综合狠狠艹| 五月丁色AV| 亚洲无码播放| 五月天色色激情综合| 夜夜爱伊人| 国产婷婷久久| 九色在线观看91av| 九洲一级A片| 伊人网啪啪| 91干网| 99视频免费播放 | 久久婷婷五月天| 色五月天激情| 激情99| 五月婷婷啪| 久久久久亚洲AV无码网影音先锋| 色色激情网| 亚洲av日韩无码| 26uuu成人网| 97色色色色色| 伊人五月天| www.婷婷.com| 91碰超| av久热| 九九操操| 婷婷五月天激情网| 秋霞九九无码| 超碰AV成人| 91天堂网综合| 综合色五月天| 五月伊人综合| 夜夜做夜夜愛| 国产亚洲色婷婷久久99精品91| 这里只有精彩视| 日韩色色视频www| 天天综合影院| 久久久99视频| 婷婷色婷婷| 青草视频在线观看视频| 色五月开心久久网| 99ri精品视频在线观看| 都市激情五月婷婷综合| 天天天天天久久久久久| 婷婷五月天亚洲| 久re热视频| 激情综合区| 天天搞天天爽| 大香蕉婷婷婷| 五月丁香啪啪激情| 色五月六月婷婷| 婷婷五月天激情基地| 久久久久人妻| 婷婷天堂站| 男女啪啪做爰高潮无遮挡| 91九色偷拍| 九九超日本| 六月丁香av| 激情综合五月激情17| 久久五月网| 五月丁香婷爱在线| www99热| 久碰视频| 丁香八月综合激情| 激情五月婷婷| 五月婷导航| 成人综合视频在线| 日韩久久成人| 超碰在线精品| 亚洲激情免费视频| 婷婷社区五月天| 九九爱激情| 久婷婷五月综合欧美| 啊v视频在线观看| 丁香5月啪啪| 五月婷免费视频| 香蕉网久久| 婷婷五月激情四月综合| www.99热这里只有精品| 黑人糟蹋人妻HD中文字幕| 五月天天综合网色婷婷| 色情·com| 99乱视频| 99热久久这里只有精品| 成人 视频免费观看网站| 狠狠色丁婷婷日日,伊人激情综合网| 99热这里只要精品免费| 天天插天天插| 99日本黄站| 白天AV月月| 天天综合五月天| 97在线视频观看| 五月婷婷精品| 欧美色色色| 色色五月天丁香婷婷| 成人国产欧美大片一区| 伊人激情| 玖玖在线| 91jiuseshunv| 久久成人天| 伊人网啪啪| 91色色五月天| 新久久五月天激情| 久久婷色| AV成人在线播放| 色婷婷五月亚洲| www.久久久久| 日本精品干| 99色色最新视频| 九色自拍| 思思99久久| www开心激情网| 日日操夜夜爽| 五月婷网| 婷婷月综合| 丝袜熟女一区二区三区| 狠狠色激情综合| 婷婷色五月激情| 成人短视频免费| 婷婷五月天AV激情| www.26uuu.com亚洲电影| 色99网| 激情亭亭五月| 91人人爽久久涩噜噜噜| 日韩久久成人| 99re这里只有精品首页| 久热免费视频| 日日操夜夜操狠狠操| 97人人操| 欧美色久| 91九色熟女| 超碰99成人在线| 天天成人综合| 少妇人妻偷人精品无码视频新浪 | 丁香色色色| 99热大| 99久久国产宗和精品1上映| 爱射综合| 色五月婷婷中文字幕在线观看| 婷婷综合五月天| 九月丁香很很色| 天天激情视频| WWW.桔色成人.COM| 九九一综合精品| 婷婷五月综合在线| 99视频自拍| 丁香五月激情五月| 99久久.www| 色五月婷婷色五月| 亚洲操B视频| 九九热99热| av婷婷丁香| 天天操九九插| 六六久久黄色| 五月丁香六月婷婷在线观看| 大香久久伊人网| 久久免费婷婷视频| 久久精品五月| 五月婷婷视频| 六月99天天婷婷激情综合| 国产97色在线 | 日韩| 99热精品超碰| 九九九九国产| 久久久久久久久久8888| 任你爽视频| 亚洲激情无码久久| 中文字幕丰满孑伦无码专区| 久久婷婷在线| 99情色五月天| 9l视频自拍9l视频自拍九色学生| 综合玖玖性爱免费视频| 色色五月婷| 伊人综合网4| 天天色天天操天天射| 狠狠操狠狠狠| 色色色五月天婷婷| 亚洲国产精品VA在线看黑人| 激情黄色小说色五月| 99热国产| 日日色五月天| 中文字幕不卡网站| 亚洲综合五月| 91婷婷| 激情丁香五月| 99这里只有| 人橾人| 五月婷丁香| 99热这里只有99| 99精品偷自拍| 亚洲日日日| 丁香五月婷婷亚洲色图| 日本色婷婷| 男人综合网| 九九色黄色| 久狠狠狠| 天天插天天玩天天干| 激情丰满熟妇五月| 五月婷婷 自拍| 九九热视| 无码网| 影音先锋一区二区资源站| 五月天婷婷久久视频| AV网站免费在线| 人人摸人人摸| 五月丁六月婷| 五月玖玖| 亚洲丁香花五月丁香花| 99久久99九九九99九他书对| 99色一| 中文字幕成| 久久婷婷五月| 丁香五月激情在线| 91丨熟女丨首页| 久久婷婷艹| 99热这里只有精品1025| 色五月aV| av在线激情| 亚洲五月婷婷| 天天干天天拍| 丁香五月天精品| 在线不卡的视频| 在线日韩视频| 深爱激情丁香| 欧美色六月婷婷| 色99视| 91九色首页| 婷婷五月天论坛| 99精品人人| 人妻熟人中文字幕一区二区| 激情综合国产| 日日夜夜综合| 婷婷五月激情网站| 天堂综合久| 99在线精品免费视频| 夜色综合网| 99热热九九| 久久婷婷夜| 国产毛片欧美毛片久久久| 婷婷五月天色播| 亚洲丁香五月天在线视频| 操逼巨乳91| 婷婷激情在线| 成人做爰A片免费看视频| 欧美月久久| 免费视频舔| 婷婷丁香色无五月| 大香蕉综合| 五他月天啪啪啪| 婷婷九九| 深爱激情综合网| 五月丁香六月激情欧美综合| 激情婷婷五月天丁香| 91中文在线| 狠狠狠狠狠狠狠狠| 国产精品久久久久9999小说| 超碰免费成人| 色五月激情五月天| 97操操网| www.夜夜夜| 啪色综合| 五月天色色色网| 99色这里| 亚洲另类婷婷综合| 五月天婷婷激情网| 中文国产五月天| 丁香色色网| 中文字幕成人日韩| 激情五月网站| 五月丁香激情综合网| 免费观看高清无码| 婷婷丁香五月六月激情| 色色色热| 色噜噜狠狠色综| 99精在线| aV直接看| 丁香婷停五月激情综合深爱| 91丨九色丨东北熟女| 99碰网站| 色综合天天| 内射在线CHINESE| 色婷婷久久综合| 五月婷婷丁香网| 亚洲日韩一页精品发布| 色情五月天小说| 久久 天天| 99福利视频导航| 99在线观看这里都是精品| 五月丁香婷草| 综合久久久| 五月婷婷亚洲| av在线免费网站 | 午夜丁香六月婷| 激情久久综合| 丁香五月香蕉| 丁香五月色| 99精品在线观看视频| 婷婷狠狠干| 超碰免费观看| 五月丁香天堂网| 99九九这里有免费视频| 亚洲va在线| 日韩少妇内射免费播放| 狠狠干五码| 成人精品视频99在线观看免费| 色五月婷婷 成人| 久久人人妻| 综合狠狠伊人| 9久精品| 久久视这里只有精品| 97啪啪| 99在线视频精品| 丁香五月AV| 99热99天堂| 日本五月天网站| 久久婷婷六月综合综合| 欧美乱码国产一级A片| 最新日韩久热免费视频看看| 一本色道久久综合狠狠躁小说| 国产操肏网站| 女同激情久久av久久| 综激情网| 99热在线播放| 激情五月天色爱| 99色综合| 久久99免费视频| 日本全黄一级999| 能直接看的av网站| 99色视频在线观看最新| 国产亚洲精品AAAAAAA片| 6080av| 精品日本视频444| 久热这里这里有精品| 人妻体体内射精一区二区| 69er小视频| 色八戒操婷婷| 色婷婷久久综合| 开心六月婷| 荫道BBWBBB高潮潮喷| 新久久五月天激情| 久久精品熟女亚洲AV麻豆| 天天摸色吧天天摸色吧| 9热视频在线观看| 99热在线只有精品| 天天激情| 快乐激情五月色婷婷| 国精产品一区一区三区免费视频| 激情综合色婷婷啪啪六月天| 国产免费av在线| 九九色热| 99热这里只有国产精品| 色婷婷色情| www色色com| 79色色免费| 啪啪六月婷婷| 亚洲电影在线观看| 91狠狠色色丁香婷婷综合久久| AV伊人青草丁香六月| 日韩艹比| 国产成人综合在线| AV色婷婷| 99re6在线视频精品免费| 久久99久久99精品免视看婷婷| 久久五月天影院| 99小视频在线观看| 久久6这里只有精品| 五月天激情婷婷久久| www五月| 开心婷婷五月综合| 激情五月天婷婷久久久久久久久久久 | 免费无码毛片一区二区A片| 色五月婷婷激情基地| 婷婷在线五月天观看| 欧美色五月| 国产欧美性成人精品午夜| 人人搡人人| 五月天婷婷三级黄| 久久多色| 99玖玖精品| 免费99情趣网视频| 超碰精品在线| 久久的爱大香蕉| 思思99热在线| 亚洲激情视频网| 超级碰碰视频无码| 国产人妻777人伦精品HD| 97碰碰视频在线观看| 久噜久噜| 国产无套精品一区二区| 91丨九色丨东北熟女| 天堂爱啪啪| 五月婷婷综合潮喷| 亚洲亚洲人成综合网络| 99操| 色99视频| 婷婷色婷婷| 丁香五月天婷婷激情| 婷婷色五月色妇| 色色A| 超碰国产在线观看| 五月激情六月婷婷| 天天插天天| 色婷婷久久综合久色| 婷婷五月丁香欧洲| 大香蕉人人网| 亚洲成人AV电影网| 岛国AAAV| 播丁香五月婷婷欧美| 大香蕉久久| 五月香婷婷| 丁香五月骚喷水视频| 国产精品色婷婷久久久精品| 久久艹 五月天| 91艹人| 色噜噜狠狠一区二区三区| 成人五月天丁香婷| 丝袜激情网| 男人天堂 久久| 亚洲色模骚货| 日日操夜夜操中国无码| 人人爽亚洲| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 久久久久九九九九视屏小说88| 九九草热在线观看| 成人无码精品1区2区3区免费看| 2018国产大陆天天弄| 一区二区乱码视频| 五月天丁香成人| 操逼123网| 51国精产品自偷自偷综合 | 婷婷五月天国产性感美女演员久久久久| 99热在线免费观看精品| 国产精品天天狠天天看| 天天精品视频在线观看视频| 国产AV成人精品| 激情久久五月天| 婷婷欧美激情综合| 亚洲精品国产成人AV在线| 国产9色在线/日韩| www.婷婷五月| 国产毛片欧美毛片久久久| 无码激情AAAAA片-区区| 丁香色婷婷色手机免费在线| 91a片爽| 色婷婷色丁香色欲av| 丁香97综合| 97久久五月丁香婷婷| 久Se视频在线观看| 五月婷婷熟女| 婷婷五月天伊人| 开心五月网| 99久久综合| 色综合综合综合| 色九月综合网| 天天搡日日搡aaaaⅩ| 久热这里只精品| 久久99久久99精品免视看婷婷| 99热这里只有99| 美女天天艹人人爽| 天天射影视综合网| 五月丁香777| 中文字幕视频在线播放| 99热国产这里只有精品| 激情涩播| 国产av基地| 色色婷婷丁香| 能看的av片| 婷婷五月天激情基地| 婷婷五月天亚洲综合| 26uuu| 国产日产亚系列精品版优势| 狠狠色大香蕉| 色99亚洲| 五月天网站亭亭| 高清不卡一区| 免费超碰在线观看| 天堂爱啪啪| 99色这里| 五月丁香六月婷婷的女人| 丁香五月婷婷大香蕉| 成人丁香五月| 狠干综合| 亚洲精久久| 五月婷av| 激情久久久| 91精品久| av中文在线| 2w在线视频| 色五月天电影| 激情六月婷| 五月婷婷久久综合| 色五月 婷婷, 大香蕉| 99热这里| 亚洲综合色丁香婷婷六月| 成人在线高清| 激情丁香五月| 九九热婷婷| 再綫Av免费視品| 人人干人人操外国| 99热精品在线| 亚洲成人五月天| 99热免费网站| 婷婷综合在线播放| 99燥99日| 国产激情视频在线观看| 噜噜噜精品欧美成人在线观看| 精品网站:999WWW| 蜜桃成语时李时珍 免费| 五月丁香偷拍| 日本成人小说婷婷六月| 五月婷色| www.99热精品99.com| 色综合天天综合成人网| 日韩成人综合网| 97热在线精品| 国产高清视频91九九九久久久| 久久这里只精品66| 97碰在线| www.99热这里精品| 狠狠插狠狠| 色吧婷婷| 精品九九久久| 熟女少妇内射日韩亚洲| 91久久久久久久| 五月婷婷 激情五月| 久热只有这里有精品| 五月天婷婷色情| 色综合久久888| 色婷婷a v| 亚洲AV另类| av网站中文| 亚洲国产精品SUV| 丁香六月婷婷| 国产熟女一区二区三区五月婷| 九九精品re免费视频| 狠狠色性| 性做久久久久久久免费看| 91性高潮久久久久久久久| 丁香五月六月婷婷综合| 热九九九九| 丁香婷婷视频一区二区| 久久久婷丁香五月| 热的无码综合视频| 六月婷婷综合| 伊人网啪啪| 天天操夜夜爽歪歪| 亚洲性爱日韩无码| 米奇激情婷婷| 99热99热在线观看| 青青草原中文字幕| 九九热视频精品2| 丁香五月激情啪| 五月婷免费视频| 五月天久久小说| 桃色成人网| 免费看欧美成人A片无码| 婷婷激情五月| 日本超碰在线| 超碰在线人妻| 久久久ww| 九九大香视频| 亚洲婷婷丁香| 亚洲AV日韩无码| 亚洲另类视频| 99热这里只有精品中文字幕| 五月婷婷婷婷| 看婷婷五月天网| 日本三级中文字幕| 人妻啪啪啪| 激情色播| 亚洲精品又粗又大又爽A片 | 欧洲日韩一区二区三区| 另类丁香综合| 亚洲成人丁香花| ai97re99一本| 超碰操日| 久久色吧| 香蕉大综综综合久久| 日本视频欧美观看免费| 激情婷婷网| 综合激情sV| 久久婷婷激情四射五月天| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | www.五月天婷婷| 日韩在线视频网站| 亚洲欧洲国产精品| 99热婷婷| 国内婷婷丁香社区在线播放| 亚洲综合色丁香五月天| 99国产99| 婷婷综合精品视频97| 大香蕉伊然在亚洲90| 99热这里只有精品首页| 久久狼人天堂| 超碰在线caop| 日熟女| 天天日 天天草| 日韩狠狠色| 涩五月婷婷| 中文字幕无码人妻少妇免费视频| 九热网站| 99热加勒比| 婷婷爱爱蜜臀天天操| 欧美日朝成人| 综合97五月| 日韩av大全| 色噜噜狠狠插综合| 日本色天堂| 九九99精品视频在线观看| 粉嫩AV久久一区二区三区| 人人妖人人97| 97黑人精品区| 国产免费一区二区在线A片视频| 婷婷五月天少妇| 天天天天天日| 97久久久| 激情性五月天免费小说视频| 五月天大香蕉AV| 99色综合| 狠狠干五月天| 久色激情| 成人av在线网址| 99久久6| 丰满人妻妇伦又伦精品国产| 亚洲热久| 激情五月丁香综合蜜桃| 色色网站在线| 六月色婷婷| 深爱激情久久| 操操自拍| 91/九色黑人| 99热自拍| 激情另类综合| 丁香六月婷婷综合欧美| 开心婷婷五月天电影院| 九九99免费理论| 精品无码片| 国产精品第一国产精品| 夜夜干天天操| 无码区婷婷五月花开| 久久久久久五月天| 成人va在线观看视频| 久久大香免费| 婷婷九月久久| 五月丁香影院| 久久综合五月天| 欧州色色| 99日这里只有精品| 另类的婷婷| 久久 婷婷 五月天| 五月天婷婷久草丁香| 五月婷婷视频| 日本天天操| 色色五月婷婷| 五月婷婷六月开心| 9这里只有精品| 另类图片色五月| 五月天久久www| 九九色图| 18久久| 婷婷五月天天| www.91九色| 91久久久久| 中文字幕AV在线播放| 激情五月天婷婷丁香| 日韩欧洲亚洲| 婷婷成人综合| 综合色影院| 久久五月婷婷丁香| 极品另类| 99九九视频| 久热亚洲| 色婷婷成人网| 久色网| 玖玖婷婷五月天| 久久婷网| AV操逼网| 久久9视频欧美| 五月天丁香网站| 夜夜大香蕉婷婷丁香| 久草五月天| 亚洲另类噜噜| 天天爽夜爽| 九九热在线99| 色五月婷婷影院| 久久99激情丁香婷婷小说网| AV中文网| 五月婷婷涩涩爱| 超碰成人黄色网| 亚洲在线免费成人| 狠狠婷婷综合| 五月天丁香啪啪综合| 99自拍视频在线观看| yazhochengrenavwang| 天天色综合综合| 国产精品久久久久9999小说| 综合欧美五月婷婷| 五月激情六月综合| 亚洲中文字幕网| 日本精品人妻无码77777| 操碰色一区就去操| 中文在线视频久9| 97se视频在线| 五月天婷婷日日爱| 色五月色五天色情网| 色欲五月婷婷| 五月亭亭性| 久久东京热婷婷五月| www.久久| 99久久综合| 九月丁香久久网| 亚洲激情| 在线不卡视频| 亚洲 在线 性爱 | 色婷婷影视99| 综合激情专区| 超碰av在线| 嫩草综合网| 五月天婷婷无码视频| 五月婷综合| 久久婷色| 99热精品免费| 九月婷婷人人操人人舔人人爱| 午夜丁香六月婷| 一区二区三区视频| 99这里只有精品在线观看| 激情综合五月婷婷六月丁香| 91热爆在线| 国产做爰视频免费播放| 超碰在线观看caop| 五月婷婷激情| 色吧五月婷婷| 六月婷婷开心| 成人婷婷桔色| 青草视频在线播放| 五月激情综合深爱| 综合久久六月| 久99热在线观看| 五月激情婷婷在线| 丁香五月在线播放| 9久操| 五月婷婷伦理| 五月丁香婷爱在线| 夜夜干夜夜操| 91刘玥视频在线观看| 亚洲一个色| 亭亭五月天成人| 久久九九热视频| 五月丁香婷婷狠狠操| 伊人久久综合| 婷婷爱综合| 青青草激情网| 国内一级片| 91婷婷在线| 99免费热视频在线| 中字幕视频在线永久在线观看免费| 丁香五月婷婷亚洲另类| 婷婷五月激情基地| 婷婷性爱网| 天堂成人A片永久免费网站| 久热AA| 婷婷五月天亚洲综合| caop在线视频| 婷婷五月天首页激情| 99re久热只有精品6在线直播| 日本99在线| 狠狠色综合无线观看| 丁香五月,激情五月,深爱五月| 大香蕉伊在| 丁香五月天激情视频| 五月丁香欧美综合免费视频| 一起草aV| 综合网亚洲| 婷婷五月天婷婷| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 色婷婷综合网站| 婷婷99| 91精品婷婷国产综合| 这里只有精彩视| 欧美日韩欧美| 亚洲精久久| 日日天天干| 五月婷婷六月天| 色香蕉影院| 欧美在线视频免费播放| 五月丁香亚州综合网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 桔色成人官方网站| 99ri精品视频在线观看| 九热视频精品| 99av视频| 色欲久久99精品久久久久久| 国产va在线视频| 六月激情婷婷| 思思视频久久| 99免费热视频在线| 六月丁香停| 激情综合网五月婷婷| 真实的国产乱XXXX在线91| 欧美婷| 激情内射人妻1区2区3区| site:jszngf.com| 亚洲色色色| 色色精品色| 综合激情视频| 婷婷激情小说网| 色播五月网| 超碰在线91| 日本色色色| 亚洲激情综合| AV人人操| 亚州精品色情无码A片| 日本色色图| 五月丁香六月婷| 99熟女| 91操碰| 丁香五月五月婷婷| 五月激情婷婷图片基地| www.丁香五月| 久久久五月激| 日韩AC在线免费观看| 激情五月婷婷综合色播小说| 91国产精品视频播放| 婷婷色激情五月天| 六月丁香婷婷综合影院| 婷婷五月天六月丁香| 国产免费av在线| 婷婷五月天综合AV| 色狠狠综合网| 婷婷伊人网| 丁香五月aV| 99爱在线| 久久五月天婷婷| 大香蕉五月天婷婷| 五月天社区| 天天干天天操天天干天天操天天干天天操 | 亚洲精品99| 天天日日人| 色噜噜丁香| 婷婷香五月天| 97人人操| 99热只有| 日操五月婷| 丁香影院五月综合| 啪啪色区| 思思久久99热| 国产日产亚系列精品版优势| 婷婷五月深爱五月| 欧美日韩国产伦精品日韩人妻一| 激情五月天啪啪| 金桔一区二区ab地址| 夜精品无码A片一区二区蜜桃| 五月综合激情视频| 99久久.www| 色综合区| 色五月天中文字幕| 91欧美日韩| www.99热视频| 六月伊人婷婷| 丁香五月婷婷综合激情哟哟哟| 婷婷久久综合| 色五月丁香总合网| 91a片爽| 日本色99| 丁香五月情色| 玖玖综合色区在线观看| 久碰婷婷视频| 五月激情另类| 青青草网武则天| 欧美成人A片AAA片在线播放| 色五月成人网| 91ncom.色| 亚洲成人影视在线| 婷婷99中文字幕| 欧美天天干五月丁香| 丁香五月婷婷亚洲另类| 99国产精品白浆在线观看免费| 99精吕视频在线观看了| 综合五月草| 久久九九囯产| 天天干天天爽| 九九在线视频| 丁香5月啪啪| 欧日韩成人| 99热传媒| 99久热这里只有精品| 日日舔夜夜操| 九九热只有这里精品| 婷婷色一二三区波多野结衣| 色婷婷九月| 激情综合五| 热久久77777| 色玖玖玖| 国产黄大片在线观看画质优化| 久久九九@| 日本成人小说婷婷六月| 丁香六月婷婷久久综合八月| 久久大香免费| 亚洲精品白浆高清久久久久久| 色99热| 激情五月亚洲综合网| 亚洲九区| 五月婷婷国产| 91|疯狂丨高潮丨对白| 久草婷婷| 五月天婷婷久久| 久色网五月| 丁香五月花婷婷开心| 婷婷综合影院| 丁香五月婷婷社区| 色色丁香| 婷婷五月丁香超碰| 五月成人综合| 色婷婷五月天天天天天天天天天| 亚洲综合视频在线| 超碰京东热av男人的天堂| 亚洲情综合五月天| 51国精产品自偷自偷综合| 超碰国产AV| 欧美va亚洲va在线播放| 粉嫩av懂色av蜜臀av熟妇| 免费看片操逼| 色五月婷婷丁香凹凸| 免费视频WWW在线观看网站| 成人看片网站| www久久久久久久97| 色综合激情| 五月天激情开心网| 操逼福利视频| 很很操96| aaa丁香五月天| 毛片网站谁有| 激情av| 亚洲av成人在线| 大香蕉九九操| 久久国产高潮白浆免费观看99| 色五月色综合| 中文字幕无码人妻少妇免费视频 | 97超碰婷婷五月天| 中文字幕按摩做爰| 免费无码毛片一区二区A片| 国产欧洲欧洲精品久久| 强伦轩人妻一区二区电影| 97操在线视频| 开心五月综合激情网| 日韩人妻无码精品| 五月天激情四射网站| 狠狠操天天干| 婷婷五月成人| 青青草原精品久久| 天天射夜夜骑| 五月丁香花激情综合网| 亚洲精品国产精品乱码不99| 天天热夜夜操| 美女五月天| 五月天婷婷无码| 91成人性爱视频| 可以直接看的AV网站| 色婷婷欧美在线| 99热99这里有免费的精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 狠狠草网| 91精品久久久久久久久久久久| 久草婷| 色综合久久无码| 91干网| 亚洲国产网址| 狠狠色丁香久久婷婷综合五月| av在线激情| 淫视馆aV二区一区| 婷婷激情五月天天天开心| 婷婷五月天激情偷拍| 亚洲激情高潮| 色欲久久久久| 亚州AV超碰人人操| 玖玖热视频| 婷婷五月天亚洲| 秋霞AV淫| 日韩久热| 色色热| 五月天色色无码| AV中文字幕夜夜操b天天摸bb| 91成人看片| 成人做爰A片免费看网站找不到了| 91婷婷五月天综合视频| 狠狠五月综合在线| 婷婷五月花丁香| 色五月色图| 丁香婷婷激情| 婷婷五月丁香青青草在线| 国产.亚洲.欧洲视频在线| 99这里只有精品视频免费| 很很干五月天| 五月亭亭网成人在线视频| 色五月播五月| 五月激情综合网婷婷| 91色干| 六月99天天婷婷激情综合| 大狠狠在线| 欧美精品18| 国产精品久久久久久久久久久久| 有码一区二区三区| 丁香色综合| 丁香五月婷婷亚洲色图| 日韩欧美骚货| 99热都是精品| 五月丁香婷婷综合网| 色情婷婷久久五月天| 色婷婷电影| 可以直接看的AV网站| 97人人看| 色色色色欧美| 狠狠综合久久| 五月综合精品| 在线婷婷| 操人妻AV| 亚洲av无码影院| 五月伊人综合| 欧美婷婷五月天| 色婷婷亚洲婷婷| 蜜桃婷婷狠狠久久综合| 色天天久婷婷| 激情视频综合| 五月婷婷丁香日韩在线| 亚洲色综久久五月| 激情99热| 色婷婷偷拍| 日本V在线观看不卡视频网站| 国产白丝在线一区| 狠狠色噜噜狠狠| 97人妻碰碰中文无码久热丝袜| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 综合激情网五月激情| 色99在线| 粉嫩AV久久一区二区三区| 亚洲婷婷丁香| 天天做天天爱天天搞| 夜夜躁爽日| 在线中文AV| 99熟女| 婷婷香五月天| 亚洲亚洲人成综合网络| 久热AA| 99成人免费热视频| 粉嫩AV久久一区二区三区| xxxx久| 五月播播| 国精产品一区一区三区免费视频 | 日本婷久久| 色婷婷社区| 图片区 小说区 区 亚洲五月| 婷婷射综合| 狠狠狠狠操| 69精品人人人人| 大香蕉伊人久久| 99精品在线观看视频| 国产伦亲子伦亲子视频观看| 免费黄色片子| 五月婷婷五月天| A片天天| www.夜夜操.con| 成人AV在线电影| 99 福利 导航| 婷婷五月色亚洲| 午夜少妇在线观看视频| 色五月xxx| 99日韩| 九九综合| 日韩在线五月天婷婷| 成人无码精品1区2区3区免费看| 天天噜日日噜综合无码| 涩婷婷五月天| 亚洲bt丁香五月天婷婷激情小说| 超碰av在线| 五月婷婷色播视频| 337p大胆噜噜噜噜噜91Av| 91久久久久久久久久| 丁香五月婷中字幕| 亚洲AV日韩在线观看| 亚洲色激婷| 深爱五月婷婷| 久久五月天婷婷视频| 99热最新精品| 丁香激情网| 97丁香婷婷| 婷婷丁香久久| 色婷婷香蕉| 久草五月婷婷| 欧美在线视频99| 欧美天堂婷婷日韩| 亚洲99手机免费看视频 | 五月丁香六月婷婷免费视频| 黄桃AV无码免费一区二区三区| 婷婷五六月丁香| 婷婷精品视频| 4399在线观看免费高清电视剧| 夜夜谢天天干| 日日夜夜狠狠婷婷色| 丁香六月婷婷久久综合| 婷婷五月天成人动漫 | 亚洲国产精品成人免费一区久久久在线观看AAAA | 99ri视频在线观看| 思思精品视频| 国产婷婷综合在线免费视频| 伊人玖玖婷婷| 成人版视频在线观看| 婷婷亚洲欧美丁香五月| www,com,五月色色| 99综合| 狠狠色噜噜狠狠亚洲A∨| www。五月天激情| 丁香五月丐人妻| 青青操avbb| 激情AV中文| 亚洲综合色丁香五月天| 久久久久久久人妻| 亚洲aV写真天天综合网久久| 丁香五月色色婷| 婷婷五月 丁香六月| 国产av天天插天天操天天爽| 久久精品视频99| 色月视频| 超碰免费大香蕉| 久久大香蕉丁香| 婷婷综合激情| 操操操Av| 影音先锋噜一噜| 91狼友视频网页更新| 99热这里只有精品4| 丁香五月婷婷六月丁香| 色之综合网| 日韩无码乱轮| 影音先锋男人女人| 丁香五月综合| 婷婷色av| 欧美在线骚货| 日本高清久| 五月丁香婷婷色播无码| 97精品综合| 色丁香五月天| 天天射综合网天天插| 97精品自拍| 六月婷婷日| 国产欧美熟妇另类久久久| 婷婷五月天av| 婷婷爱综合| 五月婷婷在线短视频| 91.com男女操|