欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Libvio訪問異常排查:403與502錯(cuò)誤從Nginx到后端的全鏈路診斷

Libvio訪問異常排查:403與502錯(cuò)誤從Nginx到后端的全鏈路診斷 1. 先別急著改代碼Libvio訪問異常的整體排查思路做運(yùn)維或者自己折騰過Web服務(wù)的人基本都遇過這個(gè)場景服務(wù)明明已經(jīng)部署好了日志也正常但用戶一多或者某次改完配置頁面上突然打不開瀏覽器里要么來個(gè)“403 Forbidden”要么來個(gè)“502 Bad Gateway”。這兩個(gè)錯(cuò)誤碼一個(gè)是“我有權(quán)不讓你看”一個(gè)是“我背后的人沒理我”看著相似實(shí)際排查方向完全兩回事。我最近就在維護(hù)一個(gè)Libvio視頻管理服務(wù)這個(gè)服務(wù)負(fù)責(zé)把內(nèi)部視頻庫的元數(shù)據(jù)和轉(zhuǎn)碼任務(wù)統(tǒng)一封裝成HTTP接口供內(nèi)部的播放客戶端調(diào)用。剛上線的半個(gè)月里403和502交替出現(xiàn)搞得我一度懷疑是不是代碼寫錯(cuò)了。最后把所有原因一條一條揪出來發(fā)現(xiàn)大部分問題不在業(yè)務(wù)代碼而在一層層網(wǎng)關(guān)、代理、鑒權(quán)和系統(tǒng)配置上。這篇文章我就拿Libvio這個(gè)服務(wù)作為例子完整還原我是怎么排查和修復(fù)403、502的。無論你是運(yùn)維、后端開發(fā)還是自己在家搭了個(gè)小網(wǎng)站遇到同類問題照著這個(gè)思路走大概率能省掉一半瞎折騰的時(shí)間。1.1 403和502到底在說什么要排查問題先得搞清楚HTTP狀態(tài)碼的含義。403 Forbidden的意思是服務(wù)器接收到了你的請求也認(rèn)得你但出于權(quán)限、規(guī)則或身份校驗(yàn)的原因拒絕讓你訪問。注意這里和401不一樣401是“你還沒證明你是誰”403是“你已經(jīng)證明身份了但你沒權(quán)限”或者“服務(wù)器故意不給你”。常見觸發(fā)點(diǎn)包括IP黑名單、防盜鏈規(guī)則、Nginx的allow/deny配置、Token過期、簽名校驗(yàn)失敗、文件系統(tǒng)權(quán)限不對。502 Bad Gateway則完全是另一層意思它表示網(wǎng)關(guān)或者代理服務(wù)器比如Nginx收到了請求但在把請求轉(zhuǎn)發(fā)給上游服務(wù)比如后端API進(jìn)程時(shí)上游沒有返回有效響應(yīng)。你可以把它理解成打電話到前臺前臺幫你轉(zhuǎn)分機(jī)但分機(jī)沒人接或者對方接通后直接掛了。常見觸發(fā)點(diǎn)包括后端進(jìn)程崩潰、超時(shí)時(shí)間太短、后端資源耗盡、Unix Socket權(quán)限不對、防火墻攔截了內(nèi)部請求。這兩個(gè)錯(cuò)誤碼雖然觸發(fā)點(diǎn)不同但排查時(shí)有一條共性原則先確定錯(cuò)誤到底是誰返回的再順著鏈路往下查。我見過不少人一看到403就去改后端權(quán)限代碼結(jié)果后端根本沒問題是Nginx層攔截的也有看到502就重啟后端的結(jié)果重啟之后還是502因?yàn)檎嬲膯栴}出在后端的依賴服務(wù)比如數(shù)據(jù)庫或緩存已經(jīng)掛了。1.2 排查前必備的三件套在開始動手之前先把工具準(zhǔn)備好。我認(rèn)為真正高效的排查離不開這三樣?xùn)|西第一能直接登錄服務(wù)器的終端最好是root或至少能看系統(tǒng)日志和Nginx日志的權(quán)限。第二后端服務(wù)、Nginx的訪問日志和錯(cuò)誤日志并且確認(rèn)它們的輪轉(zhuǎn)策略沒有把歷史日志清得太快。第三一個(gè)能穩(wěn)定復(fù)現(xiàn)問題的請求命令最簡單的就是curl。我習(xí)慣用一個(gè)標(biāo)準(zhǔn)的curl命令保存成腳本出問題時(shí)直接跑curl -v -X GET \ -H Host: libvio.example.internal \ -H User-Agent: Mozilla/5.0 \ -H Authorization: Bearer your_token_here \ http://127.0.0.1:8080/api/video/list加-v是為了看完整請求和響應(yīng)頭手動指定Host、User-Agent、Authorization則是為了盡量模擬真實(shí)訪問。排查期間不要嫌麻煩每改一個(gè)配置就重新跑一次這個(gè)命令觀察響應(yīng)頭變化。很多時(shí)候錯(cuò)誤碼不會告訴你答案但響應(yīng)頭里塞著答案比如Server頭是誰的、Via頭是哪個(gè)代理加的、WWW-Authenticate有沒有出現(xiàn)這些都能幫你縮小范圍。2. 403錯(cuò)誤把“拒絕訪問”拆成四層來看403這個(gè)狀態(tài)碼是我在Libvio上線初期遇到最多的。一開始我以為只要后端接口返回403那就是用戶權(quán)限的問題。后來排查到第三天才發(fā)現(xiàn)同一個(gè)403可能是四五個(gè)完全不同的原因造成的。我把它拆成四層網(wǎng)關(guān)入口層、鑒權(quán)簽名層、業(yè)務(wù)權(quán)限層、文件系統(tǒng)層。每一層的排查方法都不同。2.1 第一步確認(rèn)這個(gè)403到底是誰返回的拿到一個(gè)403先別急著查業(yè)務(wù)邏輯。第一步應(yīng)該看響應(yīng)頭里的Server字段。比如Nginx默認(rèn)返回的403響應(yīng)頭會帶“Server: nginx/1.24.0”如果是后端框架比如Python的Flask或者Go的net/http返回的403響應(yīng)頭一般帶的是后端服務(wù)標(biāo)識。還有一種情況是頁面經(jīng)過了多個(gè)反代你要看Via頭或者X-Powered-By頭。我處理Libvio時(shí)遇到過最迷惑的一次瀏覽器里訪問首頁是403但直接訪問后端端口卻正常。后來用curl打請求頭才發(fā)現(xiàn)403根本不是后端返回的而是最外層Nginx返回的默認(rèn)錯(cuò)誤頁因?yàn)閘ocation規(guī)則里配置了一個(gè)return 403;而那條規(guī)則原本是給某個(gè)已下線功能留的結(jié)果正則匹配范圍太寬把所有/api/路徑都吞了。所以拿到403先確認(rèn)來源真的能省下兩個(gè)小時(shí)。2.2 網(wǎng)關(guān)攔截先從IP黑白名單和Referer防盜鏈查起確認(rèn)是Nginx層返回的403之后最值得優(yōu)先懷疑的就是IP黑白名單和防盜鏈規(guī)則。Libvio當(dāng)時(shí)在Nginx里配過類似這樣的規(guī)則location /video/ { allow 10.0.0.0/8; allow 172.16.0.0/12; deny all; }這條規(guī)則本意是只允許內(nèi)網(wǎng)網(wǎng)段訪問視頻流看起來沒什么問題。但實(shí)際用起來之后我發(fā)現(xiàn)了一個(gè)坑——如果Libvio服務(wù)架在負(fù)載均衡器后面而負(fù)載均衡器沒開透傳真實(shí)客戶端IP那么Nginx看到的“客戶端IP”實(shí)際上是負(fù)載均衡器的IP也就是允許網(wǎng)段內(nèi)的IP。這樣倒還好不會誤殺。但如果你用的是正則表達(dá)式允許列表寫錯(cuò)一個(gè)掩碼或者多個(gè)location嵌套就很容易把本該放行的請求給deny了。防盜鏈Referer校驗(yàn)也是一個(gè)經(jīng)典的403來源。很多視頻服務(wù)會做防盜鏈只允許特定域名來源的請求訪問資源。配置成下面這種valid_referers none blocked example.internal; if ($invalid_referer) { return 403; }這個(gè)配置的坑在于none代表空Refererblocked代表被代理或防火墻抹掉Referer的請求。如果你的請求恰好帶了一個(gè)不在白名單里的Referer或者客戶端用了某些隱私模式導(dǎo)致Referer和預(yù)期不一致就會觸發(fā)403。排查時(shí)建議先用curl直接請求不加Referer看看能否通過如果通過了再逐步加Referer頭復(fù)現(xiàn)。2.3 鑒權(quán)Token過期和簽名校驗(yàn)失敗如果不是Nginx層攔截而是后端返回的403那大概率是鑒權(quán)出了問題。Libvio的接口走的是“臨時(shí)簽名URL”模式每次生成一個(gè)帶expire時(shí)間和簽名的URL。這個(gè)機(jī)制本身沒什么問題問題經(jīng)常出在時(shí)間上。比如生成簽名的服務(wù)器時(shí)間和用戶發(fā)起請求的時(shí)間差超過誤差范圍簽名就會被判無效即使URL還沒過期。我當(dāng)時(shí)遇到的一個(gè)實(shí)際案例是某臺容器宿主機(jī)的時(shí)間比正常時(shí)間慢了兩分鐘但簽名是從另一臺時(shí)間同步正常的機(jī)器上生成出來的結(jié)果用戶拿到URL后立刻訪問被后端判定“請求時(shí)間超出允許范圍”返回403。排查時(shí)我直接看后端日志發(fā)現(xiàn)里面寫的是expire check failed: now - expire 300于是意識到是時(shí)間偏移。除了時(shí)間差簽名校驗(yàn)失敗還常見于密鑰不一致。比如部署新版本時(shí).env文件里的簽名密鑰被重置了舊用戶手里的Token自然全部失效。排查這種問題最簡單的辦法是取一個(gè)已知有效的Token在代碼里跑一次校驗(yàn)看看是密鑰庫不一致還是算法變了。還有就是檢查是否有多個(gè)實(shí)例像Libvio這種服務(wù)我經(jīng)常會在兩臺機(jī)器上各跑一個(gè)后端實(shí)例如果兩臺實(shí)例配置里面的SECRET_KEY不一樣用戶請求被負(fù)載均衡分發(fā)到另一臺上就會偶發(fā)403讓人非常抓狂。2.4 時(shí)間不同步一個(gè)容易被忽略的系統(tǒng)級原因鑒權(quán)簽名校驗(yàn)和時(shí)間相關(guān)所以系統(tǒng)時(shí)間同步是整個(gè)鏈路里看起來不起眼、卻特別重要的環(huán)節(jié)。我第一次意識到這個(gè)問題是因?yàn)長ibvio頁面偶爾出現(xiàn)403而且只出現(xiàn)在中午和下午的特定時(shí)間段。后來我登到服務(wù)器上執(zhí)行date一看服務(wù)器系統(tǒng)時(shí)間比標(biāo)準(zhǔn)時(shí)間慢了近50秒。原來那臺虛擬機(jī)開了節(jié)能模式又沒有安裝NTP客戶端導(dǎo)致時(shí)間累積偏移。解決辦法很簡單安裝ntp或chrony并開啟自動同步# Ubuntu/Debian apt install chrony -y systemctl enable --now chrony # CentOS/RHEL yum install chrony -y systemctl enable --now chronyd timedatectl set-ntp true對于所有依賴時(shí)間戳簽名的服務(wù)這一項(xiàng)必須是上線檢查清單里的固定條目。2.5 403排查的幾條實(shí)操心得搞了這么多次403排查我總結(jié)了幾個(gè)非常實(shí)用的經(jīng)驗(yàn)第一把所有可能出現(xiàn)403的規(guī)則盡量做成“白名單模式”而不是“黑名單模式”。比如Nginx的deny規(guī)則只用來封禁明確要拉黑的IP而不是默認(rèn)拒絕所有流量。白名單誤傷容易暴露黑名單誤傷則是靜默的。第二排查時(shí)一定要保存一份完整的請求頭和響應(yīng)頭至少包括User-Agent、Referer、Authorization、Cookie、Accept。我遇到過用戶訪問403但我自己在服務(wù)器上curl一模一樣的URL卻是200差別只在于瀏覽器會自動帶上Cookie和Referer而我沒有。不要靠猜要看頭。第三后端日志一定要打印“最終拒絕原因”而不是籠統(tǒng)地打印“403”。我在Libvio里是這樣處理的所有鑒權(quán)失敗都輸出一個(gè)結(jié)構(gòu)化的錯(cuò)誤碼字段比如AUTH_EXPIRED、AUTH_SIGN_INVALID、AUTH_IP_DENIED。這樣處理錯(cuò)誤日志時(shí)能快速定位到是哪一段邏輯拒絕了請求。3. 502錯(cuò)誤網(wǎng)關(guān)與后端“失聯(lián)”的五個(gè)高頻原因如果說403是權(quán)限問題那502就更像是“連接問題”。Nginx在作為反代時(shí)如果發(fā)現(xiàn)自己連不上后端、后端連接超時(shí)或者后端返回了非法響應(yīng)就會給客戶端返回502。Libvio出現(xiàn)502的頻率比403低一些但一出現(xiàn)往往就是整體不可用影響更大。我按原因從高到低列幾個(gè)常見的。3.1 502的本質(zhì)代理與上游之間的連接失敗先看Nginx層的502是怎么產(chǎn)生的。Nginx收到請求后需要以proxy_pass配置的地址為準(zhǔn)去連接上游。連接建立后Nginx把請求轉(zhuǎn)發(fā)給上游然后等待響應(yīng)。整個(gè)過程分成proxy_connect_timeout連接超時(shí)、proxy_send_timeout發(fā)送超時(shí)、proxy_read_timeout讀取響應(yīng)超時(shí)三個(gè)階段。只要這三個(gè)階段里任何一個(gè)超時(shí)或者TCP連接被重置Nginx就會返回502。所以排查502的第一步是確認(rèn)后端服務(wù)本身是否可用、是否監(jiān)聽在正確的端口上。我一般直接用curl打后端地址繞過Nginxcurl -v http://127.0.0.1:8080/health如果這個(gè)命令正常再回頭查Nginx和后端的連接問題如果命令本身超時(shí)、拒絕連接那就可以直接確定后端的問題。3.2 后端進(jìn)程崩潰最直接也最容易被忽視的后端進(jìn)程崩潰在業(yè)務(wù)量上來之后特別常見尤其是在進(jìn)程處理到某個(gè)異常請求時(shí)直接panic導(dǎo)致整個(gè)進(jìn)程退出。Libvio后端當(dāng)時(shí)用的是單個(gè)Python進(jìn)程并發(fā)能力有限遇到某個(gè)視頻轉(zhuǎn)碼任務(wù)消耗了太多內(nèi)存時(shí)直接OOM被內(nèi)核殺掉Nginx自然返回502。排查時(shí)先看進(jìn)程狀態(tài)systemctl status libvio-backend journalctl -u libvio-backend --since 10 minutes ago如果發(fā)現(xiàn)進(jìn)程反復(fù)重啟那幾乎可以斷定是崩潰循環(huán)。這時(shí)候不要急著重啟一次應(yīng)該先看崩潰棧和資源監(jiān)控記錄。Libvio后來引入了兩部分修改一是為后端進(jìn)程配置了CPU和內(nèi)存限制避免單個(gè)任務(wù)把整機(jī)拖死二是加入了自動重啟策略比如systemd里的Restarton-failure。如果用的是Docker或Kubernetes這類容器化方案就檢查容器的重啟策略和健康檢查探針。記住自動重啟只是止血真正要做的是找出為什么會崩潰。一個(gè)長期解決不了崩潰原因的服務(wù)就算自動重啟也會把故障變成常態(tài)。3.3 超時(shí)配置從默認(rèn)60秒到分級超時(shí)后端進(jìn)程沒崩潰但Nginx還是報(bào)502這種情況十有八九是超時(shí)配置問題。Nginx默認(rèn)的proxy_read_timeout是60秒。Libvio的某個(gè)接口需要同步處理視頻切片如果文件比較大響應(yīng)時(shí)間可能超過60秒。這時(shí)候Nginx會主動斷開連接返回502但后端可能還在處理任務(wù)日志里沒有異常。用戶看到的只是“頁面打不開”后端卻覺得“我還在干著呢”。解決思路不能是簡單地把超時(shí)調(diào)到很大的數(shù)而是要分級處理。我的方案是對需要長時(shí)間運(yùn)行的任務(wù)把接口改成異步模式——提交任務(wù)后立刻返回202 Accepted客戶端用job_id輪詢?nèi)蝿?wù)狀態(tài)。這樣一來同步接口的響應(yīng)時(shí)間大多能控制在幾百毫秒Nginx的超時(shí)配置就不需要為極端場景妥協(xié)。如果實(shí)在沒法改異步再考慮給特定location單獨(dú)加長超時(shí)location /api/video/transcode/ { proxy_read_timeout 300s; proxy_connect_timeout 5s; proxy_send_timeout 30s; }這里要特別說明proxy_connect_timeout不建議設(shè)置太長因?yàn)槿绻蠖朔?wù)真的不可達(dá)5秒就能發(fā)現(xiàn)問題而不是讓用戶白白等上30秒。3.4 資源耗盡CPU、內(nèi)存、句柄一個(gè)都不能少另一種隱蔽的502是后端進(jìn)程明明活著但資源不夠用。最常見的是內(nèi)存不足導(dǎo)致系統(tǒng)開始大量使用Swap進(jìn)程響應(yīng)變得極慢Nginx讀不到響應(yīng)最終超時(shí)返回502。還有一種情況是文件句柄耗盡后端打不開新的日志文件或數(shù)據(jù)庫連接服務(wù)“假活”。排查資源問題我通常用這幾個(gè)命令# 查看系統(tǒng)負(fù)載和內(nèi)存 top -b -n 1 | head -30 free -h # 查看進(jìn)程打開的文件數(shù) ls /proc/PID/fd | wc -l # 查看TCP連接數(shù) ss -s如果發(fā)現(xiàn)文件句柄數(shù)接近上限ulimit -n的默認(rèn)值經(jīng)常是1024對后端服務(wù)來說太小了就需要適當(dāng)調(diào)高。Libvio后來在systemd服務(wù)單元里明確設(shè)置了LimitNOFILE65535。連接數(shù)方面如果大量TCP連接處于TIME_WAIT狀態(tài)也可能耗盡本地端口這時(shí)候需要調(diào)整內(nèi)核參數(shù)比如net.ipv4.tcp_tw_reuse。3.5 防火墻和Socket連接限制人想不到的“隱形殺手”防火墻導(dǎo)致的502也相當(dāng)常見。很多企業(yè)內(nèi)網(wǎng)的安全策略會限制后端服務(wù)監(jiān)聽端口對外的訪問但Nginx和后端在同一臺機(jī)器上時(shí)走的是回環(huán)地址127.0.0.1一般不會受影響。問題出在 Nginx 與后端在不同機(jī)器上的架構(gòu)里。我遇到過一件特別隱晦的事Libvio的Nginx和后端在兩臺服務(wù)器上中間有防火墻規(guī)則只放行了8080端口。某次安全組調(diào)整后防火墻規(guī)則中的子網(wǎng)掩碼寫錯(cuò)了導(dǎo)致部分后端服務(wù)器的回包被丟棄。結(jié)果就是Nginx能建立TCP連接但收不到后端的數(shù)據(jù)表現(xiàn)為隨機(jī)性502。排查手法是同時(shí)抓包在Nginx服務(wù)器上抓能看到TCP握手成功、但是發(fā)出的請求沒有響應(yīng)在后端服務(wù)器上抓能看到請求確實(shí)到達(dá)了響應(yīng)也發(fā)出了但被防火墻攔了。這種問題不看兩邊抓包很難定位。還有一類502隱藏在Unix Socket的權(quán)限上。如果Nginx通過proxy_pass http://unix:/tmp/libvio.sock;連后端那么Socket文件的屬主和屬組必須允許Nginx進(jìn)程用戶讀寫。我曾經(jīng)因?yàn)橹貑⒑蠖朔?wù)后Socket文件被重新生成為root:root而Nginx以www-data用戶運(yùn)行導(dǎo)致連接被拒出現(xiàn)502。解決方式是讓后端進(jìn)程和Nginx運(yùn)行同一個(gè)組或者直接把Socket權(quán)限設(shè)為0660并確保屬主正確。4. 從前端到后端把異常攔截在發(fā)生之前排查了這么多403和502我最深的感覺是事后修Bug不如事前列好防線。與其天天盯著監(jiān)控不如把日志、健康檢查、預(yù)警機(jī)制做扎實(shí)。這個(gè)部分是我的實(shí)戰(zhàn)精華建議直接抄作業(yè)。4.1 日志規(guī)范與錯(cuò)誤碼上報(bào)Libvio的日志一開始很混亂后端用的是Python標(biāo)準(zhǔn)庫的printNginx日志也沒有統(tǒng)一格式。出問題時(shí)兩邊日志很難對應(yīng)。后來我把整個(gè)鏈路的日志規(guī)范做了一次統(tǒng)一每個(gè)請求從Nginx進(jìn)來的那一刻就生成一個(gè)trace_id放在HTTP頭和日志變量里后端收到后也透傳這個(gè)ID。這樣查問題時(shí)只要拿到用戶的報(bào)錯(cuò)截圖里的trace_id就能在Nginx和后端日志里同時(shí)搜到同一個(gè)請求。日志按天分文件并保留30天同時(shí)接入統(tǒng)一日志采集方便按關(guān)鍵字搜索。后端在鑒權(quán)、數(shù)據(jù)庫訪問、外部請求超時(shí)等關(guān)鍵節(jié)點(diǎn)都打上了結(jié)構(gòu)化日志格式為keyvalue字段包括event、reason、latency_ms、remote_addr。舉個(gè)例子原來后端日志是[2025-04-01 10:00:01] ERROR: access denied現(xiàn)在變成[2025-04-01 10:00:01] levelERROR eventauth_deny reasontoken_expired user_id123 trace_idabc123這樣的日志一眼就能看出拒絕的具體原因而不是只看到一個(gè)干巴巴的“access denied”。有了統(tǒng)一的trace_id體系后我們查問題的速度至少快了一倍。4.2 健康檢查與自動摘除對于502問題預(yù)防的關(guān)鍵是讓網(wǎng)關(guān)不要在“節(jié)點(diǎn)”上硬扛。Libvio用的是Nginx加兩個(gè)后端實(shí)例并且開啟了Nginx的被動健康檢查機(jī)制upstream libvio_backend { server 10.0.0.11:8080 max_fails3 fail_timeout10s; server 10.0.0.12:8080 max_fails3 fail_timeout10s; keepalive 32; }這個(gè)配置含義是每個(gè)后端實(shí)例在10秒內(nèi)如果連續(xù)失敗3次就會被自動標(biāo)記為不可用暫停轉(zhuǎn)發(fā)請求。之后Nginx會定期探測恢復(fù)情況一旦實(shí)例恢復(fù)健康會自動重新加入。這個(gè)機(jī)制能避免請求打到已掛掉的后端上從源頭減少用戶能感知到的502。同時(shí)后端要提供一個(gè)輕量的健康檢查接口app.route(/healthz) def healthz(): return {status: ok}, 200注意這個(gè)接口里不要做重操作比如查數(shù)據(jù)庫或加載視頻元數(shù)據(jù)不然健康檢查本身就變成一種壓力。我曾經(jīng)犯過這個(gè)錯(cuò)健康檢查每5秒查一次數(shù)據(jù)庫數(shù)據(jù)庫慢查詢時(shí)健康檢查也跟著慢導(dǎo)致Nginx以為后端掛了。4.3 常見問題速查表從現(xiàn)象到解決方案我把排查過程中整理出來的經(jīng)驗(yàn)濃縮成一張速查表遇到問題時(shí)按圖索驥就好?,F(xiàn)象可能原因首查命令/工具解決方向直接訪問Nginx返回403IP黑白名單、location規(guī)則誤匹配curl -v查看響應(yīng)頭Server逐層檢查Nginx配置調(diào)整allow/deny和location優(yōu)先級帶Referer時(shí)403不帶時(shí)正常防盜鏈規(guī)則過期或白名單缺失curl -v -H Referer:...更新valid_referers配置同一URL部分請求403簽名密鑰不一致或多實(shí)例部署檢查各實(shí)例SECRET_KEY配置統(tǒng)一密鑰盡量將密鑰集中管理偶發(fā)403且與時(shí)間相關(guān)服務(wù)器時(shí)間未同步date、timedatectl安裝chrony開啟NTP同步Nginx錯(cuò)誤日志出現(xiàn)connect() failed后端端口未監(jiān)聽ss -lntp啟動后端進(jìn)程或修改監(jiān)聽地址后端進(jìn)程反復(fù)重啟OOM或panicjournalctl -u、dmesg定位崩潰棧配置自動重啟調(diào)優(yōu)資源請求超過60秒后返回502默認(rèn)讀超時(shí)太短查看Nginx錯(cuò)誤日志異步化慢接口或?qū)μ囟╨ocation調(diào)大proxy_read_timeout502時(shí)后端內(nèi)存爆滿內(nèi)存不足free -h、top增加資源配置排查內(nèi)存泄漏Unix Socket連接502Socket權(quán)限不對ls -l /tmp/libvio.sock修改Socket屬主和權(quán)限跨機(jī)器部署時(shí)隨機(jī)502防火墻丟棄回包兩端同時(shí)抓包對比修改防火墻策略做連通性測試健康檢查本身變慢導(dǎo)致錯(cuò)誤摘除健康檢查邏輯太重壓測/healthz精簡健康檢查邏輯不查重型依賴這張表不一定覆蓋所有場景但對大多數(shù)由Nginx和后端構(gòu)成的Web服務(wù)來說已經(jīng)能命中至少七成問題。5. 老運(yùn)維給新手的幾句實(shí)在話最后再聊幾句我的個(gè)人體會。這批403和502排查下來我覺得最核心的心法是定位永遠(yuǎn)比修復(fù)重要。很多人看到報(bào)錯(cuò)第一反應(yīng)是用“重啟大法”我也不反對重啟但重啟前至少要留好證據(jù)。在Libvio的日志規(guī)范建立起來之前我做過很多次“盲重啟”結(jié)果就是問題復(fù)現(xiàn)了卻找不到根因白忙一場。另外建議每次修改配置前保存?zhèn)浞莶⑶颐鞔_記錄改動時(shí)間和改動原因。Nginx配置文件最容易因?yàn)橐粋€(gè)多余的空格或者一個(gè)錯(cuò)誤的括號引起大范圍故障。Libvio上線初期有一次修改proxy_pass時(shí)末尾多了一個(gè)斜杠導(dǎo)致路徑被重寫部分接口直接404。你看又一個(gè)錯(cuò)誤碼冒出來了。所以我現(xiàn)在改任何配置文件都會先復(fù)制原文件保存為nginx.conf.bak-yyyymmdd然后執(zhí)行nginx -t驗(yàn)證語法再平滑重載。這套習(xí)慣救了我很多次。最后一個(gè)小技巧如果你剛開始接觸這些排查流程可以從一條命令開始練起那就是curl -v。它會把整個(gè)請求和響應(yīng)的細(xì)節(jié)都擺在你面前。無論問題看起來多復(fù)雜先把這個(gè)命令輸出里的每一行都看懂你已經(jīng)比大多數(shù)只會刷新頁面的人強(qiáng)很多了。403和502看起來嚇人但只要鏈路清晰、日志完整、心態(tài)穩(wěn)住它們不過就是一串進(jìn)入服務(wù)器的HTTP報(bào)文順著拆解就行。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超碰爱爱爱| 色欲日日躁| 99九精品| 激情五月婷婷综合秋霞| 91操碰| 婷婷成人视频| 天天干天天干天天干天天干天天干天天干天天| 思思热久久阴99| 在线超碰91| 亚洲日韩操B| 狠狠色婷婷777| 国产精品久久7777777精品无码| 中海油常州环保涂料有限公司| 婷婷九月丁香天堂丁香天堂| 大鸡巴伊人网| 久久久av久av久片一区二区| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色综合色综合网| 色丁香五月婷婷婷| 丁香五月性| 九九九AAA热视频| 8090在线影视少妇| 日韩性视频| 日韩1区2区| 五月天天天开心激情网| 99九九精品| 五月丁香五月综合欧美| 久久婷网| 99热综合网| 婷婷五月天AV激情| yazhou seshipin| 久热黄色| 久久婷婷内射| 九九干视频| 国产91在线视频| 狠狠爱青青草| 99re在线播放| 国产精品99久久久久久久女警| 五月丁香啪啪网| 亚洲第一综合| 99热在线看| 婷婷五月天综合小说网| 涩涩涩.com| 丁香五月天婷婷久久综合| 久热婷婷| 激情综合无码| 丁香五月天堂| 丁香色婷婷| 日韩精品999| 激情骚五月| 九九色婷婷五月天| 久久婷婷七月丁香| 999热在线观看视频| 大地资源色婷婷视频在线| 五月天丁香婷| 四LLL少妇BBBB槡BBBB| 亚洲网在线观看| 国产精自产拍久久久久久蜜| 一区二区三区四区牛| 91精品国产日韩91久久久久久国模| 色婷婷久久视屏| 九九热精品在线| 新99思思视频| 六月五月天婷婷涩播在线| 亚州美女| 丰满少妇乱A片无码| 五月天激情国产综合婷婷婷| 国产激情综合| 99re在线播放| 人人草人人看| 欧美精品18| 99免费热视频| A久网| 青青草日本亚洲| 九九热视频免费观看| 婷色成人| 另类综合激情| 丁香五月天激情小说| 天天草婷婷五月| 天干干夜夜操| 五月天堂在线| 色婷婷丁香五月综合| 99黄色| 五月丁六月婷| 99操逼| 五月婷婷AV| 亚美欧色影院| 九九精品热播| www超碰| 五月丁香综合激情| 色色色热热热| 国产看真人毛片爱做A片| 国产精品色色| 国产XXXX搡XXXXX搡麻豆| 欧美经典片免费观看大全| 丁香婷婷激情| 91精品激情9| 激情五月黄色| 五月丁香888| 久99精品视频| 一起草无码| 99色热视频| 激情五月天丁香| 99久久久| 天天插天天插天天日| 色五月婷婷少妇人妻| 亚洲中文无码成人| 婷婷五月天第四色| 婷婷丁香五月亚洲17cao| 亚洲无码99| 狼人婷婷综合| 色婷婷色99国产综合精品| 大香蕉人妻| 婷婷五月天丁香| 色婷婷久久综合| 激情六月综合| 538在线精品| 大香伊人久色| 亚洲AV无码成人精品电影| 婷婷五月丁香超碰| 超碰在线国产| 欧美色六月婷婷| 久久开心五月婷婷| 亚洲综合五月天| 欧美久久婷婷| 桃色成人网| 婷婷九月丁香| 五月丁香婷婷人体| 婷婷六月网| 91人妻视频| 99久久国产宗和精品1上映| 综合久久综合久久| 中文字幕激情综合| XX色综合| www.主妇. com| 九九精彩久久| 国产色丁香| 五月天婷婷色播在线网| 亚洲丁香五月天视频| 99热99精品| 五月丁香婷婷综合网| www.色五月| 日日操无码| 伊人玖玖婷婷| 综合五月丁香久久| 99热这里只有免费精品| 丁香九月激情| 婷婷99视频在线| 婷婷人妻激情| 丁香五月天在线观看视频| 婷婷夜夜夜夜| 婷婷九月综合| 亚洲乱码日产精品BD| 超碰免费观看| 色色色色综合网| 亚洲开心激情网| 五月之婷婷| 99九九玖玖| 婷色五月| 国产精品视频网| www.久久久.com| 激情五月综合ì香亚洲| 99精品免费视频| 婷婷五月天激情文学| 91 影音先锋| 9伊人网| 五月五婷婷网| 思思热在线免费视频| 欧美美美女性色视频| 色综合激情| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久色午夜在线导航| 婷婷色五月丁香六月欧美啪| 另类图片婷婷五月天| 9久热在线视频精品| 可以看的av| www亚洲无码| 色九九综合| www.狠狠干com| 伊人www22综合色| 99噜噜噜在线播放| 亚洲国产色婷婷| 欧美日本VA| 久久66成人网站| 六月丁香啪啪啪| 色爽干| 欧美丁香五月| 五月丁激情| 婷婷丁香五月综合激情小说| 国产无套精品一区二区| 一级内射毛片| www.99在线| 丁香五月天啪啪激情综和网 | 激情五月天综合网| 久久天堂婷婷五月| 色五月丁香总合网| 色色婷婷丁香五月天| 欧洲色区| 久久婷婷网| 五月天婷婷影院影院| 婷婷欧美综合| 就去色色五月丁香婷婷久久久| 色色色999| 激情小说 五月天| 啪啪91| 无码人妻一区二区一牛影视| 亚洲激情免费久久| 九九婷婷综合| 97超碰色| 五月天亚洲最大成人| 另类图片五月天| 最近中文字幕大全免费版在线 | 综合久久影院| 激情综合亚洲色婷婷五月| 丁香五月综合激情性爱| 热99色| 久久婷婷六月综合| 五月婷婷啪啪| 欧美天堂婷婷日韩| 色综久久久| 五月丁香综合| 九九婷| 激情五月天啪啪| 激情 婷婷 丁香五月天| 九九热精品| 婷婷va| 婷婷免费无视频| 热久久91| 91人碰| 人妻操在线看| 天天爽人人综合免费7799| 激情av网| 国产精品视频久久99| site:pnnrt.com| 丁香婷婷婷五月综合色情| 思思热在线精品视频网站| 亚洲99热| 亚洲视频操| 日本操逼九九九九58日本操逼| www99热| 美女激情综合| 可以看的AV网站| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 久久成人综合五月天| 五月丁香六月婷综合成人综合| 精品9久| 色亚洲中文| 色色色99| 亚洲色色五月| 79色色色色| 99久久综合| 一逼色综合| 久久五月天婷婷| 老师的粉嫩小又紧水又多A片视频| 五月香婷婷| 人人爱摸视频| 91干网| 日本熟女一区二区| 国产SUV精品一区二区883| 色婷丁香| 91干视频| 大香蕉免费9| 大地资源色婷婷视频在线| 五月天啪啪| 成人在线高清| 狠狠色噜噜色狠狠狠综合久久成人波 | 天天狠天天狠| 99在线精品观看99| 大香蕉五月婷婷| www五月| 无码碰碰| 思思热在线视频99| AA片在线观看视频在线播放| 婷婷丁香成人在线视频| 婷婷激情五月| 久久婷婷五月国产激情综合片| 色五月婷婷综合在线| 91人妻九色大屁股| 五月丁六月婷| 丁香六月成人| 五月婷婷开心爱| 亚洲国产99| 亚洲天堂啪啪| 伊久久婷婷| 日韩一级网站| 婷婷开心五月| 色婷婷播放| 色婷婷亚洲在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲激情免费久久| 五月丁香婷婷色| 六月色婷婷色| 丁香五月天啪啪| 久久久www| 在线观看av网站| 天天干,天天操,天天射| 天天做天天爽| 色www.con| 人人干人人操人人摸| 欧美综合五月天婷婷tin| 五月天色婷婷小说| 国产五月视频| 99热99这里有免费的精品| 伊人在线视频| 人人舔人人色人人高潮| 色婷婷综合网| 亭亭丁香aV| 99在线资源| 婷婷伊人綜合中文| 激情五月,激情综合网| 91av成人| 色婷婷狠狠18| 国产综合久久久777777| 激情五月婷婷| 天堂色婷婷| 日韩操逼大片| 97碰碰人人| 激情四射五月天| 午夜天堂啪啪| 久久久免费精彩视频| 97se在线视频| 日日夜夜婷婷| 超色欲天天| 五月婷视频在线| 91精品丝袜久久久久久久久粉嫩| 中文字幕久久一区二区三区| 色婷婷啪啪综合网| 真实亲子乱子伦高清在线观看| 色婷婷aV四虎| 色色色综合色| 9月色婷婷| www.婷婷五月| 九九99在线观看视频| 超碰免费人人| 五月丁香激情婷婷综合字幕| 六月丁花香啪啪激情欧美| 天天插轮理| 色综合视频在线| 久久这里只有欧美| 丁香婷婷影院| 色五月av| 粉嫩av懂色av蜜臀av熟妇| 激情五月天丁香| 久久婷综合| 99色在线| 国产 码在线成人网站| 综合色久| 5月婷婷综合| 少妇人妻丰满做爰XXX| 天天拍夜夜撸| 天天日天天久久青青| 深爱婷婷色| 欧州婷婷五月天综合| 激情五月四色| 婷婷五月精品中文字幕| 色五月丁香网| 99视频地址| 香蕉久久国产AV一区二区| 极品五月天| Av在线不卡一区| 九九無妻| 超碰亚洲天堂| 久久精品99国产精品日本| 五月丁香欧美综合免费视频| 人操91在线| 涩涩五月天| 色播综合| 无码日本精品XXXXXXXXX | 99爱免费在线视频| 久久午夜丁香| 5月丁香啪啪啪| sS丁香五月婷婷| 免费观看18视频网站| 五月丁香久久久| 婷婷视频在线碰| 天天日综合| 久久精品9| 97人人干人人操| 黄页大全十八禁| 五六月婷婷久久| 色婷婷偷拍| 天天综合网、天天综合色| 无码少妇高潮喷水A片免费| 丁香五月婷婷成人色区| 伊人大蕉香| 婷婷欧美综合| 综合网激情五月天| 黄色AAAAAAA| 激情综合网址| 思思99热在线| 九九99偷拍视频| 9l视频自拍9l九色9l成人| 色天天综合天天综合频道。| 色婷婷8| 五月开心久久| 99在线er热| 不卡在线中文字幕无| 天天天干夜夜夜操| 9 9热这里有精品| www.91在线观看| 丁香五月 综合| 亚洲区在线| 色婷天天| 天天综合五月| 六月婷婷青青青视频| 婷婷丁香小说| 日韩免费乱轮网站| 婷婷九月丁香中文| 丁香婷婷深情五月亚洲| 五月天激情婷婷丁香| 婷婷大乡焦噜噜| 日本色色色| 综合色色色色色色| 日日骑夜夜撸| 伊人大香蕉毛片| 欧美色色色色色色| 欧美极品999| 五月久久丁香| 97在线综合| 五月丁香AV、伊人业余、性色熟妇| 无码九九九九| 五月丁香综合| 天天日日夜夜| 亚洲五月丁| 伊人大香蕉毛片| 亚洲激情视频在线观看| 婷婷五月天亚洲图片| 91色逼| 欧美大片| 99九九在线观看免费| 玖玖在线资源视频| 激情婷婷九月| 大香蕉伊人久久| 岛国AV网| 五月激情视频| 色五月婷婷91在线| 欧美色婷婷| 六月丁香激情网| 99色在线视频观看| 中文字幕+中文在线| 婷婷五月丁香五月| 色婷婷电影网| 六月丁香婷婷网| AV动漫不卡无码免费| 国产日韩精品SUV| 五月婷婷开心五月| 五月丁香六月婷婷综合免| 亚洲精品网址| 成人做爰A片免费看视频| 久久久人妻| 激情五月网站| 六月婷婷激情图片| 综合激情四射一theav| 26uuu最新地址| 婷婷午夜天| 亚洲色婷婷| 1024在线观看免费视频| 久热这里只有| 五月天婷婷激情| 丁香五月激情天AV无码| sewuyuetingtingiii| 国产又黄又爽又色的免费| 婷婷久久精品| 思思久日精品视频| 婷婷五月成人有| 久久久久久久8| 久久思思精品| 狠狠色综合久久久久| 丁香五月婷在线| 超碰在线caop| 99色热综合| 狠狠色色| 久久久精品99亚洲综合| 色五月天丁香| www激情网站| 超碰97人人操| 678五月丁香亚洲综合| 久久五月婷婷开心网| 51国精产品自偷自偷综合| 伊人五月婷婷| 色五月婷婷五月天| 色婷綜合网| 丁香婷婷基地| 欲求不满的人妻| 5月丁香啪啪啪| 1024国产| 另类激情中文| 久久九九网| 丁香五月婷婷五月天| 日本道久久91| 天天天天干| 天天射影院| 伊人在线婷婷草| 色婷婷影院| 色五月开心久久网| 不卡的AV网站| 色婷婷电影网| 99色精品| 五月天另类激情在线| 五月天伊人手机在线播放AV| 热的国产,热的综合,热的有码| 丁香五月天.com| 日本性视频| 国产SUV精品一区二区6| 99热免费| 亚洲另类在线观看| 亚洲成人在线综合| 狠狠高潮精品亚洲1| 色五月婷婷DVD| 亚洲视频在线观看99| 在线另类视频| 中文字幕av久久爽| 成人无码髙潮喷水A片| 色综合婷婷| 五月天色综合| 思思精品热在线| 九九视频热| 天天爽成人综合网站| 67194成I人在线观看线路1| 91丨九色|PRNY熟妇| 亚洲12p| 丁香九月激情| 狠狠五月天| 国产综合色婷婷精品久久| 思思热在线精品视频| 五月丁香六月婷婷在线播放| 婷婷五月天va| 国产日产成人亚洲欧美国产VA| 99爱99操| 99精品97| 久久婷婷人人| 无码九九九九| 六月丁香天堂| 在线成人av播放| 五月丁香 狠狠爱| 色五月,com| XX色综合| 国产AV一区二区三区日韩| 五月天色社区| 国产午夜一区二区三区| 日韩啪啪网| 五月天婷婷成人网| 新激情五月天天在线网| 久久九九免费视频| 亚洲欧洲中文日韩久久AV乱码| 丁香六月无码播放| 思思久日精品视频| 狠狠操性爱av| 婷婷五月图片小说视频| WwW天天干| 激情婷婷五月天伊人在线观看| 蜜臀A∨在线水帘洞| 五月婷婷丁香成人网| 九色视频91| 欧美一级毛卡片无码| 97人碰人操| 九九热免费视频| 国产精品色色| 成人无码精品1区2区3区免费看| 午夜丁香婷婷| 欧美日韩99| 五月丁香色| 97人妻碰碰碰久久香蕉| 免费视频这里只有精品| 99热这里全是精品| 久久只有18视频| 亚洲人人干| 婷婷五月天国产手机在线视频观看| 丁香五月婷婷无码AV| 五月天成人综合| 久久9999| 激情av在线| 99riAv1国产在线观看| 综合激情在线| 色欲丁香| 天天天久久久| 热九九在线| 五月婷婷深深爱爱| 丁香五月婷婷无码AV| 五月天激情综合首页| 久久久婷丁香五月天激情综合| 玖玖爱导航| 婷婷伊人綜合| 五月天婷综合| 九九热av| 五月丁香网av| 逼逼AV| 天天射夜夜骑| 天天爽天天爽视频| 婷婷刺激综合| 色五月综合网| 99热官网| 操逼五月婷婷| 九九美女视频| 9久热免费视频99| 综合色99| 五月婷婷亚洲天堂激情在线| 五月婷综合性中心| 日本久久爱| 九九热免费视频| 99久久婷| 五月婷丁香| 成人做爰高潮A片免费视频 | 天天做天天爱天天爽| 成人午夜天| 色五月,com| 99久久婷婷五月| 影音先锋男人资源站一区二区| 91久久综合亚洲鲁鲁五月天| 激情另类综合| 日本va视频| 成人色五婷婷| 九九激情综合| 99噜噜噜在线播放| 五月婷婷黄网站大全| 六月婷婷网| 色人久久| 深爱五月中文字幕| 影音先锋777xfplay色资源网站| 超碰在线超碰| 九九热最新| 精品亚洲国产成AV人片传媒| 97干在线免费| 大香蕉久热| 激情五月开心五月在线视频| 丁香六月高清视频| 吉澤明步Av一區二區| 久久丁香五月婷| 欧美日本黄色| 99热久久这里只有精品| 91美女啪啪| 啪啪婷婷五月天激情| 久久66er久久| 激情网五月婷婷| 少妇性按摩无码中文A片| 99综合免费视频| 色伦专区97中文字幕| 中文字幕久久婷九女同| 丁香婷婷基地| 天天艹夜夜爽| 人人播| 久久激情五月| 99@久久@99精品视频| 玖玖午夜视频| 国产日批视频| 六月婷婷五月天| 丁香五月婷婷六月| 五月成人丁香av91| 国产精品人妻在线网址| 天天日天天插天天操| 婷婷丁香激情五月天色色| 激情中文在线| 日日夜夜狠狠| 中文网婷婷字幕婷| 五月婷在线| 色婷婷五月综合激情中文字幕| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 五月婷婷在线网站| WWW免费视频碰碰碰碰| 99热官网| 婷婷久久五月天中文字幕在线观看| 六月丁香啪啪| 国产成人+亚洲+欧洲| 婷婷五月天影院| 亚洲狠狠色丁香婷婷综合久久| 久碰婷婷视频| 五月婷婷综合色拍| 九九这里是免费的视频5| 亚洲亚洲人成综合网络| 天天综合五月天| 五月天激情网址| 婷婷玖玖五月天| www激情| 91刘玥视频在线观看| 五月丁香六月婷婷综合在线| 日本熟女内射| 久久婷婷五月| 九月丁香婷婷网| 超碰人人在线| 婷婷五月天激情基地| 精品色| 亚洲中文AV网站| 色情五月天小说| 99热在线这里| 亚洲超碰在线| 色噜久| 五月色 亚洲| 久久婷婷丁香| 婷婷在线中文字幕| www.久久99| 久久一热| 色五月激情网| 激情九月天天天天婷婷| WWW激情五月天| 狠狠综合久久| 潮汕成人AV片在线| 五月丁香综合激情在线观看| 国产这里只有精品| 久热一区| 99久热在线精品| 激情丁香五月天图片| 99色视频| 亚洲免费99| 天天色综合网吨吧| 99热在线看| www色婷婷com| 26uuu欧美亚洲日韩| 婷婷伊人网| 婷五月天| 777丁香六月青青草婷婷综合久月| 成人五月天丁香| 影音先锋五月婷婷| 激情宗合哪里能看| 久久超视频| 丁香五月天成人| 99热福利| 天天综合色丁香| 国产操B| 91碰碰碰| 99成人| 超碰97在线观看免费| 婷婷偷拍网| 色久丁香五| 丁香色婷婷色手机免费在线| 色热久资源| 丁香婷婷九月| 久草 tingting| 好好日激情五月天| 久久五月婷| 婷五月天丁香婷五月| 婷婷激情五月天色| 五月天伊人网| 色婷婷狠| 久热这里只有精品6| 天天操天天插| 亚洲九区| 婷婷娌伦网| 欧美人人草草| 亚洲色激婷| 婷婷激情五月综合| 婷婷五月天AV在线| 无码任你操| 超碰av在| 久久五月视频| 日韩九区| 久久婷婷五月综合啪| 日日插日日干| 天天日天天肏天天奸| 琪琪理论片| 97人妻碰碰中文无码久热丝袜| 综合色色综合| 天天日天天爱天天噪| 欧美午夜乱妇午夜福利| 狠狠操之狠狠操| 久久久97| 亚洲欧洲一二| 久久久久久综合五月婷婷| 色婷婷在线视频| 综合久久99| 五月丁香琪琪| 五月激情婷婷国产精品久久久久久| 天天橾夜夜爽| seav天堂| 美女100%露全身无挡网站| 天天爱天天操| 亚洲AV成人在线| 9久热在线视频精品| 五月天婷婷激情网| 99久久激情视频| 97人人干人人操| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月综合激情| 久久婷婷成人视频| 人人爱操| 婷婷五月天奸女| 久久婷婷综合国产| www.久久久久久久久久久| 五月丁香六月婷婷亚洲视频| 婷婷丁香综合网| 狠狠五月丁香色婷| 婷婷综合网站| 99热99成人| 五月丁香六月婷婷久久| 久久久91| 丁香婷婷五月天激情四射| 91互操| 日日日日日| 99精品高潮| 五月丁香成人小说| 久久嘟嘟丁香| 五月六月伦理| 色综合av超碰| 九九视频在线观看| 久热精品在看| 五月婷婷综合丁香视频| 六月色婷婷综合影视| 噜噜色婷婷| 久久9热综合| 五月天另类小说| 强奸幻女毛片| 欧美成人色婷婷| 91窝窝| 五月天婷婷成人| 五月婷婷亚洲色图| 久热免费| 99碰| 色噜噜狠狠色综合网| 国产免费av在线| 五月婷婷激情日本| AV动漫不卡无码免费| 婷婷久久99| 婷婷色啪| 亚洲中文字幕AV| 久久久久婷婷| 五月丁香六月婷婷网| 在线日韩视频| 婷婷成人五月天| 亚洲综合视频天天精品| 噜噜在线| 五月丁香AV、伊人业余、性色熟妇| 国产毛片精品一区二区色欲黄A片| 99热精品一区| 国产性爱在线| 亚洲第一视频 久久| 色五月美女| 岛国AV网| 亚洲无码www| www.色婷婷.com| 久久久久网站| 91狠狠综合网| 狠狠操狠狠爱| 97色婷| 激情综合网激情五月网 | 九九综合九色欧美狠狠| 九九视频这里只有精品| 九草性爱| 日本啪啪网| 在线视频你懂得| 五月激情综合网| 深爱激情四射| 丁香五月婷婷社区| 欧美激情综合色丁香婷婷五月天| 看逼中文字幕| 成人网在线视频| 超碰人人干| 我爱大香蕉| 亚洲狠狠婷婷综合久久久| 色色色色色色综合网| 五月天综合影院| 狠狠久久婷婷| 婷婷五月香蕉| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 亚洲精品无码一区二区| 亚洲激情综合五月婷婷啪啪| 国产亚洲99久久精品熟女| AA丁香综合激情| 婷婷中文在线| 久久人妻视频| 婷婷丁香激情| 91久久九色| 五月天成人综合| 五月婷婷丁香啪啪| 亚洲乱码日产精品BD| 色播五月丁香| 2016日日夜夜操| 一起草AV| 亚州视频九九99| 色色97丁香婷婷五月天| 97色女人在线| 久久99热这里只有精品首| 日本人妻伦在线中文字幕 | 亚韩在线视频| 日本女天天爽| 香港九九六区八区99| www.色五月| 91热在线| 777影视理论片大全在线观看| 日韩操逼小电影| 黄色一级影片| 天天做天天爱| 综合久久五月| www.综合久久| 99久在线精品99re8| 99re思思热这里| 日本九九九九九九| 狠狠干综合| 免费试看小视频 99| 91综合在线观看首页| 97久久视频| 夜夜夜叫天天天做| 中文字幕网站在线观看| 激情五月丁香五月| 五月天玖玖狠狠色色| 九月婷婷综合色干| 翔田千里 50岁 无码| 国产va在线视频| av五月丁香| 玖玖婷婷五月天| 色婷綜合网| 色色色色色五月| 色婷婷五月在线| 欧美va| 成人人操| 99热这里有精品| 开心五月色婷婷综合开心网| 开心五月婷婷婷美女| 欧洲色| 日韩色五月| 激情六月丁香| 久久9热好| 六月色婷婷| 五月天婷婷六月激情网| 精品日本视频444| xxxx久| 五月婷婷色丁香| 日韩国产在线免费观看| 97干在线| 日韩三级高清无码| 噜噜色五月| 丁香五月婷婷www..com| 9久久久久| 激情WWW| 麻豆雪千夏| 超碰在线看| 天天日夜夜拍| 天天噜天天插| 超碰在线资源| 婷婷五月丁香香蕉| 久热这里只有精品在线| 色婷婷久久综合| 99视频| 婷婷五月丁香91| 久久九九99字幕| www.99热精品| 九九Av| 99热色精品| 色9色| 大香蕉人人人| 国产伦亲子伦亲子视频观看| 色综合激情| 男人天堂伊人五月丁香| 天啪色| 婷婷五月天在线观看| 99激情视频| 一區四區歐美日韓| 成人网在线视频| 色9999日韩国产| 欧美色性色好| 六月综和久久| 婷婷丁香五月天影院 | 五月六月丁香激情| 99惹| 色播播婷婷| 在线播放人妻| 五月丁香无码| 战争与艾拉电影免费观看| 97在线精品| 亚洲无码免费看| 五月激情视频| 五月天成人网在线观看| 久色成人| 婷婷午夜丁香| 婷婷五月综合免费在线| 狠狠操狠狠爱| 国产精品色婷婷99久久精品| 婷婷五月久久| 五月丁香啪啪| 亚洲av网址| 搡BBBB搡BBB搡五十| 亚洲五月天婷婷| 99久久思思| 97碰碰在线看视频免费| 四色五月婷婷| 人妻AV在线| 五月天激情四射网站| 精品皮股午夜AV| 丁香九月综合| 丁香五月婷婷亚洲天堂| 国产又黄又爽又色的免费| 热99精品视频五月| 激情婷婷综合五月少妇| 日本激情ⅩXX免费视频| 97色天堂| 91丁香色五月| 天天色情站| 99ri精品| 伊人五月天在线| 婷婷综合网伊人| 超碰狠狠操| 色婷婷AⅤ| 草草色情综合网| 久久五月天婷婷| 激情五月丁香六月综合AVXXXX| 国产成人va在线| 色噜噜狠狠色综| 五月天婷婷社区久久综合| ztEJj| 五月丁香六月婷| 色色色婷| 六月丁香激情网| 激情五月婷婷伊人| 免费AAAAA网| 久久久久久久久久91| 1024欧美看片| 国产亚洲精品AAAAAAA片| 婷婷五月丁香综合| 天天爽天天干| 26uuu欧美激情另类| 国产va在线视频| 五月婷婷六月丁香| 久久九九国产| 五月丁香婷婷伊人日韩| 国产日韩精品SUV| 亚洲激情五月| 99精品热视频| 久久久天天啊| 99综合激情久久精品久久| 秋霞学生妹一二级| 久久XX| 玖玖在线| 极品九九九九九九| 丁香亭亭激情四射| av久热| 婷婷五月色天| 婷婷五月天男人影院色色网| 天天狠狠插| 色五月综合网| www99在线观看视频| 狠爱婷色| 五月色亭丁香| tingtingcaobi| 无码AV久久久久久久久| 亭亭玉月丁香| 九九综合| jiZZdr| 九九精品在线观看视频6| 激情图片婷婷| 欧美大奶熟女噜噜噜噜| 五月天啪啪| 午夜成人AV在线| 久婷久婷| 激情 婷婷| 91精品视频男人的天堂| 无码AV大香线蕉伊人| 日韩艹比| 香蕉人妻AV久久久久天天| www五月| 97操碰视频| 久9视频免费播放| 九九色热| 五月丁香婷婷成人网| 婷婷激情五月综合丁香社| 天天日日天天| 天天爽天天爽天天爽天天爽天天爽| 4399成人黄A片| 99热日本精品| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | www网站在线观看| 91人妻九色大屁股| 四川BBB搡BBB搡多人乱亂| 97人人干| 狠狠操狠狠爱| 欧美99热| 久久九九免费视频| 九九色热| 99精品在线观看视频| 综合色色网| 成人AV免费观看| 99热这里都是精品| 色婷婷五月在线| 狼人狠狠操| 伊人久久大香蕉网| 婷婷色色婷婷| 久久精品亚洲一级牲爱综合| 色婷婷综合网站| 色丁香五月婷婷在线| 亚洲丁香五月在线观看| 婷婷激情六月天视频| 丁香五月,激情五月,深爱五月| 色婷婷丁香中文在线播放| 五月婷婷伊人久久| 色婷婷五月网| 五月婷婷婷自由综合| 色播丁香婷婷五月激情| 五月丁香色婷婷综合| 五月婷丁香亚洲| 婷婷五月天另类网站| 成年人99热| sewuyuejiqingwang| 婷婷天天综合| 色射婷婷五月天| 99热成人在线观看| 婷婷六月天激情影院| 丁香六月天婷婷开心综合| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 开心五月丁香综合久久| 五月丁香婷婷六月天| 婷婷五月天激情亚洲小说| 思思热久久婷婷五月天| 五月开行婷婷色五月| 五月激情婷婷六月| 丁香五月天在线观看| 99热只有| 九九AV在线| 丁香六月婷婷久久综合| 日日噜噜夜夜狠狠久久丁香六月| 天天骑天天操| 婷婷在线播放| 欧美成人猛片AAAAAAA| 男人大jjc女人免费视频| 色情网综合| 久久九⑨| 夜夜大香蕉婷婷丁香| 婷婷五月无码| 婷婷色啪| 欧美色狠婷久| www.爱操com.| 久久性爰视频这里只有精品| 可以看的AV网站| 狠狠色五月| 色五月激情综合网| 99re思思热久久| 丁香五月天激情| 性生生活大片又黄又| 伊人网色婷婷五月天| 久久资源综合| 久99热在线观看| 97精品在线| 操碰99| 台湾综合丁香五月蜜桃| 九九一综合精品| 婷婷五月天天aV| 五月婷无码| 这里只有精彩视| 95精品区一区二| 丁香五月天在线直播观看| 色情综合| 99rewww| 精品人妻一区二区| 婷婷中文字幕| 丁香婷婷五月色成人网站| 亚洲AVDVD| 久久开心五月天激情| 夜色爱爱亚洲| 五月婷色激情五月| 大香蕉在九| 五月天欧美 另类小说| 91欧美| 色综合xx| 国产精品美女久久久久AV超清 | 99精品网| 久色五月婷婷综合| 五月开心播播网| 立川无码av| 婷婷激情四射| 欧美99| 日韩久久色| 婷婷五月18永久免费网站| 99热首页| 五月天婷婷激情四射综合| 开心深爱激情网| 岛国资源站| 人妻久久久久久| 啪啪综合网| a级毛片一区二区免费视频| 色情开心五月| 激情五月天久久丁香| 婷婷狠狠五月综合| 精品五月天| 婷婷五月天激情小说| 极品人妻XXXXOOOO| 五月久久| 大香蕉520| 婷婷色五月久久| 五月成人天| 97av在线视频| 任你躁XXXXX麻豆精品| 综合激情sV| 性色人人爽| 五月天精品综合在线| 狠狠狠色激情综合适合| 99久久婷婷| 欧美成人在线观看| 色99无码| 久久五月婷婷电影| 丁香五月激情月| 51国精产品自偷自偷综合| 99热这里有精品| 91九色PORNY肉丝在线| 婷婷五月天综合久久| 丁香五月色播中文在线播放| 激情五月六月婷婷| 五月天婷婷视频| 潘金莲AAAAAAAAAA| 91热网址| 人人人人人人人人人草| 五月丁香在线婷婷美女| 久久色婷婷| 99视频在线观看地址| 人人操人人看97干| w婷婷五月婷婷w| 丁香五月婷婷色五月| 夜夜爱网站| 亚洲精品视频在线播放| 90色免费视频| 五月天婷婷激情在线色图| www.婷婷网| 婷婷色五月丁香六月欧美啪| 99久久激情视频| 中文AV网站| 草草操操| 亚洲狠狠操| 中文字幕AV网址| 婷婷五月成人| 激情熟女网| 国产精品久久在线观看技巧| 婷婷天天婷婷天天澡| AV人人操| 97超碰99热99| 那里有AV网址| 久热视频这里只有精品| 性爱视频久久| 久久99jiu9| 五月丁香在线视频观看| 九九九九这里只有精品| 思思热在线视频精品| 丁香五月色色婷| 99热在线爱| 五月天综合在线观看视频| 五月婷丁香| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷五月成人| 欧美激情-区二区三区| 欧洲激情网站| 日日天天干| 五月综合激情网| 成人在线高清| 五月婷久久| 久久五月天视频| 国产黄色在线观看| 五月天婷婷av| 久久这里99| 五月婷婷激情| www.婷婷五月.com| 婷婷欧美激情综合| 久久婷婷视频| 99精品国产在热久久| 婷婷爱爱蜜臀天天操| 欧美va亚洲va在线播放| 99久久婷婷国产综合| 99caobi| 五月丁香怕啪啪| 婷婷五月色惰| 激情五月天天| 激情五月婷婷丁香六月| 草逼大片| 少妇大叫太大太粗太爽了A片| 色婷婷久久综| 亚州性爱99| 五月香婷婷| 色欲久久久久久综合网综合网| 26uuuu精品一区二区| 91色久| 天天综合网~91| 五月天色婷好好| 五月天婷婷綜合院|