欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

15個API調(diào)用高頻錯誤:從內(nèi)存泄漏到異步超時的排查指南

15個API調(diào)用高頻錯誤:從內(nèi)存泄漏到異步超時的排查指南 做后端這些年我最怕的不是業(yè)務(wù)邏輯復(fù)雜而是那些看起來平平無奇的第三方API調(diào)用。它們藏在你代碼里的任何一個角落平時靜如處子一旦線上流量上來立刻教你做人內(nèi)存飆紅、線程池打滿、響應(yīng)一個比一個慢。更折磨人的是你翻半天日志異常信息要么根本沒有要么跟事故現(xiàn)場八竿子打不著。這篇文章就是我從一堆API調(diào)用事故里挑出來的精煉復(fù)盤——15個出現(xiàn)頻率最高的使用錯誤每個都給你講明白背后的原因、現(xiàn)場長什么樣、怎么解決以及真出事的時候怎么快速定位。內(nèi)容覆蓋內(nèi)存泄漏、異步傳輸異常、連接管理、序列化、冪等性、重試策略這些高頻雷區(qū)適合所有寫業(yè)務(wù)代碼時經(jīng)常跟RESTful API、消息隊列、第三方SDK打交道的開發(fā)者。1. API使用錯誤為什么總是防不勝防1.1 錯誤的本質(zhì)不是不會調(diào)而是生命周期管理不到位先說個結(jié)論絕大多數(shù)API調(diào)用錯誤并不是因為你不會調(diào)API而是對一次調(diào)用從生到死的完整鏈路缺少掌控。一次普通的HTTP請求涉及的東西遠(yuǎn)不止發(fā)出去、收回來這兩步——連接怎么建立、響應(yīng)流什么時候關(guān)閉、超時誰來兜底、異常往哪拋、回調(diào)在哪個線程跑、內(nèi)存里的響應(yīng)體何時釋放這些環(huán)節(jié)只要有一個疏忽線上就會積累隱患。我見過太多代碼把API調(diào)用當(dāng)成一次性買賣new一個客戶端對象發(fā)起請求拿到結(jié)果然后……就沒有然后了。對象沒人關(guān)流沒人關(guān)異常沒人理。短時間看不出問題連續(xù)跑幾個小時或者流量翻倍內(nèi)存就肉眼可見地往上爬。這種問題最坑的地方在于它不是立刻爆炸而是慢慢爛掉等你去查的時候現(xiàn)場早就被各種無關(guān)日志淹沒了。所以這篇文章的底層思路就一條把API調(diào)用當(dāng)成一個有生命周期的完整事務(wù)來管理。連接、請求、響應(yīng)、異常、資源釋放、數(shù)據(jù)轉(zhuǎn)換每一個環(huán)節(jié)都要有明確的歸屬和兜底方案。下面這15個錯誤本質(zhì)上都是生命周期某個環(huán)節(jié)掉了鏈子。1.2 事故的三級跳從偶發(fā)超時到服務(wù)不可用根據(jù)我的觀察API濫用引發(fā)的事故幾乎總是沿著同樣的路徑發(fā)展。第一級偶發(fā)超時和零星報錯。日志里偶爾出現(xiàn)TimeoutException、Connection reset但重試一下就好了沒人當(dāng)回事。第二級內(nèi)存和線程資源告警。隨著流量上來內(nèi)存曲線變成鋸齒狀線程池活躍度居高不下GC越來越頻繁。這是資源泄漏的典型信號。第三級連鎖故障。某個依賴服務(wù)的API徹底不可用線程池被打滿新請求全部排隊最終整個應(yīng)用假死。你發(fā)現(xiàn)沒有第一級出現(xiàn)的時候其實才是最好修的時機(jī)。但絕大多數(shù)團(tuán)隊都會拖到第三級。下面這些錯誤每一個都可能成為引爆第二級和第三級的導(dǎo)火索越早處理越好。2. 內(nèi)存泄漏歸檔四個最常見的隱形殺手2.1 錯誤一只調(diào)用API不關(guān)閉響應(yīng)流這是Java系和Python系新手最容易踩的坑而且?guī)缀趺刻於加腥瞬?。起因很簡單很多HTTP客戶端庫在發(fā)起請求后返回的響應(yīng)對象底層是持有一個輸入流的這個流承載著網(wǎng)絡(luò)連接。你不關(guān)閉它連接就永遠(yuǎn)無法歸還給連接池最終還是撐爆進(jìn)程的文件描述符。舉個最典型的反例// 反面教材 HttpClient client HttpClient.newHttpClient(); HttpResponseString response client.send(request, BodyHandlers.ofString()); String body response.body(); // 看起來是拿到了字符串實際上底層InputStream沒關(guān)這段代碼在Java 11的HttpClient里BodyHandlers.ofString()看似已經(jīng)把流讀干凈了但底層socket通道依然占用著。真正嚴(yán)格的做法是用ofInputStream()配合try-with-resources或者顯式關(guān)閉。Python的requests庫沒有這個問題因為它在底層幫你做了清理但如果你用的是requests的流式響應(yīng)# Python里流式響應(yīng)不主動關(guān)閉連接也會泄漏 resp requests.get(url, streamTrue) data resp.content # resp.close() 忘了調(diào)解決方案其實就一句話凡是能返回流的API必須保證流的關(guān)閉時機(jī)與你使用它的生命周期嚴(yán)格對應(yīng)。Java系優(yōu)先用try-with-resourcesPython優(yōu)先用with或try/finally。提示判斷你有沒有犯這個錯最直接的辦法是看線上日志里有沒有大量Connection reset by peer、Too many open files。這兩個報錯十有八九是響應(yīng)流沒關(guān)。2.2 錯誤二長生命周期對象持有短生命周期引用如果說關(guān)流是新手坑那這個就是老手也容易犯的經(jīng)典錯誤。場景通常是你在一個長期存活的組件里比如單例服務(wù)、全局管理器持有一個Map或List把API響應(yīng)結(jié)果或請求上下文往里面塞但用完之后忘了移除。舉個我實際排查過的案例某系統(tǒng)的網(wǎng)關(guān)層為了緩解下游壓力把外部API的響應(yīng)按請求參數(shù)緩存到一個靜態(tài)ConcurrentHashMap里。參數(shù)組合是無窮的緩存卻從不清理上線兩周后堆內(nèi)存直接爆掉。我當(dāng)時做dump分析發(fā)現(xiàn)這個Map占用了堆內(nèi)存的68%。解決這類問題有兩種思路如果緩存是必要的必須引入淘汰機(jī)制。最簡單的用一個固定容量的LRU容器或者給緩存加TTL配合后臺任務(wù)定時清理。不要相信這段代碼很快會重構(gòu)這種話。如果緩存不是必要的直接刪除靜態(tài)持有。內(nèi)存泄漏的本質(zhì)不是對象太多而是對象被不該持有它的對象一直引用著導(dǎo)致GC無法回收。不要讓你的一次性數(shù)據(jù)跑到長生命周期容器里。2.3 錯誤三靜態(tài)集合無界增長把內(nèi)存當(dāng)數(shù)據(jù)庫用跟錯誤二很像但更隱蔽。這類問題往往是順手造成的——業(yè)務(wù)代碼里需要一個臨時的統(tǒng)計容器、一個事件回調(diào)注冊表、一個請求追蹤列表直接用靜態(tài)字段或者全局單例的Map裝起來。結(jié)果這個臨時容器比業(yè)務(wù)代碼活得還久。舉一個典型的消息推送SDK的例子SDK內(nèi)部維護(hù)了一個回調(diào)注冊表每次調(diào)用registerCallback()就把回調(diào)對象存進(jìn)一個靜態(tài)列表。如果SDK使用者沒有調(diào)用對應(yīng)的unregisterCallback()那么這個回調(diào)對象以及它捕獲的所有變量注意Java/Python的閉包是會捕獲外部作用域變量的就永遠(yuǎn)不會被回收。這種問題我建議從API設(shè)計層面解決凡是提供注冊類方法的SDK或工具類必須同時提供對應(yīng)的注銷方法而且文檔里要用醒目的方式寫清楚。如果你是自己寫代碼原則就一條注冊了什么用完必須注銷跟鎖一樣加鎖的地方必須有解鎖。2.4 錯誤四監(jiān)聽器/回調(diào)注冊后壓根不注銷這個在WebSocket長連接、消息訂閱、事件總線的場景里特別常見。很多開發(fā)者只關(guān)注怎么訂閱完全不關(guān)注什么時候取消訂閱。短連接問題不大長連接場景下你每訂閱一次就是往事件總線的監(jiān)聽器列表里加一個對象反復(fù)建立連接再斷開監(jiān)聽器越積越多。我遇到過最離譜的一個案例某交易系統(tǒng)的行情訂閱模塊每次斷線重連都會new一個新的監(jiān)聽器注冊到事件總線但不移除舊的。業(yè)務(wù)高峰期經(jīng)歷了幾百次重連之后每次行情推送都要遍歷幾萬個月久失修的監(jiān)聽器對象CPU直接打滿GC耗時從50毫秒漲到3秒。解決方案分兩層應(yīng)用層在重連、會話銷毀的鉤子里必須先解除舊監(jiān)聽器再注冊新監(jiān)聽器??蚣軐尤绻阕约簩懓l(fā)布訂閱組件建議對每個訂閱者維護(hù)一個弱引用集合WeakHashMap或弱引用隊列這樣即使調(diào)用方忘記注銷只要業(yè)務(wù)對象不再被強(qiáng)引用GC也能正?;厥罩辽俨粫斐蓛?nèi)存泄漏爆炸。內(nèi)存泄漏這部分總結(jié)一下99%的API相關(guān)內(nèi)存泄漏本質(zhì)都是資源或?qū)ο鬀]有沿著它的生命周期被正確釋放。你在寫調(diào)用代碼的那一刻就要問自己三件事這個連接什么時候關(guān)這個對象什么時候不再被引用如果調(diào)用方忘了釋放系統(tǒng)能自愈嗎3. 異步傳輸異?;卣{(diào)、線程與并發(fā)亂局3.1 錯誤五異步異常沒人接直接黑盒消失異步API和同步API最大的區(qū)別在于同步方法里try-catch能兜住異常異步方法里異常發(fā)生的位置和時機(jī)是漂移的你沒在正確的地方接住它它就會默默消失。用CompletableFuture舉例// 反面教材異常丟失 CompletableFuture.supplyAsync(() - apiClient.callRemote()) .thenApply(response - parse(response)); // 如果apiClient.callRemote()拋異常這個異常沒人處理你看著好像流程沒問題但實際線上是某個請求靜默失敗日志里什么都沒有。更麻煩的是如果異常是在回調(diào)鏈的中間階段拋出的而你沒有在每個thenApply/exceptionally之間接住后面的所有環(huán)節(jié)都不會執(zhí)行且沒有任何記錄。正確做法是給每條異步鏈路的終點(diǎn)加一個全局兜底處理。CompletableFuture.supplyAsync(() - apiClient.callRemote()) .thenApply(response - parse(response)) .exceptionally(ex - { // 記錄完整異常棧和關(guān)鍵上下文 logger.error(api call failed, context{}, traceId, ex); return defaultResult; });Python的asyncio里對應(yīng)的問題則是忘記await協(xié)程。很多Python開發(fā)者以為調(diào)用了異步函數(shù)就等于執(zhí)行了實際上如果你不await協(xié)程只是被創(chuàng)建異常堆棧會被event loop打印一段警告然后丟掉業(yè)務(wù)上表現(xiàn)為偶爾丟失一條數(shù)據(jù)某個任務(wù)沒執(zhí)行但不知道為啥。記住一句話異步代碼里異常要靠鏈?zhǔn)教幚聿皇悄銓懥藅ry-catch就萬事大吉要確保try-catch放在正確的位置并且每一層異步轉(zhuǎn)換函數(shù)都要處理錯誤分支。3.2 錯誤六超時設(shè)置缺失或設(shè)置不合理一次API調(diào)用涉及多個超時維度很多人就設(shè)一個timeout參數(shù)其實遠(yuǎn)遠(yuǎn)不夠。最典型的HTTP請求至少有三個超時連接超時建立TCP連接的最大等待時間。讀取超時等待響應(yīng)數(shù)據(jù)的最大間隔時間。整體請求超時整次調(diào)用的總時長上限。如果你只設(shè)了連接超時比如10秒但讀取超時用默認(rèn)的0表示無限等待那么一旦對端收到請求后一直不返回數(shù)據(jù)你的線程就會無限期掛在那。線上表現(xiàn)就是線程池被一群半死不活的連接占滿新請求全部排隊系統(tǒng)吞吐量崩塌。我做過一次線程池監(jiān)控發(fā)現(xiàn)某個服務(wù)有40%的線程處于WAITING狀態(tài)超過2分鐘原因就是對端服務(wù)在GC時有長達(dá)數(shù)十秒的停頓而我們這邊的讀取超時是無窮大。修復(fù)方式很簡單給每個維度設(shè)置合理的超時并遵循一個原則整體請求超時必須大于連接超時和讀取超時但小于你所在線程池能容忍的最大等待時間。常見的合理配置是連接超時3~5秒讀取超時10~30秒整體超時不超過60秒。具體看業(yè)務(wù)對實時性的要求但我強(qiáng)烈建議你寧可超時設(shè)短一點(diǎn)觸發(fā)重試也不要設(shè)超長把線程全拖死。3.3 錯誤七線程池配置不當(dāng)導(dǎo)致的異步變同步與線程泄漏異步API通過回調(diào)或Future解耦了調(diào)用方線程但如果你把異步任務(wù)丟進(jìn)一個線程池里執(zhí)行線程池本身就會成為新的瓶頸。常見的兩個錯誤第一線程池核心線程數(shù)設(shè)為0或過小配合無界隊列。某個項目里用new ThreadPoolExecutor(0, Integer.MAX_VALUE, 60L, TimeUnit.SECONDS, new SynchronousQueue())看似很靈活實際上每來一個任務(wù)就new一個線程線程創(chuàng)建開銷極大高并發(fā)下線程數(shù)飆到幾千CPU光在線程切換上就耗掉大半。線程池要按業(yè)務(wù)量預(yù)估并發(fā)度核心線程數(shù)建議設(shè)置為機(jī)器可用核數(shù)的2倍到4倍并設(shè)置一個有界隊列滿了之后走拒絕策略或調(diào)用方兜底。第二把異步回調(diào)里又嵌套了同步阻塞調(diào)用。比如在異步回調(diào)里調(diào)用另一個同步API且不設(shè)置超時這個回調(diào)線程就被卡住了線程池的活躍線程只會越來越多最終整個池子被長連接占滿后續(xù)任務(wù)全部排隊。這種情況算線程泄漏。排查線程池問題有個很直觀的手段周期性打印線程池的活躍線程數(shù)、隊列長度、拒絕次數(shù)。這三個指標(biāo)任何一個持續(xù)增長都要立刻定位原因。尤其是拒絕次數(shù)從0變成非0的那一刻基本宣告線程池已滿。3.4 錯誤八共享可變狀態(tài)引發(fā)的并發(fā)數(shù)據(jù)錯亂這是并行調(diào)用同一API的衍生問題。多個線程同時調(diào)用外部API時如果代碼里用了共享的可變狀態(tài)來存中間結(jié)果就會產(chǎn)生競態(tài)條件。最常見的兩個場景用同一個SimpleDateFormat非線程安全做時間格式化導(dǎo)致解析結(jié)果隨機(jī)出錯。多線程同時寫同一個非線程安全的Map或List輕則數(shù)據(jù)覆蓋重則拋出ConcurrentModificationException。還有一類尤其隱蔽ThreadLocal使用后不清理。很多API做身份信息或租戶信息的上下文傳遞時會用ThreadLocal。但如果你用了線程池線程是復(fù)用的上一次請求的ThreadLocal數(shù)據(jù)會殘留到下一次請求里。正確做法是在請求結(jié)束的finally塊里調(diào)用ThreadLocal.remove()。解決并發(fā)問題的原則很簡單優(yōu)先讓變量局部化每個請求都有自己的上下文對象不要在多個線程之間共享可變數(shù)據(jù)。必須要共享的用線程安全容器或者加鎖并清楚鎖的粒度。3.5 錯誤九回調(diào)地獄與信號丟失異步API經(jīng)常需要在一個回調(diào)完成后再發(fā)起另一個調(diào)用代碼會層層嵌套。除了可讀性差更致命的問題是如果中間某一步回調(diào)沒有被觸發(fā)整條鏈路就會死等。比如上游服務(wù)回調(diào)協(xié)議里設(shè)置了2秒超時但代碼沒做超時處理網(wǎng)絡(luò)丟包時回調(diào)永遠(yuǎn)不會來請求就掛在那一直到進(jìn)程退出。解決這個問題的核心工具是超時信號機(jī)制。以JavaScript的Promise.race為例function callWithTimeout(promise, timeoutMs) { let timer; const timeoutPromise new Promise((_, reject) { timer setTimeout(() reject(new Error(timeout)), timeoutMs); }); return Promise.race([promise, timeoutPromise]).finally(() clearTimeout(timer)); }這個模式在Java里可以借助Future.get(timeout)或者CompletableFuture.orTimeout()實現(xiàn)。核心思想就一句任何異步調(diào)用都必須在規(guī)定時間內(nèi)產(chǎn)生一個明確結(jié)果成功或失敗不能允許無限期不明不白地等待。4. 協(xié)議與數(shù)據(jù)層連接池、冪等、序列化與分頁的坑4.1 錯誤十HTTP連接池配置與實際壓測嚴(yán)重不符HTTP客戶端大多有連接池機(jī)制來復(fù)用TCP連接但很多人只改一個maxConnections參數(shù)就覺得夠了其實坑遠(yuǎn)不止這個。連接池至少要關(guān)注三個維度每個路由的最大連接數(shù)如果你調(diào)用的是多個域名的API總連接數(shù)不等于每個域名都能分到maxConnections。默認(rèn)情況下每個主機(jī)的連接數(shù)上限跟總連接數(shù)上限是分開的只調(diào)總連接數(shù)而忽略maxConnectionsPerHost仍然會在高并發(fā)下創(chuàng)建大量新連接。空閑連接存活時間連接池里的空閑連接如果長時間不用會被服務(wù)端斷開。很多連接池默認(rèn)的evictIdleConnections間隔很長你以為復(fù)用的是老連接實際每次請求都要重新握手表現(xiàn)為大量TCP握手時間和偶發(fā)的Connection reset。Keep-Alive的配置一致性客戶端和服務(wù)端的keep-alive值如果不一致服務(wù)端先關(guān)了連接客戶端再復(fù)用就會報連接被重置。配置連接池沒有萬能答案但有一個實操技巧啟動一臺壓測機(jī)模擬小流量、中流量、峰值流量三檔壓測觀察新連接創(chuàng)建速率和連接池等待時間。如果新連接創(chuàng)建速率始終很高說明連接池復(fù)用率低優(yōu)先調(diào)大per-route上限如果等待時間長優(yōu)先調(diào)大總連接數(shù)。壓完再上線別拍腦袋。4.2 錯誤十一忽略接口冪等性重試釀成大禍API調(diào)用失敗后重試是常見策略但如果你調(diào)用的接口不保證冪等重試就會產(chǎn)生副作用。最慘痛的一個案例是支付場景某系統(tǒng)在第三方支付接口超時后自動重試三次每次重試都重新創(chuàng)建支付單結(jié)果用戶被扣了三筆錢客服電話被打爆。正確的做法是在調(diào)用外部API前生成唯一的請求ID冪等鍵帶著請求ID去調(diào)用。第三方支持冪等就靠這個ID去重第三方不支持你也要在自己的系統(tǒng)里記錄這個ID和請求狀態(tài)防止本地重試產(chǎn)生重復(fù)。區(qū)分重試安全和重試不安全兩類接口。查詢類接口隨便重試創(chuàng)建/支付/修改類接口必須顯示做冪等控制。標(biāo)準(zhǔn)可以在接口文檔里約定但你自己代碼里一定要有這層意識。一條經(jīng)驗送給大家給你的所有外部調(diào)用都加上請求ID透傳不管對端用不用你自己的日志、監(jiān)控、排查都能靠它在全鏈路串起來。4.3 錯誤十二序列化/反序列化的隱性陷阱API調(diào)用中JSON是最常見的傳輸格式但序列化這層薄薄的東西出的怪問題一點(diǎn)不比并發(fā)少。忽略未知字段導(dǎo)致報錯某些HTTP客戶端默認(rèn)配置下響應(yīng)JSON里出現(xiàn)了代碼里沒有定義的字段直接拋UnrecognizedPropertyException。解決辦法是配置FAIL_ON_UNKNOWN_PROPERTIESfalse但要注意這會掩蓋字段名拼寫錯誤。更穩(wěn)妥的做法是在開發(fā)環(huán)境打開嚴(yán)格模式生產(chǎn)環(huán)境放寬。循環(huán)引用導(dǎo)致序列化棧溢出兩個對象互相引用序列化時無限遞歸。用JsonIgnore或DTO拆分解決但最根本的辦法是在API邊界設(shè)計DTO不要把內(nèi)部實體直接暴露出去。時間格式不一致服務(wù)端返回yyyy-MM-dd HH:mm:ss你這邊期望ISO 8601解析直接炸。這種問題在跨團(tuán)隊協(xié)作里格外常見建議統(tǒng)一用ISO 8601格式并顯式聲明時區(qū)。理論上說序列化層的問題最好解決但實際排查最費(fèi)時間因為報錯信息往往模棱兩可。我的建議是用單元測試把DTO的序列化和反序列化全覆蓋每個接口的字段增刪改都要跑一遍測試再上線比你線上debug省事一萬倍。4.4 錯誤十三分頁與游標(biāo)處理不當(dāng)調(diào)用列表類API的時候分頁是繞不開的新手可能覺得就是pageSizepageNum兩個參數(shù)的事但踩過坑的都知道沒這么簡單。數(shù)據(jù)量大的分頁越翻越慢基于offset的分頁在MySQL或某些搜索引擎里頁碼越深性能越差因為數(shù)據(jù)庫要掃描全部前序數(shù)據(jù)才能定位到offset。如果API支持cursor游標(biāo)分頁優(yōu)先用游標(biāo)不要用頁碼。分頁期間數(shù)據(jù)變化導(dǎo)致重復(fù)或丟失用戶在翻第2頁時第1頁的數(shù)據(jù)新增了一條基于頁碼的翻頁就會導(dǎo)致同一數(shù)據(jù)出現(xiàn)兩次或者漏掉某條。游標(biāo)分頁方式下數(shù)據(jù)是按某個唯一排序鍵切片相對更穩(wěn)定。總頁數(shù)計算錯誤totalCount / pageSize要向上取整這個小學(xué)數(shù)學(xué)問題在真實項目里出現(xiàn)過不止一次。分頁這塊的經(jīng)驗是先看文檔支持哪種分頁方式如果兩種都支持直接選游標(biāo)如果只支持頁碼分頁在數(shù)據(jù)量小萬級以下的場景里用也沒大礙但數(shù)據(jù)量上來以后一定要評估是否要切到游標(biāo)。5. 穩(wěn)定性與可觀測性把事故從根上掐滅5.1 錯誤十四重試機(jī)制要么沒有要么過度到拖垮下游重試策略是API調(diào)用里的雙刃劍。沒有重試一次網(wǎng)絡(luò)抖動就會讓一個請求失敗盲目重試更可能在故障時引發(fā)重試風(fēng)暴——下游服務(wù)已經(jīng)過載你還在瘋狂地重試進(jìn)一步加重下游負(fù)擔(dān)最終兩邊一起崩潰。重試策略的合理設(shè)計必須兼顧幾個變量重試次數(shù)一般建議1~2次不要超過3次。超過3次的重試更多的是一種焦慮而不是有效策略。退避策略不要用固定間隔重試要用指數(shù)退避比如1秒、2秒、4秒并且在重試間隔里加入隨機(jī)抖動。如果沒有抖動所有實例在同一瞬間重試相當(dāng)于制造了一波新的流量尖峰。快速失敗如果錯誤碼明確是4xx參數(shù)錯誤、鑒權(quán)失敗這種錯誤重試一萬次都不會成功應(yīng)該直接失敗不要浪費(fèi)資源。只有5xx和網(wǎng)絡(luò)層錯誤才值得重試。熔斷如果連續(xù)失敗次數(shù)達(dá)到一定閾值比如10次直接打開熔斷開關(guān)讓請求快速失敗不再穿透到下游過一段時間再放一批流量探測是否恢復(fù)。重試技術(shù)本身不復(fù)雜但把它跟業(yè)務(wù)結(jié)合考慮——哪些錯誤值得重試、重試對下游的壓力有多大、全局并發(fā)重試會不會導(dǎo)致雪崩——這些問題比代碼本身重要得多。5.2 錯誤十五日志里該有的信息沒有不該有的全都有API調(diào)用日志是最后一道防線。很多系統(tǒng)出問題排查不了不是因為問題多復(fù)雜而是日志里既沒有關(guān)鍵信息又堆滿了廢話。常見的日志問題有三個層面打印超大響應(yīng)體有的開發(fā)者圖省事直接把整個API響應(yīng)體打到日志里。一個幾MB的響應(yīng)體在高并發(fā)下會極大拖慢日志寫入速度嚴(yán)重時甚至拖垮磁盤IO。日志應(yīng)該只記錄狀態(tài)碼、耗時、錯誤消息摘要。如果你確實需要完整的響應(yīng)體用于排查把它寫到獨(dú)立的日志文件或存儲里做好級別控制別打到主日志流。日志缺失traceId處理API調(diào)用鏈路時一次用戶請求可能會經(jīng)歷多處遠(yuǎn)程調(diào)用。沒有traceId你連這條報錯和那次請求是不是同一條鏈路都判斷不了。我強(qiáng)烈建議在API調(diào)用入口生成一個traceId透傳到下游所有日志和外部調(diào)用的請求頭里。敏感信息泄露把token、密碼、密鑰直接打到日志里日志文件一旦被讀取就是重大安全事故。日志脫敏不是來不及處理的事是必須做的底線。關(guān)于日志調(diào)優(yōu)我的建議是分三個級別錯誤日志打印異常堆棧和關(guān)鍵上下文業(yè)務(wù)日志記錄traceId、調(diào)用方、耗時調(diào)試日志記錄完整參數(shù)和響應(yīng)。日常運(yùn)行時只開前兩級排查問題時再動態(tài)調(diào)到調(diào)試級別。千萬別嫌麻煩。5.3 排查實操內(nèi)存泄漏定位三板斧不論前面的預(yù)防做得怎么樣線上總會有一些漏網(wǎng)之魚。真遇到內(nèi)存泄漏了按這三步走基本能快速定位第一板斧觀察內(nèi)存曲線。通過監(jiān)控系統(tǒng)看堆內(nèi)存的GC趨勢。健康的內(nèi)存曲線是鋸齒狀的每次GC后內(nèi)存回落泄漏的曲線是階梯狀或者緩慢上行的GC后內(nèi)存回不到低位。這一步能確認(rèn)確實泄漏了而不是還沒釋放。第二板斧抓堆轉(zhuǎn)儲文件。在內(nèi)存偏高的時候執(zhí)行jmap -dump:formatb,fileheap.bin pid或者用監(jiān)控工具自動觸發(fā)抓取。Java平臺用MAT或JProfiler分析Python平臺可以用tracemalloc模塊記錄內(nèi)存分配棧。第三板斧找支配樹頂部的對象。用MAT打開堆轉(zhuǎn)儲文件查看Dominator Tree重點(diǎn)分析占據(jù)內(nèi)存最多的對象是什么、被誰持有引用。正常情況下你會看到某個Map、List或byte[]數(shù)組占據(jù)大頭然后順著引用鏈一路找上去基本上就是那個萬惡之源。我自己遇到過的情況九成以上都指向某個靜態(tài)Map無界增長、某個Netty緩沖區(qū)沒釋放、或者某個緩存框架的key過期策略沒生效。定位到之后修起來都很快難的是定位本身。5.4 排查實操異步異常和超時的定位技巧異步鏈路排查比同步難因為報錯信息經(jīng)常沒有足夠的上下文。我的做法是全程透傳traceId在入口生成traceId放進(jìn)線程上下文和日志MDC外部調(diào)用時放進(jìn)HTTP頭的自定義字段。這樣無論異步鏈路怎么跳轉(zhuǎn)每條日志都能串成一條線。捕獲異常時一定要保留原始堆棧不要用ex.getMessage()替代異常傳遞不要吞異常后只打一行字。日志里要有完整堆棧、當(dāng)前線程名、traceId、參數(shù)摘要這四個元素缺一不可。給所有異步調(diào)用設(shè)置明確的超時并且把超時這個事件本身也當(dāng)成一種需要記錄的異常單獨(dú)打點(diǎn)。這樣你可以在監(jiān)控里看到超時率這個指標(biāo)而不是只能看到異常數(shù)。遇到那種沒報錯但就是沒結(jié)果的詭異場景優(yōu)先查超時和回調(diào)注冊是不是服務(wù)端根本沒回調(diào)是不是回調(diào)URL變了是不是回調(diào)因為序列化失敗被靜默吞掉了順著這個思路查效率會高很多。6. 15個錯誤速查表與最終建議6.1 錯誤與解決方案速查表編號錯誤類型典型現(xiàn)象根本原因解決方案1響應(yīng)流未關(guān)閉文件描述符耗盡、Connection reset底層輸入流未歸還連接池try-with-resources / with顯式關(guān)閉2長生命周期持有短引用堆內(nèi)存緩慢增長單例/靜態(tài)容器持有一次性對象不用靜態(tài)容器緩存臨時數(shù)據(jù)或加TTL淘汰3靜態(tài)集合無界增長內(nèi)存爆滿、GC時間飆升注冊表/緩存無清理機(jī)制弱引用、容量限制、顯式注銷4監(jiān)聽器未注銷事件推送越來越慢回調(diào)對象積壓在事件總線重連/銷毀時先解綁框架層用弱引用兜底5異步異常沒人接請求靜默失敗無日志異步鏈路缺少異常兜底鏈路終點(diǎn)加exceptionally/全局處理6超時設(shè)置不合理線程池被打滿、吞吐量崩塌讀取超時或整體超時未配置全維度設(shè)超時整體線程池容忍上限7線程池配置不當(dāng)線程數(shù)暴漲、拒絕執(zhí)行核心線程數(shù)過小或隊列無界預(yù)估并發(fā)度設(shè)核心線程數(shù)和有界隊列8共享可變狀態(tài)偶發(fā)數(shù)據(jù)錯亂、字段丟失多線程同一變量/ThreadLocal殘留上下文局部化ThreadLocal顯式remove9回調(diào)地獄與信號丟失請求無限掛起無超時信號機(jī)制Promise.race/Future.get超時兜底10連接池配置錯誤頻繁TCP握手、連接重置per-route連接數(shù)小、空閑連接未清理壓測驗證per-route配置和keep-alive一致11忽略接口冪等性重復(fù)下單、重復(fù)扣款超時重試造成重復(fù)提交請求ID冪等鍵區(qū)分冪等/非冪等接口12序列化/反序列化踩坑解析失敗、循環(huán)引用、時間格式錯DTO定義不嚴(yán)謹(jǐn)DTO嵌套邊界、時間格式統(tǒng)一、完整單測13分頁處理不當(dāng)深翻頁越來越慢、數(shù)據(jù)重復(fù)offset分頁和并發(fā)變更問題優(yōu)先游標(biāo)分頁數(shù)據(jù)量大時淘汰offset14重試機(jī)制缺失或過度單次失敗/重試風(fēng)暴未區(qū)分錯誤類型無退避抖動指數(shù)退避抖動4xx不重試加熔斷15日志記錄不當(dāng)排障困難、敏感信息泄露日志無traceId、內(nèi)容過多無重點(diǎn)分級日志traceId透傳脫敏6.2 如果只讓我留三條建議表格是拿來快速參考的但如果這篇文章你只能記住三件事我希望能是這三條第一所有API調(diào)用都要有一個完整的生命周期意識。連接會占資源、流要關(guān)閉、回調(diào)要注銷、緩存要淘汰。你在寫調(diào)用代碼的那一刻想清楚什么情況下它會被釋放后面的內(nèi)存泄漏至少能少一半。第二所有異步調(diào)用都要有超時兜底和異常兜底。異步API真正危險的地方不是性能而是沒有結(jié)果和沒有報錯。給每條異步鏈路都加上超時信號和全局異常處理線上詭異消失的問題會少很多。第三可觀測性建設(shè)絕對不能省。沒有traceId、沒有全鏈路日志、沒有內(nèi)存曲線監(jiān)控那你排查一次API問題的時間足夠別人排查三次。我寫到這里其實最想說的一件事就是API踩坑是每個做后端的人必經(jīng)的路踩坑不要緊重要的是踩完能不能總結(jié)出一套套路來——哪些坑高頻、怎么預(yù)防、出了事怎么快速定位。這篇文章里的15個錯誤是我自己踩過或者幫別人排查過的真實經(jīng)驗合集希望能讓你少走一些彎路。如果你也有遇到過特別匪夷所思的API問題歡迎按同樣的思路——癥狀、原因、排查過程——拆解出來多交流多復(fù)盤比看十篇教程都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www久| 一级韩国产精品毛| 乱码操操| 五月天五月天成人网亭亭成人色网站| 激情综合网激情五月俺也去| 91人人人人人| 狼友视频在线观看18| 北京熟妇搡BBBB搡BBBB| 婷婷五月四狠狠| 97婷婷五月丁香| 九九九九大香蕉| 九九99九九99九九99视频网| 第四色婷婷丁香五月| 丁香婷婷激情| 亚洲午夜av| 玖玖精品视频| 蜜臀综合久草| 亚洲女婷婷五月基地综合久久久| 亚洲人妻av| 琪琪色五月天| 五月婷激情影院| 伊人超碰在线| 青青草原福利在线| 久久九九激情五月天 | 67194线路二在线观看| 亭亭丁香久久五月| 五月天色区| 综合久久五月天| 色在线视频网2025| 超碰在线资源| 99av视频| 九九伦子片| 日本熟妇人妻在线| 成人精品视频99在线观看免费| ww久久| 五月丁香六月婷婷综合网站| 色婷婷精| 色综合激情| 97碰碰免费.视频| 丁香五月成人论坛| 51精品国自产在线| 婷婷深爱五月亚洲综合| 国色天香成人网| 在线va网站| 丁香六月婷婷开心| 色狠狠综合| 亚洲AV综合网| 色99在线观看| 丁香六月色婷婷| 激情九色| 99在线观看精品| 日本视频欧美观看免费| 婷婷五月激情中文字幕| 成人毛片在线免费观看| 超碰人人干| 91综合网| 亚洲va欧美va天堂v国产综合| 99se丁香| 俺也高清无码高清视频| 激情丁香五月| 这里只有精品久久| 九热免费视频| 六月丁香久久| 秋霞黄色一级久久| 色色色热| 六月婷婷狠狠做| 成人做爰A片免费看网站找不到了| 色9色| 五月天另类激情在线| 亚洲欧美婷婷五月色综合| 激情另类综合| 欧美欧盟性爱网| 五月色影院| 婷婷激情五月| 激情开心五月天| 伊人五月婷婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 91丨熟女丨首页| 久青操| 99热这里只有精品手机在线观看| 丁香五月成人| 婷婷开心综合人妻小说网址| 色操综合| 久久久久久久人妻| 久久性操| 综合色色网| www.av视频xx999.com| 大香蕉520| 亚洲激情网站无码| 琪琪色五月婷婷老师| 五月天婷婷导航| 亚洲无码影音| 激情五月天综合婷婷网| 202丰满熟女妇大| 婷婷五月天色综合翘| 精品一二三区久久AAA片| 五月丁香六月欧美综合| 人人肏逼视频在线一区二区| 99热官网| 婷婷啪啪| 99视频| 欧美色色色| 97人人妻人人艹| 五月天开心激情综合网| 亚洲99综合| 99热8| 激情婷婷亚洲五月| 午夜福利8055| 色婷婷狠狠爱| 婷婷色系婷色| 日韩婷久| 色色五月丁香| 深爱丁香激情| 中日韩狠狠色| 九九在线视频| 色久五月天| 日韩黄色电影| 五月激情视频| 色五狠狠| 色综合色五月| 96自拍视频九色在线观看| 欧美婷婷色五月| 色99无码| 99热精品在线在线| 26uuuuuuuu国产| 五月丁香五月丁香五月丁香五月丁香91| 国产精品美女| wwW天天干| 在线播放人妻| 婷婷五月电影| 狠狠干总合| 五月婷婷久久爱| 丁香五月AV| 那里有AV网址| 亚洲成人av在线观看| 曰曰久久| 五月色情网| 91av色色乱视频| 99在线观看视频| 干亚洲天堂| 久久婷婷网| 99这里只有精品视频免费| 香蕉久久国产AV一区二区| 天天婷婷| 五月天综合缴情网网站0| 99爱操| 99丁香五月婷| 六月丁香婷婷开心综合基地| 手机在线日韩视频中文字幕| 亚洲V国产V欧美V久久久久久| 天天色天天爱天天爱天天爱y| 久碰久操| 综合久久狠狠| 91狠狠色丁香婷婷综合久久精品| 久久aaaa片一区二区| 欧美激情中文字幕| 色色欧美色色| 国产熟女一区二区三区五月婷| 欧美色骚婷婷五月天| 五月天激情日色在线| 五月婷在线观看| 另类图片 五月激情| 97碰碰视频| 亚洲精品视频在线| 久久精品系列| 色青青视频| 成人网在线视频| 99热在线播放| 超碰99久久| 狠狠干在线视频| 亚洲av无码精品色午夜| 2017人人操| 亚洲 精品 综合 精品| 九九综合88| 五月丁香六月色| 直接看的AV网站| 91精品丝袜久久久久久| 9久操| 91超碰人人操| 播五月丁香三月婷婷| 九九热再线九九视频免费在线观看 | 最近中文字幕大全免费版在线 | 六月婷婷影院| 婷婷色婷婷亚洲成人| 色9999综合久久| 色五月激情| 伊人五月丁香| 五月婷婷中字在线| 色婷婷亚洲在线观看| 天天日夜夜爽| 91婷色| 激情狠狠丁香月| 成人AV免费观看| 久9热插入| 亚洲综合五月天| 丁香五月天综合| 五月婷婷少妇之| 久草视频一,二三四| 天天狠狠综合精区| 激情五月天小说网| 激情婷婷丁香五月天| 国产精品美女| 果冻传媒A片一二三区| 狠狠综合| 1024操逼视频| 日日夜夜婷婷| 婷婷激情五月天亚洲综合| 日本精品99| 五月天丁香啪啪啪啪| 色婷婷亚洲婷婷| 啪啪综合| 极品人妻VideOssS人妻| 亚洲第一视频 久久| a色色色色色| 婷婷爱五月| 婷色影院| 人妻熟人中文字幕一区二区| 99∨VTV| 色色色五月婷| 色色日本| 开心激情站婷婷五月天| 丁香五月天天哦| 激情五月天的婷婷| 五月婷av| 热99色| 狠狠操天天干| 91九九| 色五月激情| 五月丁香在线婷婷蜜桃| 美臀自射自家人妻| 激情综合五月激情XXXX| 99久久网站| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 国产精品第一国产精品| 99热这里只有精| 亚洲免费观看高清完整版AV线| Www,五月天| 色爱综合视频| 777久久精品| 大香蕉人在线65| 日噜噜色| 狠狠色婷| 色婷婷亚洲综合网站| 最近中文字幕2019视频1| 五月天色图| 五月丁香成年黄色| WWW.桔色成人.COM| 另类激情五月在线视频欧美| 五月天com| 婷婷五月天狠狠| 色婷五月| 99热视精品| 极品 少妇 内射| 婷婷色色狠狠| site:minyis.com| 婷色五月| 99免费热在线精品| 国产99热在线看| 99久久9| 亚欧州精品视频| 四季AV综合网| 丁香密臀AV激情网| 欧美三级黄色片久久| AV在线收看| 久久精品天| av一区二区电影免费在线观看| 这里只有精品96| 99热这里只有精品99| 午夜色丁香| 久久思思热视频| 狠狠干青青草| 五月丁香婷婷三级| www色婷婷com| 99热一区| 亚洲色婷婷| 99爱在线视频| 美欧日韩国产成人在战| 午夜激情综合| 色九区| 丁香五月婷婷啪啪| 五月丁香综合啪啪| 国产小精品| 日本不卡高字幕在线2019| 婷婷激情五月| 琪琪布丁香社区激情五月天| 91人人人人人人人| 啪啪色区| 97操在线视频| 夜夜操天天干| 丁香六月激情综合| 91久久五月天| 久久综合性| 成人短视频在线观看| www色色com| WWW.婷婷| 青青草国产亚洲精品久久| 无码人妻少妇色欲AV一区二区| 免费观看18视频网站| 国产乱妇乱子在线播视频播放网站| 白人荫道BBWBBB大荫道| 五月婷婷性爱网| 久热伊人| 九九黄色网| 欧美精品999| 激情五月婷婷| 婷婷丁香中文字幕| 9一精品视频观看| 99.N在线视频| 秋霞免费三级片| 五月伊人综合| 狠狠干五码| 日本社区五月天激情| 丁香成人五月天| www热久久yy9| 久久婷婷视频| 综合六月久久| 色婷亚洲| 亚洲综合九九| 午夜九九电影| 综合图片色色| 欧美日韩91| 激情色播| 97婷婷五月丁香| 丁香五月激情综合婷综| 国产日产成人亚洲欧美国产VA| 激情99。| 久久久精品色| 九热视频| 99在线精品免费视频| 热99热久| 色玖玖导航| 狠狠干五月丁香综合网| 丁香五月激情五月| 天天日夜夜拍| 无码人妻AV久久久一区二区三区 | 激情五月天小说| 伊人五月天| 26uuu| 丰满少妇猛烈A片免费看观看| 五月刺激丁香月综合| 免费看无码视频A级| 大香蕉久久| 69婷婷丁香午夜| 五月丁香六月综合激情无码软件亮点 | 伊人碰碰碰| 丁香五月天激情| 欧美日韩精品人妻狠狠躁免费视频 | 99热这里只有精品86| 色欲天天综合| 极品人妻VIDEOSSS人妻| 五月天伊人久久久久| 亚洲色情久久| 天天操综合网站| 国产.亚洲.欧洲视频在线| 五月香婷婷| 亲子乱AV-区二区三区| 日韩人妻无码精品| 99色色最新视频| 五月天婷婷在线视频| 这里只有精品在线观看视频| 丁香婷婷激情网站| 久久婷婷成人| 午夜电影网VA内射| 色色色999| AV成人在线网站| 九九大香蕉黄色影院| 色色色色色色色综合| 五月天天天色| 大香蕉婷婷| 丁香五月天社区婷婷| 影音先锋91在线资源站| 欧美激情综合色综合啪啪五月| 国产夫妻操逼内射视频| 99这里只有精品| 亚洲亚洲人成综合网络| 大香蕉人在线65| 丁香五月瑟瑟| AV在线大香蕉| 久久看九九90| 另类激情五月天。| 99性色| 色色综合网站| 久久五月婷婷丁香| 丁香五月久久综合| 婷婷五月丁香综合| 色婷婷另类| 五月婷婷丁香成人网| 青草激情综合| 亚洲乱码日产精品BD| 97超级碰碰碰| WWW.开心五月天.COM| 婷婷久久99| 99丁香婷婷综合网| 九九视频网| 日日综合网| 大香蕉久| 色噜噜五月天| 欧美激情2025| 激情五月影院| 婷婷五月天黄色网址| 婷婷狠狠五月综合| 五月丁香五月婷婷| 91日日日| 五月天激情开心网| 婷婷在线视频| 91色色色18| 女力报到正好爱上你| 99热这里| 亚洲精品又粗又大又爽A片| 色婷婷国产精品综合在线观看| 狠狠色丁香99| 久久草大香蕉| 97色色综合| 日本激情五月| 人人摸人人干| 婷婷在线免费| 久热免费视频| 超碰人人在线观看| 同性gv国产精品一区二区| 激情婷婷久久| 五月天丁香花婷婷| 五月花成人网| 五月婷色色| 色婷婷五月综合色婷婷| 婷婷丁香五月天欧美| 欧美色色色色色| 9 1 A v久久久| 欧美丁香六月激情视频| 91啪啪视频| 丁香六月婷婷久久高清| 99爱在线免费视频| 91碰碰视频在线观看| 热久久77777| 亚洲激情av| 97久久久免费福利网址| 一起草性爱不卡视频| 午夜精品久久久久久久爽| AV激情五月| 久久婷婷五月综合色奶水99啪| 中文字幕成人日韩| 色综合综合网| 天天狠狠综合精区| 色欲五月天| 五月婷婷五月天| 五月婷婷狠狠干| 99视频在线精品| 久久99婷婷| 日本黄色精品| 天天婷婷| 亚洲最大视频网站| 五月综合缴情网| 99国产精品白浆在线观看免费| 无码se| 婷婷五月天堂| 婷婷六月视频| 五月天成人免费视频| 1024在线视频| 狠狠激情五月天| 久久久久久99日本| 五月天激情综合10p| 性一交一乱一交A片久| 熟女色专区| 色色色欧美| 99久久99久久| 国产97色在线| 九九这里是免费的视频5| www.狠狠| 久热伊人9| 婷婷丁香人妻天天爽| 欧美日韩国产成人在线| 色色色.COM| www.婷婷激情网.com| 五月婷丁香亚洲| 色网五月婷婷| 青草激情在线| 猫咪伊人AV| 婷婷五月天亚洲精品| 激情玖玖sh| 婷婷六月激情啪啪| www.97视频| 少妇久久诱惑视频| 七月婷婷色香综合网| 欧美噜一噜| 婷婷操逼| 成人五月天在线视频在线观看 | 任我肏视频精品| 天天干com| www...com黄在线观看| 久久这里有精品视频在线免费观看| 久久R激情| 五月天色婷婷基地| 超级碰碰碰久久网站| 色婷婷五月天视频在线| 亚洲精品成人片在线播| 成人短视频在线免费观看| 欧美色色色色色色| 久久婷婷网站| 婷婷五月激情四月综合| 91操操| 亚洲综合丁香五月| 99精品丁香五月| 国精产品一区二区三区| 丁香五月婷婷国产在线| 激情五月丁香亭亭| 日本一毛片| 五月婷婷网站| 五月综合婷婷开心网| 激情五月天婷婷| 丁香五月婷婷啪啪| 色综合天天| www好屌操| 久久精品凹凸分类| 久久这里只| 涩 五月 婷婷 狠狠| 五月婷婷九| 日本熟妇精品99| 夜夜操天天干| 五月丁香六月婷婷免费| 99热超碰人| 五月天涩涩| 婷婷婷久久久| 婷婷五月无码| 五月综合激情图片| 9久9久9久女女女九九九一九| 色婷婷小说网| 激情综合网五月婷婷| WwW天天干| 三人荫蒂添的好舒服A片| AAA亚洲AV| 色婷婷影音| 久久久久久9| 婷婷五月激情的图片| 免费视频WWW在线观看网站| 噜噜噜精品欧美成人在线观看| 九一牛视频探花| 青青草原伊人网| 四色永久成人网站| 9国产在线视频| se99视频| 丁香九月婷| 北京熟妇搡BBBB搡BBBB| 伊人AV五月婷| 中文AV在线播放| 五月婷婷影院| 五月丁香中文字幕| 九九色逼| 桃色成人网| 激情綜合W W W,激情五月天| 日本一道久久| AV网在线| www.久久综合| 密臀久久| 九九超日本| 丁香六月在线| 夜夜骑福利资源| www.婷婷,com| 免费看欧美成人A片无码| 99热这里只要精品免费| 婷婷五月天综合网| 七七婷婷综合| 久99在线视频| 精品99爱免费视频在线观看| 丁香五月婷婷亚洲另类| 99re久久| 夜夜夜夜撸夜夜操| 久久精品爱爱| 超碰免费电影| 99热国产免费| 六月合五月婷| 丁香五月,开心五月,成人婷婷| 天天色综网| 99热综合色图| 99免费在线视频| 婷婷五月在线观看| 99综合色| 久久色五月天| 亚洲第二AV| 99精品免费| 天天日日综合| 这里只有精品视频视频在线观看| 国产色色色色色| 97九色| 精品福利911| 五月天AV大香蕉| 91精品综合久久久久久五月丁香| 欧美婷婷成人| 精品视频99看在线视频| 婷婷玖玖五月天| 色狠狠色噜噜AV天堂五区| 99热这里只有精品99| 怡红院院在线导航网| 一操久久| 久久一级AV| AV在线大香蕉| 五月婷婷综合潮喷| 五月婷丁香| 色婷婷影视99| 99啪啪| 九九视屏| 五月婷婷乱| 九月丁香| www.爱婷婷.com| 极品人妻VIDEOSSS人妻| 婷婷激情人妻| 九九久久视频| 888精品福利地址| 91在线看免费 九九九九| 97高清国语自产拍| 超碰人人色| 久久久久久人妻久久久久久久久久人妻久久久 | 婷婷在线日韩综合| 伊人在线视频| 五月天婷综合| 四月婷婷丁香| 婷婷六月色丁香视频在线观看| 99色| 九色91国产| 激情网五月婷婷| 九九热这里只有精品556| 激情五月婷婷她| 性按摩玩人妻HD中文字幕| 色色色色五月天| 亚洲va欧洲va国产va不卡| 伊人网欧美在线男人天堂五月丁香| 色很久综合| 亚洲视频在线观看| 久月婷婷| 婷婷色正月| 深爱激情网婷婷| 色啪影院| 色色五月天com| 九九九九九999999| 99热官网精品在线| 五月天四色房丁香亭亭| 五月天婷婷五月| 丁香5月激情网| 久9热视频| 99精品综合在线| 青青草视频免费观看| 丁香五月天啪啪| 色婷婷在线视频| 99青青草| 欧美成人网婷婷综合在线| 九九热超碰| 色色综合激情| 第1影院之五月婷婷| 大香蕉五月婷婷丁香| 中文人妻AV久久人妻18| 天天狠狠夜夜狠狠2023| 丁香九九九九| 色五月成人| 婷婷五月美女直播| 五月丁香激情深爱婷婷| 最新精品视频99| 伊人春天av| 色婷婷狠| 五月婷激情影院| 五月天丁香欧美激情| 另类婷婷五月天啪帕帕| 色五月婷婷777| 国产人妻人伦精品一区二区| 丁香五月欧美| 久久六月综合| 久/久精品99看9| 色综合久久88色综合天天人守婷| 九九热a| 另类激情综合| 91日视频| 丁香久久| 婷婷五月天成人综合网| 婷婷综合五月激情| 人人操Av| 激情q青青草在线婷婷| 色色五月天激情| 五月停停色色丁香| 亚洲操精品| 天天色99| 激情五月天综合网| 精品久久艹| 热99只有里视频| 激情综合网亚洲色图| 青草久久五月婷伊人| 深情六月婷婷综合久久| 亚洲色综合| 91九色精品| 激情婷婷网| 丁香五月www| 亚洲色图啪啪| 激情av网| 久久久久久久久久婷婷| 97婷婷久久丁香| 天天综合色99| WWW.久久久久久久久久久久久| 色97啪啪| 77777亚洲午夜久久| 亚洲AV另类| 久色88| 五月色亚洲| 色婷婷激情四射视频| 精品人妻在线| 黄色精品五月婷婷| 五月天成人综合| 亚洲色碰| 色狠狠五月天| 夜夜躁狠狠| 天天摸天天舔天天爽| 婷丁香五月天| 国产在线另类五月婷婷| 丁香五月婷婷色播艳门照| 四色AVwww| www,天天干| 99热66| 久久久99视频| 99热这里只有精品16| 99日韩| 欧美性爱五月天| 丁香五月天啪啪| 97精品人人A片免费看| 在线18av | www超碰com| 国产亚洲av片| 丁香五月婷婷激情四射| 91狠狠色| 色色色视频免费无码 | 这里只有在线精品| 久久成人天| 天天天天天日| 91.com男女操| 人人爽天天爽| 亚洲成av人影院| 99A片| 欧美色色日韩| 综合色五月天| 女高怪谈在线观看| 黄色大片又大粗又爽| 97色综合| 人人操9| 色五月大| 日本久久网| 丁香五月天导航| 成人在线视频网| 9久久久久| 天天草女人| 久久婷婷综合网| 免费无码毛片一区二区A片| 99在线精品视频| 人妻丰满精品一区二区A片| 97碰碰九九视频| 高清国产AV| 大香蕉啪啪啪| 五月丁香久久综合精品| www.com五月天| 精品人妻久久久久久久| 六月丁香VA| 综合久久高清| 激情五月天丁香| 午夜微拍福利| 色五月天丁香婷婷| 思思99热在线| 99操逼| 婷婷亚洲综合| 九九九九精品精| 九九偷拍网| 婷婷久久综合| 五月婷婷激情性爱| 99久在线| 99综合久久| 开心四月婷婷在线色播播| 天天爽天天摸| 秋霞A V毛片| 99自拍视频在线| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月天久久婷婷婷| 五月天激情小说电影| 久久婷婷五月天综合| 91大神操美女| 免费看欧美成人A片无码| 蜜臀99久久精品久久久久| 五月丁香| 久热精品视频| 欧美丁香婷婷五月天| 在线中文字幕视频| 六月丁香五月婷婷| 色色色综合网| 丁香婷婷综合色五月激情国产基地| 碰超99| 成人视频九九| AV人人操| 99热在线精品播放| 色九九综合| 久久性爰视频这里只有精品| 色99网| 色五月综合激情网| 网色99| 午夜国产精品AV在线播放| 色色99| 国产成人网址| 丁香99| 金桔一区二区ab地址| 战争与艾拉电影免费观看| 午夜色婷婷| 丁香五月天AV在线 | 激情五月天丁香| 亚洲美女裸体被操在线观看| 九九Av| 丁香婷婷婷五月| www.色婷婷.com| 色婷婷色五月综合| 婷婷色播色五月五色五月天色妇| 这里只有精品免费观看网占| 开心婷婷五月| 五月天婷婷久草丁香| 色婷婷五月天激情在线播放| 国产这里只有精品| 大战熟女丰满人妻AV| 久大香蕉| 婷婷五月六月激情| www.激情五月| 日本乱论99| 密乳视频| 直接看的AV| 色婷婷女优有码五月亭| 五月丁香六月婷精品视频| 狠狠人妻色综合| 丁香九月激情在线视频| 婷婷久久午夜网| 九九这里只有精品| 久久婷婷五月天大香蕉| 久久欧洲久久| 婷婷八月丁香激情综合| av中文网| 亭亭玉立国色天香| 人人草人人舔| a性生活久久无| 五月天婷婷六月激情网| 97色啪| 丁香婷婷六月| 精品思思久久| 99色精品| 疯狂做受XXXX高潮A片动画| 婷色五月天| 啪啪小说五月天| 中文字幕无码人妻少妇免费视频 | 婷婷五月丁香网| 99无码精品| 婷婷五月丁香久久| 26UUU精品一区二区| 欧美A级成人婬片免费看理论| 激情久久久| 天天爽天天| 婷婷5月久久综合网站| 中文字幕成人| 狠狠色噜噜狠狠| 婷婷九月丁香中文| 五月丁香AV、伊人业余、性色熟妇| 99re久久| 夜夜爱影院| 六月婷婷久久大全| 国产精品久久久久久喷浆| 激情图片亚洲| 五月丁香婷中文| www亚洲无码| 色色色色色爱| 欧美成人精品A片免费一区99| 婷婷六月丁香激情| 婷婷丁香九月| 综合玖玖偷拍| www.亚洲激情| 性做久久久久久久免费看| 玖玖国产视频一区| 丁香五月91| 亚洲av无码精品色午夜| 丁香五月区| 丁香六月婷婷缴情欧美| 婷婷五月深深的爱| 久久这里只有精品热在99| 五月丁香啪啪婷婷| 中文久久婷婷| 久久五月天免费网站| 日本五月视频| 婷婷D区| 婷婷激情五月天在线视频| 婷婷色六月| 啊V视频在线观看| 少妇人妻人伦A片| 色婷婷最新域名| 思思久久99热只有频精品66| 97久久久久久久久久久| 五月激情婷婷六月丁香| 成人精品在线观看| 成人va在线观看视频| 99热免费精品| 丁香婷婷大香蕉| 任你爽免费视频| 五月丁香网站| 色色99| 嫩草视频观看| 色婷婷精品| 亞洲自怕| 亚洲性爱99在线| 黑人巨粗进入警花疼哭A片| 性小说五月天| 九九在线精品| 久久久er热| 99免费在线视频| 激情久久四色| 香蕉婷婷| 99在线观看精彩视频| 操一区| 狠狠色狠狠干| 婷婷五月天色色| 五月天五月色婷婷综合| 五月天婷婷在线观看| 欧美精品99久久久| 婷婷色五月天在线观看| AV色五月婷婷| 超碰免费人人| 色亚洲中文| 五月综合激情| 中文字幕丁香五月| 国产XXXX搡XXXXX搡麻豆 | 另类小说婷婷色| 天天碰夜夜操| 日日夜夜爽爽| 九九伦子片| 五月花在线观看视频| 99视频在线观看视频| 五月天激情综合| 丁香五月最新网址| 日韩精品一区二区亚洲AV观看| 国产精品日日躁夜夜躁| 丁香五月综合激情啪啪| 91精品无码| 天天干天干| 亚洲蜜桃精久久久久久久久久久久| 超碰人人草| 五月丁香 久久久| 99热在线观看| 啪啪激情网站| 另类图片激情五月天| AV成人在线播放| 激情五月天婷婷五月天| 丁香五月熟女| 五月丁香六月玩女人| 色色九九五月天 | www五月天com| 九九精品综合| 综合亚洲六月婷婷在线| 99性爱| 5月丁香婷婷| 欧美性猛交99久久久久99按摩| 婷婷基地五月色| 色婷婷丁香AV综合| 99性爱视频| 色色色婷婷五月天| 五月丁香综合激情| 人人色AV| 超碰在线资源| 天天操天天操天天操天天操天天操 | 可以免费观看的AV| 色婷婷久久综合| 啪啪啪综合网| 五月婷婷开心六月激情小说| 伊人丁香五月婷婷潮吹| 国产激情av| 思思热久久阴99| 婷婷丁香六月天| 婷婷五月天论坛| 无码动漫AV| 五月丁香综合啪啪| 婷婷五月丁香综合激情小说| 99热 日韩| 99色热视频在线| 超碰色综合| 九九热在线精品视频| 五月花婷婷最新| 欧美六月婷婷| 九九热欧美| 欧美激情五月天在线观看| 玖久久网站| 天天操天天干天天日| 996热| 天天干天天插| 六月婷婷九月丁香亚洲综合| 久久久婷丁香五月天激情综合| 99色精品| www.热99热| 91chinese 在线| 日本天天色| 淫荡综合网| 久色激情| 五月丁香成人网| 婷婷色av| 色婷婷av在线| 五月花婷婷| 色婷婷狠狠18| 狠狠干婷婷| 色婷婷五月综合激情中文字幕| 五月丁香啪啪啪| 亚洲五月丁香综合网| 九月停停| 91精品国产91久久久久青草| 色国产五月| 欧美婷婷九月| 狠狠色丁香| 这里只有精品9| 中文字幕人妻在线| 青青草视频免费观看| 激情婷婷五月| 九九色中文| 99人人爽| 久月婷婷| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 美女伊人久久| 色狠狠综合| 婷婷深爱五月丁香| 国产 码在线成人网站| 操B无码视频国语| 激情综合色图| 六月丁香五月激情亚洲AV| 婷婷色色宗合网| 另类综合激情| 欧美视频在线观看噜噜| 琪琪色影音先锋| 超碰免费人人| 欧美成人色婷婷| 人人亚洲| 国产成人亚洲综合亚洲| 色婷婷99| 激情综合网 激情五月天| 日韩综合久久| 俺来也狠狠| 99日韩| 久热播这里只有精品| 亚洲成人免费电影| 99热黄| 色色色色综合网| 五月丁香六月婷婷开心网| 婷婷五月激情四月综合 | 超碰色女| 久久视频在线视频| 国产.亚洲.欧洲视频在线| 美女要搞搞天天搞搞搞网站| 五月丁香少妇| 欧美日韩成人| 婷婷五月天综合网| 丁香五月婷婷动漫视频| 黄久久久| 99热热热99精品婷婷| 91黄址| 天天爽天天摸| 在线国产精品色| 成人在线观看一区| 国产片XXXXA片国语对白| 亚洲综合视频在线| 六月丁香影院| 天天色综合色色色色色。| 国产资源在线视频| 伊人热在线大香蕉| 99热这| 中文av网| 丁香花五月天| 影音先锋一区二区三区| 亚洲啪| 丁香五月社区| 五月丁香操婷逼| 五月婷婷开心综合| 久久99最新| 九九色欲网| 国产三级在线播放| 天天综合网在线| 五月色色激情网| 婷婷丁香一月| 婷婷久久久| 五月婷婷九九热| 激情九月婷婷九月| 狠狠爱综合| 五月丁香婷婷色色色| 热思思| 日本婷婷丁香五月| 九九激情综合| 色婷婷久久视屏| 国产操B| 五月婷在线| 99色干| 色色色com| 这里只有精品在线播放| 日本a片网址| 日本女人久久| 婷婷丁香久久网| AA片在线观看视频在线播放| 欧美操人| 97色女人在线| 婷婷久久色| 日日日日操| sewuyue第四色| 99国产小视频免费观看| 婷婷六月色| 日本系列_4页_777FP| 涩涩婷婷五月| 91丨九色丨国产打屁股网站| 伊人高清无码| 99热国品| www九九热| 97av在线视频| 国产免费一区二区三区三州老师F1F1.CC | 丁香六月婷婷开心| 老妇操B| 99久操视频| 无码激情AAAAA片-区区| 国产精品成人在线| www.婷婷| 五月丁香欧美综合| 精品久久这里热66| 色婷婷丁香| 人人人操B超碰| 丁香久久五月天视频在线观看| 天天日天天插天天操| 婷婷久久综合久| 久久九九玖玖| 玖玖激情网| 99re久热| 国av网| 色青青电影色五月| 国产肥白大熟妇BBBB视频| 色播五月丁香| 婷婷在线视频| 九九热视频这里只有精品| 五月天激情四射网站| 五月婷婷av| 夜夜躁爽日| 五月丁香无码| 狠狠插狠狠| 五月天欧美激情| 久久性爱网站| 丁香五月天欧美| 色婷婷丁香五月丁香| 欧美日韩大黄| 夜夜爽天天| 大香蕉久久伊人婷婷五月丁香| 91热99| 97碰在线| 九热精品| 丁香色综合| 91九色|疯狂|高潮|对白|| 影音先锋毛片网站| 超碰a女人的天堂| 日本黄色精品| 夜夜爱爱亚洲| 国产44页| 正宗黄色毛片| 人人插9| 色色色五月婷| 色天使色婷婷| 中文字幕精品在线观看| 天天综合网~91综合网| 91超级碰在线| 九月激情综合| 婷婷九月综合| 亚洲综合网 665566| 激情综合网五月婷婷| 操一区| 亚洲超碰在线| 激情五月天色色网| 色色丁香| 亚洲精品色色| 成人片久久网站| 大波美女VA网站| 亚洲综合色丁香五月天| 色婷婷五月亚洲| 69激情小说| 久久九九蜜| 天天激情| 曰日爽日日操| 色五月天婷婷| 天天操夜夜操| 97狠狠色| 久操热| 思思99热| 大陆极品少妇内射AAAAAA| www,婷婷,com| 丁香五月熟女| 婷婷五月天AV在| 超碰三级片| 9久精品视频| 丁香六月婷婷一区| 激情综合网,五月| 五月天激情网页| 99热免费精品| 久草大| 婷婷99视频精品| 天天综合在线网| 99热精品中文字幕| 五月激情小说| 五月婷婷综合激情小说| 中文字幕综合色| 超碰人人99| 亚洲AV成人片无码网站| 淫视馆aV二区一区| 亚洲国产精品成人免费一区久久久在线观看AAAA | 天天日日人| 9这里只有精品| 情趣视频66| 粉嫩av蜜桃av蜜臀av| 狼人久草| 五月婷婷伊| 欧美啪啪五月天| 婷婷五月综合在线| 97婷婷丁香五月天激情图片| 亚洲 五月 婷婷 成人| 久热亚洲| 狠狠干婷婷| 婷婷丁香六月天| 亚洲AV另类| 色优久久| 热这里| 这里只有精品无码| 99视频久久| 婷婷丁香五月综合网| 91视频人人做97| 丁香六月啪啪| 天天射天天射一道本日本社区 | www.夜夜操| 丁香婷婷五月天成人| 99热青青草| 91玖玖| 另类少妇人与禽zOZZ0性伦| 亚洲AV无码成人电影| 久久超级碰碰| 婷婷AV丁香| 久久久五月四色| 五月天婷婷基地综合网| 丁香五月综合| 亚州第一A片| 婷婷五月天影院| 久热最新视频| 91久久色| 婷婷五月天色| 97超喷视频在线观看| 中美日韩成人在线| er99免费视频在线| 日韩aaaaa| 大香蕉五月天婷婷| 一区二区你懂的| 99精品久久| 色综合网综合| 午夜成人AV在线| 国产午夜精品AV一区二区麻豆| 五月婷婷色啪| 5月婷婷视频网站综合| 婷婷五月天色| 人人操AV| 色婷婷综合久久| 亚韩在线视频| 色情一区二区播放| 五月婷婷六月天| 草了bav视频在线观看| 91精品综合久久婷婷九色| 人妻videos人妻高清| 激情五月丁香六月综合AVXXXX| 久久久久9999| 综合www色| 狠狠狠狠免费| 影音先锋91| 大地资源色婷婷视频在线| 色五月婷婷91|