欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

生產(chǎn)者-消費(fèi)者模式與并行任務(wù)調(diào)度:從BlockingQueue到虛擬線程的工程實(shí)踐

生產(chǎn)者-消費(fèi)者模式與并行任務(wù)調(diào)度:從BlockingQueue到虛擬線程的工程實(shí)踐 我想先把這次做的東西說清楚——這個(gè)項(xiàng)目圍繞的是生產(chǎn)者-消費(fèi)者模式、并行任務(wù)調(diào)度以及一個(gè)經(jīng)常被忽略的細(xì)節(jié)更簡(jiǎn)潔的注釋和每項(xiàng)改進(jìn)的詳細(xì)解釋。我自己維護(hù)過一套高吞吐的通知推送組件早期代碼就是“能跑就行”的水平隊(duì)列選型靠拍腦袋線程池參數(shù)全是默認(rèn)值注釋寫了等于沒寫后來踩了數(shù)據(jù)丟失、線程阻塞、代碼完全沒人敢改的坑才回過頭來用這套思路徹底重構(gòu)了一遍。適合讀這篇文章的人有兩類一類是剛接觸并發(fā)編程想知道 BlockingQueue、線程池、虛擬線程到底各自解決什么問題另一類是已經(jīng)寫了幾個(gè)月生產(chǎn)者-消費(fèi)者代碼但總覺得哪里別扭想看看“規(guī)范版本”長(zhǎng)什么樣。這篇內(nèi)容不會(huì)只丟給你一段能跑的代碼而是把我踩過的坑、每一步改進(jìn)背后的原因、包括注釋為什么要那樣寫全部拆開講清楚。1. 先搞清楚生產(chǎn)者-消費(fèi)者模式在工程里到底解決什么問題1.1 生產(chǎn)慢、消費(fèi)慢怎么讓他們別互相拖累很多人在面試?yán)锉尺^生產(chǎn)者-消費(fèi)者模式的定義但真到了業(yè)務(wù)里未必知道它到底在解什么題。我用一個(gè)日常場(chǎng)景說明你去咖啡店點(diǎn)單收銀員是生產(chǎn)者咖啡師是消費(fèi)者中間那個(gè)放訂單的臺(tái)子就是隊(duì)列。如果臺(tái)子太小收銀員每一次都要等咖啡師做完一杯才敢接下一單點(diǎn)單速度被拖死如果臺(tái)子太大訂單堆得到處都是消費(fèi)者又忙不過來。生產(chǎn)者-消費(fèi)者模式要做的事就是在“產(chǎn)生任務(wù)”和“執(zhí)行任務(wù)”中間加一層緩沖讓兩邊速度不匹配時(shí)不至于互相阻塞。工程里最常見的應(yīng)用場(chǎng)景是這幾類消息推送業(yè)務(wù)系統(tǒng)產(chǎn)生推送請(qǐng)求推送服務(wù)異步消費(fèi)高峰期削峰日志收集應(yīng)用線程寫日志到隊(duì)列后臺(tái)線程批量刷盤批量寫庫上游產(chǎn)生大量變更下游攢一批再寫減少數(shù)據(jù)庫連接壓力爬蟲任務(wù)解析抓取任務(wù)一條條進(jìn)隊(duì)列解析線程并行處理訂單狀態(tài)通知訂單系統(tǒng)產(chǎn)生事件通知服務(wù)消費(fèi)并發(fā)送短信/郵件你會(huì)發(fā)現(xiàn)它們的共同點(diǎn)生產(chǎn)端和消費(fèi)端的速率天然不匹配。比如訂單瞬間暴漲時(shí)數(shù)據(jù)庫只能每秒寫200條但上游每秒能產(chǎn)生2000個(gè)事件這時(shí)候隊(duì)列就是緩沖水池讓消費(fèi)端穩(wěn)定的200條/秒慢慢消化而不是被瞬時(shí)流量沖垮。實(shí)際業(yè)務(wù)中它帶來的核心價(jià)值是四個(gè)解耦生產(chǎn)者完全不需要知道下游有幾個(gè)消費(fèi)者、每個(gè)消費(fèi)者怎么處理緩沖削峰瞬時(shí)流量壓進(jìn)來時(shí)消息先落在隊(duì)列里消費(fèi)端按自己的節(jié)奏處理可用性提升消費(fèi)端掛掉或者處理失敗時(shí)生產(chǎn)端可以繼續(xù)投遞配合重試機(jī)制能兜底天然支持并行同一個(gè)隊(duì)列可以掛多個(gè)消費(fèi)者這是后續(xù)并行任務(wù)調(diào)度的基礎(chǔ)1.2 三種經(jīng)典實(shí)現(xiàn)方式對(duì)比實(shí)現(xiàn)生產(chǎn)者-消費(fèi)者模式Java 里大體有三條路synchronized wait/notify、Lock Condition、BlockingQueue。初學(xué)者最容易被前兩種繞暈我直接給對(duì)比表。實(shí)現(xiàn)方式同步機(jī)制典型代碼量適用場(chǎng)景必須注意的坑synchronized wait/notify對(duì)象鎖 等待/喚醒多學(xué)習(xí)、極端簡(jiǎn)單場(chǎng)景wait 必須放 while 循環(huán)里必須 notifyAllLock Condition多個(gè)條件隊(duì)列中需要精確喚醒、控制復(fù)雜狀態(tài)容易忘記 unlock多條件容易用錯(cuò)BlockingQueue內(nèi)部同步隊(duì)列最少大部分生產(chǎn)項(xiàng)目選錯(cuò)實(shí)現(xiàn)類容量不設(shè)上限內(nèi)存溢出先看第一版最原始的寫法網(wǎng)上教材里最常見public class BasicProducerConsumer { private final QueueString queue new LinkedList(); private static final int CAPACITY 1000; public synchronized void produce(String item) throws InterruptedException { while (queue.size() CAPACITY) { wait(); // 隊(duì)列滿了暫時(shí)停下等待消費(fèi)端取走 } queue.offer(item); notifyAll(); // 喚醒所有等待的消費(fèi)者 } public synchronized String consume() throws InterruptedException { while (queue.isEmpty()) { wait(); // 隊(duì)列空了等待生產(chǎn)端放入數(shù)據(jù) } String item queue.poll(); notifyAll(); // 喚醒生產(chǎn)者 return item; } }這段代碼看起來沒問題但這里有幾個(gè)隱藏的細(xì)節(jié)。第一個(gè)wait 為什么必須放在 while 而不是 if 里。因?yàn)榇嬖凇疤摷賳拘选本€程可能在沒有被 notify 的情況下醒過來或者被 notifyAll 喚醒后又發(fā)現(xiàn)條件不滿足。用 if 只會(huì)判斷一次醒來直接往下走隊(duì)列還是滿的或空的就會(huì)出問題。while 是二次確認(rèn)條件這是長(zhǎng)期實(shí)踐留下的鐵律。第二個(gè)為什么用 notifyAll 而不是 notify。notify 只隨機(jī)喚醒一個(gè)線程如果喚醒的是一個(gè)同類線程比如生產(chǎn)者喚醒的是另一個(gè)生產(chǎn)者可能永遠(yuǎn)等不到條件滿足。notifyAll 把等待線程全部喚醒讓它們自己再判斷一輪雖然開銷大一點(diǎn)但不會(huì)丟信號(hào)。第三個(gè)鎖對(duì)象必須一致。produce 和 consume 都用 synchronized 鎖了 this如果有一處不小心鎖了另一個(gè)對(duì)象生產(chǎn)者和消費(fèi)者各自的鎖就完全隔離開了整體就是廢的。1.3 為什么很多項(xiàng)目寫著寫著變成了“偽隊(duì)列”這個(gè)標(biāo)題里的“偽隊(duì)列”是我自己起的名字指的是看起來用了 BlockingQueue實(shí)際上既沒解決生產(chǎn)消費(fèi)平衡也沒解決并行調(diào)度只是把一個(gè) List 換了個(gè)線程安全的殼。我自己見過、也親手寫過幾種典型問題。隊(duì)列容量不設(shè)上限。很多人直接new LinkedBlockingQueue()默認(rèn)容量是 Integer.MAX_VALUE等于是無限隊(duì)列。生產(chǎn)端偶爾抽風(fēng)或者流量突增隊(duì)列就能吞掉幾百萬條消息內(nèi)存直接頂著走。這種代碼在測(cè)試環(huán)境永遠(yuǎn)測(cè)不出問題因?yàn)闇y(cè)試流量太小了一上生產(chǎn)就 OOM。消費(fèi)失敗就 continue。取了一條消息process 方法拋了個(gè)異常外層循環(huán)直接 continue消息就永遠(yuǎn)沒了。這在通知推送場(chǎng)景下意味著用戶收不到短信在訂單場(chǎng)景下意味著直接丟單。用線程池但只提交了一個(gè)任務(wù)。啟動(dòng)消費(fèi)者線程池時(shí)寫了個(gè) for 循環(huán)結(jié)果循環(huán)條件寫錯(cuò)了只 submit 了一次后面的人看代碼完全沒察覺只能通過日志里消費(fèi)者的編號(hào)永遠(yuǎn)是 1 來發(fā)現(xiàn)。這節(jié)說這么多不是為了嚇人而是想強(qiáng)調(diào)生產(chǎn)者-消費(fèi)者模式本身不難難的是把它寫成一個(gè)可以長(zhǎng)期迭代、能排查問題、性能不拖后腿的工程組件。后面的并行任務(wù)調(diào)度、注釋優(yōu)化都是圍繞這個(gè)目標(biāo)展開的。2. 并行任務(wù)調(diào)度讓多個(gè)消費(fèi)者真正“并行”起來2.1 單消費(fèi)者瓶頸一個(gè)工人干所有活很多第一次優(yōu)化這套鏈路的人第一反應(yīng)是“把隊(duì)列換得更快一點(diǎn)”“把 LinkedBlockingQueue 換成 ConcurrentLinkedQueue”但實(shí)際上瓶頸往往根本不在隊(duì)列本身而在你只開了一個(gè)消費(fèi)線程。我舉個(gè)例子。假設(shè)一個(gè)批處理任務(wù)每次從隊(duì)列取 1000 條數(shù)據(jù)寫一次數(shù)據(jù)庫耗時(shí)大約 200ms。如果你只啟動(dòng)了一個(gè)消費(fèi)者哪怕隊(duì)列里已經(jīng)堆了 100 萬條任務(wù)每秒鐘能處理的也就是 5000 條吞吐完全被單線程鎖死。而內(nèi)存里明明有 8 核 CPU一個(gè)線程只能占滿一個(gè)核其他核全在空轉(zhuǎn)。單消費(fèi)者模型還有一個(gè)隱性缺點(diǎn)如果消費(fèi)者在處理一條任務(wù)時(shí)偶發(fā)慢調(diào)用比如數(shù)據(jù)庫連接池滿了等待 30 秒那么整個(gè)消費(fèi)鏈路都被卡住隊(duì)列不斷堆積。雖然多消費(fèi)者也會(huì)遇到慢調(diào)用但至少其余消費(fèi)者還能繼續(xù)干活系統(tǒng)不會(huì)“單點(diǎn)停滯”。所以并行任務(wù)調(diào)度要解決的第一件事就是把“一個(gè)消費(fèi)者”變成“一組消費(fèi)者”讓它們并行地消費(fèi)同一個(gè)隊(duì)列。2.2 多消費(fèi)者線程池設(shè)計(jì)與參數(shù)選擇并行消費(fèi)最直接的實(shí)現(xiàn)方式是用一個(gè)線程池來跑多個(gè)消費(fèi)循環(huán)。這里我直接給出一個(gè)在生產(chǎn)環(huán)境穩(wěn)定運(yùn)行過的配置思路而不是甩給你一串神秘參數(shù)。int processors Runtime.getRuntime().availableProcessors(); int consumers Math.max(2, processors); // 保守一點(diǎn)至少 2 個(gè)最多不超過核數(shù)太多 ThreadPoolExecutor consumerPool new ThreadPoolExecutor( consumers, consumers, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue(consumers), // 工作隊(duì)列只存任務(wù)不存業(yè)務(wù)數(shù)據(jù) new NamedThreadFactory(batch-consumer), new ThreadPoolExecutor.CallerRunsPolicy() );這里有幾個(gè)關(guān)鍵點(diǎn)逐一解釋。核心線程數(shù)和最大線程數(shù)設(shè)成一樣都是 consumers。消費(fèi)循環(huán)是常駐任務(wù)不像普通請(qǐng)求那樣有高峰低谷所以不要搞“核心 2 個(gè)、最大 20 個(gè)”這種彈性配置。最大線程數(shù)只在核心線程不夠用時(shí)臨時(shí)擴(kuò)容但消費(fèi)循環(huán)本身是無限阻塞的擴(kuò)容上來的線程出來后立刻又去隊(duì)列里阻塞等待反而可能造成資源浪費(fèi)。固定成一樣行為更可預(yù)測(cè)。工作隊(duì)列的大小設(shè)成 consumers而不是設(shè)成業(yè)務(wù)隊(duì)列的大小。這里很多人的誤區(qū)是把線程池的隊(duì)列當(dāng)成業(yè)務(wù)隊(duì)列用實(shí)際上消費(fèi)線程池的工作隊(duì)列只是存放“消費(fèi)循環(huán)任務(wù)”的任務(wù)數(shù)量很少不需要留大空間。拒絕策略選 CallerRunsPolicy。如果消費(fèi)者線程全部掛掉或者提交任務(wù)失敗CallerRunsPolicy 會(huì)直接在提交線程也就是啟動(dòng)消費(fèi)者的主線程上繼續(xù)執(zhí)行保證任務(wù)不會(huì)無聲無息地丟。相比默認(rèn)的 AbortPolicy 直接拋 RejectedExecutionException這更安全。線程工廠必須自定義命名。用過Executors.defaultThreadFactory()的人都知道線程名一堆 “pool-2-thread-1”出了問題你連是哪個(gè)池的線程都看不出來。用 NamedThreadFactory 可以統(tǒng)一命名成batch-consumer-1、batch-consumer-2日志排查方便非常多。線程數(shù)的估算我一般用這個(gè)公式作為起點(diǎn)N CPU 核數(shù) * (1 等待時(shí)間 / 計(jì)算時(shí)間)。如果任務(wù)是純 IO 型比如批量寫庫、調(diào)第三方接口等待時(shí)間遠(yuǎn)大于計(jì)算時(shí)間線程數(shù)可以放寬到核數(shù)的幾倍甚至幾十倍。如果是 CPU 密集型的解析、加密等任務(wù)線程數(shù)接近核數(shù)就行了開太多反而因?yàn)榫€程切換拖慢速度。實(shí)際場(chǎng)景里我曾經(jīng)把一個(gè)單消費(fèi)者的批量訂單處理改成 8 個(gè)消費(fèi)者并發(fā)處理訂單表從每秒 5000 條提升到 35000 條左右數(shù)據(jù)庫本身成了瓶頸但吞吐的提升是肉眼可見的。這也說明很多并發(fā)優(yōu)化其實(shí)不需要復(fù)雜的算法先把單消費(fèi)者變成多消費(fèi)者效果就立竿見影。2.3 批量合并提交減少鎖競(jìng)爭(zhēng)提升吞吐當(dāng)你已經(jīng)開了多消費(fèi)者下一步值得做的優(yōu)化是批量合并提交。這里的“批量”不是指消費(fèi)者一次只取一條消息而是指攢夠一批再處理尤其適合寫庫、推送等 IO 型操作。我寫一個(gè)實(shí)際可用的消費(fèi)循環(huán)模板注意看 drainTo 的用法public void consumeLoop() { while (!Thread.currentThread().isInterrupted()) { try { ListTask batch new ArrayList(BATCH_SIZE); Task first pendingQueue.poll(POLL_TIMEOUT_MS, TimeUnit.MILLISECONDS); if (first null) { continue; // 超時(shí)沒有任務(wù)繼續(xù)下一次循環(huán) } batch.add(first); pendingQueue.drainTo(batch, BATCH_SIZE - 1); // 盡可能多取一些 processBatch(batch); // 批量處理 } catch (InterruptedException e) { Thread.currentThread().interrupt(); break; } catch (Exception e) { // 生產(chǎn)環(huán)境這里必須做失敗隔離、重試、死信等兜底 log.error(consume batch failed, e); } } }為什么用 poll 而不是 taketake 會(huì)無限阻塞直到有數(shù)據(jù)如果消費(fèi)端需要優(yōu)雅關(guān)閉線程會(huì)因?yàn)闊o法響應(yīng)中斷而卡住。poll 帶超時(shí)超時(shí)后循環(huán)體有機(jī)會(huì)檢查線程中斷狀態(tài)并退出這是順手解決了一個(gè)很隱晦的停機(jī)問題。為什么用 drainTo 而不是循環(huán)里逐個(gè) take逐個(gè)拿一條處理一條每次都要競(jìng)爭(zhēng)隊(duì)列的鎖。drainTo 一次性把當(dāng)前隊(duì)列里最多 N 條拿出來只需要競(jìng)爭(zhēng)一次鎖批量處理時(shí)鎖開銷大幅降低。之前壓測(cè)過批量 100 條和逐條處理相比整體吞吐能提升 30% 到 50%隊(duì)列越大效果越明顯。還有一個(gè)不能忽略的細(xì)節(jié)batch 的最后一批數(shù)據(jù)要能及時(shí)刷出去不能等積累到 BATCH_SIZE 才處理。上面的代碼里poll 的超時(shí)起到了“兜底”的作用即使一直沒湊夠一批超時(shí)后也會(huì)把已有的幾條拿出去處理避免數(shù)據(jù)無限積壓。2.4 虛擬線程JDK21 下的簡(jiǎn)潔并行方案JDK21 正式發(fā)布虛擬線程之后并行任務(wù)調(diào)度的代碼可以大幅簡(jiǎn)化。虛擬線程最大的特點(diǎn)是“一個(gè)任務(wù)一個(gè)線程”線程本身非常輕量不再需要手動(dòng)設(shè)計(jì)“線程池 消費(fèi)者循環(huán)”這種結(jié)構(gòu)。你只需要這樣寫ExecutorService executor Executors.newVirtualThreadPerTaskExecutor(); while (!executor.isShutdown()) { Task task pendingTaskQueue.poll(500, TimeUnit.MILLISECONDS); if (task null) { continue; } executor.submit(() - process(task)); // 每個(gè)任務(wù)一個(gè)虛擬線程 }每個(gè)任務(wù)來了虛擬線程池就創(chuàng)建一個(gè)虛擬線程去執(zhí)行任務(wù)執(zhí)行完虛擬線程自動(dòng)銷毀。因?yàn)闆]有平臺(tái)線程的 1:1 映射百萬級(jí)并發(fā)線程也不會(huì)把內(nèi)存打爆。這個(gè)模型天然支持大批量阻塞 IO 任務(wù)代碼比手動(dòng)維護(hù)線程池簡(jiǎn)單很多。但虛擬線程不是萬能藥。我踩過的幾個(gè)邊界得提前說清楚。CPU 密集型任務(wù)不適合虛擬線程。如果任務(wù)是純計(jì)算比如 JSON 解析、加解密、圖像縮放CPU 核數(shù)有限虛擬線程照樣排隊(duì)等 CPU優(yōu)勢(shì)體現(xiàn)不出來反而因?yàn)檎{(diào)度開銷增加一點(diǎn)性能損失。synchronized 鎖釘住虛擬線程的問題。在虛擬線程在 synchronized 塊內(nèi)阻塞時(shí)會(huì)占住底層的平臺(tái)線程導(dǎo)致平臺(tái)線程被“釘住”大量這種操作會(huì)耗盡載體線程。雖然 JDK24 對(duì) synchronized 做了改進(jìn)但如果你還在跑 JDK21/22遇到阻塞 IO 的場(chǎng)景最好用 ReentrantLock 而不是 synchronized。虛擬線程適合“大量任務(wù) 偶發(fā)阻塞”的場(chǎng)景并不適合“少量常駐任務(wù) 高頻切換”。對(duì)一個(gè)已經(jīng)跑穩(wěn)定的多消費(fèi)者線程池沒有必要為了用虛擬線程而重寫量力而行。3. 代碼注釋的“做得少”與“說清楚”項(xiàng)目的標(biāo)題里特別提到“更簡(jiǎn)潔的注釋和每項(xiàng)改進(jìn)的詳細(xì)解釋”這其實(shí)是我在這個(gè)項(xiàng)目里最有感觸的部分。很多人對(duì)注釋的理解停留在“每行代碼都寫注釋”結(jié)果是代碼上貼滿了廢話真正需要說明的決策理由卻一個(gè)字沒有。3.1 差注釋長(zhǎng)什么樣逐行翻譯式、廢話式我見過太多這種注釋了// 獲取隊(duì)列中的數(shù)據(jù) Task task queue.take(); // 有數(shù)據(jù)就取沒有就一直等 // 處理任務(wù) process(task); // 判斷是否成功 if (task.isSuccess()) { // 記錄日志 log.info(task success); }這段注釋的唯一作用就是占行數(shù)。queue.take()這個(gè)方法名已經(jīng)說明了它在做什么讀者要的不是“它做了什么”而是“為什么在這里用 take 而不是 poll”“為什么沒有設(shè)置超時(shí)”“隊(duì)列空的時(shí)候會(huì)怎樣”。還有一種自我陶醉式的注釋每個(gè)類都要寫作者、創(chuàng)建時(shí)間、修改人/** * author zhangsan * date 2023-05-20 * version 1.0 */這類信息在 Git 提交記錄里本來就有寫在代碼里除了增加維護(hù)負(fù)擔(dān)沒有任何價(jià)值。如果哪天代碼被改了幾十輪作者名字還掛在那里新人以為出錯(cuò)可以找這個(gè)人非常誤導(dǎo)。3.2 用代碼自解釋替代注釋刪注釋容易但刪了之后代碼必須自己說話。我總結(jié)了一套“注釋精簡(jiǎn)三板斧”。第一命名要具體。queue改成pendingTaskQueueprocess改成dispatchTaskdata改成orderEvent。命名精確之后一半注釋都可以刪掉。第二消滅魔法數(shù)。poll(500)里的 500 是什么是超時(shí)毫秒數(shù)。聲明成常量后這個(gè)數(shù)字就有了語義。private static final long POLL_TIMEOUT_MS 500L;第三把復(fù)雜條件提取成方法。代碼里的if (error ! null error.retryCount 3 !isShutdown)很難懂但提取成一個(gè)方法之后if (canRetry(error)) { ... }方法的命名本身就解釋了這段判斷的意圖不需要再寫注釋。這三板斧執(zhí)行完之后你會(huì)驚喜地發(fā)現(xiàn)代碼里還剩的注釋幾乎都是真正值得寫的內(nèi)容。3.3 關(guān)鍵注釋才值得寫原因型注釋、并發(fā)約定、參數(shù)范圍留下來的注釋應(yīng)該長(zhǎng)什么樣核心就一句話注釋只回答“為什么不按常規(guī)來”和“這里有什么約束”。拿前面的消費(fèi)循環(huán)舉例我最終會(huì)在代碼里保留這幾條原因型注釋// 必須用帶超時(shí)的poll否則優(yōu)雅停機(jī)時(shí)線程無法響應(yīng)中斷永遠(yuǎn)卡在take上 Task first pendingQueue.poll(POLL_TIMEOUT_MS, TimeUnit.MILLISECONDS); // drainTo一次拿走批量任務(wù)減少鎖競(jìng)爭(zhēng)不能逐個(gè)take否則性能至少下降30% pendingQueue.drainTo(batch, BATCH_SIZE - 1);這兩條注釋都是在讀者可能產(chǎn)生疑問的地方提前解釋而不是解釋代碼本身??吹竭@些注釋的人不用重新踩一遍坑就能知道為什么這么寫。并發(fā)場(chǎng)景下有幾類注釋其實(shí)和代碼邏輯同樣重要不可變約束、可見性約定、鎖順序約定。比如// 該集合只能由consumer線程修改其他線程只讀所以不需要同步 private final MapString, Task cache new ConcurrentHashMap();這種注釋解釋了“為什么不需要同步”“誰來保證線程安全”對(duì)于維護(hù)并發(fā)代碼的人至關(guān)重要。我自己見過太多因?yàn)闆]有寫這類約束后來人看到集合就以為不安全親手加上了一段性能很差的全局鎖。參數(shù)范圍注釋也挺值錢。比如隊(duì)列容量為什么是 2048可以在常量旁邊寫明計(jì)算依據(jù)// 容量 峰值生產(chǎn)速率(500/s) * 單次消費(fèi)延遲(2s) 80%緩沖區(qū)余量 ≈ 1800取整到2048 private static final int QUEUE_CAPACITY 2048;讀者一看就知道改參數(shù)時(shí)從哪里入手而不是拍腦袋調(diào)一個(gè) 99999。3.4 注釋模板的坑現(xiàn)在 IDE 都很智能自動(dòng)生成注釋模板特別方便。我見過有人對(duì)每個(gè)方法都自動(dòng)生成 Javadoc里面全是param xxx 參數(shù)xxxreturn 返回值有的還帶deprecated但沒寫替代方案。這類模板注釋的危險(xiǎn)在于它制造了一種“這個(gè)類很完整很規(guī)范”的假象實(shí)際上讀者得不到任何有效信息。真正要讀代碼的人只能忽略這些模板逐行看代碼。注釋越多噪音越大真話越容易被淹沒。我的習(xí)慣是方法的注釋只在這段邏輯有協(xié)作時(shí)序、并發(fā)約束、事務(wù)邊界時(shí)才寫。字段注釋只在字段含義容易被誤解時(shí)才寫。單行注釋只用于解釋“反直覺”的決策。換句話說注釋的目標(biāo)不是讓代碼顯得很多而是讓代碼顯得很少。如果一段代碼本身已經(jīng)夠簡(jiǎn)潔、命名夠準(zhǔn)確不做注釋是完全正常的。4. 實(shí)例復(fù)盤從單消費(fèi)者基礎(chǔ)版到高性能并行版空講理論沒意思我把一個(gè)簡(jiǎn)化版的實(shí)例完整貼出來。這是從十幾萬行生產(chǎn)代碼里抽出來的模板去掉業(yè)務(wù)細(xì)節(jié)之后大概長(zhǎng)這樣但核心思路和注釋方式都是實(shí)際用過的。4.1 第一版synchronized 基礎(chǔ)版public class BasicPipeline { private final QueueString queue new LinkedList(); private static final int CAPACITY 1000; public synchronized void produce(String item) throws InterruptedException { while (queue.size() CAPACITY) { wait(); } queue.offer(item); notifyAll(); } public synchronized String consume() throws InterruptedException { while (queue.isEmpty()) { wait(); } String item queue.poll(); notifyAll(); return item; } }這一版適合學(xué)習(xí)原理但生產(chǎn)環(huán)境我不會(huì)直接用。原因整個(gè)隊(duì)列只有一個(gè)鎖生產(chǎn)者、消費(fèi)者完全串行互斥隊(duì)列用 LinkedList沒有容量上限保護(hù)這里雖然設(shè)了判斷但如果有多個(gè)生產(chǎn)者并發(fā)判斷size 判斷并不是原子的沒有超時(shí)機(jī)制線程可能無限期阻塞。它最大的問題是沒有發(fā)揮多核并行能力。4.2 第二版BlockingQueue 線程池批量并行版public class BatchParallelPipeline { private final BlockingQueueTask pendingTaskQueue new LinkedBlockingQueue(QUEUE_CAPACITY); private final ExecutorService consumerPool; public BatchParallelPipeline(int consumerCount) { consumerPool new ThreadPoolExecutor( consumerCount, consumerCount, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue(consumerCount), new NamedThreadFactory(batch-consumer), new ThreadPoolExecutor.CallerRunsPolicy() ); } public void start() { for (int i 0; i consumerCount; i) { consumerPool.submit(this::consumeLoop); } } private void consumeLoop() { while (!Thread.currentThread().isInterrupted()) { try { ListTask batch new ArrayList(BATCH_SIZE); Task first pendingTaskQueue.poll(POLL_TIMEOUT_MS, TimeUnit.MILLISECONDS); if (first null) { continue; // 空閑時(shí)間不做無意義循環(huán) } batch.add(first); pendingTaskQueue.drainTo(batch, BATCH_SIZE - 1); processBatch(batch); // 這里做業(yè)務(wù)處理 } catch (InterruptedException e) { Thread.currentThread().interrupt(); break; } catch (Exception e) { log.error(consume batch failed, batchSize batch.size(), e); // 生產(chǎn)環(huán)境必須有死信或重試策略 } } } public void shutdown() { consumerPool.shutdown(); // 先停止接收新消費(fèi)任務(wù) try { consumerPool.awaitTermination(30, TimeUnit.SECONDS); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } }這版就是項(xiàng)目里真正能夠上生產(chǎn)的骨架。多消費(fèi)者并行消費(fèi)吞吐量成倍增加。使用 BlockingQueue 之后不再需要手寫 wait/notify線程安全性由隊(duì)列內(nèi)部保證。帶超時(shí)的 poll 加上 drainTo 批量取出既解決了停機(jī)問題又降低了鎖競(jìng)爭(zhēng)。有一點(diǎn)要注意第二版的 processBatch 里如果拋出異常不能直接打死消費(fèi)循環(huán)否則這個(gè)消費(fèi)者線程就退出不干活了。生產(chǎn)環(huán)境我的做法是記錄異常把失敗批次寫進(jìn)一個(gè)死信隊(duì)列給重試線程去處理。雖然會(huì)增加一點(diǎn)復(fù)雜度但數(shù)據(jù)不丟才是最底線的事。4.3 第三版虛擬線程簡(jiǎn)化版JDK21 及以上環(huán)境可以考慮虛擬線程方案。它省去了手動(dòng)管理線程池的環(huán)節(jié)整個(gè)消費(fèi)模型變得更加直接。public void startWithVirtualThreads() { ExecutorService executor Executors.newVirtualThreadPerTaskExecutor(); int processors Runtime.getRuntime().availableProcessors(); for (int i 0; i processors; i) { executor.submit(this::consumeLoopV2); } } private void consumeLoopV2() { while (!Thread.currentThread().isInterrupted()) { try { Task task pendingTaskQueue.poll(POLL_TIMEOUT_MS, TimeUnit.MILLISECONDS); if (task ! null) { process(task); } } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } }這個(gè)方案有一個(gè)明顯的變化不再需要 drainTo 批量合并了。因?yàn)樘摂M線程足夠輕量為每個(gè)任務(wù)創(chuàng)建一個(gè)虛擬線程的開銷比平臺(tái)線程小得多所以你可以退回到更簡(jiǎn)單的單條處理模型。實(shí)測(cè)下來在 IO 密集型任務(wù)上簡(jiǎn)化版和批量版的吞吐差距可以接受但代碼讀起來通順很多。這個(gè)方案最值得警惕的還是 CPU 密集型任務(wù)。虛擬線程的調(diào)度靠 JVM底層平臺(tái)線程數(shù)量有限一旦所有虛擬線程都在做 CPU 計(jì)算而不是阻塞等待載入過重后整體性能反而下降。用它之前先確認(rèn)你的任務(wù)是不是真的以阻塞 IO 為主。4.4 注釋優(yōu)化前后對(duì)比最后用一個(gè)具體的注釋優(yōu)化對(duì)比收束這節(jié)。這是我從一個(gè)真實(shí)項(xiàng)目里摘出來的重構(gòu)前后對(duì)照。重構(gòu)前// 取出一個(gè)任務(wù) Task task queue.take(); // 執(zhí)行任務(wù) execute(task); // 檢查結(jié)果如果失敗就重試 if (!task.isSuccess()) { retry(task); }重構(gòu)后Task task pendingTaskQueue.poll(POLL_TIMEOUT_MS, TimeUnit.MILLISECONDS); // 帶超時(shí)poll避免隊(duì)列空時(shí)線程永遠(yuǎn)阻塞無法優(yōu)雅退出tasknull說明隊(duì)列暫時(shí)為空直接進(jìn)入下一輪 if (task null) { continue; } dispatch(task); // dispatch內(nèi)部已做失敗分類只有可重試異常才走重試隊(duì)列重構(gòu)后的代碼第一眼看上去好像“注釋變少了”實(shí)際上有效信息變多了。讀者一下就知道為什么用 poll 而不用 take、什么情況算暫時(shí)為空、重試邏輯被封裝在哪里。這種注釋風(fēng)格的核心邏輯是把代碼里每一個(gè)“容易讓人困惑的決策”變成明面上的解釋而不是逐行翻譯代碼。注釋的價(jià)值密度高了很多。5. 常見問題與排查技巧實(shí)錄最后這部分全是這些年實(shí)際踩坑后才總結(jié)出來的內(nèi)容。建議收藏出了問題來對(duì)照著看。5.1 死鎖程序卡住日志還打著就是不動(dòng)典型癥狀隊(duì)列消費(fèi)速率降為 0線程池看著還有線程存活但日志不再輸出。排查方式第一時(shí)間打 jstack 抓線程??淳€程處于什么狀態(tài)、卡在哪一行。常見原因用了 synchronized 包住 BlockingQueue 的 take但喚醒條件不對(duì)互相等待多個(gè)任務(wù)持有多個(gè)鎖嵌套獲取兩個(gè)線程互相等對(duì)方釋放消費(fèi)任務(wù)里又調(diào)用了生產(chǎn)者端的方法循環(huán)等待我的經(jīng)驗(yàn)死鎖問題 90% 是鎖的嵌套獲取導(dǎo)致的另外 10% 是 wait/notify 信號(hào)丟失。設(shè)計(jì)上盡量避免在持有鎖的情況下再獲取其他鎖非要嵌套時(shí)必須保證全局鎖順序一致。5.2 隊(duì)列滿了或者空了處理策略是什么隊(duì)列滿的時(shí)候生產(chǎn)者會(huì)阻塞這是 BlockingQueue 的默認(rèn)行為。阻塞的好處是背壓自然傳遞到上游壞處是如果一直滿會(huì)拖慢整個(gè)生產(chǎn)鏈路。我通常給生產(chǎn)者的寫入方法加上超時(shí)boolean offered pendingTaskQueue.offer(task, 1, TimeUnit.SECONDS); if (!offered) { // 隊(duì)列已滿可以選擇走降級(jí)策略丟棄、落本地文件、或者同步處理 }隊(duì)列空的時(shí)候消費(fèi)端循環(huán)需要避免空轉(zhuǎn)。poll 超時(shí)設(shè)為 50ms 到 500ms 比較合適太短會(huì)空轉(zhuǎn)浪費(fèi) CPU太長(zhǎng)會(huì)降低延遲敏感度。如果線程需要優(yōu)雅退出poll 超時(shí)給你一個(gè)定期檢查中斷狀態(tài)的機(jī)會(huì)。5.3 數(shù)據(jù)重復(fù)消費(fèi)或丟失這是并行消費(fèi)最怕的兩件事。數(shù)據(jù)丟失常見原因消費(fèi)線程取出了任務(wù)process 拋異常外層直接 catch 吞掉或者 process 先刪了源數(shù)據(jù)然后自己執(zhí)行失敗數(shù)據(jù)沒了。數(shù)據(jù)重復(fù)常見原因消費(fèi)成功后ack 確認(rèn)失敗消息重新投遞或者 process 執(zhí)行到一半消費(fèi)者宕機(jī)任務(wù)被重新消費(fèi)。應(yīng)對(duì)方案只有兩層第一層消費(fèi)端必須做冪等用唯一業(yè)務(wù)鍵去重第二層處理失敗的消息必須進(jìn)入死信隊(duì)列不能直接丟棄。對(duì)于“先處理還是先確認(rèn)”我的習(xí)慣是先持久化處理結(jié)果再確認(rèn)消費(fèi)這樣即使確認(rèn)失敗也只是重復(fù)處理不會(huì)丟。5.4 線程池線程耗盡任務(wù)全排隊(duì)沒線程干活這個(gè)問題常見于把線程池用于“異步執(zhí)行”業(yè)務(wù)任務(wù)時(shí)。業(yè)務(wù)任務(wù)本身會(huì)去調(diào)慢接口、等待鎖一個(gè)任務(wù)卡住線程池里的線程全被占住新的任務(wù)排在工作隊(duì)列里但永遠(yuǎn)輪不到執(zhí)行。排查方式用 ThreadPoolExecutor 提供的 getActiveCount/getQueue 大小做監(jiān)控出現(xiàn)活躍線程數(shù)長(zhǎng)時(shí)間等于最大線程數(shù)就要警惕了解決方式把任務(wù)按類型拆分成多個(gè)獨(dú)立線程池互相不拖累線程池中的任務(wù)盡量設(shè)置超時(shí)避免永久阻塞情況允許時(shí)考慮用虛擬線程池替代讓阻塞任務(wù)不再占用線程5.5 性能壓測(cè)與調(diào)優(yōu)的一點(diǎn)實(shí)操經(jīng)驗(yàn)最后聊一下怎么驗(yàn)證你的優(yōu)化真的有效。我習(xí)慣的做法是寫一個(gè)小的壓測(cè)入口模擬生產(chǎn)者以不同的速率注入任務(wù)然后統(tǒng)計(jì)消費(fèi)延遲和吞吐long start System.nanoTime(); // 注入100萬條任務(wù) pipeline.produceBatch(1_000_000); long end System.nanoTime(); System.out.println(throughput: 1_000_000L * 1_000_000_000 / (end - start) tasks/s);注意一定要測(cè) P99 延遲而不是只測(cè)平均延遲。并發(fā)場(chǎng)景下平均延遲往往被大多數(shù)快的任務(wù)拉低真正影響用戶體驗(yàn)的是那些卡在尾部的最慢任務(wù)。以前我優(yōu)化完只看平均延遲然后上線后還是被用戶投訴后來加了 P99 監(jiān)控才定位到是某類大任務(wù)偶爾耗時(shí)特別長(zhǎng)把線程池占滿了。調(diào)優(yōu)的順序應(yīng)該是先確認(rèn)瓶頸在 CPU、IO 還是鎖競(jìng)爭(zhēng)上再動(dòng)手改參數(shù)。實(shí)踐里很多問題不是隊(duì)列太小而是消費(fèi)邏輯里有慢查詢也不是線程數(shù)不夠而是線程被無意義的自旋浪費(fèi)了。性能調(diào)優(yōu)最忌諱一上來就盲目改并發(fā)數(shù)連監(jiān)控?cái)?shù)據(jù)都沒看改了一天方向全錯(cuò)了。我個(gè)人的體會(huì)是并發(fā)編程里 70% 的價(jià)值來自于把模型劃分正確剩下的 30% 才來自參數(shù)調(diào)優(yōu)。生產(chǎn)者-消費(fèi)者模式是模型線程池和虛擬線程是模型落地的手段而注釋就是你留給下一個(gè)維護(hù)者的使用說明書。每次重構(gòu)完一套并發(fā)代碼如果能順手記錄這次改動(dòng)的決策理由后面排查問題的成本會(huì)低很多。這個(gè)習(xí)慣堅(jiān)持一年你大概率會(huì)回來感謝自己。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
超极99精品| 操操国产| 99噜噜噜在线播放| 嫩草哈哈操| 日本高清久| 日韩AAA| av不卡网站| 超碰免费大香蕉| 精品久久婷婷五月天| 老师高潮流白浆喷水的A片| 激情五月婷黄版| 天天操夜夜啊| 99色视频| 婷婷六月色开| 五月天丁香综合| 日韩黄在免| 最新av在线观看| 日本特黄aaaaa| 九九99香蕉在线视频播放| 久青草影院| 91色综合网| 天天日夜夜夜操操操操| 欧美狠狠一在草| 丁香久久九九99| 狠狠干综合| 色噜噜97视频在线观看| 99色在线| 中文字幕不卡+婷婷五月| 五月天自拍视频| 五月天婷婷基地| 九九99在线视频| av中文字幕免费观看| 人人播| 婷婷五月天影院| 五月婷婷中文网| 五月噜噜噜色综合| 欧美五月丁香啪啪响视频| 五月丁香六月色| 五月 婷 久| 五月激情天| 狠狠色婷婷777| 综合网啪| 婷婷综合网| 激情爱爱网站| 91丨九色丨大屁股| 六月丁丁香| 九九色综合| 琪琪色五月天| 亚洲天堂热| 五月婷婷久久综合| 婷婷五月天综合网| 欧美三级巜人妻互换| 狠狠狠狠狠狠| 丁香五月婷中字在线| 五月婷婷色| 99热免| 久9热在线视频| 五月丁香六月情| 久久久精久人妻| 99色看这里只有精品| 人妻久久做| 97自拍视频在线| 婷婷情色五月天| 五月丁香激情怕怕| 五月天激情综合网站| 五月婷亚洲精品AV天堂| 五月天激情在线视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 丁香婷婷五色月| 天天在线久久综合 | 亚洲另类婷婷综合| 欧美激情五月天在线观看| 丁香五月综合久久八| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 香蕉AV777XXX色综合一区| 伊人综合网站| 九九www| 亚洲4区国产欧美| 九洲一级A片| 爆乳熟妇一区二区三区爆乳照片| 天天拍夜夜爽日日| 91丁香五月| 色婷婷狠| 国产偷人爽久久久久久老妇APP| 国产精产国品一二三在观看| 婷婷五月天精品| 久久久久网站| 五月天激情婷婷丁香| 婷婷五月天欧美图片在线播放电驴| 这里只有精品视频在线看| 亚洲欧美999| 丝袜激情网| 操人91| 亚洲中文字幕在线观看| 色婷成人狠干| 婷婷五月婷婷五月天| 亚洲第一色区| 久操操| 伊人免费视频9| 9视频1在线| 久久9视频| 五月天色视频| AAA久久| 婷婷字幕在线| 九九热九九热精品| 丁香五月婷婷网| 色五月婷婷五月天激情综合| 天天日日天天| 草草视频91| 四LLL少妇BBBB槡BBBB| 久久3级片| 色六月婷婷| 久久成人综合五月天| 综合一区二区三区| 亚洲AV电影美洲AV电影| 久久视频九九视频| 九九Av| 色婷婷香蕉丁丁网| 岛国av电影网站| 图片区 小说区 区 亚洲五月 | 波多野结衣AV无码Porn| 国色天香伊人狠狠色| 婷婷五月综激情| 超碰av在| 淫荡综合网| 丁香五月天激情视频| 五月 婷 久| 丁香婷婷五月天色综合| 精品久久人妻| 久久丝丝热| 欧美日韩一区二区三区四区| 日本WwW色偷偷丁香花久久久京东热| 丁香五月欧美成人| 操久久网| 色婷婷五月综合| 深爱激情五月网| 亚洲成av人影院| 欧美色色色色色| 色五月婷婷小说亚洲中文字幕组| 久色大香蕉| 天天肏天天插| 九九九九九999999| 日日做夜夜爱| 99视频在线观看视频| 五月激情视频网| 五月丁香影院| 第2色五月婷| 超碰二区| 五月婷婷99热| 国产激情综合五月久久| 69午夜成人影片| 婷婷五月天丁香| 热的五码久久精品| ..真实国产乱子伦对白在线_欧| 九九视频免费| 国产欧美日韩综合精品一区二区| 久久婷婷五月综合色播| 五月婷婷激情在线| 亚洲va欧美va天堂v国产综合| 欧美黄色一级| 在线视频99| 国产一区18| 一丁香五月天月AV| 久久伊人婷婷| 欧美人与性动交CCOO| 久er免费视频| 9精品久久999| 天天玩夜夜操| 成人精品在线观看| 四季8848精品成人免费网站| 久久九九热视频| 午夜福利8055| 99热首页| A网在线欧洲| 亚洲一二三网| 狠狠综合| 五月开行婷婷色五月| 久久91久久精品久久| 久久久精品色色色| 亚洲色综合| 天天爱天天做天天操| 五月婷婷大香蕉| 亚洲中文乱字字幕在线永久| 综合五月激情| 亚洲视频二区| 国产肥白大熟妇BBBB视频| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 天天爽,天天操。| 99人妻碰碰久久久禁片| 97色色色| 五月天中文字幕在线婷婷| 婷婷在线日韩综合| 色999;丁香五月| 激情综合五月激情XXXX| 黄色短视频在线观看| 日韩AAAAAAAAAAA片| 久久激情天堂| 欧美情色电影一区二区| 黄网在线免费观看| 色人妻五月| 婷婷婷久久久| 97精品人人A片免费看| 亚洲最大五月六月丁香婷婷| 五月天社区| 亚洲色无码A片一区二区麻豆| 99热这里只有精品官网| 伊人婷婷青青cao| 91人久| 亚洲操操操| 伦乱美欧| 久热91| 黄色网址五月婷婷| 欧美成人精品三区综合A片| www.激情五月天| 久9热| 婷婷综合中文字幕| 99综合视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 色狠狠图片| 色婷婷19| 小色小蛇伊人婷婷色香五月| 影音先锋一区二区资源站 | 五月婷丁香| 丁香五月Av| 日日日,com| 人人妻人人澡人人爽| 婷婷五月天影院| 天天操综合网| 精品久久久人妻| 色婷婷成人影片| 欧美va视频| 变态另类色图| 日本44久久在线| 丁香六月五月天| 五月婷婷五月天在线| 婷婷激情五月综合基地| 三区激情四射av| 在线网黄| 97久久久久| 九九九九无码| www九月婷婷| 少妇大叫太大太粗太爽了A片| 久综合色| 久久九九免费视频| 日本狠狠干| 99久精品视频| 九九色精品| 色色日本欧美| 色婷婷免费观看| 99视频在线精品| 欧美激情凹凸丁香网| hd五月婷婷在线| 日本熟女视频一区二区| 色五月av伊人| 五月丁香婷婷综合网色欲| 丁香伊人激情| 成人无码精品1区2区3区免费看| 另类精品视频在线观看| 丁香五月天堂网| 欧美97色| 777精品久无码人妻蜜桃| 久久综合婷婷| 伊人久久丁香狠狠婷婷综合香蕉 | 色狠狠综合网| 99啪啪视频| 性爱视频久久| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 99热.com| 影音先锋91在线资源站| 玖玖玖婷婷婷| 色五月色五天色情网| 五月丁香激情综合| 激情五月开心五月在线视频| 丁香5月啪啪| 欧美一区二区三区不卡影视| 久久久久丁香婷婷五月天| 亚洲色模骚货| 人人操97| 婷婷在线中文字幕| 97九色视频| 婷婷五月天黄色| 天天做天天爱天天日| 亚洲色爽| 五月亭亭性| 五月丁香六月婷| 五月婷婷黄色| 亚洲AV在线免费看| 日本va欧美va国产激情| 久久婷婷六月综合国际| 激情综合网婷婷久久| 丁香五月天婷婷中文| 午夜不卡成人一区二区| 开心五月深爱五月| 97色干| 综合天堂AV久久久久久久| 婷婷丁香日韩五月| 色情五月综合婷婷| 激情五月色在线播放| 狠狠爱五月婷婷| 久久久婷婷| 99性爱视频| 97操资源婷婷| 丁香婷婷六月激情文学| 色99网站| 青柠影视免费高清电视剧| 亚洲色图五月丁香五月婷婷| 丁香五月天在线视频| 色狠狠综合网| 狠狠综合网| 少妇性BBB搡BBB爽爽爽视頻| 久久婷婷五月天蜜桃| 五月天 综合 在线| av在线观看网站| 成人中文网| 91成人电影| 无码中文一区二区三区| 99久久婷婷国产综合精品草原| 国产精品久久久久久妇女6080| 超级碰人人操人人干| 久久婷婷激情| 人妻久久久久久久 | 91|九色|动漫| 操操操B| 中文字幕高清av| 亚洲婷婷五月天在线激情综合网| 五月丁香婷婷综合| 九色视频九色九色91jiuseshipin| 久操激情| z色五月播播久久| 免费视频WWW在线观看网站| 狠狠99| 青青草婷婷综合五月| 97超碰人人操| 久99久视频免费观看| 69er小视频| 色五月婷婷综合| 99久久五月婷婷| 天天日天天摸天天| 色五月婷婷网| 99色色爰| 婷婷色中文字幕| 免费AV在线网址| 另类激情五月| 99国产在线精品视频| 九月丁香| 免费视频无码| site:wpjngj.com| www.91操| 99久久99久久综合| 大香蕉手机视频| 热99免费在线| 色你久久| 黄网在线免费观看| 激情视频网址| www色色com| 久久婷婷丁香| 五月婷婷色色色| 婷婷五月色播| 久久机热/这里只有精品| 被男人添B超爽视频| www.色综合| AAA久久久| 五月婷婷激情久久| 黄网免费看| 久热91精品| 超碰资源在线| www.色婷婷| 婷婷丁香五月激情| 色综合久久伊伊婷婷五月| 成人精品在线观看| 开心五月激情五月丁香五月婷婷| 99色免费观看全部| www.激情五月| 婷婷久久久| 99亚洲精品视频| aaaaa不卡| 天天草天天爽| 色婷婷五月亚洲| 思思干精品| 激情亚洲网| 婷婷丁香五月天色色| 丁香五月Av| 人人操人人看97干| 国产无套精品一区二区| 五月丁香好婷婷A片网| 婷婷中合| 亚洲AV网站在线观看| 亚洲国产成人在线| 激情内射人妻1区2区3区| 激情www.98com| 99热97美女| 可以看的av网站| 猫咪伊人久久| 成人无码精品1区2区3区免费看| 深爱丁香激情| 婷丁香五月天| 国产超碰在线| 婷婷五月av| 97操在线视频| 婷婷九月丁香中文| 亚洲AV网站| eeuus五月婷| 九九丁香社区欧美激情| 婷婷涩五月| 色五月久久成人婷婷| 亚洲综合色激情色五月| 激情四射五月天| WWW.桔色成人.COM入口| 五月丁香色综合| 久久99热这里只频精品6学生| 久久久99精品| 日韩成人电影AV| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 五月天婷婷激情在线色图| 婷婷丁香五月综合| 五月婷婷说| 亚洲天堂爱爱| 97超碰色| 粉嫩AV久久一区二区三区| 深爱激情婷| 丁香婷婷激情综合五月激情| 1769在线观看欧美国产| 欧美色五月| 五月久视频| 色情五月丁香婷婷网| 怡红院成人AV| 牛牛澡牛牛爽| 99色热| 欧美色频| 色久激情在线| 久久九九99字幕| 婷婷久久丁香五月| 色综合久久88色综合天天| 婷婷99狠狠| 色婷婷久久综合中文久久一本| 九九视频免费| 亚洲精品无码久久| 色婷婷色九月| 综合精品99| 大地9中文在线观看免费高清 | 丁香六月激情国产| www.99色在线| 热思思九九| 人人爱国产| 欧洲色色| 五月天成人在线视频网站| 婷婷丁香基地在线| 777丁香六月青青草婷婷综合久月| 免费啪啪亚州视频| 大香蕉五月| 99久久偷拍视频| 国精产品一区一区三区免费视频| 五月天综合视频| 婷婷激情图片| 五月婷婷丁香五月| 久久精彩免费视频| 婷婷成人AV| 五月色综合网| 激情99| 久久五月天婷婷| 亚洲丁香五月在线观看| 丁香激情婷婷网| 5月婷婷六月丁香| 综合激情伊人影视在线| 亚洲小视频免费看| 色色色色色色色综合| 亚洲艹网| 综合五月天天天天天五月| 性 色 婷婷| 人妻性操逼中文字幕 国产| 人人妻人人澡| 思思久久99热| 婷婷激情五月天在线视频| 天天做天天爱天天日| 九九人人操| 伊人99热| 丁香五月婷婷亚洲综合精品在线| 99久久99热这里只有精品| 五五月五月| 99热这里只有精品23| 操丝袜视频影院导航| 色五月五月丁香| 激情五月丁香六月婷婷| 亚洲激情五月天| 日本久久人| 97在线精品视频| 26uuu亚洲| 1000部毛片A片免费观看| 日本猛少妇色XXXXX猛叫| www.夜夜| 在线免费观看激情视频| 五月天色色婷婷| 91九色在线| 青青热久精品视频在线观看| 99热国产在线| 激情综合在线观看| 九九热最新| 天天操天天干天天射| 亚洲综合欧美色丁香婷婷888月图片| 丁香六月青青草| 久久婷婷激情| 五月丁香婷中文| 99热激情| 激情五月婷婷| 亚洲天堂无码| 99成人网站| 久久美女五月天| 狠狠爱综合| 噼里啪啦完整版中文在线观看 | 99精品高潮| 婷香五月网在线| 激情网婷婷婷| 亚洲精品视频在线| www,99热在线观看| 婷婷久久五月| 丁香五月综合在线视频| 婷婷综合五月| 婷婷激情五月视频| 伊人五月人妻精品| 五月丁香精品| 热婷婷av| 婷婷丁香色五月天久久88| 五月丁香六月婷婷无码| A久久| 成人毛片在线免费观看| 第一区久久网站| 中文字幕av在线| AV在线不卡播放| 性生活视频98791| 免费试看小视频 99| 婷婷射图| 五月丁香最新| 伊人狠狠操| 色婷婷狠狠爱| 色五月婷婷激情基地| 丁香 婷婷五月| 五月天婷婷免费| 91夫妻网站九色| 色色综合成人网| 一丁香五月天月AV| 91九九热| 九九热这里只有国产精品| 99热在线精品观看| 久久婷婷网站| 国产亚洲精品久久一区二区三区| 99ri网站在线观看| 丁香婷五月| 99性视频| 97人妻碰碰中文无码久热丝袜| 色婷婷社区| 日韩一本操| 五月天天天综合| 丁香五月最新地址| avv在线| 色婷婷丁香五月综合| 日日做A爰片久久毛片A片英语| 国产成人AV在线| 超碰人人操| 99艹精品在线观看| 天天婷婷色六月| chaopengdaxiangjiao| www.粉嫩av.com| 色五月色图| 婷婷亚洲久久| www.色五月| 9热在线视频| 激情亚洲网| 亚洲99一级无嗎特制在线| 91大屁股| 久草婷妨| 狠狠色成人影片| 影音先锋91男人资源在线播放| 丁香九月婷婷色| 97超碰,人人舔,人人操,人人摸 | 五月丁香六月情| 亚洲天堂AV综合网| 六月丁香激情网| 91色色色视频| 婷婷六月色开 | 天天情天天狠天天透| 久热9| 婷婷综合亚洲| 夜夜干 夜夜操| 密黄站| 99在线免费视频| 伊人久久婷婷五月天激情四射| 熟女人妻视频| 九九热精品6| 色婷婷影音| 五月婷啪啪| 亚洲天堂99| 97色婷| 这里只有精品视频看看| 婷婷六月成人| 色爱99| 久99| 琪琪布丁香社区激情五月天| 一本色道久久综合狠狠躁一二三| 成人精品99| 9超碰在线| 五月丁香啪啪激情| 色综合久久伊伊婷婷五月| 91久女| www.色婷婷| 免费视频舔| 91麻豆国产三级精品福利在线观看 | 久久婷婷五月天| 99视频这里只有免费精品| 粉嫩AV久久一区二区三区| 九九热短视频在线观看| 99九九玖玖| 激情综合五月| 26uuu精品一区二区| 7超碰自拍| 无码激情AAAAA片-区区| 五月天亚洲综合网| 色A网| 超碰丁香五月| 婷婷五月综合激情| 狠狠色噜噜狠狠狠888| 99爱爱| 久久婷婷五月天丁香| 色爱综合网| 色婷婷丁香五月天在线视频| 天天综合网~91| 五月婷婷色| 99精品视频免费| 久久中文人妻系列| 成人色图情色成人网 www.5b5b5bcom 五月天| 97天堂| 丁香五月色欲| 中文字幕丁香五月| 超碰大香蕉网| 成人一区在线观看| 99久久国产宗和精品1上映| 五月婷啪啪| 激情色视频| 色五月婷婷激情综合网| 五月天激情网址| 日韩AV中文在线观看| 超碰成人在线观看| 六月丁香色婷婷| 99久久婷婷| 伊人大香蕉在线视频| 九九99九九99| 色色 9| 成久综合视频| 91操片| 久久女人九九| www,99热在线观看| 五月婷婷六月天| 精品婷婷| 97碰人人操| 丁香六月视频免费观看| 色情丁香五月天| 亚洲在线综合| 99热99精品| 五月丁香综合网| 欧美综合激情| 伊人久久婷婷| 99黄色性生活| 色婷网| 99综合| 黄色AAAAA| 婷婷五月婷婷五月天| 就要去操亚洲成人精品五月天丁香婷婷| 婷婷伊人视婷婷婷| 婷婷丁香五月社区亚洲| 大香蕉久久青青| 五月丁香六月婷| 色5月婷婷| 91热视频色网站| 色婷婷六月| 婷婷五月天激情在线| 亚洲欧洲99| 人妻久久做| 五月丁香婷婷色| 久久婷婷五月综合| 激情丁香婷婷| 美女亚洲五月丁香| 开心 五月 综合| 丁香五月天欧美成人| 无码激情| 色狠狠狠干| 亚州激情网| 色婷婷色五月另类综合| 婷婷在线五月天观看| 久久久er热| 日韩按摩二区| 激情五月婷婷老师| 饮料下药迷倒漂亮女同事强干| 五月综合激情视频在线| 成人丁香| 99热这里只有精品66| 日日噜噜夜夜狠狠久久丁香六月| 婷婷五月天社区| 婷婷色综合| 亚洲日韩成人三级av| 色图亚洲91| 九九中文字幕九| 九九在线这里只有精品视频| 六月丁香久久| 综合色影| 狠狠干夜夜干| 成人五月天综合网| 久久精品五月| 99视频在线| 亚洲婷婷丁香五月天激情小说 | 色五月成人网| 婷婷五月天激情诱惑| 五月丁香综合激情网| 日本久久人| 色香欲综合| 五月丁香六月片| 丁香婷婷五月天成人| 色呦呦美女| 亚洲五月天综合色| 黄色激情五月天| 日韩性视频| 99在线免费视频| 日本97人人| 免费成片在线观看| 99re热精品视频国| 播五月丁香六月| 久久久大香蕉| 亚洲午夜成人av电影网| 超碰a女人的天堂| 婷婷久久五月| 久久精品99久久久久久| 国自产拍偷拍精品啪啪一区二区| 奇米网大香蕉| 天天爽,天天操。| 九九99热| 五月婷婷久久大片| 久热精品视频在线观| 欧洲免费视频色| 狠狠色成人影片| 色一情一乱一伦一区二区三区| 99玖玖视频| 26uuu四色| 婷婷亚洲五月| 99视频在线观看地址| 狠狠操综合| 精品亚洲国产成AV人片传媒| 第2色五月婷| 久久婷婷五月天激情四射| 天天综合精品| 91碰| www.com五月天| 欧美三级A做爰在线观看| www,色综合| 五月丁香久久激情网| 欧美色99| 综合久久六月| 五月天婷婷色小说| 五月天婷婷狠狠| 99色热视频| 婷婷激情社区| 久久综合无| 亚洲色A| 成人无码精品1区2区3区免费看| 99视频网址| 欧州色色| 影音先锋91在线资源站| 欧美群妇大交乱婬网| 欧美狠狠色| 日本久久极品| 大伊久久| 精品国产AV色一区二区深夜久久 | 综合另类视频| 天天操中文字幕| 99操不停| 五月激情天天干| 日韩少妇内射免费播放| 99热99日…..| 另类激情中文| 成久综合视频| 六月丁香五月天| 97精品综合| 九九精品综合| 色婷婷免费观看| 久久综合五月天| 九九久久免费视频44| 深夜激情网| 丁香婷婷久久五月天| 天天天天天操| 不卡在线中文字幕无| 久久狠色噜噜狠狠狠狠97| 啪啪啪综合网| 99在线观看这里都是精品| 久久久18| 5月丁香综合网| 丁香婷婷啪啪| 99re思思| 久草婷婷| 五月丁香六月婷婷综合免| 九九热av| 安息电影在线观看完整版| 丰满人妻一区二区三区| 日本色婷婷综合| 一本道在线电影| 天天橾日日橾夜夜橾17| 日韩成人不卡| 小视频久久久aaa| 操婷婷久久| 91ncm视频| 97人人操在线| 天天综合色| 天天射综合网天天插| 日韩av免费版| 天天噜| 日本三级黄色大片| 中文字幕成人| 天天舔日日肏夜夜爽| 99久久婷婷国产综合亚洲| 亚洲va欧美va天堂v国产综合| 色99婷婷五月天| 成人丁香五月| 亚洲婷婷开心五月| 五月婷婷精品视频| 免费观看的婷婷五月视频在线| 国产av影片| 无码se| 图片区 小说区 区 亚洲五月| 天天操天天日天天操| 99热一本久道| 丁香五月婷婷网| 99er在线观看| 91色吧网| 国产精产国品一二三在观看| 色五月天婷婷| 99视频内射三四| 久久婷婷五月丁香蜜桃网| 狠狠操狠狠操| 亚洲精品五十一区| www九月婷婷| 91丨九色丨东北熟女| 亚洲AV无码久久精品色欲| 欧美、日韩、中文、制服、人妻| 三级黄网站| 五月丁香婷在线| 操操自拍| 婷婷丁香熟女| www.五月婷婷.com| 婷婷深爱网| 国产ava| 婷婷丁香综合网| 无码动漫av| 亚洲性图一区二区| 狠狠久久婷五月| 色色色com| 91Chinese在线| 婷婷色五月丁香六月欧美啪| 99热福利| 狠狠色噜噜狠狠| 大伊香蕉精品视频在线| 婷婷五月综合激情| 国产精品色婷婷AV综合色色| 99开心五月五月丁香激情| 五月丁香888| 日日干日日| 婷婷综合色| 天天摸色吧天天摸色吧| 亚洲色婷婷99一9|| 97色欧美| 69精品无码一区二区三区| 婷婷丁香六月天| 五月婷婷色情| 激情五月天影院| 久久在线人妻| 天天综合情| 五月丁香综合激情网| 热99色| 青草青草视频2免费观看| 91人人网| 97干视频在线| 特级片神马电影| 婷婷欧美色| 大香网伊人久久综合| 激情婷婷网| 色9999综合久久| 亚洲精品又粗又大又爽A片| 欧美成人A片AAA片在线播放| 美国十月色婷婷在线观看| 99在线精品视频免费观看20| 婷婷五月天亚洲色| 婷婷丁香五月视频| 天天干,天天舔| 97啪啪| 色综合激情| 99ri精品在线| 激情亚洲婷婷| 另类激情码| 九九综合网色全集 | 狠狠爱深色婷婷综合| 99热这里只有精| 五月综合久久| AV性爱在线| 亚洲无码色色| 色情五月综合婷婷| 久久亚洲婷婷| 五月天激情婷婷| 五月天色图| 五月天色区| 91综合在线| 国产69久久久欧美黑人A片| 99热在线观看| 最近中文字幕大全免费版在线 | A久久| 熟女少妇内射日韩亚洲| 亚洲日韩一页精品发布| 亚洲 在线 另类| 丁香五月天天久久综合小说| 亚洲精品第一国产综合亚AV | 超碰五月婷婷五月天| 日本熟女啪啪| 97碰碰视频| 日韩久热| 99在线观看视频精品| 亚洲性爱99| 丁香五月天综合网| 久久性爱视频网站| 丁香婷婷九月| 九月丁香婷婷| www.色婷婷| 婷婷色资源| 婷婷五月天你懂的| 在线婷婷| 久久曰曰| 激情五月天之五月婷婷| 婷婷瑟瑟五月天| 日本色爽| 狠狠爱综合| 思思9久久| 久久 中文 日本| 婷婷五月天奸女| 亚洲婷婷开心五月| 国产26uuu| 色丁香五月天| 99国产精品白浆在线观看免费 | 五月丁香操亭亭网| 超碰在线观看99| 图片区 小说区 区 亚洲五月| 丁香婷婷久久五月天| 97人妻碰碰碰久久香蕉| 丁香六月婷婷激情综合| 久久久久久五月天| 久久久大香蕉| 婷婷丁香社区| 免费操超碰| www.婷婷网| 真实亲子乱子伦高清在线观看| 99九九热在线观看| 欧美A级成人婬片免费看理论| 密视AV综合在线| 思思久久99热| 久久99性爱视频| 五月色综合| 99色在线视频观看| www.激情.com.| 五月婷婷啪| 日本三级大片| 99人人看| 久久久久久久久久久久久久人妻视频| 思思精品视频| 日本精品人妻无码77777| 丁香五月九九| 亚洲射激情| 97影院一级片| 色婷婷狠狠禁久久| 五月婷俺去也| 五月天激情小说网| 91嫩草国产线观看亚洲一区二区| 91肏| 99久久6| 无码色| 日本99久久| 五月婷婷激情中文字幕| 成 人片 黄 色 大 片| 婷婷99中文字幕| 天天做 天天爱| 丁香五月天社区| 色情丁香五月婷婷精品| 丁香五月综合网亚洲综合欧美狠狠| 五月婷婷啪啪| 日韩黄色网络| 天天日,天天干,天天操| 风流少妇A片一区二区蜜桃 | 强壮的公次次弄得我高潮A片日本 | 91激情五月开心| 久久这里只| 99国产精品久久久久久久久久久| 碰碰91| 99亚洲视频| 久9热插入| 丁香五月亚洲综合| 五月丁香啪| 99热九九这里只有精品| 久婷五月| 99热在线看片| 99热这里只有精品在线| 九月丁香八月婷婷加勒比| 亚洲激情网站无码| 色中色综合| 五月丁香激情综合网| 色色五月天婷婷丁香| 成人AV播放| 亚洲国产va| 国产黄大片在线观看画质优化 | 大地9中文在线观看免费高清| 色5在线| 狠狠干综合| 在线观看的av| 九九aV| 久久婷婷五月综合精品蜜芽| 天天日夜夜| 五月婷婷,狠狠操| 色五月综合在线| 成人在线视频男人的天堂4399| 婷婷丁香综合成人| 99久久五月婷婷| 久久久久丁香婷婷五月天| 亚洲AV久久久久久久久久久久久久久久 | 丁香色情五月天| 日本啪啪网| 丁香六月激情| 婷婷综合| 婷婷激情五月天综合| 五月丁香狠狠爱| 色插综合网| 99ER热精品视频| 国产另类综合| 久久综合九色综合88i| 少妇达人正片在线播放_ikun_福利吧| 操逼国产91| 激情爱爱网站超大免费| 日本超碰在线| 99热在线精品观看| 婷婷五月天日本国产| 99婷婷精品推荐在线视频| 涩五月丁香| 色婷婷成人久久| 九色91视频| 久久五月天婷婷| 无码人妻少妇色欲AV一区二区| 热的国产,热的综合,热的有码| 丁香五月婷婷激情四射深爱激情| 天天噜噜| 开心五月综合激情网| 久久婷婷影院| 五月情综合| 国产性爱色| 青草激情综合| 天天舔天天摸天天射| 久久久久久久久18久久| 五月天成人免费视频| 亚洲熟女色| 无码人妻少妇色欲AV一区二区| www色婷婷久久综合久色| 狠狠色噜噜狠狠狠777奇米| 大香蕉久热| 久久色五月天| 丁香婷婷五月综合欧美另类| aaa久久| 99热日韩这里只有精品| 久热爱大香蕉在线蜜臀悦色| 51XX午夜影福利| 三十路磁力链接| 欧美日韩成人在线观看| 久久99热这里只频精品6学生| 伊人久久五月天| 噜噜干日本| 综合AV网| 丁香五月色情| 色综合天天天天做夜夜| 九洲一级A片| 亚洲综合色成丁香五月色| 五月天久久www| 久草 天堂| 免费日本aⅴ中文字幕 | 桃色激情五月天| 午夜69成人做爰视频| 99爱在线免费视频| 天天爽天天日人人爱| 好色婷婷| 成人中文网| 久久婷婷伊人| 综合视频五月| 噜噜噜噜噜在线| 欧美日本高清视频99| 日日夜夜干| 五月丁香成年黄色| 激情久久综合网| 日韩黄黄| 丁香激情五月少妇| 色级停停| 久久婷婷成人综合色怡春院| 亚洲久久激情| 五月婷婷九| 九九精品视频免费在线| 五月婷婷丁香网| 激情丁香六月| 综合久久综合五月天婷婷| 激情五月五月婷婷| 亚洲婷婷免费| 色婷婷a三区麻| 婷婷激情五月天激情在线| 久七香蕉| 五月婷久草| 伊人爱爱日本| 五月天成人综合| 激情五月五月婷婷| 曰曰久久| 亚洲视频99| 色久综合天天做视频| 日韩无码人妻一区二区三区综合 | 五月婷婷AV| 在线va网站| 九九综合色| 五月天成人综合| 久久久久久婷| 最新无码专区| ..真实国产乱子伦对白在线_欧| 国产亚洲精品久久一区二区三区| 激情五月深爱婷婷| 开心五月丁香啪| 美妞av| 日日夜夜狠狠婷婷色| 久久女婷| 天天色丁香| 日韩 中文 欧美| 久热99热| 色综合视频| 久久视频婷婷| 日本天堂爱爱| 人妻激情视频| 婷婷精品综合| 丁香五月91| 超碰A V在线| 国产免费av网站| 91综合在线观看| 综合精品99| 狠狠 久久| 五夜丁香| 婷婷九月丁香| 五月丁香综合激情| 人人爽天天莫| 色色色在线播放| 涩综合在线 | 这里只有精品在线视频在线观看| 五月婷婷综合久久| 精品国产va久久久| 天天综合在线网| 播五月开心婷婷欧美综合| 久久精品人妻| 91美女被操| 五月婷婷六月激情| 丁香五月自拍| 六月婷婷毛片| 五月婷婷色色网址| 九九色天堂| 曰曰久久| 免费精品66| www.亭亭五月天| 天天激情欧美美女| 中文字幕在线资源| 婷婷综合视频| 黄色热99| 丁香花婷婷五月天| 国产成人AV在线| 欧美噜噜久久久XXX| 色99综合视频| 91青娱乐青青草| 五月婷色| 久久综合26p| 99热亚洲精品| 中文久久久人妻| 蜜桃五月天色| 久久婷婷色综合| 色婷婷狠狠| 99久久久精品| 激情综合网五月婷婷| 99热日本| 五月色综合网| 狠狠搞狠狠操| 国产精品黑丝| 欧美超级视频97| 狠狠舔| 天天日天天爱天天噪| 久久曰曰| 午夜不卡久久精品无码免费 | 五月天婷婷色色| 亚洲爱爱无码婷婷色五月| 五月亭亭开心网| 欧美经典片免费观看大全| av在线不卡播放| 日韩另类| 婷婷五月天电影在线| 免费黄色片子| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色综合色色| 丁香熟女乱| 国产日韩欧美性生活| 丁香五月婷久久| 色婷婷在线视频| 玖玖色资源| 婷婷日日天天| 色五月超碰| 日本性视频| 综合激情网五月激情| 可以直接看的AV网站| 一起草性爱不卡视频| 人人超碰99| 久色成人| 99九九综合久久九九| www.91热久久| 秋霞黄色一级久久| 这里只有精品免费视频在线观看| 欧洲色| 91狠狠综合网| 日本熟女二区| 少妇真实被内射视频三四区| 香蕉视频91| 另类小说激情五月天| 激情内射人妻1区2区3区| 中文字幕,综合,91| 天天插天天操| 无码视频国内精品久久久| 色色色综合色| 很很干天天干| 日本成人内射| 五月婷婷免费| 亚洲激情五月天| 亚洲不卡| 超碰91人人操| 五月婷婷,狠狠操| 第四色26uuu| 欧美大片| 一本久久亚洲五月婷婷| 91色吧网| 97sese婷婷| 婷婷五月天亚洲丁香| 国产成人AV不卡| 91精品婷婷国产综合久久| 色婷五月天| 久99久视频精选| cc精品国产性传播| 午夜69成人做爰视频| 超碰av在线| 婷婷午夜精品久久久| 婷婷五月欧美| 伊人狠狠综合| AV网在线| 99视频这里只有久久精品| 久久精品一区二区三区四区| 成人做爰A片免费看网站找不到了| 日日干天天射| 综合激情在线视频| 色色色色色色色色五月先| 91九色欧美| 激情五月天啪啪| 亚洲婷婷91丁香| 中文字幕AV在线播放| 97色色婷婷五月天| 玖玖色综合网| 婷婷综合在线|