欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Kafka全鏈路性能調(diào)優(yōu):吞吐量與延遲的實(shí)戰(zhàn)權(quán)衡

Kafka全鏈路性能調(diào)優(yōu):吞吐量與延遲的實(shí)戰(zhàn)權(quán)衡 前陣子業(yè)務(wù)告警群里又炸了——消費(fèi)延遲從平時(shí)的幾百毫秒一路飆到分鐘級(jí)P99 延遲曲線在監(jiān)控面板上直接拉成一條陡坡。接手這套 Kafka 系統(tǒng)兩年類似的戲碼每隔一陣就重演一次。與其每次都臨時(shí)救火不如把全鏈路參數(shù)優(yōu)化這件事系統(tǒng)捋一遍。這篇是 Kafka 系列進(jìn)階的第二篇核心只聊三件事吞吐量怎么往上提延遲怎么按得住以及在兩者互相拉扯時(shí)參數(shù)該怎么取舍。適合已經(jīng)跑通過基礎(chǔ)收發(fā)流程、想深挖性能的開發(fā)者也適合被消費(fèi)積壓折騰過的運(yùn)維同事參考。1. 調(diào)優(yōu)第一步先定義指標(biāo)再開始擰參數(shù)1.1 吞吐和延遲是一對(duì)天生的對(duì)手很多人一上來就急著改參數(shù)結(jié)果參數(shù)堆了一堆業(yè)務(wù)還是抱怨延遲高。問題往往出在沒想清楚你到底要優(yōu)化什么。Kafka 的吞吐和延遲在絕大多數(shù)場(chǎng)景下是互相較勁的。想要吞吐高核心手段是攢批——把多條消息攢成一個(gè)大批次發(fā)出去網(wǎng)絡(luò)包更少、磁盤順序?qū)懜咝У鷥r(jià)是消息在生產(chǎn)端多等了一段時(shí)間。想要延遲低就得來一條發(fā)一條減少等待代價(jià)是網(wǎng)絡(luò)往返次數(shù)暴增吞吐自然上不去。我用一個(gè)類比給團(tuán)隊(duì)講過這事攢批好比拼車拼車要等乘客湊齊才發(fā)車滿載率高、單趟運(yùn)的人多但乘客可能多等幾分鐘低延遲好比打?qū)\囯S叫隨走單人單趟體驗(yàn)好但運(yùn)力效率低。調(diào)優(yōu)的本質(zhì)就是搞清你的業(yè)務(wù)到底適合拼車還是專車。1.2 先把指標(biāo)口徑定清楚動(dòng)手之前一定要把指標(biāo)定義明白否則后面全是糊涂賬。第一個(gè)指標(biāo)是吞吐量。線上一般用兩種口徑每秒處理的消息條數(shù)msg/s和每秒處理的字節(jié)數(shù)MB/s。消息體積差異很大時(shí)只看條數(shù)是會(huì)騙人的——一個(gè)小消息場(chǎng)景每秒幾十萬條大消息場(chǎng)景可能每秒不到一萬條但后者的帶寬壓力反而更大。第二個(gè)指標(biāo)是延遲。這里要區(qū)分端到端延遲和單段耗時(shí)端到端是從 Producer 發(fā)送消息到 Consumer 真正拿到消息的完整時(shí)間通常用 P99 甚至 P999 衡量比平均值更能反映真實(shí)體驗(yàn)。平均值拉平了毛刺P99 才能暴露出尾部的慢請(qǐng)求。建議在優(yōu)化前寫下一行目標(biāo)比如吞吐達(dá)到 8 萬條/秒端到端 P99 小于 50ms。有了這個(gè)數(shù)字后面每個(gè)參數(shù)的取舍都有依據(jù)不會(huì)東一榔頭西一棒子。1.3 沒有基線調(diào)優(yōu)就是在裸奔這個(gè)坑我踩過不止一次。有一次接手某個(gè)日志采集系統(tǒng)我直接調(diào)高了壓縮和批量參數(shù)吞吐從 4 萬漲到 6 萬當(dāng)時(shí)還挺得意。結(jié)果業(yè)務(wù)第二天找過來說 P99 從 30ms 漲到了 130ms他們完全不能接受最后只能回滾。那次之后我給自己立了規(guī)矩調(diào)優(yōu)前先壓一輪測(cè)試記錄基線數(shù)據(jù)之后每改一個(gè)參數(shù)都拿新數(shù)據(jù)和基線對(duì)比?;€數(shù)據(jù)至少包括吞吐量、P99 延遲、Broker CPU、內(nèi)存、磁盤 IO 這幾項(xiàng)。沒有基線所謂的優(yōu)化只是憑感覺出了問題連是哪個(gè)參數(shù)拖累的都說不清楚。2. Producer 端參數(shù)在攢批與實(shí)時(shí)性之間精打細(xì)算2.1 acks 是可靠性和吞吐的第一道杠桿acks參數(shù)決定了 Producer 要等到多少副本確認(rèn)后才認(rèn)為發(fā)送成功它對(duì)語義的影響遠(yuǎn)大于對(duì)吞吐的影響。acks0表示消息發(fā)出就算成功不管 Broker 是否收到。這種配置吞吐最高但丟消息概率也最高除了極端的監(jiān)控日志場(chǎng)景生產(chǎn)環(huán)境我不建議用。acks1表示 leader 副本寫入成功就算成功這是吞吐和可靠性的常見折中點(diǎn)。acksall表示所有 ISR 副本都寫入成功才算成功配合min.insync.replicas才能保證 leader 掛了也不丟已確認(rèn)消息。很多人一看到acksall就本能抗拒覺得吞吐肯定垮。實(shí)際上只要分區(qū)數(shù)充足、ISR 里沒有拖后腿的慢副本acksall的額外代價(jià)沒有想象中那么大。真正讓性能崩掉的往往不是 acks 本身而是某個(gè)副本同步跟不上ISR 反復(fù)收縮整個(gè)發(fā)送鏈路被卡住。所以別只盯著參數(shù)副本健康狀態(tài)更要時(shí)刻盯緊。2.2 攢批三兄弟linger.ms、batch.size、buffer.memory這三個(gè)參數(shù)是 Producer 吞吐優(yōu)化的重頭戲也最容易讓人迷惑。linger.ms默認(rèn)是 0也就是來一條發(fā)一條。對(duì)單條幾百字節(jié)的小消息來說這等于每發(fā)一條消息都要消耗一次完整的網(wǎng)絡(luò)往返吞吐非常難看。調(diào)到 5~20ms 后Producer 會(huì)在這段時(shí)間內(nèi)攢消息盡量填滿批次再發(fā)送。這里有個(gè)理解誤區(qū)linger.ms不是每條消息都必須等這么久它只是最長等待時(shí)間如果batch.size提前攢滿批次會(huì)立刻發(fā)出。所以延遲敏感的場(chǎng)景設(shè) 5~10ms吞吐優(yōu)先的場(chǎng)景設(shè) 20ms 甚至更高都不會(huì)出現(xiàn)每條消息都被卡住的錯(cuò)覺。batch.size默認(rèn) 16KB指的是單個(gè)批次的內(nèi)存上限不是攢夠多少條才發(fā)。如果單條消息 1KB16KB 大約能裝 16 條這個(gè)批次容量太平庸如果單條消息 10KB16KB 的批次可能一條消息就占滿攢批效果為零。經(jīng)驗(yàn)做法用單條消息大小 × 期望的批次條數(shù)來估算比如每條 1KB、希望一個(gè)批次裝 200 條就設(shè)batch.size256KB左右。buffer.memory默認(rèn) 32MB是 Producer 緩沖區(qū)總量。當(dāng) Broker 處理不過來時(shí)消息會(huì)堆積在內(nèi)存里一旦緩沖區(qū)滿了send()就會(huì)阻塞最長等待max.block.ms默認(rèn) 60s。調(diào)大這個(gè)值能扛突發(fā)流量但積壓消息也意味著延遲升高這是躲不開的權(quán)衡。2.3 壓縮選型用 CPU 換帶寬和磁盤當(dāng)網(wǎng)絡(luò)或磁盤成為瓶頸時(shí)開啟壓縮往往是性價(jià)比最高的動(dòng)作。compression.type默認(rèn)是none但這在真實(shí)高吞吐場(chǎng)景里很少是最優(yōu)解。三個(gè)常見選項(xiàng)lz4壓縮速度快、CPU 開銷小適合對(duì)吞吐敏感的在線鏈路zstd壓縮率最高大約比lz4再省 20%~30% 空間但 CPU 開銷更大gzip現(xiàn)在基本不推薦了壓得慢又耗 CPU。壓縮這件事是 Kafka 自動(dòng)透明的Broker 存的是壓縮后的數(shù)據(jù)Consumer 拿到的還是解壓后的原始消息使用方無感知。我實(shí)測(cè)過一組數(shù)據(jù)在千兆網(wǎng)卡接近打滿的集群里單條 1KB 的 JSON 日志開zstd之后吞吐量提升了差不多 1.5 倍。代價(jià)是消費(fèi)端反序列化時(shí)多花一點(diǎn) CPU但只要消費(fèi)邏輯不復(fù)雜這個(gè)開銷通常不是瓶頸。2.4 一個(gè)可以直接參考的 Producer 配置清單下面這份配置是我在延遲目標(biāo) P99 小于 80ms、又希望吞吐盡量高的場(chǎng)景下反復(fù)壓測(cè)后留下的版本acksall linger.ms10 batch.size65536 buffer.memory67108864 compression.typelz4 max.block.ms5000 enable.idempotencetrue開啟冪等后Producer 會(huì)自動(dòng)帶上 sequence numberBroker 能識(shí)別重復(fù)消息并去重代價(jià)幾乎可以忽略。如果業(yè)務(wù)完全不能接受任何重復(fù)消息這套配置能保證 exactly-once 語義的基礎(chǔ)前提。注意linger.ms10配合batch.size64KB不是說每條消息都會(huì)等滿 10ms而是批次滿了就發(fā)網(wǎng)絡(luò)空閑時(shí)最多等 10ms 就發(fā)出對(duì)在線業(yè)務(wù)的延遲壓力完全可以接受。3. Broker 端參數(shù)分區(qū)數(shù)、副本機(jī)制與 IO 模型3.1 分區(qū)數(shù)不是越大越好分區(qū)數(shù)決定了 Kafka 的并行度上限——一個(gè)分區(qū)的消息只能被同一消費(fèi)組里的一個(gè)消費(fèi)者線程消費(fèi)所以分區(qū)越多理論上消費(fèi)并行度越高。但越多越好是新手最容易犯的錯(cuò)誤之一。分區(qū)多帶來的代價(jià)很實(shí)在每個(gè)分區(qū)都有獨(dú)立的 leader/follower 日志段和索引文件文件句柄占用隨之增加副本同步時(shí)Follower 線程需要逐個(gè)分區(qū)拉取消息分區(qū)太多會(huì)讓同步效率下降極端情況下分區(qū)數(shù)過多還會(huì)拖慢 leader 選舉和 ISR 收縮的速度。經(jīng)驗(yàn)做法是從吞吐倒推先估算單分區(qū)的極限吞吐通常單分區(qū)順序?qū)懘疟P時(shí)可以跑到幾十 MB/s再用目標(biāo)峰值吞吐 / 單分區(qū)吞吐算出分區(qū)數(shù)下限最后留 1.5~2 倍余量。比如目標(biāo)峰值 200MB/s單分區(qū)按 50MB/s 算至少需要 4 個(gè)分區(qū)保守一點(diǎn)建 8 個(gè)分區(qū)。另外要記住分區(qū)只建議增加不建議減少因?yàn)闇p少分區(qū)會(huì)觸發(fā)完整重平衡風(fēng)險(xiǎn)不小。3.2 副本機(jī)制min.insync.replicas 和 unclean 選舉副本參數(shù)的核心是解決leader 掛了如何保證不丟消息。min.insync.replicas默認(rèn)是 1如果 Producer 端設(shè)了acksall我強(qiáng)烈建議把 Broker 端的min.insync.replicas設(shè)為 2。兩者配合消息只有在leader 至少 1 個(gè) follower都寫入成功后才算確認(rèn)這樣即使 leader 掛了已確認(rèn)的消息在另一個(gè)副本里仍然完整存在。但這個(gè)配置不是免費(fèi)的當(dāng) ISR 里的存活副本數(shù)少于 2 時(shí)Producer 發(fā)送會(huì)直接報(bào)NotEnoughReplicas異常相當(dāng)于用可用性換可靠性。所以是否要設(shè)成 2要看業(yè)務(wù)能不能接受短時(shí)寫入失敗。通常 3 副本 min.insync.replicas2 是比較穩(wěn)妥的組合。unclean.leader.election.enable這個(gè)參數(shù)更要小心。它默認(rèn)是 false但偶爾有運(yùn)維為了盡量讓分區(qū)有 leader而改成 true。這是一條不能碰的紅線開啟后leader 掛了可能會(huì)選一個(gè)數(shù)據(jù)落后很多的副本頂上直接造成大量已確認(rèn)消息丟失。寧可短暫不可用也堅(jiān)決不要啟用 unclean 選舉。3.3 IO 線程和網(wǎng)絡(luò)線程怎么調(diào)num.network.threads默認(rèn) 3負(fù)責(zé)處理網(wǎng)絡(luò)連接與請(qǐng)求收發(fā)num.io.threads默認(rèn) 8負(fù)責(zé)磁盤讀寫和實(shí)際的消息存儲(chǔ)操作。這兩個(gè)參數(shù)沒有萬能答案得結(jié)合機(jī)器核數(shù)和實(shí)際壓測(cè)來定。在 16 核以上的機(jī)器上我通常會(huì)把num.io.threads調(diào)到 12 到 16網(wǎng)絡(luò)線程調(diào)到 4 到 6。但要注意IO 線程和網(wǎng)絡(luò)線程不吃內(nèi)存它們吃的是 CPU。線程設(shè)太多上下文切換開銷會(huì)把收益抵消掉。最穩(wěn)妥的辦法是壓測(cè)時(shí)用top觀察 CPU 使用率如果多個(gè)核心都跑到了 80% 以上再加線程已經(jīng)沒有意義瓶頸已經(jīng)轉(zhuǎn)移到磁盤或網(wǎng)絡(luò)上。3.4 頁緩存Kafka 高性能的真正幕后功臣很多人以為 Kafka 的高吞吐全靠堆內(nèi)緩存其實(shí)恰恰相反。Kafka 在寫入時(shí)先落到操作系統(tǒng)的頁緩存page cache磁盤刷盤是異步的讀取時(shí)如果數(shù)據(jù)還在頁緩存里直接通過sendfile零拷貝發(fā)到 socketCPU 幾乎不參與數(shù)據(jù)復(fù)制。理解了這一點(diǎn)就明白為什么 Kafka 的 JVM 堆內(nèi)存不需要設(shè)太大——堆主要用來存分區(qū)元數(shù)據(jù)、索引信息和一些內(nèi)存池通常 6~8GB 就夠。把內(nèi)存盡量留給操作系統(tǒng)做頁緩存才是正確姿勢(shì)。我看到過有人把堆設(shè)到 20GB結(jié)果 GC 頻繁導(dǎo)致吞吐驟降這是典型的好心辦壞事。3.5 文件段與索引參數(shù)log.segment.bytes默認(rèn) 1GB控制日志段文件的大小。段越大單文件能容納的消息越多但段內(nèi)索引條目也越多段太小會(huì)導(dǎo)致段文件數(shù)量爆炸增加文件句柄和索引維護(hù)開銷。一般保持默認(rèn)即可不需要刻意調(diào)整。如果消息體積特別小且數(shù)據(jù)量巨大可以適當(dāng)調(diào)大到 2GB如果磁盤空間緊張也可以調(diào)小些但不建議低于 512MB。4. Consumer 端參數(shù)拉取窗口、消費(fèi)線程與重平衡4.1 fetch.min.bytes 與 fetch.max.wait.ms 的正確姿勢(shì)Consumer 是 pull 模式主動(dòng)去 Broker 拉數(shù)據(jù)。fetch.min.bytes控制至少攢多少字節(jié)才返回一次fetch.max.wait.ms控制最多等多久就返回一次。這兩個(gè)參數(shù)的關(guān)系和 Producer 端的batch.size linger.ms很像。想壓低延遲就把fetch.max.wait.ms設(shè)小比如 50~100ms這樣 Consumer 最多等這么短時(shí)間就有數(shù)據(jù)回來。想提高吞吐就把fetch.min.bytes調(diào)大比如 64KB 甚至更大這樣每次拉取都能帶走一批數(shù)據(jù)減少拉取次數(shù)。兩種思路對(duì)應(yīng)兩類業(yè)務(wù)場(chǎng)景在線接口關(guān)注延遲離線批處理關(guān)注吞吐。注意fetch.max.wait.ms默認(rèn) 500ms對(duì)小消息低延遲場(chǎng)景來說這個(gè)默認(rèn)值有點(diǎn)偏高。4.2 max.poll.records 和消費(fèi)循環(huán)的工期控制max.poll.records默認(rèn)是 500也就是一次poll()最多返回 500 條。這個(gè)參數(shù)的隱患在于如果每條消息的業(yè)務(wù)處理耗時(shí)很長一次 poll 返回 500 條可能要處理幾十秒一旦超過max.poll.interval.ms默認(rèn) 5 分鐘Consumer 會(huì)被判定為死亡并踢出消費(fèi)組觸發(fā)全體重平衡。我的建議是先算一筆賬單條消息的平均處理耗時(shí)乘以max.poll.records要保證一輪處理時(shí)間控制在幾秒內(nèi)。如果處理一條消息需要 20ms500 條就是 10 秒還勉強(qiáng)可以如果單條處理需要 100ms500 條就是 50 秒這時(shí)候要么把max.poll.records降到 100要么把處理邏輯異步化把poll()拿到的消息交給專門的工作線程池去處理。4.3 手動(dòng)提交 offset寧可重復(fù)不要丟失enable.auto.commit默認(rèn)是 true但生產(chǎn)環(huán)境我更建議改成 false然后手動(dòng)提交 offset。原因很簡(jiǎn)單自動(dòng)提交的時(shí)機(jī)不可控很可能在消息處理完成后、下次自動(dòng)提交前發(fā)生重平衡導(dǎo)致這批消息被重復(fù)消費(fèi)。手動(dòng)提交也有講究。最穩(wěn)妥的姿勢(shì)是先處理后提交保證消息真的處理成功了才更新 offset。這樣重平衡時(shí)最多重復(fù)消費(fèi)但不會(huì)丟數(shù)據(jù)。對(duì)大部分業(yè)務(wù)來說重復(fù)消費(fèi)比丟數(shù)據(jù)更容易接受配合消息冪等設(shè)計(jì)就能把這個(gè)副作用消掉。提交頻率上不需要每條都提交可以在一個(gè)處理批次結(jié)束后統(tǒng)一提交一次但務(wù)必確保在max.poll.interval.ms內(nèi)完成。在 Kafka 中消費(fèi)組需要在 session.timeout.ms 內(nèi)發(fā)送心跳。默認(rèn)值在不同版本略有差異如果消費(fèi)者處理耗時(shí)偏長可以把 session.timeout.ms 適當(dāng)調(diào)大但要記得同時(shí)調(diào)整心跳頻率和 max.poll.interval.ms否則反而容易觸發(fā)重平衡。4.4 重平衡高吞吐的隱形殺手重平衡rebalance是最容易被忽略的性能殺手。重平衡期間整個(gè)消費(fèi)組的所有消費(fèi)者都會(huì)暫停消費(fèi)直到分區(qū)重新分配完成。如果消費(fèi)組很大、掛掉一個(gè)消費(fèi)者導(dǎo)致全組 10 秒都不能消費(fèi)這損失比吞吐指標(biāo)低幾個(gè)百分點(diǎn)嚴(yán)重得多。觸發(fā)重平衡的常見原因包括消費(fèi)者加入或退出、訂閱的 topic 新增分區(qū)、心跳超時(shí)被踢出。降低影響的辦法有幾個(gè)一是使用靜態(tài)消費(fèi)者static membership讓消費(fèi)者重啟后保持原有成員身份避免觸發(fā)重平衡二是把heartbeat.interval.ms和session.timeout.ms合理配對(duì)心跳更快一點(diǎn)、超時(shí)更長一點(diǎn)三是最重要的——不要在 poll 循環(huán)里寫重量級(jí)邏輯比如同步訪問數(shù)據(jù)庫或調(diào)用遠(yuǎn)程接口這種慢操作幾乎一定會(huì)引發(fā)一連串重平衡。5. 容易被忽略的 OS 層頁緩存、swap 與網(wǎng)絡(luò)棧5.1 swap 是 Kafka 性能的隱形殺手虛擬內(nèi)存 swap 一旦被頻繁使用Kafka 的延遲和吞吐都會(huì)斷崖式下跌因?yàn)轫摼彺姹粨Q到磁盤讀寫直接打在慢速存儲(chǔ)上。Linux 默認(rèn)的vm.swappiness是 60這個(gè)值對(duì) Kafka 來說太高了。標(biāo)準(zhǔn)建議是設(shè)成 1甚至 0。設(shè)成 1 的意思是除非萬不得已否則別用 swap這樣既保留了 swap 作為內(nèi)存溢出的最后防線又不會(huì)讓內(nèi)核沒事就把 page cache 換出去。改法很簡(jiǎn)單寫到/etc/sysctl.conf里永久生效。這個(gè)參數(shù)看著不起眼但踩過 swap 坑的人都知道那是一種什么體驗(yàn)——明明磁盤和網(wǎng)絡(luò)都還好P99 就是莫名其妙飆到幾秒。5.2 文件句柄分區(qū)一多就爆的隱藏坑Kafka 每個(gè)分區(qū)、每個(gè)副本都會(huì)占用文件句柄尤其是分區(qū)數(shù)動(dòng)輒幾百上千時(shí)文件句柄很快會(huì)吃滿系統(tǒng)默認(rèn)限制。默認(rèn)ulimit -n在不少機(jī)器上只有 1024生產(chǎn)環(huán)境絕對(duì)不夠。建議把軟限制和硬限制都調(diào)高至少 65535 起步分區(qū)特別多的集群可以設(shè)到 100 萬以上。如果集群跑在容器或 Kubernetes 里還要檢查容器層面的 limit 配置否則宿主機(jī)改了沒用容器里照樣報(bào)Too many open files。這個(gè)坑很隱蔽一旦分區(qū)數(shù)漲上去Broker 可能莫名奇妙開始拒絕請(qǐng)求。5.3 網(wǎng)絡(luò)棧網(wǎng)卡隊(duì)列和 socket 緩沖高吞吐場(chǎng)景下網(wǎng)絡(luò)軟中斷會(huì)成為新的瓶頸。表現(xiàn)是單個(gè) CPU 核心的軟中斷占用率到 100%但其他核心很閑。解決辦法是開啟網(wǎng)卡多隊(duì)列ethtool -l能看到隊(duì)列數(shù)并讓irqbalance把不同隊(duì)列的中斷分散到多個(gè) CPU 核心上。socket 緩沖區(qū)大小也值得看一眼。net.core.rmem_max和net.core.wmem_max過小在高帶寬下會(huì)導(dǎo)致 TCP 吞吐受限??梢栽?etc/sysctl.conf里調(diào)大這兩個(gè)值同時(shí)配合 Producer 端的socket.send.buffer.bytes和socket.receive.buffer.bytes一起調(diào)整。需要說明的是這一步屬于網(wǎng)絡(luò)瓶頸場(chǎng)景的專項(xiàng)調(diào)優(yōu)不是每個(gè)集群都必須動(dòng)。5.4 磁盤掛載與 IO 調(diào)度Kafka 強(qiáng)烈依賴磁盤順序?qū)懶阅芩源疟P掛載參數(shù)直接決定寫入穩(wěn)定性。掛載 ext4 時(shí)建議加上nodelalloc和noatime前者禁用延遲塊分配讓日志數(shù)據(jù)更及時(shí)落盤后者避免讀文件時(shí)產(chǎn)生不必要的 atime 寫 IO。后者避免了無謂的元數(shù)據(jù)寫入對(duì)小文件讀多的場(chǎng)景尤其友好。磁盤 IO 調(diào)度器方面機(jī)械盤建議使用deadline調(diào)度器SSD 建議使用none或noop避免內(nèi)核默認(rèn)的cfq在大量順序?qū)憟?chǎng)景造成調(diào)度延遲。6. 壓測(cè)方案用同一把尺子驗(yàn)證調(diào)優(yōu)效果6.1 官方工具比自定義腳本更省心Kafka 自帶的生產(chǎn)者和消費(fèi)者壓測(cè)工具是最省心的選擇它們變量少、結(jié)果格式統(tǒng)一、基本能滿足絕大多數(shù)基準(zhǔn)測(cè)試需求。生產(chǎn)者壓測(cè)命令大致長這樣kafka-producer-perf-test.sh \ --topic perf-test \ --num-records 5000000 \ --record-size 1024 \ --throughput 100000 \ --producer-props bootstrap.serversbroker-1:9092 \ linger.ms10 \ batch.size65536 \ compression.typelz4消費(fèi)者壓測(cè)則是kafka-consumer-perf-test.sh \ --bootstrap-server broker-1:9092 \ --topic perf-test \ --messages 5000000 \ --timeout 600000工具會(huì)輸出吞吐量msg/s 和 MB/s以及延遲分位數(shù)。注意第一次壓測(cè)前先確保 topic 里攢夠數(shù)據(jù)否則消費(fèi)者工具跑不了真實(shí)數(shù)據(jù)量。6.2 變量控制一次只改一個(gè)參數(shù)壓測(cè)最大的敵人不是環(huán)境不穩(wěn)定而是同時(shí)改多個(gè)參數(shù)導(dǎo)致結(jié)論無法歸因。我見過有人一次改了壓縮、linger.ms、分區(qū)數(shù)三個(gè)變量最后吞吐漲了卻完全不知道是哪個(gè)參數(shù)起了作用。正確做法是先用默認(rèn)配置跑一輪基線然后每輪只改一個(gè)參數(shù)記錄結(jié)果。整個(gè)流程可以用一張簡(jiǎn)單的表來跟蹤參數(shù)、值、吞吐、P99、CPU、磁盤 IO 全都記下來。壓測(cè)環(huán)境盡量貼近線上機(jī)器規(guī)格相同、磁盤類型相同、網(wǎng)絡(luò)拓?fù)湎嗤駝t壓測(cè)結(jié)果搬到線上可能完全對(duì)不上。6.3 一組真實(shí)的調(diào)優(yōu)前后對(duì)比參考我拿一個(gè)小消息場(chǎng)景每條 1KB JSON舉例壓測(cè)結(jié)果大致如下配置吞吐 (msg/s)P99 端到端延遲 (ms)默認(rèn)acks1, linger.ms0, 無壓縮4120035優(yōu)化Aacks1, linger.ms10, batch.size64KB, lz46680046優(yōu)化Backsall, min.insync.replicas2, 同優(yōu)化A6430048優(yōu)化C再加 zstd7020052同樣是這批消息吞吐從 4.1 萬漲到 7 萬P99 延遲也只從 35ms 漲到 52ms對(duì)于日志采集類業(yè)務(wù)完全可以接受。但如果業(yè)務(wù)要求 P99 必須小于 40ms那就得退回優(yōu)化A甚至把linger.ms降到 5ms 以下。7. 一次延遲毛刺的完整排查鏈路從監(jiān)控告警到根因復(fù)現(xiàn)7.1 現(xiàn)象與第一輪假設(shè)某個(gè)業(yè)務(wù)系統(tǒng)每到晚高峰就報(bào)個(gè)別接口 P99 抖動(dòng)毛刺集中在每小時(shí)的 0 分、15 分、30 分、45 分附近每次持續(xù)幾十秒然后自動(dòng)恢復(fù)。雖然對(duì)絕大多數(shù)請(qǐng)求沒有影響但問題是 P99 詭異地從 30ms 跳到接近 2 秒業(yè)務(wù)方不能接受。剛開始我把懷疑對(duì)象鎖定在 Broker 的 GC 停頓。Kafka 雖然堆內(nèi)存不大但 Full GC 一旦發(fā)生所有請(qǐng)求處理線程都可能暫停P99 毛刺非常符合這個(gè)癥狀。7.2 排除 GC轉(zhuǎn)向磁盤 IO 證據(jù)檢查了 Broker 的 GC 日志和分析結(jié)果結(jié)論是Young GC 確實(shí)每分鐘左右發(fā)生一次但停頓只有 20~40ms和 2 秒的毛刺完全不成比例Full GC 幾乎看不到幾分鐘才一次且耗時(shí)也在 100ms 以內(nèi)。GC 這條假設(shè)被排除了。轉(zhuǎn)看iostat發(fā)現(xiàn)了可疑點(diǎn)磁盤 util 在毛刺出現(xiàn)的時(shí)刻會(huì)從 20% 左右跳到 80% 以上同時(shí)await明顯上升。但 Kafka 的日志讀寫是順序追加理論上不會(huì)出現(xiàn)這種周期性的大起伏。問題更可能出在別的進(jìn)程在搶占磁盤 IO。7.3 抓到真正的元兇一個(gè)老監(jiān)控腳本用lsof查看哪些進(jìn)程在訪問 Kafka 數(shù)據(jù)目錄結(jié)果發(fā)現(xiàn)每隔 15 分鐘就有一個(gè)監(jiān)控采集腳本對(duì) Kafka 日志目錄做遍歷統(tǒng)計(jì)。這個(gè)腳本是歷史遺留的產(chǎn)物作用是統(tǒng)計(jì)每個(gè)目錄的文件數(shù)量和總大小但它遍歷時(shí)會(huì)觸發(fā)大量元數(shù)據(jù)讀和預(yù)讀操作把熱數(shù)據(jù)從 page cache 里擠出去導(dǎo)致 Kafka 后續(xù)讀請(qǐng)求直接打到磁盤。這正是那種只能在生產(chǎn)環(huán)境里碰到、文檔里絕對(duì)翻不到的問題。參數(shù)層面沒有一處是錯(cuò)的但系統(tǒng)層面被一個(gè)不相干的進(jìn)程拖垮了。7.4 修復(fù)方案與驗(yàn)證處理方式分兩步第一步刪掉那個(gè)定時(shí)掃描腳本的邏輯改用已有的指標(biāo)采集接口第二步把 Kafka 的數(shù)據(jù)目錄掛載到獨(dú)立的磁盤上避免其他 IO 任務(wù)和 Kafka 日志讀寫互相干擾。上線后持續(xù)觀察了一周P99 毛刺徹底消失晚高峰也能穩(wěn)定保持在 50ms 以下。這個(gè)案例給我的啟發(fā)是調(diào)優(yōu)不能只盯 Kafka 參數(shù)本身。全鏈路的意思是連監(jiān)控采集、日志切割、系統(tǒng)定時(shí)任務(wù)這些外部干擾也要一起納入視野。8. 全鏈路參數(shù)速查與實(shí)際經(jīng)驗(yàn)清單我把多年實(shí)踐里沉淀下來的常用參考配置整理成一個(gè)速查表適合大多數(shù)通用生產(chǎn)場(chǎng)景。實(shí)際部署時(shí)請(qǐng)根據(jù)業(yè)務(wù)目標(biāo)、機(jī)器規(guī)格、消息大小再做微調(diào)。層級(jí)參數(shù)推薦值調(diào)優(yōu)意圖Produceracks1 或 all1 偏吞吐all 偏可靠性配合 min.insync.replicas2Producerlinger.ms5~20ms攢批量提升吞吐的核心參數(shù)Producerbatch.size16~256KB按單條消息大小和期望批量條數(shù)估算Producercompression.typelz4 或 zstd網(wǎng)絡(luò)/磁盤瓶頸時(shí)的首選優(yōu)化Producerbuffer.memory64~128MB扛突發(fā)流量但降低延遲預(yù)算時(shí)需要減小Brokernum.io.threads核數(shù)一半以上高吞吐機(jī)器適當(dāng)調(diào)大配合壓測(cè)觀察Brokermin.insync.replicas2與 acksall 搭配避免 leader 掛丟數(shù)據(jù)Brokerunclean.leader.election.enablefalse堅(jiān)決不要開Brokerlog.segment.bytes1GB一般保持默認(rèn)Consumerfetch.min.bytes1KB~64KB大值提升吞吐小值降低延遲Consumerfetch.max.wait.ms50~500ms低延遲設(shè)小吞吐優(yōu)先設(shè)大Consumermax.poll.records100~500按單條處理耗時(shí)反推Consumerenable.auto.commitfalse手動(dòng)提交避免自動(dòng)提交時(shí)機(jī)不可控OSvm.swappiness1避免 page cache 被換出OSulimit -n至少 65535分區(qū)多的集群還要再加大OS磁盤掛載noatimeext4 上關(guān)掉 atime 寫入寫到這里再分享一點(diǎn)我自己的體會(huì)。調(diào)優(yōu)這件事最大的陷阱是總想找一個(gè)銀彈參數(shù)其實(shí)大多數(shù)場(chǎng)景下的收益排序都是先看有無硬件和 OS 層干擾再調(diào)攏批和壓縮再考慮副本和分區(qū)設(shè)計(jì)最后才去摳那些邊角參數(shù)。參數(shù)表只是一個(gè)起點(diǎn)真正可靠的標(biāo)準(zhǔn)永遠(yuǎn)是壓測(cè)數(shù)據(jù)。你在任何一個(gè)生產(chǎn)集群上做過的基線記錄都比網(wǎng)上流傳的最優(yōu)配置可信得多。最后再分享一個(gè)小技巧調(diào)優(yōu)過程中每改動(dòng)一個(gè)參數(shù)都在配置注釋里寫下改動(dòng)的日期、原因和實(shí)測(cè)結(jié)果。這樣三個(gè)月后回看你能清楚地知道這套配置是怎么演化來的也方便下次微調(diào)時(shí)快速定位方向。Kafka 的參數(shù)不會(huì)跑跑的是你的集群把這些細(xì)節(jié)管好比臨時(shí)抱佛腳改十個(gè)參數(shù)有用得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99ri视频在线观看| 99久久五月丁香野外| 久久丁香五月| 日本高清久| 国内精品玖玖| 亚洲中文字幕在线观看| 五月天激情啪啪| 99久久99热这里只有精品| 色播婷婷五月天| 亚洲成人网址在线观看| 亚洲无AV在线中文字幕| 五月天色综合| 91综合在线| 综合网天天| 五月综合视频| 91色呦哟| 99热免费| 79色色免费| 亚洲另类在线观看| 碰碰91| 婷婷五月色花丁香社区| 欧美婷婷丁香五月社区| 香蕉乱插| 日韩美一级毛卡片| 思思热这里只有精品| 日本一级一级一级一级| 五月丁香六月激情综合| 大香蕉九九操| 99碰在线视频| se婷97| 激情五月综合网| 久久久久久激情| 五月天婷婷婷| 亚洲色婷婷五月| 狠狠色情婷婷| 五月婷婷开心色伊人| 91精品久久久久久| 91尤物九色在线| 俺去也在线官网| 26uuu欧美日本| 91热爆在线| 国产精品久久久爽爽爽麻豆色哟哟| 一区操| 一级性感黄色内射视频| 成人色色视频| 成人午夜无码视频| 激情图片99| www久久久| 性爱电影科技贸易有限公司| 99久久九九| 婷婷丁香五月社区亚洲| 久月丁香爱婷婷综合| 欧美人人草| 欧美一级色| 激情四射亚洲| 91丨九色丨大屁股| 丁香五月在线观看| 日碰日| 色五月天丁香| 亚洲色婷婷| 中文字幕丰满孑伦无码专区| 亚洲黄色影视| 久久亚洲天堂| 欧美日韩色色| 婷婷性爱五月天| 很很干天天干| 玖玖婷婷免费| 午夜丁香六月婷| 狠狠色大香蕉| 亚洲AVwwwwwww| 狠狠做五月婷婷| 免费播放片大片| 久久九九热38| 六月婷伊人| 色色无码| 丁香六月成人网| 激情综合自拍五月婷婷色五月| 偷拍五月丁香| 99精品丁香五月| 99久久99久久综合| 大香蕉伊人99| 97色视频网| 狠狠色情婷婷| 国产成人片| 97人人做| 涩涩五月天| av免费在线看不卡无毒| 五月色情婷婷开心五月色情| 日本99久久| 91婷婷色| 国产午夜精品一区二区| 超碰伊人碰婷婷五月| 国产精品久久久60086| 天天色天天操天天射| www.色婷婷.com| 婷婷五月花西瓜| 色五月之第四色| 五月婷婷偷拍| 色5在线| 99热这里只有精品1025| 婷婷激情视频| www99在线观看视频| 九九热在线视频观看| WwW色婷婷| 新99思思视频| 亚洲经典三级| 夜夜夜夜操| 91综合在线| 五月丁香婷婷色色色| 天天插综合| 精品日本视频444| 99re26视频| 五月丁香久久| 色999五月色| 婷婷激情小说| 五月天综合缴情网网站0| 色播五月网| 丁香六月色婷婷| 91丨九色丨熟女丰满| 色爱综合五月| 99亚洲视频| 2022人人操人人看| 久久在线大香蕉| 午夜日日| 91玖玖| 99日本视频| 色婷婷www| 丁香婷婷综合影院| 99免费在线视频| 丁香五夜激情四射夜夜夜| 99热这里只有精品 搜| 丁香六月成人| 久久婷婷视频| 超碰人人草| 99操视频| 色五月丁香一区在线| 五月丁香啪啪网| 激情网 五月天| 2018国产大陆天天弄| tingting五月天亚洲| 8090在线影视少妇| 婷婷五月色情天| 91丨九色丨国产在线| 色婷婷五月天激情在线观看| 91九色丨国产丨爆乳| 色五月色五天色情网| 丁香色五月 97干| 久99视频| 色插综合网| 九九婷婷五月天| 999热在线视频| 久久一伦| 中文AV网站| 丁香五月婷婷久久久| 欧美操人| 骚货艹网站视频| 九九人人看| 超碰97人人操| 人妻videos人妻高清| 色婷婷激情五月天丁香| 98永久精品| 区区久久妻| 婷婷导航| 欧美Va日本Va| 激情五月深爱五月| 看逼中文字幕| 这里只有精品1| 丁香五月AV综合激情| a级毛片一区二区免费视频| 色99网| 婷婷大香蕉| 五月丁综合在线观看| 五月丁香综合激情| 五月婷视频| 国产偷人爽久久久久久老妇APP| 玖玖色综合网| 日本V在线观看不卡视频网站| 成人视屏在线观看| 天天色天天| 99久久婷婷五月综合| 五月天婷婷激情| 伊人色综在线| 婷婷五月天激情小说| 色综合色五月| 操一区| 丁香婷婷激情网站| 天天天综合网| 色五月婷婷中文字幕| 久久99久久99久久99| 色综合大香蕉| 色五月激情五月天| 六月婷婷九月丁香| 丁香婷婷五月人体| 丁香五月婷婷亚洲激情四射| 亚洲爆乳无码精品AAA片蜜桃 | 五月丁香婷婷国产精品综合| 五月天婷婷伊人| 丰满人妻一区三区三区| 天天插天天插天天插| 这里只有精彩视| 激情五月天婷婷在线网址发给我| 这里只有精品视频一区| 婷婷操婷婷干婷婷射| 玖玖婷婷五月天| 丁香五月色| 九色 在线| 久久机热/这里只有精品| 久1色色| 99色综合| 日日日日操| 女力报到正好爱上你| 五月婷婷在线综合| 日本3级片一区2区| 日韩啊啊啊| 99久久婷婷国产综合精品草原| 中文人妻AV久久人妻18| 五月天婷婷激情六月久久| 丁香五月www| 色色影院黄大片| 99九九精品视频推荐| 婷婷色在线| 色XX综合网| 丁香香五月激情免费视频| 久久九区| 性热视频99精品| 婷综合| 丁香婷婷六月天| 伊人五月天日日夜夜久久久天天| 99热中文字幕久久| 午夜AV网| 99碰在线视频| 久久婷婷伊人| 日本不卡一区二区三区| 久热re在线视频| 色婷婷色丁香色欲av| 亚洲AV无码影院| 在线中文字幕视频| 就爱干 在线| 色五婷婷| 色热久| 人妻少妇色综合| 香蕉AV777XXX色综合一区| 91色噜噜狠狠狠狠色综合| 伊人玖玖网| 大香蕉伊人99| 色五月网址| 六月婷婷成人| 这里只有精品在线播放| 天天摸天天透天天舔| 99激情| 9999综合99综合人| 五月婷婷在线视频| 91熟妇大香蕉| 91丨九色丨熟女|老版| 熟美女麻豆| www久久久久| 精品人妻午夜一区二区三区四区| 日本精品人妻无码77777| 五月婷婷欲色| WWW色色色COM| 天天草天天爽| 精品草原久久视频| 天天操夜夜操| 思思热精品在线视频| 。久久久久久久久久久久久久人妻 | 五月激情网站| 五月天综合激情网| 婷婷伊人综合| 色五狠狠| 大鸡巴伊人网| 五月婷婷丁香俺日污视频| 婷婷五月综合网| 婷婷丁香五月亚洲17cao| 婷婷五日b| 婷婷丁香五月基地| 71在线精品视频一区| 老司机伊人| 五月天精品| 国产乱人偷精品人妻A片| 9l视频自拍九色9l视频自拍九色9l社区| 五月婷AV| 国产欧美日韩综合精品一区二区| 婷婷五月天成人五月天| 激情五月天电影| 色色色色色五月| 婷婷色情小说| 综合色在线| www.夜夜操.con| 五月丁香六月婷综合成人综合| 99资源在线| 国产精品久久久久久五月天加勒比| 日韩AV大全| 五月婷婷国产| 午夜九九九九九九九九九九九九九| 日本AAAAAAAAAAAAAA片| 五月激情四射网站| 好好干av| 五月天丁香综合久久国产| 日本天天综合| 26UUU欧美| 五月丁香啪啪网| 婷婷干六月综合旧址| 日本熟女视频一区二区| 99免费在线视频| 激情丁香五月| 国产精品涩涩涩视频网站| 久久综合丁香| 色婷婷综合久久| 啪啪操超碰| site:esunnet.com| 五月天婷婷无码视频| 亚洲传媒在线观看| 欧美婷婷五月天| www99热| 26uuu国产色| 色五婷婷开心缴| 五月天开心色色网| 深爱激情网综合| 这里只有精品在线观看视频| 激情五月丁香色婷婷| 九月色婷婷综合亚洲| 这里只有精品在线免费视频| 亚洲色图日韩网址| 五月婷婷 激情按摩| 天天综合五月| 五月之婷婷| 婷婷五月电影| 亚洲第一av| 五月丁香六月激情| 99亚洲视频| 丁香五月天欧美成人| 久久婷婷综合拍| 国外亚洲成AV人片在线观看| 久9热视频| www.91有码.com| 91久热| 色婷婷狠| 羞羞嫩草视频| 欧美性生交XXXXX无码小说| 91人人爱| 天天肏视奸| 久久五月丁香婷婷| www.99热在线| 最新无毒无码AV| 黄色大片又大粗又爽| 大香蕉婷婷五月天| 五月色丁香综合| 天天日天天爽| 亚洲另类av| 色综合com| 成人在线高清| 日本久久网| 丁香六月天婷婷在线| 亚洲第一综合| WWW五月| 大香蕉欧美在线| www.久久久久久久| 久月丁香爱婷婷综合| 丁香五月婷婷啪| 99超级碰免费视频| 五月丁香999| 五月综合人妻| 五月激情天| 91精品久久久久久久| 久久婷婷五月天| 五月丁香六月情婷婷久久| 国产在线网址1| 这里只有精彩亚洲视频推荐| 激情亭亭五月| 99久re热视频精品98| 激情五月色综合国产精品| 欧在线一区| 国产精产国品一二三在观看| 色色综合日韩| 成人五月天丁香| 精品久9| 97啪啪| 五月综合精品| 婷婷第一页| 亚洲成人AV在线播放| 日本天堂久久| 第五色色色婷婷| 激情图片婷婷| 天天干电影| 丁香六月爱综合| 97久人人| 99色色网| 人草人人| 色色五月丁香| 九九热在线亚洲免费视频| 五月天激情国产综合婷婷婷| 五月天开心网| 五月香蕉综合| 婷婷五月丁香香蕉| 蜜桃成语时李时珍 免费| 欧美色频| 五月综合激情视频| 色综合久| 亚洲国产成人AV在线| 在线播放成人网站| 色丁香婷婷| 99精品网站| 色色色九九九五月婷婷| 色综合九九| 99综合99| 超碰九热| er99免费视频在线| 日韩黄色电影| 日韩美一级毛卡片| 色五月综合网| 亚洲小说欧美激情| 婷婷五月丁香婷婷| 99精品网站| 天天夜夜操| 免费AV在线| 99热在线观看| 中文字幕在线免费观看视频| 亚洲成人噜噜| 久久视频这里都是精品| 日韩狠狠色| 日韩五月婷婷久久| 五月天色色色| 97色在线视频| www天天色天天射| 久久这里只有精品99| 午夜免费试看| 操97| 97婷婷狠狠| 婷婷色片| 九色啦蜜臀| 开心婷婷五月天电影院| 五月丁香影院| Av狠狠色丁香婷| 人人摸人人澡人人| 五月婷婷色男女| 色九月国产| 国产精品国产| 天天肏天天肏天天肏| 国产黄大片在线观看画质优化| 思思热视频在线| 精品爆操| 99亚洲欧洲| 99久久99热这里只有精品| 婷婷激情啪啪| 亚州精品久久久久AV无码| 亚洲V国产V欧美V久久久久久| 我淫我色婷婷五月天激情四射| 夫妻超碰在线| 色狠狠999综合网| 深爱激情五月天婷婷网| 九九色综合网| 久草热久草在线视频| 中文AⅤ大全| 亚洲六月婷婷| 丁香五月亚洲AV| 中文字幕黄色电影网址| 操日本99| 青草视频在线播放| 伊人大香蕉综合在线| 久久98| 一区二区成人电影| 99精品在线观看视频| 夜夜骑夜夜撸| 亚洲99在线视频| 九九人妻福利| 丁香熟女乱| 91夫妻网站九色| 人妻体体内射精一区二区| 99热网站| www.国产色| 五月色色网| 99热这里都是精品| 丁香五月激情综合啪啪| 色婷婷色情| 激情综合网五月婷婷| 久久九九热re6这里有精品| 婷婷五月成人| 五月婷婷成人| 操99| 丁香啪啪| 可以看的av| 综合网色| 五月天婷婷综合网| 99re在线播放| 日本不卡高字幕在线2019| 成人短视频在线免费观看| 色婷婷综合成人| 人人色性网| 99在线精品免费视频| 操碰99| aaaa.黄| 色九九一二| 久久全色| 先锋资源婷婷| 91综合在线视频| 99热综合色图| 激情图片久久| 婷婷午夜精品久久久| 一级性感黄色内射视频| 啪啪综合网| 日本色频| 久久只有精品| 久久成人精品视频| 日韩无码性爱| 久热九九| 97 天堂| 九月婷婷在线视频| 亚洲情欲久久| 久婷婷五月丁香在线观看| 色欲婷婷五月天| 碰人人操| 深爱五月激情| www,色中色| 另类小说色婷婷| 97av在线视频| 成人综合网站| 欧美日本国产| 丁香五月婷婷婷桃花影院| 丁香五月成人丝袜| 一级性感黄色内射视频| 亚洲五月天第一综合干| 久色中文| 五月丁香婷婷综合网| 婷婷99热| 六月丁香激情网| 欧美久久五月婷婷| 99色精品视频| 狠狠色噜噜狠狠狠888了| 日韩九九| 国产精品日日躁夜夜躁| 久久久久9| 国产精品18久久久| 99精品手机在线视频| 亚洲午夜一区二区| 婷婷丁香人妻天久久| 色婷婷视频| www,五月天激情| 婷婷社区五月天| 操操天堂| 欧美丰满熟妇BBB久久久| 99热最新国内| 成人一级片| 亚洲精品成人| 日韩久久色| 亚洲色色色| 天天综合天综合久久网| 99热综合色图| 操操日韩| 婷婷激情综合| 五月婷婷,狠狠操| 九九热精品视频九九| 色综合色| 超碰99在线| 91色色色视频| 97人妻人人| 思思99热这里只有精品| 热婷婷在线视频| 五月天综合| 丁香婷婷老司机久操| 婷婷五月18永久免费网站| 7月婷婷六月丁香| 思思精品久久艹| 99热网址| 91 九色大美女| 91日日日| 婷婷五月丁香激情色情| 五月婷婷偷拍| 久久99国产综合精品免费| 久久97久久99久久综合欧美| 久久五月天综合| 6月丁香婷婷| 色情五月婷| 狠狠干婷婷| 91性人人| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 亚洲啪视频| 夜夜骑夜夜撸| 日本97在线| 色婷婷AAA| 天天情色五月天| 五月丁香啪啪啪综合网| 一本婷婷丁香久久| 丁香五月婷婷六月婷婷| 国产69精品久久久久999小说| 色狠狠婷婷| 日韩欧美一级大黄网站| 婷婷五月天堂一本在线| 免费亚洲婷婷| 踪合专区啪啪| 台湾佬天天日丁香婷婷五月天| 婷婷永久在线| 国产女生爱爱AA| 天天激情综合| 98色花堂98t.R| 婷婷色五月91啪啪| 激情五月激情综合俺也去婷婷小说| 丁香五月天精品| 亚洲综合激情五月久久| 婷婷成人五月天| 开心五月天私房婷婷| 亚洲欧洲国产精品| 婷婷六月天激情| 丁香五月色| 超碰国产AV| WWW.开心五月天.COM| 婷婷色五月丁香六月欧美啪| 九月婷婷人人操人人舔人人爱| 丁香蜜臀黄色婷婷五月天| 色婷婷激情| 亚洲AV影片在线观看| 婷婷少妇激情| 99热这里只有精品3| 被强行糟蹋的女人A片| 在线成人网址| 亚洲激情五月| 玖玖九九超碰| 五月天色婷伊人| 欧亚成人A片一区二区| 九九热精品| 亚洲激情五月| 深爱 五月天| 狠狠色综合网站久久久久| 无码免费人妻A片AAA毛片西瓜 | 影音先锋男人av资源站| 色综合播放| 狠狠色婷婷| 九九热在这里只有精品| 99热精品在线播放| 成人五月天丁香婷| 九月婷婷综合八月丁香在线观看| 婷婷五月天开心网| 99ri精品视频在线观看| 婷婷五月成人| 天天插天天插天天插| 丁香五月情| 99精品在线| 久久久精品人妻录| 六月丁香啪| 激情六月天| 97碰成超视频免费视频| 激情五月小说婷婷| 国产暴力强伦轩1区二区小说| 天天色色婷婷| 日韩淑女人妻luan伦激情精品一区二| 99精品免费视频| 99热精地址| 操比激情五月| 色五月激情| 欧美成人热| 激情综合网五月激情| 婷婷色欧美激情| 亚洲色情激情丁香五月| 超碰人人99| www.婷婷五月天| 91大神操美女| 九九九干精品| 国产成人亚洲综合A∨婷婷| caopeng超碰| 久色婷婷200| 色色色五月婷婷| 9热在线观看| 99re热视频这里只精品| 婷婷五月图片小说网| 都市激情亚洲| 五月丁香久久激情综合| 日韩淑女人妻luan伦激情精品一区二 | 丁香五月在线自慰| 丁香六月五月天| 26uuu视频欧美| 啪啪91| 国产伦理精品高清在线观看网站一区二区| 中文字幕丰满人妻无码专区| 丁香五月天天| 婷婷狠狠狠爱| 永久天堂日本| 不卡的AV网站| 日本精品人妻无码77777| 色五月av| 婷婷五月天Av| 亚洲人人操| 亚州色综合| 亚洲国产网站| 色综合久久8| 亚洲精品第一国产综合亚AV | 在线资源av-超碰中文在线-成人AV| 俺来也狠狠| 日本色婷婷五月天成人电影| 五月婷婷六月丁香综合视频在线| 婷婷97狠狠干| 色五月婷婷激情综合网| 婷婷不干网| 亚洲中文字幕在线观看| 9色91视频| 婷婷伊人综合中文字幕| 久碰综合| 五月丁香婷婷成人版| 日本丁香久在线| 一区二区免费看| 婷婷天堂站| 欧美性丁香色色五月天综合爱爱| 色五月五月天| 日韩在线一级| 日韩欧美颜射| 亚洲九九九九| 久久久久久久人妻| 婷婷综合| 亚洲中文字幕在线观看| 亚洲情欲久久| 99久久.www| 欧美日本黄色| 蜜臀丁香黄色婷婷五月天| 五月天啪啪| www.99视频| 成人αV视频免费观看| 激情色情五月天| 大香蕉久久久| 人人干av| 俺也去五月婷婷丁| 亚洲视频1区| 4438激情网| 五月丁香亚洲校园欧美| 国产精品A片| 激情五月婷婷开心网| 99re久热只有精品6在线直播| 少妇性按摩无码中文A片| 色婷婷91激情小说| 色婷婷五月综合在线| 玖玖伦理电影| 久久久久久人妻久久久久久久久久人妻久久久| av在线激情| 精品亚洲国产成AV人片传媒| 亚洲AV成人无码精品| 丁香六月婷| 婷婷五月天激情五月天| 国产精品色情AAAAA片软件| 99热久97| 亚洲无码成人网| 玖操97| 美国不卡视频| 五月天亚洲图片婷婷| 丁香六月婷婷姐网| 丁香五月播播| 色婷婷丁香网| 亚洲妇女熟BBW| 色五月婷婷婷婷婷婷婷婷婷婷| 欧美槡BBBB槡BBB少妇| 天天天久久人人人合| 亚洲午夜av| 久久久99精品免费观看| 久激情| 亚洲激情图文小说| 久久婷婷五月| 天天天天干| 综合网网欲色| 五月深爱婷婷| 九九热re99re6在线精品| 五月丁香婷婷色| 婷婷五月欧美| 久热这里这里有精品| 囯产精品久久欠久久久久久九大| 成人国产欧美大片一区| 久久精品五月天| 欧美久久婷婷| 丁香六月在线| 亚洲AVDVD| 天天做天天爱| 91青娱乐青青草| 六月婷婷久久| 婷婷五月丁香婷婷| 91九色网| 99综合视频在线| 婷婷五月噜噜| 五月婷视频久久| 久久综合爱| 99热在线观看| AV片一区在线观看| 91人人网| 国产九月婷婷| 婷婷综合在线观看视频| 亚洲成人网站在线观看| 91激情五月开心| 来吧亚洲综合网| 五月丁香视频色色| 天天色丁香| 武则天精品久久| 久久久18| 免费亚洲成人电影AV| 熟美女麻豆| 五月丁香六月婷婷久久肏| 另类视频丁香五月| 色婷婷五月天| 337p大胆噜噜噜噜噜91Av| 天天爽夜爽| 超PEN精品在线| 性爱AV天堂| 成人中文字幕在线| 欧美在线操| 激情久久伊人| 色五狠狠| 天天射综合网天天插| 伊人色综合影院视频| 超碰9在| 91久久久久| 熟女人妻视频| 丰满人妻一区二区三区| 五月丁香啪啪网| 在线播放成人网站| 91日视频| 九九在线视频| 激情深爱五月天| 天天干天天干天天操| 天天色,天天日,天天做| 五月丁香龟婷婷| 婷婷五月色网| 玖玖资源天天无码| 丁香丝袜五月| 丁香五月冃欧美| 激情综合丁| 久噜久噜| 丁香五月在线观看完整版| 综合久久五月| 婷婷射图五月天| 婷婷深爱五月丁香网| 婷婷五月综合啪| 丁香五月婷婷天| 五月丁香黄色| 五月久久丁香| 超碰熟女拍拍| 色色亚洲五月天| 丁香五月天综合| 色色99| 991精品在线视频| 91凹凸在线| 亚韩在线视频| 欧美精品999| 玖玖在线视频| 99啪啪视频| 深爱五月天| 久久小说网| 久久精品凹凸分类| 91国产精品视频播放| 日本玖玖在线| 丁香久久九九99| 久久精品系列| 亚洲啪啪视频| 婷婷五月丁香综合亚洲| av 一区三区四区| 久1色色| 五月婷婷中文网| 五区毛片七区毛片| 精品色| 超碰在线免费9| 丁香婷婷网| 色情五月综合婷婷| 欧美成人精品A片免费一区99| 欧洲电影在线观看免费版英语版| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 超碰成人公开| 日本在线观看aaa 99| 热996精品在线观看| 激情无码网| 伊人婷婷大香蕉| 金桔一区二区ab地址| 婷婷丁香成人在线视频| 久久66精品| 亚洲视频色婷婷| 玖玖无码中文| 婷婷五月天基地| 国产精品色情AAAAA片软件| www.ywav| 在线视频99| 欧美性二区| www.日韩艹| 五月婷婷真爱激情网| 超碰com| 九九99久久| 少妇性BBB搡BBB爽爽爽视頻| 国产黄色大片| 亚洲婷婷91丁香| 激情综合网之激情五月| 思思re视频在线| 久久久久久人妻| www.日日夜夜.com| 嫩草AV久久伊人妇女超级A| 曰本aaaaaa丈片| 久久婷婷激情| 中文aV网| 婷婷色五月婷| 激情丁香五月婷婷| 亚洲va久久久噜噜噜久久天堂| 婷婷刺激综合| 婷婷,五月天,丁香,第一| 一区二区三区四区无码| 免费AV在线| 亚洲综合色婷婷| 色播激情| 亚洲中文字幕AV| 六月婷婷七月丁香| 亚洲色热| 六月丁香久久| 婷婷丁香黄色| 婷婷在线播放av| 人妻精品久久久久久久| 久久精品视频99| 日本4399天堂中出| 国产精品色婷婷99久久精品| 婷婷成人综合免费视频| 国产在这里只有精品| 婷婷欧美| 青青色com久久| 99热思思久| 天天爽综合网| 丁香六月情| 成人小说色图婷婷五月| 三级三久久线久久99久目本WW| 99亚洲大片精品永久在线观看| 99re热在线视频观看| 亚州美女| 色色色五月婷| 亚洲婷婷丁香五月亚洲| 五月婷婷五月色| 被男人添B超爽视频| 欧美激情久| 91精品熟女| 久久综合五月天| 99在线精品免费视频| 婷婷五月天丁香社区| 五月丁激情| 任你爽精品免费视频6| 超碰人人摸人人操| 国产成人网站在线观看| 色色色.COM| 这里只有精品视频在线| 婷婷久久在线| 婷婷永久在线| 9久视频| 最新国产AV| 99视频色在线观看| 丁香婷婷社区| 色色欧美。| 激情色色| 久久精品性爱| 国产精品日本一区二区在线播放| 婷婷六月激情| 久久A V无码视频| 中文字幕在线免费观看视频| 91日韩美女被插视频| 综合久久五月| 色婷婷六月| 午夜婷婷久久| 99热这里只有精品1998| 一级性爱视频| 大香蕉人人人| 五月激情网络| 五月综合激情| www.超碰在线| 夜夜谢天天干| www,99视频| 日本的α片xxxwww| 色99久草在线| 夜夜资源站| 五月丁香在线看| 午夜天堂一区人妻| 99色激| 天堂久久性| 1024AV视频| 高清无码 一区 二区 三区| 97超碰人人操| 久久九九九九| 丁香婷婷五月基地| 人妻熟女一区二区AV| 99精品热| 91色涩| 丁香综合久久| 深爱五月最新网址| 麻豆WWWCOM内射软件| 婷婷六月激情小说网| 在线观看免费狠狠色丁香香综合| 伊人激情综合| 99色播| 五月天精品| 玖热精品综合视频| 色婷婷五月色| 色情婷| 丁香五月播播| 97人人妻人人艹| 青青草蜜臀| 超碰在线看| 91欧美| 六月婷婷激情图片| 另类视在线| 婷婷丁香18| 激情国产五月| 人人看人人草人人摸| 日韩丰满少妇无码内射| 五月天激日本色情在线| 五月色影院| 婷婷丁香成人| 91操片| 色情五月天。| 五月婷婷视频| 另类丁香综合| 激情5月婷婷| www99精品亚| 婷婷五月天电影在线| www.色多多婷| 久热中文字幕在线线观看 | 激情综合网址| 99九无网码| 久Se视频在线观看| 射久久丁香五月| 五月丁香九九| 天天爽天天| 香蕉97碰碰碰超视精品| 五月亭亭网成人在线视频| 91在线观看www| 天天干夜夜谢| 日都一级A片| 激情五月婷婷视频一区二区三区| 色99无码| 狠狠色五月天| 激情图片婷婷| 婷婷六月啪啪| 五月婷婷丁香| 欧洲亚洲精品| 五月天天丁香婷婷在线中| 无码色| 激情精品久久| 少妇人妻丰满做爰XXX| 狠狠干激情五月| 五月婷婷av在线| 天天日天天日天天搞| 超碰在线免费观看3 9| 99热这里只有精品搜| 色婷综合| 停婷丁五月在线| 国产超碰人人| 日韩狠狠色| 狼友超碰| WWW、日本色丁香、co m| 夜夜躁爽日日| 大香蕉久久草| 五月激情偷拍| www.91.com处女在线直播| 丁香五月激情综合| 亚洲五月婷天天操| 影音先锋男士资源网一区| 人人干人人操人人摸| 特级操b片| 婷婷综合激情| 激情五月天在线观看色婷婷| 中文字幕日产A片在线看| 久久成人精品视频| 日本nghangse中文字幕| 五月婷婷中文字幕AV| 色婷婷888| 99精品视频免费观看| 婷婷天天舔| 91re色综合视频| 久久五月天婷婷| 色99在线视频| 大香蕉久| 色婷婷五月天小说网| 婷婷丁香黄色| 久草五月婷婷| 激情精品久久| 五月天久久小说| 日本狠狠干| 欧美日本VA| 国产无遮挡又黄又爽免费网站| 人妻自慰高清合集| 99九九视频| 精品色| 婷婷丁香亚洲五月天| 亚洲婷婷综合视频| 婷婷五月电影院| 人妻系列久久久久久久久久久| 国内熟女黄色系列| 超碰猛烈的性猛交| 26UUU一区二区| 日韩ww| 久久久无码精品成人A片小说| 99小视频在线| 欧州婷婷五月天综合| 九九在线视频| av婷婷丁香 六月| 婷婷五月天淫荡| www.色九月| 这里只有精品视频在线观看免费| 丁香婷婷欧美综合| 色丁香五月婷婷| 久热视频A.| 91人妻九色大屁股| 亚洲成人AV在线播放| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色约约视频一区二区三区四区五区| 99久精品视频| ss五月天激情| 婷婷激情五月天激情小说| 在线99热| 色五月色五天色情网| 久久9久久| 日产精品久久久久久久蜜臀| 免费在线观看欧美激情xx小视频| 国产欧美日韩性爱| 在线超碰免费| 久久婷婷伊人| 五月婷综合网| 99热偷拍| 大香蕉久久综合网| 婷婷综合色| 亚洲行行色色| -91九色大屁股| 日本久久激情| 久久新地址| 深爱五月亚洲| 亚洲综合1024| 99热在线观看成人| 大香蕉手机视频| 激情五月少妇| 天天爽夜夜爽夜夜爽精品| 狠狠狠狠狠狠狠狠| 97干在线免费| 激情五月天婷婷| 另类激情中文| 狠狠肏综合网| 色噜噜狠狠色综合网| 亚洲午夜成人av电影网| 成人av在线电影| 五月天五月色| 久久久激情视频| 五月丁香婷婷狠狠操| 思思热视频在线观看| 五月播播| 安息电影在线观看完整版| www91精品| www,婷婷,com| 99色亚洲| 中文AV网站| 六月亚洲| 婷婷射图| 日操夜操天天操不卡| 五月天色婷婷综合| 天天干电影| 激情综合网激情五月欧美| 久久久婷婷婷| 99热精品超碰| 乱精品一区字幕二区| 激情综合网五月婷婷| 蜜乳中文字| 99高级会所久久| 丁香五月影视| www.久操| 国产又爽又猛又粗的视频A片| 91狠狠综合网| 欧美激情综合色综合| 欧美激情五月天婷婷| 欧美色色干| 琪琪狠狠干| 久久99国产综合精品免费| 五月婷在线观看| 婷婷五月天天天| 亚洲精品色色色| 六月婷婷无码| 色婷| 婷婷丁香五月天熟女丝袜| 国产黄色在线| 色狠狠色| www.久久久.com| 亚洲免费婷婷| 夜夜撸天天日| 婷婷五月深深的爱| 91狠狠综合久久| 久久婷婷丁香视频网| 岛囯综合激情网| 国产精产国品一二三在观看| 天天日天天舔| 色综合久久44| 天天爱天天操| 婷婷五月激情视频| 五月丁香六月激情综合在线| 婷婷免费精品视频| 久久9精品| 婷婷六月视频| 久久五月天激情婷婷| 天天射天天射一道本日本社区| 欧美亚洲成人在线| 久综合4| A片试看120分钟做受视频红杏| 色色操| 91人人操.COM| 婷婷五月天亚洲五码| AAAA网站| 久久精品亚洲热| 五月天久久www| mmm1717.6dbm人人爱人人操| 激情五月天丁香| 五月婷婷六月丁香综合| 婷婷色在线播放| 无码动漫AV| 婷婷五月娱乐在线| 黄色片avv| www。久久久久一b。Cc| A片试看50分钟做受视频| AAA久久| 六月丁香网| 婷婷丁香人妻天天爽| 激情九月婷婷| 五月天色综合| 一区二区乱码视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 欧美激情Va| 伊人五月婷婷| 天天干夜夜操A片| 欧美激情五月天婷婷| 色色综合成人网| 婷婷久久综合久| 超碰人人在线| 四色永久成人网站| 久久草大香蕉| 91狠狠综合久久久久久| 久久性爱视频| 九九香蕉网| 久久黄A片| 激情综合婷婷五月| 色之综合网| 五月丁香婷婷无码A∨| 丁香婷婷综合五月天| 婷婷丁香成人在线视频| 伊人成人宗合网| 亚洲 在线 性爱 | 9久久久久久久久久久| YJLZZJLZZ亚洲乱熟无码| 五月丁香婷中文| 色丁香五月婷婷| 99五月丁香丁| 夜夜躁狠狠 | 五月天婷婷综合网| 久久久天堂国产精品女人| 亚洲精品又粗又大又爽A片 | www.操.com| 人妻久久久| 国产成人精品一区二三区熟女在线 | 五月天婷婷色色| 都市激情久久| 在线五月色播| 婷婷天天综合| 婷婷情色激情| 激情www| 五月丁香六月婷婷久久肏| 婷婷天堂综合| 丁香五月天之婷婷影院| 久久久GOGO无码啪啪艺术| 久久无码成人| 综久久久| 亚洲婷婷久久综合| 五月丁香婷婷色色| 《诡秘之主》在线观看| 婷婷综合五月天激情| 激情五月视频| 日本五月婷婷| 天天综合网91| 日韩啪啪视频| 色五月婷婷成人| 久操人| 婷婷伊人中文字幕|