欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Core與Uncore分層:P-Core/E-Core混合架構(gòu)調(diào)優(yōu)

Core與Uncore分層:P-Core/E-Core混合架構(gòu)調(diào)優(yōu) 1. 先把核和核外面的東西分開一張架構(gòu)解剖圖很多人第一次跑性能分析時(shí)都會(huì)遇到同一個(gè)困惑任務(wù)管理器或者top顯示 CPU 利用率只有 40%但程序就是跑不快或者明明把線程數(shù)量調(diào)到了物理核數(shù)吞吐量卻卡在一個(gè)奇怪的數(shù)字上不動(dòng)了。我見過最多的誤判是把CPU 占用率直接等同于CPU 用滿了。實(shí)際上現(xiàn)代處理器的核心Core和核心之外的部分Uncore是兩套完全獨(dú)立的資源占用率只統(tǒng)計(jì)了前者而后者一旦成為瓶頸你在監(jiān)控面板上幾乎看不到任何異常。Core 負(fù)責(zé)執(zhí)行指令Uncore 負(fù)責(zé)把數(shù)據(jù)搬運(yùn)到 Core 手邊兩者的頻率、電壓域、功耗預(yù)算和性能歸屬都是分開的。搞不清這條分界線后面所有關(guān)于 P-Core、E-Core 的討論都是空中樓閣。這篇文章想聊的就是這條線。我會(huì)先拆開看 Core 和 Uncore 各自裝了什么再解釋 P-Core性能核和 E-Core能效核到底差在哪些微架構(gòu)細(xì)節(jié)上然后落到實(shí)操怎么用幾條命令把自己機(jī)器的大小核拓?fù)湔粘鰜碓趺唇壓嗽趺醋x uncore 的性能計(jì)數(shù)事件以及我在實(shí)際項(xiàng)目里踩過的幾個(gè)抖動(dòng)坑。內(nèi)容偏底層的性能工程方向但只要你會(huì)用命令行、跑過top就能跟著走下來。沒有懸空的理論每一條結(jié)論后面我都會(huì)說清楚它是從哪個(gè)計(jì)數(shù)器或者哪次壓測里來的。1.1 Core 里到底裝了什么一顆物理核的內(nèi)部可以粗糙地理解成前端 后端 私有緩存三段流水線。前端負(fù)責(zé)把指令從內(nèi)存里取出來經(jīng)過分支預(yù)測、譯碼變成微操作塞進(jìn)亂序窗口后端有整數(shù)單元、浮點(diǎn)單元、訪存單元按照數(shù)據(jù)依賴關(guān)系亂序執(zhí)行私有緩存是 L1 指令緩存、L1 數(shù)據(jù)緩存和每個(gè)核獨(dú)享的 L2 緩存。這三段全部是每個(gè)核一份互不共享所以核的數(shù)量直接決定了并行執(zhí)行的能力上限。你看到的物理核數(shù)說的就是這個(gè)獨(dú)立流水線的份數(shù)。關(guān)鍵點(diǎn)在于Core 的性能上限是被它的發(fā)射寬度和亂序窗口深度鎖死的。一顆寬度為 6 發(fā)射、亂序窗口能掛 500 多條微操作的核和一顆寬度為 3 發(fā)射、窗口只有一半的核在跑同一個(gè)單線程程序時(shí)IPC每周期執(zhí)行的指令數(shù)能差出一倍以上。這個(gè)差距跟頻率無關(guān)是純粹的結(jié)構(gòu)差異。所以你看到兩個(gè)核頻率差不多但跑分差很多的時(shí)候別急著懷疑散熱先去看它們的微架構(gòu)是不是同一個(gè)檔次。還有一層容易被忽略Core 內(nèi)部有自己的一套電源管理和時(shí)鐘門控。沒有任務(wù)的核會(huì)被深度降頻甚至部分?jǐn)嚯娺@就是為什么你在一臺(tái) 32 核的機(jī)器上跑一個(gè)單線程程序看到只有一個(gè)核在 3.5GHz 以上高頻運(yùn)行其他核顯示 800MHz。這不代表你的機(jī)器有問題反而說明調(diào)頻策略在正常工作。真正需要警惕的是相反的情況——所有核都顯示高頻但程序還是慢那基本可以確定瓶頸已經(jīng)跑到 Core 外面去了。1.2 Uncore 不是打雜的它是數(shù)據(jù)的高速公路Uncore 是個(gè)常被誤解的詞聽起來像是次要部分實(shí)際上它包含了所有核共享的關(guān)鍵基礎(chǔ)設(shè)施。按重要性排主要是這么幾塊末級(jí)緩存LLC也就是通常說的 L3、內(nèi)存控制器、核與核之間的互連總線環(huán)形或者網(wǎng)格狀拓?fù)?、?duì)外的高速接口控制器、集成顯示單元、系統(tǒng)代理以及統(tǒng)一管理整顆芯片頻率和功耗的電源管理單元。這些部件的共同特征是共享——不屬于任何一個(gè)核但所有核都要經(jīng)過它。為什么這個(gè)劃分值得單獨(dú)拿出來講因?yàn)樗念l率是獨(dú)立配置的。Core 頻率和 Uncore 頻率各有自己的倍頻在 BIOS 里通常是兩個(gè)分開的選項(xiàng)。很多主板默認(rèn)把 Uncore 頻率設(shè)成自動(dòng)在輕載時(shí)為了省電會(huì)把它壓得很低這時(shí)候 Core 還在高頻跑但每次訪問 LLC 未命中、每次讀內(nèi)存的延遲都被拉長了。表現(xiàn)出來就是主頻看著很高跑分卻沒提升游戲幀數(shù)還會(huì)莫名其妙地周期性掉一下。我做過一組對(duì)照測試同一臺(tái)機(jī)器同一顆芯片只改 Uncore 頻率限制。在內(nèi)存密集型負(fù)載下多線程隨機(jī)讀Uncore 從默認(rèn)的自動(dòng)檔拉到固定高頻吞吐量提升了接近 18%而 Core 頻率完全沒動(dòng)。這個(gè)數(shù)字放在單線程計(jì)算密集型負(fù)載上則幾乎為零。這就直接告訴你一件事判斷要不要?jiǎng)?Uncore先看你的負(fù)載是不是吃內(nèi)存帶寬或者緩存延遲。如果你的程序全部命中的是 L1/L2那 Uncore 怎么調(diào)都無所謂一旦開始大量走 LLC 和內(nèi)存它就變成第一優(yōu)先級(jí)。順帶說一個(gè)副產(chǎn)品內(nèi)存帶寬的理論上限其實(shí)是個(gè)算術(shù)題跟 Uncore 關(guān)系不大但很多人算錯(cuò)。以雙通道、4800MT/s、每通道 64 位為例上限是 2 × 4800 × 8 字節(jié) 76.8GB/s。但這是物理層的理論值實(shí)際能跑到 65%75% 就不錯(cuò)了剩下的損耗來自協(xié)議開銷、刷新周期和 Uncore 側(cè)的調(diào)度效率。所以你在壓測里看到 50GB/s 就以為被限制了很可能只是正常損耗而不是哪里沒配對(duì)。1.3 為什么這條分界線決定了你后面所有的調(diào)優(yōu)動(dòng)作把 Core 和 Uncore 分開之后很多玄學(xué)現(xiàn)象就有了統(tǒng)一的解釋框架。舉個(gè)例子一個(gè)延遲敏感的在線服務(wù)P99 延遲時(shí)不時(shí)飆到幾十毫秒CPU 利用率很平穩(wěn)。如果你只盯著 Core會(huì)得出CPU 沒問題的結(jié)論然后開始懷疑網(wǎng)絡(luò)、懷疑鎖爭用。但如果看一眼 Uncore 側(cè)的內(nèi)存控制器計(jì)數(shù)器和 LLC 未命中率很可能發(fā)現(xiàn)是另一條業(yè)務(wù)線的批量任務(wù)在周期性地沖刷 LLC把你的熱數(shù)據(jù)全擠出去了。這時(shí)候的修復(fù)方案不是加核而是做緩存隔離或者錯(cuò)峰調(diào)度。再比如虛擬化場景。很多虛擬化平臺(tái)把每個(gè)虛擬 CPU 映射到一個(gè)物理核但 Uncore 是宿主機(jī)層面共享的客戶機(jī)里面完全看不到。結(jié)果就是客戶機(jī)的性能隨鄰居的負(fù)載變化而波動(dòng)而你在客戶機(jī)內(nèi)部查任何指標(biāo)都是正常的。這類問題不搞清楚 Core 和 Uncore 的分層排查方向會(huì)一直跑偏。所以我后面講 P-Core 和 E-Core 的時(shí)候會(huì)一直用這個(gè)框架Core 層面比的是單核執(zhí)行效率Uncore 層面比的是共享資源供給能力。你遇到任何性能問題第一件事就是判斷它歸到哪一層答案通常在五分鐘內(nèi)就能定下來。2. P-Core 與 E-Core不是快慢之分而是面積-延遲-吞吐的三角取舍大小核這個(gè)詞被用了很多年但真正理解的人不多。最常見的誤解是P 核就是大核E 核就是小核小核是縮水版。這個(gè)描述不算錯(cuò)但它掩蓋了設(shè)計(jì)動(dòng)機(jī)。E-Core 從來不是做不好的 P-Core它是為了另一個(gè)目標(biāo)函數(shù)優(yōu)化出來的產(chǎn)物在同樣的硅片面積和功耗預(yù)算下最大化多線程吞吐。這兩個(gè)目標(biāo)在微架構(gòu)層面是沖突的所以必須做成兩種核。理解了這個(gè)沖突你才能明白為什么調(diào)度器這么難寫以及為什么有些任務(wù)綁到 E 核上反而更穩(wěn)。2.1 兩種核心的微架構(gòu)差異攤開看把兩種核放在一張表里對(duì)比差異會(huì)非常直觀。下面這些數(shù)字不是某一款具體產(chǎn)品的參數(shù)而是這類混合架構(gòu)的典型量級(jí)你手上的機(jī)器可能略有出入但比例關(guān)系是穩(wěn)定的維度P-Core性能核E-Core能效核發(fā)射寬度寬6 左右窄3 左右亂序窗口深500 微操作淺200 左右同時(shí)多線程支持一個(gè)核跑兩個(gè)邏輯線程通常不支持私有 L2每核獨(dú)享容量大多核成簇共享單核可見容量小峰值頻率高明顯低一檔單核面積基準(zhǔn) 1 份約為 P 核的 1/4分支預(yù)測器大容量、多級(jí)精簡版寬向量指令支持部分型號(hào)不支持或降速執(zhí)行表格里最值得盯的是亂序窗口和同時(shí)多線程這兩行。亂序窗口決定了處理器能在多大范圍內(nèi)重排指令來掩蓋延遲窗口越深遇到緩存未命中和長延遲操作時(shí)越從容。這就是為什么同樣跑一個(gè)分支密集、隨機(jī)訪存的程序P 核的 IPC 能做到 E 核的兩倍以上。同時(shí)多線程的意義在于當(dāng)一個(gè)線程因?yàn)榈却龜?shù)據(jù)而停頓時(shí)同一個(gè)核上的第二個(gè)線程可以填補(bǔ)執(zhí)行空隙把流水線利用率從 40% 拉到 70%。E 核沒有這個(gè)機(jī)制它靠的是數(shù)量——單個(gè)效率低但占地小可以堆很多個(gè)。還有一個(gè)經(jīng)常被忽略的差異E 核通常是成簇共享 L2的。四個(gè) E 核共享一塊 L2意味著它們之間的數(shù)據(jù)交換比跨簇快得多但同時(shí)也意味著緩存容量是按簇計(jì)算的不是按核。如果你的程序在同一簇的 E 核之間頻繁共享數(shù)據(jù)性能會(huì)比分散綁到不同簇上明顯更好。這一點(diǎn)在做線程親和性設(shè)計(jì)時(shí)非常有用后面第三章會(huì)具體講怎么看出來。2.2 面積經(jīng)濟(jì)學(xué)為什么廠商愿意用一個(gè)大核的地盤換四個(gè)小核一個(gè) P 核的硅片面積大致能做四到五個(gè) E 核這個(gè)比例是整個(gè)混合架構(gòu)的經(jīng)濟(jì)基礎(chǔ)。假設(shè)你有固定的面積預(yù)算方案 A 是全做 P 核你能拿到 8 個(gè)核 16 個(gè)線程方案 B 是 4 個(gè) P 核加 16 個(gè) E 核總共 20 個(gè)核 24 個(gè)線程。單線程性能方案 A 略強(qiáng)因?yàn)?P 核可以跑到更高頻率熱密度也更集中但多線程吞吐方案 B 能拉開 30% 以上的差距因?yàn)榫€程數(shù)接近翻倍。這就解釋了為什么廠商愿意承擔(dān)調(diào)度復(fù)雜度也要做混合架構(gòu)在消費(fèi)級(jí)場景里絕大多數(shù)日常負(fù)載的線程數(shù)遠(yuǎn)超 8 個(gè)而真正時(shí)長超過幾秒的計(jì)算密集單線程任務(wù)反而很少。用面積換吞吐在統(tǒng)計(jì)意義上幾乎總是劃算的。代價(jià)是軟件側(cè)要處理異構(gòu)性這筆賬被轉(zhuǎn)嫁給了操作系統(tǒng)和開發(fā)者。但這里有個(gè)反直覺的結(jié)論我在實(shí)際測試?yán)矧?yàn)證過很多次E 核的能效優(yōu)勢不是絕對(duì)的。它的單位功耗性能確實(shí)更高但因?yàn)樗粋€(gè)任務(wù)跑完需要更長時(shí)間總能耗未必更低。只有當(dāng)任務(wù)是多線程并行、能把所有核都喂飽的時(shí)候E 核的能效優(yōu)勢才明顯體現(xiàn)出來。如果你把一個(gè)固定工作量的任務(wù)放到 E 核上跑它可能用更低的功率跑了兩倍的時(shí)間總電量反而更多。所以能效核這個(gè)名字應(yīng)該理解成單位面積單位功耗的吞吐效率高不是更省電。這個(gè)認(rèn)知直接影響調(diào)優(yōu)策略。我看到不少人為了省電主動(dòng)把后臺(tái)服務(wù)全部綁到 E 核上結(jié)果這些服務(wù)因?yàn)檠舆t變高、超時(shí)重試增多整體功耗反而上升了。正確的做法是延遲敏感的服務(wù)留在 P 核批處理、日志壓縮、索引重建這類吞吐型任務(wù)丟給 E 核。這樣兩類任務(wù)的資源需求剛好互補(bǔ)也讓調(diào)度器的決策變得簡單。2.3 混合架構(gòu)真正的難題調(diào)度器怎么知道該把線程放哪硬件層面有一層機(jī)制在解決這個(gè)問題處理器會(huì)實(shí)時(shí)采集每個(gè)核的負(fù)載特征通過一個(gè)小型的狀態(tài)表告訴操作系統(tǒng)這個(gè)線程適合放在哪類核上。它評(píng)估的東西包括線程占用多少資源、是否在用寬向量指令、是否頻繁等待內(nèi)存、以及核心當(dāng)前的熱狀態(tài)。操作系統(tǒng)拿到這些提示后再疊加自己的調(diào)度策略做最終決定。這層協(xié)作機(jī)制是整個(gè)混合架構(gòu)能否跑好的關(guān)鍵也是各家實(shí)現(xiàn)差異最大的地方。理解它的工作方式對(duì)你排查問題很有幫助。舉個(gè)真實(shí)的例子我在一臺(tái)混合架構(gòu)機(jī)器上編譯一個(gè)大項(xiàng)目用make -j全核并行。理論上應(yīng)該比純 P 核機(jī)器快但實(shí)測慢了 15%。查下來原因在于編譯器在某些源文件上會(huì)使用寬向量指令而這些線程一旦被遷到不支持該指令集的小核上就要走軟件的兼容路徑速度掉一大截。操作系統(tǒng)雖然有補(bǔ)償機(jī)制會(huì)盡量避免把這類線程遷走但在負(fù)載劇烈波動(dòng)時(shí)還是會(huì)發(fā)生。解決方案很簡單把編譯任務(wù)限制在 P 核上跑。做完之后不僅速度快了波動(dòng)也消失了。另一個(gè)常見癥狀是頻率不一致導(dǎo)致的時(shí)間測量失真。你在兩個(gè)線程里各跑一遍同樣的計(jì)算一個(gè)落在 P 核上花了 100 毫秒另一個(gè)落在 E 核上花了 180 毫秒如果你的程序用誰先完成來做邏輯判斷就會(huì)產(chǎn)生完全不可復(fù)現(xiàn)的行為。這類 bug 極難定位因?yàn)樗诩兺瑯?gòu)機(jī)器上永遠(yuǎn)不會(huì)出現(xiàn)。我的建議是凡是依賴執(zhí)行速度做判斷的邏輯比如超時(shí)閾值、競爭選舉、負(fù)載均衡策略都必須顯式地在代碼里做歸一化或者干脆用邏輯時(shí)鐘替代物理時(shí)鐘。最麻煩的場景是虛擬化。虛擬機(jī)里通??床坏胶诵念愋偷膮^(qū)分宿主機(jī)的調(diào)度器把 vCPU 映射到哪種核上客戶機(jī)完全不知情。這就造成了一個(gè)典型的性能謎題同樣的鏡像、同樣的配置兩臺(tái)宿主機(jī)上的性能差 20%。要解決只能在宿主機(jī)層面做綁定把關(guān)鍵虛擬機(jī)的 vCPU 釘在 P 核上或者至少保證同一個(gè)虛擬機(jī)的 vCPU 落在同類核上。3. 把拓?fù)湔粘鰜硭念惷羁焖倜遄约旱臋C(jī)器理論講完了落到手上。每次接手一臺(tái)新機(jī)器我做的第一件事永遠(yuǎn)是摸拓?fù)湟驗(yàn)檫@個(gè)動(dòng)作成本極低但能避免后面一大堆誤判。下面這幾條命令覆蓋了從有哪些核到Uncore 在干什么的全部信息順序建議照著我寫的來因?yàn)樾畔⑹侵饘由钊氲摹?.1 一分鐘看清核心布局第一條命令是lscpu輸出里會(huì)直接列出架構(gòu)、物理核數(shù)、邏輯核數(shù)、NUMA 節(jié)點(diǎn)數(shù)和緩存層級(jí)?;旌霞軜?gòu)的機(jī)器上你會(huì)看到每核線程數(shù)這一項(xiàng)不統(tǒng)一——如果它顯示 1同時(shí)核數(shù)等于線程數(shù)那很可能全是 E 核或者關(guān)了超線程如果物理核數(shù)和邏輯核數(shù)的比值不是整數(shù)倍關(guān)系那基本可以確認(rèn)是混合架構(gòu)。接著用擴(kuò)展模式拿到更細(xì)的信息lscpu -eCORE,SOCKET,NODE,MAXMHZ,MINMHZ,L1D:L1I:L2:L3,ONLINE這條命令的輸出是逐邏輯 CPU 一行的表格。判斷哪些是 P 核最直接的方式是看MAXMHZ列——P 核的最高頻率通常比 E 核高出 40% 以上一眼就能分出來。另一個(gè)線索是CORE列如果兩個(gè)邏輯 CPU 共享同一個(gè) CORE 編號(hào)說明它們是一對(duì)超線程兄弟而這種情況只會(huì)出現(xiàn)在 P 核上。如果你想要更圖形化的呈現(xiàn)用lstopo-no-graphics屬于 hwloc 工具集。它會(huì)把 NUMA 節(jié)點(diǎn)、緩存層級(jí)、每個(gè)核的兄弟關(guān)系畫成樹狀結(jié)構(gòu)還能顯示每個(gè)核到內(nèi)存控制器的距離關(guān)系。我在做跨節(jié)點(diǎn)性能分析時(shí)基本離不開它因?yàn)橹挥羞@張圖能直觀地告訴你這兩個(gè)核共享什么、不共享什么。再補(bǔ)一條常被忽略的查看超線程兄弟對(duì)的具體編號(hào)。for i in $(seq 0 $(($(nproc)-1))); do echo cpu$i - $(cat /sys/devices/system/cpu/cpu$i/topology/thread_siblings_list) done輸出里每一對(duì)相同的數(shù)字就是一對(duì)兄弟。做延遲敏感型綁核時(shí)這個(gè)信息決定成敗因?yàn)榘褍蓚€(gè)高負(fù)載線程放到一對(duì)兄弟上它們會(huì)爭搶同一個(gè)核的執(zhí)行單元實(shí)測性能損失能到 30%。更隱蔽的是有些機(jī)器的編號(hào)排列不是0-1 是兄弟而是0-8 是兄弟你憑直覺寫taskset -c 0-1恰好就把兩個(gè)線程塞進(jìn)了同一個(gè)核。3.2 從 sysfs 里讀出 Uncore 與頻率域/sys/devices/system/cpu/這個(gè)目錄是臺(tái)金礦。幾個(gè)必看的位置# 每顆核支持哪些頻率檔位 cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_available_frequencies # 當(dāng)前的調(diào)頻策略powersave / performance / schedutil 等 cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor # 緩存共享關(guān)系判斷哪些核共享 L2 cat /sys/devices/system/cpu/cpu0/cache/index2/shared_cpu_list最后一條特別有用?;旌霞軜?gòu)上P 核的 L2 是每核獨(dú)享的shared_cpu_list只有自己而 E 核成簇共享 L2shared_cpu_list會(huì)列出同簇的所有邏輯 CPU。這樣你不用猜直接就能讀出 E 核的簇劃分。我在做線程池親和性設(shè)計(jì)時(shí)會(huì)直接把同一簇的 E 核作為一組讓組內(nèi)的線程共享數(shù)據(jù)結(jié)構(gòu)跨組只做粗粒度通信這個(gè)改動(dòng)在一個(gè)數(shù)據(jù)聚合服務(wù)上帶來了約 12% 的吞吐提升。Uncore 頻率的讀取在較新的內(nèi)核上有專門的 sysfs 節(jié)點(diǎn)路徑包含uncore_frequency字樣里面通常有min_freq_khz、max_freq_khz、current_freq_khz這幾個(gè)文件??梢灾苯訉憁ax_freq_khz來鎖定上限這是免進(jìn) BIOS 就能調(diào) Uncore 的最省事的方式。實(shí)時(shí)監(jiān)控我推薦turbostat它輸出的表格里有Bzy_MHz核心實(shí)際頻率、UncMHzUncore 實(shí)際頻率、PkgWatt整包功耗這幾列。盯著Bzy_MHz和UncMHz的比值看就能判斷當(dāng)前負(fù)載是卡在核心上還是卡在 Uncore 上。經(jīng)驗(yàn)值是這樣的如果Bzy_MHz已經(jīng)跑到接近規(guī)格上限而UncMHz穩(wěn)定在額定值說明是算力瓶頸如果Bzy_MHz忽高忽低、UncMHz也有明顯波動(dòng)那大概率是共享資源在搶。3.3 PMU 事件把 Core 和 Uncore 的賬分開算性能計(jì)數(shù)器是分清兩層界限的終極手段?,F(xiàn)代處理器的 PMU 分為兩部分核心內(nèi)的計(jì)數(shù)器用來數(shù)周期、指令、分支預(yù)測失敗、L1/L2 訪問Uncore 的計(jì)數(shù)器用來數(shù)內(nèi)存控制器吞吐、LLC 命中與缺失、互連總線流量。在perf里這兩套事件的命名前綴不一樣以u(píng)ncore_開頭的都屬于 Uncore 側(cè)。先看有哪些可用的perf list | grep -i uncore你會(huì)看到諸如內(nèi)存控制器的讀帶寬、寫帶寬、LLC 查找次數(shù)、跨片互連流量這類事件。數(shù)量不多但每一個(gè)都直指共享資源的供給能力。接下來的典型用法# 核心側(cè)IPC 和緩存效率 perf stat -e cycles,instructions,branches,branch-misses,L1-dcache-load-misses,LLC-load-misses -p pid # Uncore 側(cè)內(nèi)存帶寬事件名視平臺(tái)而定照 perf list 的輸出替換 perf stat -e uncore_imc_0/cas_count_read/,uncore_imc_0/cas_count_write/ -a sleep 5第一次跑的時(shí)候要注意兩個(gè)坑。第一Uncore 事件通常是整包級(jí)別的需要-a全系統(tǒng)模式不能只看單個(gè)進(jìn)程因?yàn)樗y(tǒng)計(jì)的是共享硬件的行為沒法歸因到某個(gè)進(jìn)程上。第二在虛擬機(jī)里這些計(jì)數(shù)器絕大多數(shù)是禁用的你看到event not supported是正常的別浪費(fèi)時(shí)間排查。有了這兩組數(shù)據(jù)判斷路徑就很清楚了。用下面這張表做個(gè)快速索引觀測到的現(xiàn)象判斷方向下一步動(dòng)作IPC 低L1 未命中率高算法訪存模式差優(yōu)化數(shù)據(jù)結(jié)構(gòu)提高局部性IPC 正常LLC 未命中率高工作集超過 LLC分塊處理或做緩存隔離LLC 未命中率正常內(nèi)存帶寬接近上限Uncore 供給不足提 Uncore 頻率、加通道、改 NUMA 策略指令數(shù)突增但周期數(shù)沒變走了兼容路徑檢查是否被調(diào)度到不支持某指令集的核上核心利用率低Uncore 流量高數(shù)據(jù)搬運(yùn)開銷大減少跨節(jié)點(diǎn)訪問檢查互連流量我排查過一個(gè)程序變慢但 CPU 不滿的案例最后就是靠第三行定位的LLC 未命中率在正常范圍但內(nèi)存控制器的讀帶寬已經(jīng)打到了理論上限的 92%。也就是說 Core 本身效率沒問題是 Uncore 喂不飽這么多個(gè) Core。這種時(shí)候唯一有效的方案是把工作集縮小到能放進(jìn) LLC 的尺寸或者干脆減少并發(fā)核數(shù)——聽起來反直覺但并發(fā)變少后每個(gè)線程拿到的帶寬更多總完成時(shí)間反而縮短了。4. 綁核不是萬靈藥把線程放到對(duì)的位置上綁核這個(gè)動(dòng)作被用錯(cuò)的頻率遠(yuǎn)高于被用對(duì)。我看到過太多人一遇到性能抖動(dòng)就加taskset結(jié)果把本來是負(fù)載不均衡的問題變成了資源閑置。綁核的本質(zhì)是控制變量你放棄了調(diào)度器動(dòng)態(tài)調(diào)整的自由度換取確定性。所以只有在確定調(diào)劑動(dòng)態(tài)性是干擾源的時(shí)候綁核才是正解。判斷標(biāo)準(zhǔn)很簡單如果你的問題是數(shù)值不可復(fù)現(xiàn)綁核有用如果問題是整體不夠快綁核通常沒用甚至有害。4.1 延遲敏感型任務(wù)的標(biāo)準(zhǔn)姿勢在線服務(wù)、交易系統(tǒng)、實(shí)時(shí)數(shù)據(jù)處理這類任務(wù)的核心指標(biāo)是 P99 而不是平均值。它們最怕的東西是意外——意外的遷移、意外的搶占、意外的緩存失效。針對(duì)這類負(fù)載我用的標(biāo)準(zhǔn)配置是這樣的# 1. 選出 P 核避開超線程兄弟對(duì) # 假設(shè) P 核是 cpu 0-15兄弟對(duì)為 (0,8) (1,9) ... # 只取每對(duì)的第一個(gè)得到 0-7 # 2. 綁核 綁內(nèi)存節(jié)點(diǎn) taskset -c 0-7 numactl --membind0 ./service # 3. 把中斷挪到 E 核上避免打斷關(guān)鍵線程 echo 16-23 /proc/irq/default_smp_affinity_list這三步的順序很重要我分開解釋為什么。第一步只取每對(duì)超線程的第一個(gè)是因?yàn)橥粚?duì)兄弟共享執(zhí)行單元和 L1/L2讓兩個(gè)高負(fù)載線程擠在一對(duì)兄弟上效率損失比多用一個(gè)物理核大得多。第二步把內(nèi)存綁定到本地節(jié)點(diǎn)是為了避免跨節(jié)點(diǎn)訪問——跨節(jié)點(diǎn)的一次內(nèi)存訪問延遲能從 80 納秒漲到 140 納秒以上對(duì)延遲敏感型任務(wù)這是致命的。第三步把中斷趕走是因?yàn)橐粋€(gè)中斷處理看起來只有幾微秒但它會(huì)污染目標(biāo)核的 L1/L2讓后面幾百微秒內(nèi)的緩存全部失效。第三步的收益經(jīng)常被嚴(yán)重低估。我在一個(gè)消息處理服務(wù)上做過對(duì)照其他條件不變只把網(wǎng)絡(luò)中斷從業(yè)務(wù)線程所在的核上挪走P99 延遲從 4.2 毫秒降到 1.8 毫秒降幅超過一半。原因就是中斷處理會(huì)沖刷緩存而緩存預(yù)熱需要時(shí)間。這個(gè)改動(dòng)的成本幾乎為零收益卻非常可觀我建議所有延遲敏感型服務(wù)都檢查一遍。還有一個(gè)進(jìn)階手段用 cgroup 的 cpuset 做隔離比taskset更徹底因?yàn)樗芊乐蛊渌M(jìn)程被調(diào)度到這些核上。新版 cgroup 里可以給 cpuset 設(shè)置獨(dú)占分區(qū)效果類似于內(nèi)核啟動(dòng)參數(shù)里的核隔離但不需要重啟。容器化部署時(shí)這個(gè)方案特別合適因?yàn)楦綦x策略可以跟著容器一起聲明。4.2 吞吐型任務(wù)別急著關(guān) E-Core另一個(gè)極端是把 E 核全部關(guān)掉。這個(gè)做法的動(dòng)機(jī)可以理解——消除異構(gòu)性讓性能可預(yù)測。但我實(shí)測下來在吞吐型負(fù)載上關(guān)掉 E 核基本是凈虧損。做過一組對(duì)比一個(gè)日志分析和聚合的批處理任務(wù)在全核含 E 核上跑用 42 秒關(guān)掉 E 核只用 P 核跑用 51 秒。也就是說那些慢核貢獻(xiàn)了 18% 的吞吐白扔掉很可惜。正確的做法不是關(guān)核而是讓任務(wù)匹配核的特性。我給這類任務(wù)設(shè)計(jì)線程池時(shí)的策略是這樣的主控線程和 I/O 線程放在 P 核保證響應(yīng)速度工作線程按批次分發(fā)給 E 核因?yàn)樗鼈冏龅氖羌冇?jì)算、無依賴、可并行的活。這樣既拿到了 E 核的數(shù)量優(yōu)勢又不會(huì)因?yàn)檎{(diào)度錯(cuò)位而拖慢關(guān)鍵路徑。具體實(shí)現(xiàn)上可以用兩個(gè)獨(dú)立的任務(wù)隊(duì)列配合不同的親和性設(shè)置# 主控 IO 線程池 taskset -c 0-3 ./app --io-threads4 # 計(jì)算線程池綁到 E 核簇上假設(shè) E 核是 16-23 taskset -c 16-23 ./worker --concurrency8這里有個(gè)細(xì)節(jié)E 核的簇劃分要和線程數(shù)對(duì)齊。如果 E 核是 4 核一簇、共兩簇那綁 8 個(gè)線程是合適的如果你綁 6 個(gè)就可能出現(xiàn)某一簇被塞了 4 個(gè)、另一簇只有 2 個(gè)的不均衡情況實(shí)際性能比綁 4 個(gè)還差。這個(gè)坑我踩過一次線程數(shù)從 8 改成 6 之后吞吐掉了 20%查了很久才發(fā)現(xiàn)是簇內(nèi)競爭導(dǎo)致的。還有一類任務(wù)特別適合 E 核長時(shí)間運(yùn)行但不追求單次速度的后臺(tái)任務(wù)比如日志輪轉(zhuǎn)、索引合并、緩存預(yù)熱、健康檢查。這些任務(wù)的特點(diǎn)是優(yōu)先級(jí)低、可以容忍延遲、但數(shù)量多。把它們綁到 E 核上既釋放了 P 核又避免了它們被調(diào)度器到處搬來搬去打擾關(guān)鍵業(yè)務(wù)。4.3 中斷、容器與虛擬化里的三個(gè)坑第一個(gè)坑是容器的 CPU 限制和親和性沖突。給容器設(shè)了--cpus4之后運(yùn)行時(shí)會(huì)在宿主機(jī)層面做帶寬限制但如果你同時(shí)又在容器內(nèi)用taskset綁了 4 個(gè)核而這 4 個(gè)核恰好跨了 NUMA 節(jié)點(diǎn)那你既失去了調(diào)度的靈活性又引入了跨節(jié)點(diǎn)訪問。我建議容器場景只保留一套約束要么用 cpuset 做硬綁定同時(shí)解決配額和親和性要么只做配額限制讓調(diào)度器自由發(fā)揮。兩套機(jī)制疊加是最容易出問題的組合。第二個(gè)坑是虛擬機(jī)的 vCPU 與物理核錯(cuò)配。有些平臺(tái)默認(rèn)把 vCPU 均勻打散到所有物理核上這在混合架構(gòu)下會(huì)導(dǎo)致同一個(gè)虛擬機(jī)的 vCPU 有的在 P 核有的在 E 核客戶機(jī)內(nèi)部看到的同構(gòu)多核其實(shí)是假的。表現(xiàn)是客戶機(jī)里的并行程序性能波動(dòng)極大而且無法通過客戶機(jī)內(nèi)部的任何手段解決。方案是在宿主機(jī)層面配置親和性規(guī)則保證同一個(gè)虛擬機(jī)的 vCPU 落在同類核上。這個(gè)改動(dòng)在編排層面做一次就行屬于一勞永逸的收益。第三個(gè)坑是中斷親和性與綁核的隱性沖突。你在業(yè)務(wù)線程上做了綁核但中斷控制器仍然可能把中斷送到這些核上尤其是當(dāng)你只綁了幾個(gè)核而系統(tǒng)有幾十個(gè)核的時(shí)候中斷分布會(huì)很不均勻。檢查方式是看/proc/interrupts里每個(gè)核的中斷計(jì)數(shù)如果發(fā)現(xiàn)某個(gè)核的計(jì)數(shù)遠(yuǎn)高于其他核那就是沒配對(duì)。修復(fù)方式是把中斷親和性顯式設(shè)置為不包含業(yè)務(wù)核的那組 CPU。這個(gè)動(dòng)作在壓測前做一次能消除相當(dāng)一部分的延遲毛刺。5. 三個(gè)真實(shí)抖動(dòng)案例的排查鏈路光講原理容易飄我挑三個(gè)自己實(shí)際處理過的案例把完整的排查路徑攤開。這三個(gè)案例的共同點(diǎn)是表面癥狀相似都是變慢但根因分別落在 Core 層、Uncore 層和調(diào)度層處理方式完全不同。我特意保留中間走過的彎路因?yàn)榕挪檫^程本身就是最有價(jià)值的部分。5.1 案例一單線程程序越跑越慢現(xiàn)象一個(gè)計(jì)算密集的單線程任務(wù)跑第一次用 30 秒第二次 33 秒第三 次 37 秒重啟進(jìn)程后又回到 30 秒。這個(gè)模式非常反常因?yàn)榧冇?jì)算任務(wù)不應(yīng)該有累積效應(yīng)。第一反應(yīng)是內(nèi)存泄漏或者 GC 壓力但監(jiān)控顯示內(nèi)存平穩(wěn)。第二步懷疑降頻用turbostat盯著看果然發(fā)現(xiàn)了問題任務(wù)運(yùn)行 30 秒后核心頻率從 4.2GHz 掉到 3.4GHzPkgWatt也接近了功耗上限。也就是說散熱或者功耗墻在起作用。但故事沒結(jié)束。如果只是撞功耗墻為什么重啟進(jìn)程就好了繼續(xù)往下查發(fā)現(xiàn)是另一個(gè)原因疊加這個(gè)程序在運(yùn)行過程中不斷分配新內(nèi)存雖然邏輯上釋放了但分配器沒有歸還給操作系統(tǒng)導(dǎo)致工作集持續(xù)增長LLC 命中率從 85% 一路掉到 40%。頻率下降和緩存失效兩個(gè)因素疊加才造成了這個(gè)線性變慢的曲線。修法分兩步。針對(duì)功耗墻這屬于硬件限制能做的只有改善散熱或者降低期望針對(duì)緩存失效把內(nèi)存分配器換成了會(huì)主動(dòng)歸還內(nèi)存的實(shí)現(xiàn)并且在批處理邊界上顯式觸發(fā)一次整理。改完之后曲線變平了穩(wěn)定在 31 秒左右。這個(gè)案例的教訓(xùn)是癥狀是單一的原因往往是復(fù)合的查到第一個(gè)原因就停下很容易做出錯(cuò)誤的歸因。5.2 案例二內(nèi)存帶寬上不去CPU 利用率卻不滿現(xiàn)象一個(gè)多線程數(shù)據(jù)處理任務(wù)理論帶寬需求約 60GB/s實(shí)測只跑到 38GB/s同時(shí) CPU 利用率卡在 55% 上不去。加線程數(shù)沒用提高到物理核數(shù)的兩倍還是一樣。這次的排查路徑走的是 Uncore 側(cè)。先算理論值雙通道 4800MT/s上限 76.8GB/s實(shí)測 38GB/s 只有一半明顯不正常。然后用perf看 Uncore 事件發(fā)現(xiàn)內(nèi)存控制器的讀帶寬計(jì)數(shù)和實(shí)際業(yè)務(wù)量對(duì)得上說明請求確實(shí)發(fā)出去了。那問題就在請求的路上。下一步看 NUMA 分布用numactl --hardware和每個(gè)線程的本地節(jié)點(diǎn)命中率。發(fā)現(xiàn)有一半的線程分配的內(nèi)存落在了遠(yuǎn)端節(jié)點(diǎn)上因?yàn)榉峙洳呗允悄J(rèn)的本地優(yōu)先但進(jìn)程啟動(dòng)時(shí)所在的核和后來實(shí)際運(yùn)行的核不在同一個(gè)節(jié)點(diǎn)。遠(yuǎn)端訪問會(huì)走互連總線帶寬受限于互連而不是內(nèi)存控制器。修法就是顯式綁定numactl --cpunodebind0 --membind0 ./app或者更細(xì)粒度地用--interleave交錯(cuò)分配讓每個(gè)線程的訪問都有一部分在本地。改完之后帶寬從 38GB/s 漲到 62GB/sCPU 利用率也跟著上到了 88%。這個(gè)案例說明一件事帶寬上不去不一定是物理限制很可能是流量走錯(cuò)了路。而流量路徑這個(gè)問題在 Core 層面完全看不出來。5.3 案例三壓測數(shù)字忽高忽低復(fù)現(xiàn)不了現(xiàn)象同一個(gè)壓測腳本連續(xù)跑十次吞吐量在 8000 到 12000 QPS 之間隨機(jī)波動(dòng)沒有任何規(guī)律。這種問題最讓人頭疼因?yàn)樗馕吨銦o法驗(yàn)證任何優(yōu)化是否有效。排查的第一步是消除變量。先把線程數(shù)固定、綁核、綁 NUMA跑十次波動(dòng)范圍收窄到 9000-11000但沒消失。說明還有別的變量。繼續(xù)查用turbostat記錄每次運(yùn)行時(shí)的頻率曲線發(fā)現(xiàn)高頻運(yùn)行的那幾次Bzy_MHz普遍更高而且波動(dòng)更小。這就把矛頭指向了調(diào)頻策略。再往下看問題出在調(diào)頻策略的響應(yīng)速度上。默認(rèn)的策略是按需調(diào)頻它根據(jù)最近的負(fù)載歷史決定頻率。壓測啟動(dòng)的瞬間負(fù)載突然拉滿但策略需要幾百毫秒才能把頻率拉上去如果這期間恰好有另一個(gè)短暫的空閑窗口頻率又會(huì)被拉下來。每次運(yùn)行的時(shí)機(jī)不同落在這個(gè)上升沿的位置就不同于是數(shù)字隨機(jī)波動(dòng)。修復(fù)方式很直接把調(diào)頻策略切成固定性能模式。cpupower frequency-set -g performance改完之后波動(dòng)范圍收窄到 9500-10200 QPS可以接受。代價(jià)是待機(jī)功耗上升但對(duì)壓測環(huán)境來說這個(gè)代價(jià)可以忽略。這個(gè)案例我印象很深因?yàn)樗虝?huì)我一件事在混合架構(gòu)上做性能測試第一件事是把所有能自動(dòng)變的東西固定住。頻率、綁核、NUMA、中斷親和性全部固定之后你才能開始測真正想測的東西。否則你測到的只是各路自動(dòng)策略的隨機(jī)組合。后來我把這套流程固化成了一個(gè)測試前的檢查腳本每次壓測前先跑一遍把不確定因素全部消除。這個(gè)習(xí)慣讓我的測試數(shù)據(jù)可信度提升了一個(gè)檔次也避免了很多改了半天沒效果的無效工作。6. 一份可以直接抄的調(diào)優(yōu)清單與幾個(gè)反直覺結(jié)論寫到這里把可操作的東西收斂成一份清單你照著檢查一遍就行不用每次都從頭推。第一步永遠(yuǎn)是定位分層。跑lscpu和turbostat看Bzy_MHz和UncMHzIPC 高不高LLC 未命中率高不高。這一步?jīng)Q定后面往哪個(gè)方向使勁。第二步摸拓?fù)溆胠scpu -e和thread_siblings_list把 P 核、E 核、超線程兄弟對(duì)、E 核簇的劃分全部列出來寫在紙上。第三步改配置按負(fù)載類型選方案延遲敏感就綁 P 核、避開兄弟對(duì)、綁本地節(jié)點(diǎn)、挪走中斷吞吐型就全核開跑、主控放 P 核、工作線程按簇綁 E 核。第四步驗(yàn)證改一項(xiàng)測一項(xiàng)別一次改五個(gè)地方然后不知道是誰起的作用。幾個(gè)我認(rèn)為最值得記住的反直覺結(jié)論。E 核不一定更省電只有在多線程滿載時(shí)才體現(xiàn)能效優(yōu)勢單任務(wù)放上去反而更耗電。Uncore 頻率的影響遠(yuǎn)大于多數(shù)人的預(yù)期內(nèi)存密集型負(fù)載下調(diào)整它能帶來十幾個(gè)百分點(diǎn)的差異而 Core 頻率往往已經(jīng)撞墻了。綁核是控制變量的手段不是提速的手段用來消除波動(dòng)有效用來提升峰值通常無效。IPC 是比頻率更可靠的性能指標(biāo)頻率可以做得很漂亮但 IPC 騙不了人。最后分享一個(gè)我一直在用的小技巧給機(jī)器建立一份性能基線檔案。在干凈的、空載的狀態(tài)下跑一遍標(biāo)準(zhǔn)負(fù)載可以是固定的編譯任務(wù)、固定的數(shù)據(jù)處理腳本記錄下耗時(shí)、IPC、內(nèi)存帶寬、各層緩存命中率。以后任何一次性能異常都拿這份基線做對(duì)比能在一分鐘內(nèi)判斷出是哪一層退化了。這份檔案我建議跟著機(jī)器走而不是跟著人走因?yàn)榛€的價(jià)值恰恰在于它的穩(wěn)定性和可比性。真正把 Core 和 Uncore 分開看之后我最大的收獲不是學(xué)會(huì)了調(diào)幾個(gè)參數(shù)而是形成了一個(gè)條件反射看到任何性能問題先問這是執(zhí)行的問題還是供給的問題。這個(gè)二分法幾乎適用于所有場景包括那些看起來跟 CPU 完全無關(guān)的場景。想清楚這一層剩下的都是查文檔和試參數(shù)的體力活。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷免费视频| 五月丁香六月婷婷色情| 色碰97| 丁香婷婷视频| 99热香港| 婷婷的99视频网站| 色五月成人婷婷| 日日操天天操| 激情六月日韩| 色五月婷婷婷婷婷婷婷婷婷婷| 五月丁香六月欧美综合网站| 婷婷亚洲欧美丁香五月| 思思99精品视频| 综合日本婷婷| 四色五月婷婷| 国产肥白大熟妇BBBB视频| 色婷婷五月视频| 538午夜激情| 色婷婷AⅤ| 综合久久高清| 久久五月丁香伊人青草| www.色综合| 国产精自产拍久久久久久蜜| 五月婷婷亚洲| 91视频综合网| 五月丁香五月婷婷| 欧州色色| 久久aaaa片一区二区| 久热91| 丁香五月激情啪啪啪啪| 久久视9精| 综合久久99| 天天色视频| 99热永久在线观看| 天天操夜夜爽天天操| 9 1大香蕉| 香蕉久久av一区二区三区| 色久女| 情久久综合五月天| 中文字幕乱轮| AAA亚洲AV| 少妇丁香婷婷 | 久久婷婷激情久久| aaa久久久| 国产免费一区二区在线A片视频| 97热精品| 久久久999精品| 热久久99热欧美国产亚洲| 亚洲视频在线观看99| 婷婷综合精品| 伊人婷婷综合| 五月天色丁香| 久久人妻视频| 色婷婷在线视频| 五月丁香久久网| 操操操AV| 天天日,天天干,天天操| 99色在线视频| 永久免费视频| 99九九在线精品热动漫| 亚洲VA口| 亚洲开心激情网| 97人人干人人操| 人人插9| 色狠狠婷婷| 欧美日韩成人在线| 开心激情婷婷| 国产精品电影网| 婷婷网五月| 久热最新视频 | 开心激情婷婷| 久99视频| 天天综合网站| 97色射| 婷婷色色亚洲| 美欧成人视频| 日良久久| 五月婷婷少妇之| 丁香五月亭亭六月综合激情网| 91viP在线看| 猫咪伊人久久| 丁香五月天无码AV| 婷婷五月色丁香在线看| 九九激情| 国产激情av| 久久色情| 色区久久| 五月色婷婷激情| 欧美在线骚货| 色丁香五月天婷婷| 9 1超碰九色| 国产成人网址| 成人免费120分钟啪啪| 99re6在线视频精品免费| 熟女人妻一区二区三区免费看| 五月天丁香综合久久国产| 综合噜噜| 欧美韩国日本| 91啪啪啪啪| 九色视频91| 1024成人在线观看| 六月丁香综合999| 天色综合网| 思思久久久婷婷| 狠狠色婷婷7777久综合| 777丁香六月青青草婷婷综合久月| 99人妻碰碰碰久久久久禁片| 黄色激情五月天| 九九热在线视频| 久久婷狠狠色| 五月色亭丁香| 婷婷激情综合无月| 岛国在线观看91| 女人被躁到高潮嗷嗷叫小| 丁香婷婷浪潮AV久久综合| 五月丁香 狠狠爱| 狠狠综合区| av狠狠操| 综合 蜜月 婷婷| 97人人干人人操| 99色最新在线视频| 五月色亚洲| 色综合久久88色综合天天99| 激情综合色婷婷啪啪五月天| 婷婷激情视频| 99热的无码| 九九自拍网| 无码人妻精品一区二区蜜桃色欲| 日韩肏屄网| 欧美日韩91| 色五月色五天色情网| 婷婷五月天亚洲综合| 色丁香久久| 狠狠色婷婷丁香五月| 九九成人精品免费视频| 丁香激情五月| 色护士综合| 五月停亭六月,六月停亭的英语| 九九在线免费观看| 99综合网| 婷婷九月丁香| 九九热精品视频在线观看| 激情五月天综合网| 91热在线| 天天弄天天操| 丁香婷婷六月| 五月天婷婷伊人| 五月婷婷九九热| 热久久这里只有精品| 碰碰碰97国产| 五月伊人视频在线看| 丁香五月人妻| 久久99精品久久久久久三级| 思思国产99| 99色天堂| 久久99久久久久久| 久久五月丁香婷婷| 1024亚洲| 激情五月婷婷丁香| 婷婷丁香成人色综合| 色婷网| 五月激情偷拍| 亚洲影院婷婷色| 99热这是里只有精品| www.五月天色色.com| a性生活久久无| 天天干夜夜操A片| 97色女人在线| 97日日碰碰| 久久网站免费亚洲| 97精品综合久久| WWW99热| 国产性爱亚洲是图| 伊人热婷婷| 五月色丁香国产在线视频| 日日综合网| 玖玖五月丁香| 久9无码视频| 亚洲乱啪| 97色啪| 久久九九思思| 99热99热99热99热| 区啪精品| 精品网站:999WWW| 久久婷婷五月综合色丁香| 婷婷五月永远18免费久久久| 97啪在线观看视频| 日韩欧美一级大黄网站| www.色情五月天.com| 99在线视频在线观看| 狠狠五月天| 九九av在线| 婷婷开心激情| 色色五月天网站| 激情五月四色| 91精产一区三区免费观看| 成人色五婷婷| 玖玖爱综合网| 丁香六月情| 国产亚洲在线观看| 无码免费人妻A片AAA毛片西瓜| 亚洲激情无码久久| 丁香五月婷婷操逼| 99热久草| 五月激情另类| 天天操,夜夜骑| 超碰免费在线| 天天摸色吧天天摸色吧| 色噜噜狠狠色综合日日| 99婷婷综合| 五月丁香色综合| 欧亚洲在线高清视频| 日韩在线视频中文字幕| 综合97五月| 97碰碰视频| 在线成人av播放| 五月丁香六月婷婷网| 日韩精品成人在线| 天天干天天拍| 久久视频在线| 亚洲AV免费在线| 97综合在线| 丁香色五月婷婷17C| 久久久中文| 99视频精品8 | 久久激情五月| 欧美成人猛片AAAAAAA| 久热这里只有精品在线| 好好干Av| 亚州男人天堂婷婷五月| 激情五月婷婷开心网| 热99免费在线| 一二线视频 另类| 亚洲激情综合免费| 色欲久久综合| 婷婷9月天| 99热久草| 伊人久久大香网| 六月天婷婷| 在线色五月婷婷| 在线看九一V图片| renrencaoni| 99视频这里有精品| 热99这就是精品视频| 色综合久网| www.夜夜操.com| 日本久久9| 91精品久久久久| 天天射天天射一道本日本社区| 涩丁香91| 夜夜爽天天爽| 五月天婷婷中文字幕在线播放| 色播播婷婷| 九九热黄色| 天天插天天插天天日| 婷婷久综合| 成人av在线网站| 丁香六月婷婷激情综合| 色婷婷亚洲在线观看| 伊人色综合网| 综合99视频| 五月的丁香六月的婷婷| 久99视频在线观看| 男人天堂 久久| 丁香五月天婷婷激情| 婷婷色爱| 玖玖资源网站最新站| 久久久.COM| 九九热在线视频,| 7超碰自拍| 六月婷基地| 丁香色色五月| 99操| 天天舔天天爽| 综合色色网| 99热只有精| 五月色网| 99riAv1国产在线观看| 激情五月黄色| 亚洲成人综合在线| 九色91国产| 婷婷五六日| 亚洲婷婷五月| 日本97久久久精品| 亚洲色五月婷婷| 亚洲激情网| 五月婷婷丁香啪啪| 亚洲人成色A777777在线观看| www婷婷色情网| 久久这里只有精彩| 久草大| 日韩黄色网络| 女婷久久| 激情久久肏屄视频| 久久婷狠狠色| 亚洲精品国产setv| 激情综合五月婷婷| 91天天操天天干天天射| 99这里只有精品| 日韩在线婷婷五月天综合| 超碰AAAAAAV| 狠狠看狠狠| 日本色99| www.99热视频| 婷婷激情肏屄网| 大香蕉久久久久| 丁香五月123| 色婷婷香蕉在线| 欧美成人一区二区三区在线视频| 嫩BBB搡BBBB榛BBBB| 99色色网| 国产精品18久久久| 专区无日本视频高清8| 婷婷五月成人| 9l视频自拍9l九色成人| 九八Av| 99久久户外勾搭| 99国产精品白浆在线观看免费| www.色五月| 可以看的av| 日本色婷婷| 婷婷成人视频| 男女啪啪做爰高潮无遮挡| 99精品视频在线观看| 青草青草视频2免费观看| 色婷婷狠狠| www.色情五月天.com| 丁香五月综合久久| 天天做天天爱天天高潮| 九九热在线视频| 成人做爰A片免费看网站找不到了| 亚洲免费在线观看岛国| AV网站免费在线| 性小说五月天| AV美美午夜| 久久婷婷五月综合激情国产| 丁香五月aV| 免费试看小视频 99| 天天摸日日舔狠狠添婷婷婷| 婷婷五月成人有| 丁香九月综合| 开心五月天激情网站| www.亚洲激情| 亚洲人人96@| 日韩激情人伦人| www,久久久| 色欲色天天香综合| 五月婷婷六月丁香免费| 六月婷婷狠狠做| 99精彩视频| 人人爽天天爽| 六月婷婷天堂| 久久99婷婷| 丁香婷婷激情五月色| 狠狠干伊人| 激情开心五月天| 色综合99| 五月婷婷黄| 久er免费视频| www.热99热| 六月婷婷综合| 99在线精品免费视频| 超碰99在线观看| 综合一区二区三区| 五月丁香激情综合网| 99热9| 极品少妇XXXX精品少妇偷拍| www五月天com| 激情5月婷婷狠狠干| 99爱在线精品视频免费观看| 狠狠色成人影片| 五月天综合网| 丁香九月激情在线视频| 26UUU一区二区| 婷婷五月六月激情| 婷婷五月成人| 色婷婷成人网| 99视频在线精品免费观看2| 丁香五月播播| 99精品久久久久久久久| 人人爱天天摸摸天天爱| 婷婷成人视频| 综合福利网| 青青草tp| 五月丁香六月婷婷在线| 99毛片| 99精品视频播放| 任你草| 久久99精品久久只有精品| 国产精品美女久久久久AV超清| WWW免费视频碰碰碰碰| 婷婷六月丁香欧美视频在线| 91九色大屁股| 99视频自拍| 青青草搞屄视频网站| 婷婷精品免费久久| 色噜噜,噜噜色| 黄桃AV无码免费一区二区三区| 极品人妻videosss人妻| 五月天婷婷激情四射综合| www.激情五月天| av五月丁香婷婷网| 五月婷婷色| 色婷婷综合久久久久| 亭亭五月丁香综合欧美| www.91久久| 色综合色色| 第四色大香蕉| 精a品a| 欧美日韩999| av第一二区| 97人人草| 激情婷婷丁香五月天| 超碰九热| 久久A热| 狠狠穞A片一區二區三區| 激情综合激情五月一起草| 五月丁香婷婷五月色| 啪啪亚洲综合| 思思热久久阴99| 色色婷婷综合| 久久亚洲婷婷| 色婷婷丁香AV综合| 色导航色婷婷五月天在线观看| 婷婷五月天天| 婷婷五月天激情综合网| 97干在线免费| 丁香五月天色婷婷| 五月丁香婷婷婷激情爱爱| 99性视频| 麻豆精品| 婷婷少妇激情| 九九九九国产| 日本久久天堂| 情情五月天色| 丁香五月激情啪啪综合| 婷婷五月天欧美| 日本偷拍九九九| 婷婷激情五月色综合| 99色嘟嘟精品网站| 第四色婷婷丁香五月| 日韩欧美婷婷丁| 综合五月丁香六月婷婷| 激情久久 婷婷| 婷婷五月天国产在线播放| 色婷婷香蕉丁丁网| 色婷婷成人网| 欧美一级色| 色五月亚洲| 天天拍夜夜撸| 欧美日韩成人h| 婷婷丁香五月高清| 色五月婷婷青娱乐| 久久综合人妻| 狠狠操天天操综合| AⅤ在线播放网| 狠狠色大香蕉| 99视频这里只有免费精品| 亚洲色五月| 婷婷五月天Av| www色哟哟| 色噜噜狠狠色综无码久久合欧美 | 77799热| 少妇人妻偷人精品无码视频新浪| 99av视频| 91啪级电影| 中文字幕成人影视| 丁香五月综合激情性爱 | 五月天婷婷影院| 人妻久久久久久久久| 97丁香视频| AV五月丁香| www.婷婷网| 久热9| 狠狠草综合网| www..999热久| 精品爱欲五| 五月天亚洲综合网| 超碰在线99| 九九9久九9国产视频| 操骚货在线| 噜噜噜噜婷婷五月天| 婷婷五月花.97| 亚洲无码yw| 婷婷伊人中文字幕| 四色五月婷婷| 开心激情婷婷| 天天爱天天做天天| 翔田千里aV中文字幕| 久久综合五月婷婷| 丰满女老板BD高清A片| 丁香久久| 99色丁香婷婷综合网| 99ri视频在线播放| 亚洲狠狠爱婷婷| 五月天婷婷伊人| 亚洲激情视频网| 一月婷婷色色| 日本婷婷色| 尔尔AV一区| 五月天婷久精视频| 亚洲激情五月丁香久久久久| 操操碰| 色情成人五月天| 久久小视频| 吾爱AV导航| 大地9中文在线观看免费高清| 精品99*| 99这里| 色情丁香五月天| 亚洲操B视频| 成人无码髙潮喷水A片| 欧美色色色色色色| 久久免费婷婷视频| 九九九午夜影院成人| 久久久91| 激情四射婷婷色色色| 国产做A爰片毛片A片美国| 激情婷婷久久| 天天色视频| 国产精品久久久60086| 四色综合网| 99男人的天堂| 久久婷婷六月综合综合| 丁香狠狠色婷婷久久无码视频| 六月婷婷综合| 97天堂| 99操逼| 都市激情久久| 五月婷视频久久| 丁香六月婷婷开心婷婷网| 成人在线观看国产| 六月婷婷综合| 五月天开心婷婷激情网站| 婷婷深爱五月亚洲综合| 色色99| 国产美女主播vip| 亚洲成人日韩无码精品| ..真实国产乱子伦毛片| 大伊香蕉精品视频在线| 久久婷五月天| 色色色com| 99A级片| 性热视频99精品| 久久五月丁香综合17C| 蜜臀av无码久久久久久久久| 丁香五月在线人妻| 伊人五月天日日夜夜久久久天天| 激情五月深爱五月观看| 色八月婷婷| 久久久精品99亚洲综合| 色热久资源| 色婷婷综合网| 色9色| 99久久99热| 99ri国产| 激情综合网五月在线播放| 51成人| 五月婷婷激情| 国产综合丁香五月天| 亚洲免费电影2| 国产色香蕉精品五夜婷| 六月婷婷网| 天堂爱啪啪| 欧美色色色色色色| 亚洲综合九九| 久久性爱视频免费| 思思精品久久艹| 人人操AV| 亚洲中文字幕翔田千里| 天天色天天爱天天爽| AA片在线观看视频在线播放 | 奇米色大香蕉| 伊人婷婷五月天av| 五月丁香色停停啪啪啪| 亚洲性图一区二区| 免费看欧美成人A片无码 | 天天干天天爽| 69色婷婷| 久久激情天堂| 色婷婷五月在线| 天天日夜夜| 六月婷婷最新网址| 五月婷综合性中心| 无码日本精品XXXXXXXXX | 色性综合| 99热久久这里只有精品| www,色中色| 免费黄网不卡AV| 丁香五月大片| 99热在线观看成人| Www.狠狠| 热婷婷在线视频| 九九婷婷网五月天| 色玖玖导航| 久久久99久久| 久久永久网址| 亚洲精品V天堂中文字幕| 色9色| 97超碰婷婷五月天| 深爱激清网| 视频1区2区| 丁香五月欧美午夜视频| 丁香五月婷婷基地| 丁香五月天社区| 婷婷六月插屄激情| 伊人天堂婷婷| 99热这里都是精品| 色五月丁香总合网| 岛国AAAV| 婷婷五月天AV在线| 五月丁香久人妻中文| 超碰在线综合| 激情五月深爱五月| 亚洲人成播放网站| 久草视频一,二三四| 九九色热| Www.sesese丁香| 人。妻久久| 色v综合网| 五月婷在线| 69堂午夜视频最新地址| 92久久久| 我去色色网五雨天| 亚洲精品视频在线播放| 亚洲激情av| 婷婷五月天日日日干干干| 激情国产五月| 久久这里有精品| 精品九九在线观看视频| 久热9热| 99综合| 狠狠狠狠操| 色综合中文色综合网| 五月香婷婷| 五月婷av| 精品一区二区三区四区五区六区介绍 | 婷婷99视频全集高清| 色色激情五月| 精品一区二区三区木瓜| 91婷婷色| 午夜69成人做爰视频| 第四色婷婷丁香五月| 激情综合网丁香| 久久99热网| 9久热在线视频精品| 亚洲综合丁香婷婷六月天| 六月婷婷九月丁香| 99日热在线视频| 五月婷婷黄色| 日日爽日日爽| 激情五月婷婷在线区| 手机在线日韩视频中文字幕| 99青青草99| 色五月人妻| 亚洲色另类| 丁香激情婷婷网| 97热超碰| 99九九这里有免费视频| 亚洲成人免费在线| 人人做人人看人人摸| 色五月激情视频在线综合| 婷婷久久18| 97人碰人操| 丁香五月婷婷色| 亚洲综合久| 色五月五月婷婷| 99热精品一| 99热这里有精品6| 999热在线视频| 超碰人人妻| 操操操B| 亚洲综合另类| 亭亭五月丁香五月天激情| 久久伊人9| 丁香五月婷婷日本| 国产婷婷五月色情综合| 天天干天天日日| 日本a片网址| 91碰碰视频| 激情久久 婷婷| 丁香婷婷五月综合欧美另类| 性爱激情综合网| 国产欧美精品AAAAAA片| 熟女人妻一区二区三区免费看| 99精品在线观看| 五月丁香色色| 91狠狠色丁香婷婷综合久久| 黄网在线观看免费| 丁香六月激情四射| 国产97色在线 | 日韩| 色婷婷狠狠18| 婷婷综合五月天| 欧美性爱五月天| 色久丁香五| 99热6精品| 一二三区视频韩国| 日撸夜撸日操| 婷婷综合在线观看视频| 操啊操av| 丁香婷婷五月天在线视频| 日日噜噜夜夜狠狠久久丁香六月| 国产一区男女| 五月天综合影院| 五月婷婷激情网| 色情婷婷| 国产精品天天狠天天看| 激情AV网| 综合六月久久| www.亚洲激情| 久久9RE热视频精品98| 色呦呦美女| 4399高清无码视频| 欧美色五月| 中文字幕色色色| 久久精品系列| 另类天堂| 开心五月丁香啪| 欧美精品A片一区在线观看| 欧美日韩91| WWW.五月天9999| 99婷婷综合| aa久久| 五月婷婷成人网首页| 大香伊人婷婷影院| 99在线观看精品视频| www。狠狠干。com| 久99在线| 婷婷亚洲天堂| 天天爽夜夜爽天天爽夜夜爽| 六月丁香狠狠爱| 色婷婷导航| 亚洲日日操| 中文字幕九九九九| 九九免费视频| 婷婷亚洲五月色综合| 殴美激情综合网| 日韩AV在线影片| 五月婷婷开心综合| 六月婷婷天天操夜夜爽视频| 玖玖九九9999在线观看视频精品| 免费看成人747474九号视频在线观看| 深爱五月激情综合| 色婷婷精| 日日操夜夜撸| 婷婷性爱视频在线| 99精品视频网站| 日本波多野结衣视频| 丁香五月影视| 国产玖玖资源| xx色综合| 五月婷婷影院| 99在线小视频| 狠狠色成人影片| 丁香五月婷婷激情视频播放| 9热视频在线观看| 亚洲欧美999| 久久综合影院| 新激情五月天| 婷婷五月天AV网| 国产视频婷婷| 成人五月丁香花| 99激情网| 六月婷婷激情| 丁香六月激情综合网| 69久久久| 97激情五月天| 久久精品99| 久婷自拍视频| www.色擼擼.com| 欧美成人AAA片一区国产精品 | 丁香婷婷九月在线| 97电影99热| 终合激情网| 国产精品天天狠天天看| 97碰人人操| 婷婷伊人久久综合| 国产成人精品一区二三区熟女在线 | 99re久热只有精品6在线直播| 天天摸日日舔狠狠添婷婷婷| 九九激情综合| 中文字幕亚洲-区久久99婷婷| 色亭亭九月| 色婷婷丁香六月| 日韩在线视频中文字幕| 色噜噜狠狠色综合网| 久久久天堂国产精品女人| 伊人五月天在线| 色婷婷久久| 五月丁香婷婷基地| 色婷婷丁香AV综合| 狠狠人妻久久久久久综合丁香| 婷婷第六色| 色色色1网址| 久久人妻超碰一区| 翔田千里 50岁 无码| 先锋资源婷婷| 99狠狠| www.夜夜操| 婷婷丁香五月网| 六月丁香网| AAAA网站| 久色大| 日本WWW九九九| 国产.亚洲.欧洲视频在线| 久久婷婷亚洲| 婷婷激情区| www,五月天激情| 亚洲综合婷婷六月丁香五月| 国产婷婷五月天| 看国产探花操逼三级片| 激情小说五月欧美亚洲丁香| 天天色天天舔天天爱天天爽| 夜丁香五月婷婷| 26UUU欧美| 激情五月天偷拍综合网| 婷婷五月色情| 色婷五月| 色五月综合| 色欧美一级| 色婷狠狠| 思思99久久| 欧美黑人大吊| 日韩六十路91性交电影| 成人AV在线网站| 激情五月综合色| 亚洲五月丁香综合网| WWW丁香五月| 丁香五月天欧美成人| 色。 日日日| 色五月综合激情| 天天操夜夜操| 这里只有精品视频免费在线观看| 国产日韩精品SUV| 中文字幕在线免费看线人| 国产XXXX搡XXXXX搡麻豆| 综合久久五| 色婷婷丁香| 亚洲欧美日韩另类| 亚洲成人在线播放| 天天日天天添| 色色综合网www| 六月丁香色色| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 伊人婷婷五月天| 99精品久久| 五月天久久色| AV色婷婷| 开心五月天私房婷婷| 青青草青青草五月天| 色婷婷裸体色性在线| 91久久九色| 欧美色图天堂网| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 激情欧美丁香五月| 久99久精品| 日本五月婷| xxxx五月激情| 五月丁香A∨在线| 99re热视频这里只精品| 五月天激情啪啪| 久久伊人婷婷| 婷婷六月香| 夜夜操天天干| 精品丁香五月天在线播放| 9.1综合网| 色婷婷文字幕| 江苏少妇性BBB搡BBB爽爽爽| 久久久婷婷婷| 婷婷天天婷婷天天澡| 五月天色婷伊人| 精品99在线| 人人操人人妻| 久久久久人妻精品| 丁香五月开心亚洲| 婷婷色网站| 欧美狠狠一在草| 五月天丁香综合久久国产| 天天爽天天爽| 日本高清久久| 日韩欧美成人片| 婷婷六月激情在线视频| 天天在线久久综合| 国产免费AV在线| 色色射| 丁香色五月婷婷17C| 五月天婷综合| 日本三级99人妇网站| 亚洲激情四射| 欧美在线视频99| 亚洲成人无码网站| 五月草视频| 天天做天天爱天天综合| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 思思99热这里只有精品| 99热丁香| 操逼巨乳91| 五月婷九九草| 日本天堂网站99| 久月久在线视频| 亚洲亚洲人成综合网络| 婷婷五月丁香香蕉| AV九九| 中文字幕在线播放视频| 五月丁香啪| 99热这里只有精品一区| 亚洲色vA| 永久地址 色| 天天综合网亚洲综合网| 色色婷婷综合网| 婷婷五月开心中文字幕在线| 丁香五月综合图片在线观看| 26UUU欧美激情一区二区| 狠狠88综合久久久久噜噜噜| 日本女天天爽| 有码人妻久久| 人妻操逼视频。| 99精品在线播放| 天天插天天狠| 五月情丁香色| 在线国产精品色| 色综合色综合婷婷热| 婷婷丁香五月天色播网站| 六月婷婷网| 久久综合综合久久| 色婷婷色99国产综合精品| 综合久久99| 91精品熟女| 99热网站在线观看| 深爱五月亚洲| 七七九色| 天天爱天天做天天日| 色狠狠999综合网| 天天拍夜夜爽| 九九视频在线观看| 99色综合| 99爱视频在线观看| 99九九在线精品热动漫| 99亚洲精品视频| 天天在线XXX| www九九热| 狠狠插狠狠操| 亚洲天堂99| 色综合九九| 婷婷色五月天在线| 午夜激情综合| 激情综合网激情五月天| 久久精品国产精品| 美国不卡视频| 在线五月婷婷小电影| 久久五月婷婷开心网| 久草xx性爱视频| www.henhenl| 国产精品涩涩涩视频网站| 真实的国产乱XXXX在线91| 欧美色色色色色色| 99精品热视频只有精品10| 五月丁香啪啪啪啪| A久网| 99精品在线观看| 国产九九一区二区三区| 久久久无码精品成人A片小说| 人妻激情在线| 九九性爱网| 120分钟婬片免费看| 日日做A爰片久久毛片A片英语| 婷婷深爱五月丁香网| 99九九热视频免费| 九月婷婷久久久| 婷婷丁香六月综合激情站| 人人草人人舔| 五月天激情视频五月天| 超碰在线观看9| 亚洲天堂热| 九九草热在线观看| 国产精品成人网站| 99久久9| 五月天六月天| 黄色毛片精品| 99re思思热久久| 久久er视频6| 久久婷婷综合五月| 五月丁香婷草| 久久亚洲网| 久久九九囯产| 日本色五月| 婷婷情色激情| 熟女人妻一区二区三区免费看| www.五月天社区| 色婷婷操逼| 欧美韩国日本| 96丁香六月婷婷蜜桃综合久久| 天天搞夜夜爽夜夜爽| 天天操天天干天天日| 五月丁香综合啪啪| 色色网站日本91| 野战毛片三一3| 俺来也综合网精品一区| 亚洲乱码日产精品BD| 五月丁香在线| 久婷婷久草| 五月天丁香成人社| 最新无毒无码AV| 综合激情在线| 天天草天天日| 4399人妻无码久久久| 草草女人亚洲| 国产免费AV网站| 五月丁香六月情婷婷久久| 色玖玖导航| 色逼综合网| 激情五月综合| 六月丁香五月天| 久久成人性爱| 丁香五月婷婷色偷偷| 日韩精品AV一区二区三区| 久久综合影院| 99热99干| 久热这里这里有精品| 丁香五月停停基地| 91丨九色丨国产打屁股| 色五月婷婷影院| 九九热色视频| 久久99免费视频| 五月婷丁香| 亚欧州精品视频| 欧美爆乳一区二区三区| 亚洲中文无码成人| 婷婷五月色综合| 亚洲视频码| 日韩丰满少妇无码内射| 色婷婷综合亚洲| 五月四色色| 狠狠看狠狠| 任你操精品免费| 69久久久| 国产AV一区二区三区最新精品 | 色综合开心五月深爱五月| 婷婷色导航| 激情文学 综合 九月| 欧美性生交XXXXX无码小说| 色播丁香| www.日韩国产| 五月丁香天天| 激情五月天网站| 超碰自拍天堂| 九九亚洲| 久久五月天婷婷| 91操熟女| 欧美日韩一a.无| 熟妇无码乱子成人精品| 这里只有视频精品| 国产精品色情AAAAA片软件| 亚洲激情综合五月婷婷啪啪| 成人无码中文| 99色在线观看视频| 久久五月情| 人人97碰| 激情综合播播| 99热精品在线观看| 99热这里只有精品50| 99操无码视频观看| 五月丁香激情综合网| 色五月亚洲| 婷婷九月激情网| 久久综合香蕉国产国产蜜臀AV| 开心婷婷中文字幕| 99久久精| 丁香婷婷九月在线| 五月婷婷导航| 激情综合4月| 深爱激情综合网| 婷婷深爱五月天在线| 五月婷婷很很色| 欧美乱码国产一级A片| 性日本激情| 亚洲色色色| 人人爱人人添| 激情丁香九九五月综合网| 大香蕉av在线| 五月婷久久在线| 极品五月天| 久9久成人精品视频| 思思热久在线观看视频| 色444综合网| 狠狠操狠狠| 激情综合网五月激情| 青青.com| 亚洲a片免费观看| 97人人做| 99视频精品全部免费观看| 欧美超级视频97| 亚洲情综合五月天| 色五月av| 国内裸舞二区| Av免费网站在线| 伊人久久婷婷| 天天爱天天秀天天做| 色天天综合色| 激情爱爱网站| 婷婷中合| 久久久噜噜噜久久人妻| 狠狠色噜噜狠狠狠狠综合| 五月婷婷综合激情| 五月天伊人综合| 97综合视频在线| 色综合五月天| 亚洲色五月| 色五月婷婷啪啪五月| 99,色| 激情伊人网| 97色射| av中文在线| 91九色|疯狂|高潮|对白|| 五月天中文网| 综合婷婷六月| 精品久久9| 色噜久| 依人大香蕉在钱1| 色五月综合网| 五月婷婷激情网| 99思思热只有在这里看| 色情综合| 亚洲蜜乳AV| 午夜不卡久久精品无码免费| 99热9| 大香蕉啪啪| 丁香激情网| 天天综合在线网| 五月香六月婷| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 99精品久久久久| 激情五月婷色| 久久成人亚洲欧美电影| 青青草视频免费观看| 思思热在线| 久久精品人妻| 99精品视频网站| 激情久久天天| 久久黄色网扯| 一级性感黄色内射视频| 天堂久热| 少妇大叫太大太粗太爽了A片 | 色99视频| 成人短视频在线| 五月丁香琪琪| 丁香五月婷婷AV在线| 丁香五月在线| 99re热免费观看视频精品| 丁香五月天啪啪激情综和网| 最新五月天婷婷影| 丁香六月婷婷综合麻豆| 婷婷色系婷色| 26uuu亚洲色| 国产性色蜜乳| 狠色狠色综合久久| 天天做天天摸| 99热一区| 在线另类视频| 日日操日日撸| 欧美日韩成人在线| 人妻丰满精品一区二区A片| 成人做爰A片免费看视频| 无码激情AAAAA片-区区| 五月婷婷在线视频| 伊人9在线| 天天摸夜夜夜| 996er热| 最新AV在线观看| 丁香五月激情六月综合| 91狠狠综合久久久久久| 丁香花社区av| 国产伊人五月天| 欧美色九| 午夜AV网| 亚洲激情高潮| 99热这里是精品| 性色av大香综合| 五月丁香另类网| 夜夜爽日日躁| 综合一区二区三区| www.夜夜爱.com| 日本激情五月天‘| 另类少妇人与禽zOZZ0性伦| 欧美性猛交99久久久99| 夜夜谢天天干| 日韩一级淫乱片一区二区三区| 翔田千里aV中文字幕| 国产无套精品一区二区| 六月婷婷啪啪| 狠狠色五月天| 91天堂网综合| 天天高潮夜夜爽| 五月婷婷伊| 99色热综合| 丁香激情五月| sS丁香五月婷婷| 大香蕉婷婷| 天天摸天天爽| 亚洲第一第二网站| 狠狠搞五月天| 这里只有精品久久| 久久99综合| 99免费热视频在线| 九九九精品视频免费观看| 日日噜狠狠| 黄色三级日本| caop在线视频| 色婷婷文字幕| 色噜噜狠狠色综合日日| 色综合色综合色综合| 99黄色| 欧洲色色| 内射爽无广熟女亚洲| www.wuyuetian啪啪| 插逼综合网| 五月四色婷婷| 亚洲精品成人| 丁香五月伊人| 色婷婷黄色网络| 2025色婷婷| 亚洲成人综合在线| #NAME?| tingtingjiqingwuyue| 五月天伊人网| 精品欧美一区二区三区久久久| 91丁香五月| 操啊操av| 超碰九色| 日本在线视频播放91| 欧美激情综合色综合色| 五月丁香综合网| 超碰99热在线观看| 婷婷五月深深的爱| 婷婷五月综合社区| 九九爱精品网站| 激情精品久久| 五月丁香综合在线| 婷婷伊人| 久草丁香婷婷五月天婷| 精品色色网| 激情综合五月婷婷| 婷婷爱爱蜜臀天天操| 激情五婷网| 五月天成人免费视频| 久久看婷婷| 日韩无码色色| 99九九精品视频推荐| 五月激情丁香久久综合网| 大香蕉精品视频| www.99热在线| 久久AV电影| 午夜69成人做爰视频| 丁香五月自拍| 99性视频| 在线99精品| 亚洲最大五月六月丁香婷婷| 少妇人妻丰满做爰XXX| 日本三级大片| 五月婷婷av| 91avse| 日本色天堂| www.色综合.com| 色婷婷六月| 一起草aV| 另类综合色|