欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

cachebench 緩存帶寬測(cè)試:編譯、NUMA綁核與可復(fù)現(xiàn)避坑

cachebench 緩存帶寬測(cè)試:編譯、NUMA綁核與可復(fù)現(xiàn)避坑 簡介LLCbench 是一套面向 Linux 平臺(tái)的低層表征基準(zhǔn)測(cè)試工具集整合了 MPBench、CacheBench 與 BLASBench 三種測(cè)試方法此包取其中 CacheBench 部分用于衡量處理器各級(jí)緩存L1/L2/LLC的讀寫帶寬與訪問延遲適合體系結(jié)構(gòu)研究、服務(wù)器選型對(duì)比或性能調(diào)優(yōu)的開發(fā)者與高校師生使用。壓縮包共 81 個(gè)文件、約 83KB含 cachebench.c 等 C 源碼、Makefile 構(gòu)建腳本、llcbench.h 頭文件與 user.def 參數(shù)定義以及 sys.linux-mpich、sys.solaris、sys.ppc 等十余份平臺(tái)配置模板配合 doc 目錄下的 html/tex 說明文檔和 ps、gp 繪圖腳本可完成從編譯、跑分到結(jié)果出圖的完整流程。已有 873 人學(xué)習(xí)體量輕便解壓后按對(duì)應(yīng)平臺(tái)模板即可編譯驗(yàn)證緩存帶寬與延遲表現(xiàn)。1. cachebench 這類跑緩存性能的工具很多人第一次接觸是從一份 llcbench.tar.gz 開始的包里幾個(gè)用 C 寫的 Linux 開源工具專做緩存層次和處理器性能測(cè)試。上周有人拿一臺(tái)二手工作站來問為什么同一份包在他的機(jī)器上編譯完cachebench 跑出來的 L3 帶寬比標(biāo)稱值低將近一個(gè)數(shù)量級(jí)。我上去看scaling_governor還是powersave測(cè)試進(jìn)程在 NUMA 節(jié)點(diǎn)間來回遷移工作集上限只設(shè)到 8 MB連 L3 都沒越過去。工具本身沒問題問題出在裝完就開跑。緩存測(cè)試對(duì)環(huán)境的敏感度比一般壓測(cè)高得多頻率、綁核、大頁、編譯器優(yōu)化等級(jí)任何一項(xiàng)沒配好出來的數(shù)字看著像結(jié)果實(shí)際是不可復(fù)現(xiàn)的噪聲。這篇裝的東西不復(fù)雜一份源碼包、一個(gè) GCC、幾個(gè)內(nèi)核開關(guān)但順序和參數(shù)得對(duì)。2. 裝前先量體llcbench 的依賴清單與 GCC 工具鏈選型2.1 先用 lscpu 和 getconf 摸清這臺(tái)機(jī)器的緩存層級(jí)cachebench 的橫軸是工作集大小縱軸是訪存帶寬曲線上的臺(tái)階就是緩存邊界。你要是不知道這臺(tái)機(jī)器的 L1d、L2、LLC 各多大、LLC 是每個(gè)核心獨(dú)享還是整顆 CPU 共享那看到拐點(diǎn)也不知道對(duì)不對(duì)看到?jīng)]拐點(diǎn)也不知道是程序問題還是參數(shù)問題。所以裝之前先花兩分鐘把硬件底賬抄下來存檔留作后面判讀的依據(jù)。# 一次看清拓?fù)?、緩存?NUMA 節(jié)點(diǎn)數(shù) lscpu | grep -Ei model name|socket|core|thread|numa|cache # getconf 讀的是內(nèi)核導(dǎo)出的值和 lscpu 交叉驗(yàn)證 getconf -a | grep -iE CACHE_SIZE|CACHE_LINE|CACHE_ASSOC # sysfs 里的 index 編號(hào)才是權(quán)威index0L1d, index2L2, index3LLC for i in /sys/devices/system/cpu/cpu0/cache/index*; do echo $i cat $i/level $i/type $i/size $i/shared_cpu_list done第一條命令里的socket和numa決定后面怎么綁核第二條的LEVEL1_DCACHE_SIZE、LEVEL3_CACHE_SIZE單位是字節(jié)用來給 cachebench 的-m參數(shù)定上限提供參考。最關(guān)鍵是第三條shared_cpu_list會(huì)告訴你 LLC 被哪些邏輯核共享比如輸出0-15說明這 16 個(gè)邏輯核共享同一個(gè) LLC那測(cè)試時(shí)把進(jìn)程綁到這 16 個(gè)核之外的任何一個(gè)訪存就要走跨片路徑帶寬數(shù)字會(huì)明顯掉一截。這一步做完本機(jī)的緩存地圖就有了順手記進(jìn)一個(gè)hardware.txt以后換機(jī)器、換內(nèi)核版本都有對(duì)照。2.2 編譯依賴GCC、make、MPI、BLAS 哪些是必須的llcbench 這個(gè)包里通常不止一個(gè)可執(zhí)行程序cachebench 是純 C 加標(biāo)準(zhǔn)庫只需要 GCC 和 make要是你還想跑 mpbench就得有 MPI 的編譯包裝器mpiccblasbench 則要鏈接一個(gè) BLAS 實(shí)現(xiàn)。很多人一上來把整條 MPI 棧、整套 BLAS 全拉下來裝完發(fā)現(xiàn)只是測(cè)個(gè)緩存白白多出幾十個(gè)包和一堆環(huán)境變量沖突。按需裝才是對(duì)的。組件版本要求Debian/Ubuntu 包名RHEL/Rocky 包名GCC7 以上913 都穩(wěn)build-essentialgcc、glibc-develmake4.xmakemakenumactl2.xnumactlnumactlcpupower需跟內(nèi)核版本對(duì)齊linux-tools-generickernel-toolsperf同上linux-tools-commonperfMPI可選OpenMPI 4.xlibopenmpi-dev、openmpi-binopenmpi-develOpenBLAS可選0.3.xlibopenblas-devopenblas-devel# 最小可用集只跑 cachebench 的話這一行就夠 sudo apt-get update sudo apt-get install -y build-essential make numactl linux-tools-common linux-tools-generic # 確實(shí)要跑 mpbench / blasbench 時(shí)再補(bǔ)這兩行 sudo apt-get install -y libopenmpi-dev openmpi-bin sudo apt-get install -y libopenblas-devRHEL 系把上面的包名換成表里右列即可注意dnf install openmpi-devel裝完mpicc落在/usr/lib64/openmpi/bin下默認(rèn)不在 PATH 里得用module load mpi/openmpi-x86_64或者手動(dòng)把那個(gè)目錄加進(jìn)去否則which mpicc一無所獲。cpupower和perf一定要跟當(dāng)前內(nèi)核同一個(gè)版本號(hào)版本錯(cuò)位時(shí) cpupower 會(huì)報(bào)Invalid argument之類的錯(cuò)perf 則可能直接提示找不到符號(hào)這類問題九成是版本沒對(duì)齊而不是權(quán)限。2.3 解包與目錄規(guī)劃源碼別扔在 /root 下源碼目錄和結(jié)果目錄要分開而且最好不要放在家目錄。原因很實(shí)際測(cè)試前要清 page cache、要關(guān) swap跑完還會(huì)生成一堆 CSV 和日志混在/root里三個(gè)月后你自己都分不清哪份數(shù)據(jù)是哪臺(tái)機(jī)器的。我一般固定用/usr/local/src放源碼/opt/bench放二進(jìn)制和結(jié)果。# 先看包里的頂層結(jié)構(gòu)確認(rèn)解出來是單目錄還是散開的 tar -tzf llcbench.tar.gz | head -30 # 解到固定位置源碼保持只讀心態(tài)不在這里改 sudo mkdir -p /usr/local/src /opt/bench/bin sudo tar -xzf llcbench.tar.gz -C /usr/local/src cd /usr/local/src/llcbench ls -F第一條命令只是預(yù)覽確認(rèn)壓縮包里是有一個(gè)頂層目錄還是文件直接鋪開鋪開的情況要加--one-top-level解到子目錄里否則幾十個(gè)文件撒進(jìn)/usr/local/src很難收拾。第二條解完之后ls -F看看有哪些子目錄通常能看到和幾個(gè)模塊同名的目錄外加 Makefile 和說明文件。這時(shí)候先別急著make把gcc --version、uname -r、lscpu的摘要一起寫進(jìn)/opt/bench/README.env以后復(fù)現(xiàn)結(jié)果全靠這份記錄。3. 編譯 cachebenchMakefile 目標(biāo)選擇與 CFLAGS 取舍3.1 頂層 Makefile 的平臺(tái)目標(biāo)怎么讀這類老牌 benchmark 包的頂層 Makefile 是手寫的平臺(tái)目標(biāo)按操作系統(tǒng)命名Linux 下常見的是linux、linux-x86_64這兩種寫法年份不同、維護(hù)者不同目標(biāo)名會(huì)變。直接make大多數(shù)情況會(huì)因?yàn)闆]指定目標(biāo)而只編譯第一個(gè)規(guī)則出來的東西未必是你想要的。先讀 Makefile 頭部比盲試快得多。cd /usr/local/src/llcbench # 看前 80 行平臺(tái)目標(biāo)一般都在最上面 sed -n 1,80p Makefile # 看看有哪些 target 可選有 help 目標(biāo)就省事了 make help 2/dev/null || grep -nE ^[a-zA-Z0-9_.-]: Makefile | head -40sed那一行是為了看清變量定義重點(diǎn)找CC、CFLAGS、ARCH這幾個(gè)它們決定編譯時(shí)實(shí)際傳了什么。第二條是退路老包不一定有help目標(biāo)直接 grep 出所有規(guī)則名更實(shí)在。找到目標(biāo)后按下面的方式傳參用命令行的CC/CFLAGS覆蓋掉 Makefile 里的默認(rèn)值這是最不容易出錯(cuò)的做法。# 用命令行變量覆蓋避免去改源碼里的 Makefile make CCgcc CFLAGS-O2 -fno-omit-frame-pointer -D_GNU_SOURCE linux-x86_64 # 換了目標(biāo)或者改了 CFLAGS一定先 clean否則 .o 會(huì)復(fù)用 make clean make CCgcc CFLAGS-O2 -fno-omit-frame-pointer linux-x86_64CCgcc顯式指定編譯器是為了防止某些發(fā)行版把cc軟鏈到 clang編譯能過但生成的代碼特性不一樣。-O2是有意選的-O3會(huì)讓編譯器做更激進(jìn)的循環(huán)展開和向量化訪問步長被改寫測(cè)出來的就不是你寫的那條訪存路徑了。-fno-omit-frame-pointer是給后面 perf 采樣留后路少了它調(diào)用棧會(huì)斷。clean那一步是血淚經(jīng)驗(yàn)Makefile 的依賴關(guān)系經(jīng)常漏寫頭文件改了 CFLAGS 不 clean鏈接進(jìn)去的還是舊目標(biāo)文件你會(huì)以為參數(shù)沒生效。3.2 單模塊編譯繞過頂層 Makefile 更省事頂層目標(biāo)對(duì)不上你的發(fā)行版時(shí)別跟 Makefile 較勁直接進(jìn)模塊目錄編譯單文件。cachebench 是單文件程序一條 gcc 就能出二進(jìn)制比調(diào)試 Makefile 快。先ls確認(rèn)源文件名別照抄我這里的名字。cd /usr/local/src/llcbench/cachebench ls *.c # -O2 保持循環(huán)結(jié)構(gòu)-static 避免目標(biāo)機(jī) glibc 版本不一致-lm 是數(shù)學(xué)庫 gcc -O2 -fno-omit-frame-pointer -D_GNU_SOURCE \ -o cachebench cachebench.c -lm -static # 編完立刻驗(yàn)證二進(jìn)制能不能跑、依賴是否干凈 file cachebench ldd cachebench || echo static, no dynamic deps ./cachebench -h 21 | head -30參數(shù)逐個(gè)說清-D_GNU_SOURCE是為了讓clock_gettime、getopt_long這些接口在嚴(yán)格標(biāo)準(zhǔn)模式下也可見缺了它某些 glibc 版本會(huì)報(bào)隱式聲明。-lm一定要放在源文件后面鏈接器從左到右解析放前面會(huì)報(bào)undefined reference to sqrt。-static不是必須的但如果編譯機(jī)和測(cè)試機(jī)不是同一臺(tái)強(qiáng)烈建議加上動(dòng)態(tài)鏈接的 glibc 版本差異會(huì)讓二進(jìn)制在目標(biāo)機(jī)上直接起不來。最后那條-h是必須做的不同年份的包c(diǎn)achebench 的命令行開關(guān)不完全一樣先看它自己打印的用法后面所有命令都按這個(gè)輸出調(diào)整別硬套別人的參數(shù)。3.3 mpbench 與 blasbench 的附加編譯參數(shù)這兩個(gè)模塊屬于“有就順手編沒有也不影響主流程”。mpbench 走 MPI編譯器和鏈接器都要換成mpiccblasbench 要鏈接 BLAS庫名在不同發(fā)行版上不一樣這是最容易卡住的地方。# mpbench用 mpicc 而不是 gcc頭文件和鏈接參數(shù)它自己帶 cd /usr/local/src/llcbench/mpbench ls *.c mpicc -O2 -o mpbench mpbench.c -lm # blasbench庫名按發(fā)行版二選一找不到就查一下 cd /usr/local/src/llcbench/blasbench gcc -O2 -o blasbench blasbench.c -lopenblas -lm # Debian 系也可能是 -lblasRHEL 上 OpenBLAS 常在 /usr/lib64/openblasmpicc本質(zhì)上是個(gè)包裝腳本會(huì)把 include 路徑和-lmpi都補(bǔ)上所以不要自作聰明改成gcc -lmpiOpenMPI 的庫路徑經(jīng)常不在默認(rèn)搜索路徑里。blasbench 編譯失敗基本只有一種報(bào)錯(cuò)undefined reference to dgemm_說明 BLAS 沒鏈上先ldconfig -p | grep -i blas看到底裝了哪個(gè)實(shí)現(xiàn)再?zèng)Q定用-lopenblas還是-lblas如果庫在非標(biāo)準(zhǔn)路徑補(bǔ)一個(gè)-L/usr/lib64/openblas。編完把三個(gè)二進(jìn)制統(tǒng)一收進(jìn)/opt/bench/bin源碼目錄就不再動(dòng)了。install -m 0755 cachebench mpbench blasbench /opt/bench/bin/ 2/dev/null ls -l /opt/bench/bininstall -m 0755比cp更直接權(quán)限一步到位2/dev/null是容忍某個(gè)模塊沒編出來的情況比如你沒裝 MPImpbench 不存在不影響另外兩個(gè)。4. 讓數(shù)字可復(fù)現(xiàn)頻率、NUMA 與 THP 的三處配置4.1 頻率與 C-state別讓 CPU 在測(cè)試中自己降頻默認(rèn)的powersave調(diào)速器會(huì)讓 CPU 頻率跟著負(fù)載浮動(dòng)緩存帶寬和核心頻率強(qiáng)相關(guān)頻率一動(dòng)同一段代碼跑兩次能差出三成。這不是玄學(xué)是電源管理在正常工作只是和測(cè)量的目標(biāo)沖突。# 看當(dāng)前策略和支持的策略 cpupower frequency-info | grep -E driver|governor|available cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor # 全部核心切到 performance sudo cpupower frequency-set -g performance # 關(guān)掉睿頻intel_pstate 和 acpi-cpufreq 路徑不同兩個(gè)都試 cat /sys/devices/system/cpu/intel_pstate/no_turbo 2/dev/null echo 1 | sudo tee /sys/devices/system/cpu/intel_pstate/no_turbo 2/dev/null echo 0 | sudo tee /sys/devices/system/cpu/cpufreq/boost 2/dev/null # 順帶把 C-state 限制到 C1避免深睡喚醒延遲污染小工作集的測(cè)量 sudo cpupower idle-set -D 1-g performance是把下限頂?shù)缴舷薮鷥r(jià)是功耗和溫度測(cè)試機(jī)上無所謂。關(guān)睿頻這一步經(jīng)常被忽略睿頻一開單核跑分時(shí)頻率會(huì)沖到標(biāo)稱之上測(cè)出來的 L1 帶寬比理論值還高看著很爽但完全不可比。idle-set -D 1限制的是空閑狀態(tài)深度工作集只有幾十 KB 的時(shí)候CPU 大部分時(shí)間在等待緩存命中深 C-state 的進(jìn)出延遲會(huì)體現(xiàn)在結(jié)果里。這幾條改的都是運(yùn)行時(shí)狀態(tài)重啟即失效所以不用怕改壞但也意味著每次重啟后要重新執(zhí)行。4.2 NUMA 與綁核單線程跑分最怕遷移雙路機(jī)器上跨 NUMA 節(jié)點(diǎn)訪存的帶寬可能只有本地的一半多一點(diǎn)。cachebench 是單線程程序如果內(nèi)核調(diào)度器在測(cè)試過程中把它從這個(gè)節(jié)點(diǎn)挪到那個(gè)節(jié)點(diǎn)前半段和后半段測(cè)的根本不是同一塊內(nèi)存曲線會(huì)出現(xiàn)莫名其妙的抖動(dòng)。# 先看清節(jié)點(diǎn)布局和每個(gè)節(jié)點(diǎn)的本地內(nèi)存大小 numactl -H # 綁到 0 號(hào)節(jié)點(diǎn)的 CPU 和內(nèi)存兩邊都鎖死 numactl --cpunodebind0 --membind0 /opt/bench/bin/cachebench -b -m 512 # 沒有 numactl 時(shí)至少把進(jìn)程釘在某個(gè)核上 taskset -c 2 /opt/bench/bin/cachebench -b -m 512--cpunodebind管 CPU--membind管內(nèi)存分配兩個(gè)都要寫。只寫前者內(nèi)存仍可能從遠(yuǎn)端節(jié)點(diǎn)分配測(cè)出來的帶寬照樣偏低。taskset -c 2是更輕量的替代只保證不遷移不保證內(nèi)存在本地適合已經(jīng)在 BIOS 里關(guān)掉節(jié)點(diǎn)交織的機(jī)器。判斷有沒有綁對(duì)跑的時(shí)候另開一個(gè)窗口執(zhí)行ps -o psr,comm -p $(pgrep cachebench)看PSR那一列是不是一直不變。4.3 大頁、swap 與 page cache把內(nèi)存?zhèn)鹊脑肼晧旱敉该鞔箜摃?huì)讓同一份工作集有時(shí)候落在 4K 頁、有時(shí)候落在 2M 頁頁表項(xiàng)數(shù)量和 TLB 命中率完全不同這就是同一臺(tái)機(jī)器兩次結(jié)果不一致的常見來源。測(cè)緩存的時(shí)候要的是確定性的頁行為寧可關(guān)掉。# 關(guān)閉 THP讓所有分配都走 4K 頁行為可預(yù)測(cè) echo never | sudo tee /sys/kernel/mm/transparent_hugepage/enabled echo never | sudo tee /sys/kernel/mm/transparent_hugepage/defrag # 關(guān)掉 NUMA balancing它會(huì)周期性掃描并遷移頁面 echo 0 | sudo tee /proc/sys/kernel/numa_balancing # 測(cè)試期間不需要 swap避免偶發(fā)換出拖慢大工作集那一段 sudo swapoff -a # 跑之前清一次 page cache保證大數(shù)組是真正的冷內(nèi)存 sync echo 3 | sudo tee /proc/sys/vm/drop_cachesdefrag那一項(xiàng)和enabled要一起關(guān)只關(guān)一個(gè)的情況下內(nèi)核仍可能為了湊大頁去做內(nèi)存整理表現(xiàn)為測(cè)試中途出現(xiàn)幾百毫秒的停頓。drop_caches寫 3 表示同時(shí)清 page cache、dentries 和 inodes需要 root且只在測(cè)試開始前執(zhí)行一次不要在循環(huán)里反復(fù)清那樣會(huì)把測(cè)量變成 IO 測(cè)試。4.4 一份可復(fù)用的測(cè)試前腳本與還原腳本上面這些零散命令每次手敲三遍必出錯(cuò)。寫成兩個(gè)腳本一個(gè)負(fù)責(zé)進(jìn)入測(cè)試態(tài)一個(gè)負(fù)責(zé)還原跑完一定執(zhí)行還原否則這臺(tái)機(jī)器后面跑什么都偏慢。#!/usr/bin/env bash # /opt/bench/prep.sh —— 進(jìn)入測(cè)試態(tài)需要 root set -euo pipefail for f in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do [ -w $f ] echo performance $f # 逐核設(shè)置別指望一條命令全生效 done echo never /sys/kernel/mm/transparent_hugepage/enabled echo never /sys/kernel/mm/transparent_hugepage/defrag echo 0 /proc/sys/kernel/numa_balancing # 停止頁面自動(dòng)遷移 swapoff -a || true # 已關(guān)時(shí)返回非零用 || true 兜住 sync echo 3 /proc/sys/vm/drop_caches echo [prep] done at $(date -Is)set -euo pipefail讓腳本在任一步失敗時(shí)立刻停下避免只配了一半還以為配好了。逐核寫scaling_governor而不是只用 cpupower是因?yàn)槟承﹥?nèi)核上 cpupower 只改 policy 對(duì)象個(gè)別核心會(huì)被漏掉。|| true只加在swapoff上因?yàn)樗鼘?duì)已關(guān)閉的 swap 會(huì)返回非零這是預(yù)期行為不該中斷腳本。#!/usr/bin/env bash # /opt/bench/restore.sh —— 還原跑完立刻執(zhí)行 set -uo pipefail for f in /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor; do [ -w $f ] echo schedutil $f # 按發(fā)行版默認(rèn)策略改ondemand 也行 done echo madvise /sys/kernel/mm/transparent_hugepage/enabled echo 1 /proc/sys/kernel/numa_balancing echo [restore] done at $(date -Is)還原腳本里沒去動(dòng) swap 和睿頻因?yàn)檫@兩項(xiàng)在多數(shù)生產(chǎn)機(jī)上本來就不該由測(cè)試腳本隨意改動(dòng)手工確認(rèn)更穩(wěn)妥。schedutil在較新內(nèi)核上是默認(rèn)策略老內(nèi)核用ondemand改之前先看一眼/sys/devices/system/cpu/cpu0/cpufreq/scaling_available_governors里有什么別寫一個(gè)不存在的策略名進(jìn)去。5. 避坑排查llcbench 編譯與運(yùn)行的五類翻車5.1 編譯期目標(biāo)不存在和頭文件找不到現(xiàn)象一make linux-x86_64報(bào)No rule to make target。原因這份包的 Makefile 年代較早平臺(tái)目標(biāo)命名和你猜的不一樣可能只寫了linux也可能要求通過變量傳架構(gòu)。解決grep -nE ^[a-z].*: Makefile把所有規(guī)則列出來照著用實(shí)在沒有匹配的放棄頂層 Makefile進(jìn)模塊目錄按 3.2 節(jié)的方式單文件編譯兩分鐘的事別在這里耗。現(xiàn)象二fatal error: mpi.h: No such file or directory但明明裝了 OpenMPI。原因openmpi-devel在 RHEL 系上裝到/usr/lib64/openmpi/頭文件和mpicc都不進(jìn)默認(rèn)搜索路徑。解決用mpicc編譯而不是gcc或者先module load mpi/openmpi-x86_64Debian 系一般沒這個(gè)問題因?yàn)閘ibopenmpi-dev會(huì)把頭文件放進(jìn)/usr/include。5.2 運(yùn)行期段錯(cuò)誤、全零輸出和虛高帶寬現(xiàn)象三二進(jìn)制一跑就Segmentation fault編譯時(shí)毫無警告。原因老代碼里對(duì)long和指針寬度的假設(shè)在 64 位下不成立或者工作集上限-m給得太大、超過了容器或 cgroup 的內(nèi)存限制被 OOM killer 干掉。解決先dmesg | tail -20看有沒有 oom 記錄有就把-m降到物理內(nèi)存的六成以內(nèi)沒有就加-g重編一版用gdb ./cachebench跑出棧定位到具體行?,F(xiàn)象四輸出表里所有尺寸的帶寬都是同一個(gè)數(shù)量級(jí)或者干脆全是 0。原因多半是編譯優(yōu)化過頭。-O3加上-marchnative時(shí)編譯器可能識(shí)別出循環(huán)里的訪存模式?jīng)]有副作用直接把整段消掉計(jì)時(shí)器測(cè)到的是一個(gè)空循環(huán)于是輸出一個(gè)巨大且平坦的值。解決退回-O2去掉-marchnativemake clean后重編。判斷是不是被優(yōu)化掉objdump -d cachebench | grep -c mfence之類的指令計(jì)數(shù)只是個(gè)參考最直接的辦法是看跑的時(shí)候top里 CPU 占用是不是接近 100%低于這個(gè)數(shù)基本可以確定循環(huán)沒真正執(zhí)行。5.3 結(jié)果期曲線沒拐點(diǎn)、兩次差三成現(xiàn)象五帶寬曲線是一條平滑下降的直線看不到 L1/L2/L3 的臺(tái)階。原因三條可能工作集上限-m太小沒越過 LLCTHP 沒關(guān)導(dǎo)致頁行為不一致把臺(tái)階抹平了或者進(jìn)程每次都重新分配內(nèi)存、測(cè)的其實(shí)是頁錯(cuò)誤開銷。解決把-m設(shè)成 LLC 容量的 816 倍比如 LLC 32 MB 就給-m 512確認(rèn)第 4 章的腳本執(zhí)行過跑之前清一次 page cache?,F(xiàn)象六同一臺(tái)機(jī)器、同一份二進(jìn)制兩次跑差 30% 以上。原因頻率沒鎖、進(jìn)程被調(diào)度到別的 NUMA 節(jié)點(diǎn)、或者機(jī)器上還有別的進(jìn)程在搶 LLC。解決按 4.1 和 4.2 節(jié)鎖頻綁核跑之前ps aux --sort-%cpu | head確認(rèn)沒有別的重負(fù)載兩次結(jié)果差異用標(biāo)準(zhǔn)差衡量綁核綁對(duì)了通常能壓到 3% 以內(nèi)壓不下去就說明還有別的東西在動(dòng)。6. 裝完怎么驗(yàn)證跑通三組數(shù)字對(duì)上了才算裝完裝完不等于跑通。判斷標(biāo)準(zhǔn)很簡單cachebench 的輸出、perf stat的計(jì)數(shù)、硬件的理論值這三組能互相解釋才算這套環(huán)境搭成功了。只看 cachebench 那一張表很容易被虛高的數(shù)字騙過去。先跑一遍基準(zhǔn)把輸出存下來# -b 跑完整掃描-m 給到 LLC 的 8~16 倍-i 提高迭代次數(shù)降低抖動(dòng) /opt/bench/bin/cachebench -b -m 512 | tee /opt/bench/run-$(date %Y%m%d-%H%M).log看這張表只做三件事。第一找臺(tái)階從幾 KB 到幾十 KB 這一段應(yīng)該是最高帶寬越過 L1 掉一檔越過 L2 再掉一檔越過 LLC 掉到內(nèi)存水平臺(tái)階位置要和你 2.1 節(jié)抄下來的緩存尺寸對(duì)得上差一個(gè)數(shù)量級(jí)說明參數(shù)或環(huán)境有問題。第二看讀寫差異同尺寸下讀帶寬通常高于寫如果寫反而更高多半是寫路徑被編譯器優(yōu)化成了非臨時(shí)存儲(chǔ)回去檢查 CFLAGS。第三看尾部是否收斂工作集超過物理內(nèi)存的六成以后曲線應(yīng)該趨于平緩還在往下掉說明已經(jīng)在換頁了。再用 perf 交叉驗(yàn)證一次確認(rèn)測(cè)的就是緩存行為# perf_event_paranoid 太嚴(yán)會(huì)拒絕非 root 采樣先放開到 1 echo 1 | sudo tee /proc/sys/kernel/perf_event_paranoid # 只跑一個(gè)中等工作集看 LLC 命中率是否隨尺寸變化 sudo perf stat -e cycles,instructions,cache-references,cache-misses,LLC-loads,LLC-load-misses \ /opt/bench/bin/cachebench -b -m 512cache-misses除以cache-references得到的失效率應(yīng)該隨著工作集增大單調(diào)上升LLC-load-misses在越過 LLC 之后會(huì)明顯抬升。如果失效率從頭到尾是平的說明 perf 采樣到的和 cachebench 實(shí)際訪問的不是同一段內(nèi)存回頭檢查numactl有沒有寫錯(cuò)節(jié)點(diǎn)。最后拿理論值對(duì)一下量級(jí)單通道 DDR 的實(shí)測(cè)帶寬通常在十幾 GB/s 這個(gè)量級(jí)L1 能到上百 GB/sL3 介于兩者之間實(shí)測(cè)值低于理論峰值三成以內(nèi)都算正常差一個(gè)數(shù)量級(jí)就別急著寫報(bào)告。觀察點(diǎn)正常表現(xiàn)異常時(shí)先查什么臺(tái)階位置與 lscpu 緩存尺寸一致-m上限、THP 是否關(guān)讀 vs 寫讀帶寬更高CFLAGS 是否-O3尾部收斂超過內(nèi)存六成后走平是否觸發(fā)換頁、-m過大perf 失效率隨工作集單調(diào)上升綁核、NUMA 節(jié)點(diǎn)從那以后我每次把 llcbench 解到一臺(tái)新機(jī)器上都強(qiáng)制先跑lscpu抄底賬、執(zhí)行一遍 prep 腳本鎖頻綁核、再用 perf 對(duì)一次失效率三步缺一步就不記錄數(shù)字。這個(gè)習(xí)慣救過我兩次一次是發(fā)現(xiàn)機(jī)器 BIOS 里睿頻根本沒關(guān)另一次是發(fā)現(xiàn)容器只給了 1 GB 內(nèi)存-m 512直接撞上了 cgroup 上限。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月婷婷老师| 久久激情五月婷婷| 六月五月丁香五月欧美| 丁香久久激情俄| 五月丁香色综合| 99熟女啪啪视频| 日本婷婷五月天| 99re最新地址| site:wpjngj.com| 99@久久@99精品视频| 五月婷婷丁香| 色婷婷六月天在线| 播五月婷婷开心| 碰超在线九色| 91人妻人人操| 九九黄色网| 九九热视频精品| 色v综合网| 另类专区在线观看| 爱草人视频| 亚洲va日| 久激情网| 99在线视频播放| 日韩成人中文| 无遮挡国产高潮视频免费观看| 日本成人小说婷婷六月| 欧美色六月婷婷| 99日精品视频| 哇嘎成人久久| 色9999综合久久| 婷婷爱五月天| 亚洲激情四射| 亚洲色视频| 九九这里只这里只有精品| www91久久| 久久婷婷九月国产精品| 中文字幕有多少字| 亚洲爆乳无码精品AAA片蜜桃| 丁香九月综合| 色色亚洲| 色爱99| 成人婷婷深爱综合网| 九九热99免费视频| www.五月婷婷久久.com| 超碰97干| 香蕉综合在线| 99,色| 奇米网大香蕉| 欧美超级视频97| 色视频色综合91| 天天草天天爽| 国产Va视频| 蜜臀99久久精品久久久久| 色婷婷五月天| 五月激情在线| 婷婷综合五月天| 五月天婷婷久久视频| 影视av久久久噜噜噜噜噜三级| 天天天天天久久久久久| 欧美xx激情视频在线观看| 天天情色五月天| 我要色综合五月婷婷| 五月天第四色开心色播| 丁香婷五月天| 啪啪五月天啪啪| 欧美欧盟性爱网| 久久伊人五月天| 午夜成人在线免费视频| 大香伊人婷婷| 91热网址| 激情四射五月天| 71在线精品视频一区| 亚洲AVwwwwwww| 九月停停| 五月丁香激| 丁香五月最新网址| 欧美婷婷| 国产精品美女久久久久AV超清| 99久久9| 在线看片av| 玖玖综合玖玖| 亚洲色综久久五月| 亚洲精品视频在线| 五月丁香综合伦理片| 这里只有精品视频视频在线观看| 婷婷丁香五月精品| 99热这里只有精品在线播放 | 色五月播五月| 人人插操| 亚洲综合在线网站| 婷婷午夜| 丁香六月激情综合网| site:esunnet.com| 五月综合婷婷五月| 五月色网| 五月激情丁香五月| 日本 @ va 免费| 五月丁香另类图片| 五月天成人在线视频网站| 色综合伊人网| 婷婷色网址| 久草婷婷视频| 成久综合视频| 天天做天天爱天天做| 久久九九免费视频| 丁香五月天啪啪| 亚洲精品国产熟女久久久| 五月天激情美女久久| 青青久久五月天丁香婷婷| 激情国产五月| 婷婷色婷婷亚洲成人| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 国产日产亚洲系列最新| 久久久久激情网| 五月丁香黄色| 五月天激情.com| 婷婷五月天综合在线| 青青草tp| 婷婷五月天影院| 伊人久久丁香五月91| 婷婷五月天精品| 深爱激情网五月| www.激情五月天| 日本久久精品18| 色99视频| 超碰com| 婷五月丁香俺| 亚洲婷婷久久综合| 丁香花综合永久入口| 91九色在线视频| Av性爱网| 97操碰碰无码视频| 国产精品18久久久| 色欲av伊人久久大香线蕉影院| 啪啪小说五月天| 爱草人视频| 丁香六月啪啪| 成人丁香婷婷| 深爱综合网| 色欲色欲久久宗合网| 五月天激情四射网站| 人人人人人人人人人草| 婷婷的99视频网站| 国产婷婷久久| 精品久久久久久久人妻| www.zbzhongsen.com| 另类图片五月激情| 五月涩涩网| 91精品无码| 色图亚洲91| 五月丁香久久精品在线观看| av久热| 亚洲无码性爱| 色激情综合狠狠婷婷| 亚洲99精品欧美一区| 五月丁香啪啪网| 伊人玖玖综合| 色99欧洲色19| 国产午夜精品一区二区三区四区| 婷婷五月天受日本法律保护| 天天久久狠狠色综合| 黄色AAAAAAA| 婷婷五月丁香狠狠| 五月天婷婷激情| 综合亚洲AV| ss99热| 久久五月天色婷婷| 秋霞日本免费毛片A片| 人人干Av| 亚洲操女| 久久性爰视频这里只有精品| 九色综合网| 久久婷婷五月国产激情综合片| 丁香五月成人婷婷| 国产亚洲成AV人片在线| 婷婷色色欧美| 久激情| 五月婷婷六月基地| 欧美人人草草| 99er精品视频| 九九综合五月欧美| 亚洲色婷婷五月天| 狠狠爱五月婷婷| 性99网站| 婷婷中文网站| 99爱视频| 99热99色| 色优久久| 丁香五月大片| 大香蕉综合网| 婷婷五月丁香色情| 亚洲av电影网站| 婷婷在线播放av| 婷婷五月影院| 久久新地址| 五月婷婷在线免费观看| 久久3p| 九九99九九99偷拍视频免费看| 丁香玖玖视频大全| 五月婷色色| 亚洲在线操| 亚洲综合无码| 九九熱最新視頻| 欧洲色| 五月婷婷丁香综合| 日日夜夜干| 5月婷婷6月丁香aV| 一级黄色操B| 亚艹艹| 婷婷五月欧美AA片免费| 色婷婷九月| 97婷婷五月丁香| 亚洲激情精品| 五月天色色婷婷| 色偷偷五月天| 婷婷五月天国产精品| 青草五月天| 婷婷五月天美女| 双性美人被调教到喷水A片| 亚洲丁香五月美女| 伊人碰碰婷婷| 激情五月婷婷视频一区二区三区| 日日噜狠狠色综合久久| 看全色黄大色大片| 色屌丝中文字幕| 欧美激情xxxXX| 真实熟女-91九色| 日日噜狠狠色| 五月色综合| 99噜噜噜在线播放| 五月婷婷视频| 欧美激情丁香五月天久久婷婷一区| 亚洲精品国产熟女久久久| SS丁香五月婷婷| 97超级碰碰碰| 国产乱子轮XXX农村| 五月天欧美激情| 色噜久| 综合色播| 色色无码| 激情纯色婷婷五月天在线不卡视频| 欧美综合激情| 色五月在线观看| 26uuu视频欧美| 色婷婷很很丝袜| 91丨九色丨熟女|老版| 99热大全在线观看| 91欧美| 99色视| 青草视频在线观看视频 | 六月婷婷av| 五月激情丁香久久综合网| 日韩aⅴ视频| 色欲久久久久久综合网综合网| 九九蜜臀精品| 国产精品色婷婷久久久精品| 狠狠婷婷色| 极品另类| 99久热这里有精品| 91色九| www,黄色在线,con| 97色色色| 综合激情五月丁香| 99激情视频| 五月婷婷深深爱爱| 玖色色综合| 婷婷丁香人妻天天爽| 26uuu91| 色婷婷丁香综合中文字幕| 青草视频在线播放| 综合婷婷| 五月天.com| 久久久久久性爱视频| 亚洲综合色网站| 97日在线视频| 97艹| 日韩精品VIP| 91九色首页| 色色五月婷婷久久| 五月草视频| oumeisesewang| 久久婷婷五月天激情四射| 色婷婷六月| 色色性爱视频| Av性爱网| 国产精品久久久久久久久久免费 | 天天爱天天天射AV| 五月婷六月| 五月婷婷伦理| 九九99精品视频在线观看| 91免费看片| 美女丁香五月天| 色五月婷婷五月天激情综合| 婷婷日韩| 六月丁香婷婷爱| 激情五月天影院| 五月丁香婷婷啪啪综合| 五月天激情网图片| 丁香五月91| 天天插,天天射| 中文字幕婷婷五月天在线观看| 丁香五月色| 色综合色欲综合天天免费| 五月丁香婷婷基地| 成人欧美日韩| 狠狠五月激情丁香六月| 超碰人人妻| 天天日夜夜爽| 人妻久久久| 大香蕉精品视频| 一区二区乱码视频| ww久久| 色久激情在线| 怡红院一二三| 九九热精品| 欧美激情综合色丁香婷婷五月天| 丁香五月亚洲婷婷| 97色色色色色| 成人va视频| 爱草人视频| 99久在线精品99re8热| 丁香五月六月欧美| 激情六月婷婷| 久久伊人婷婷| 97综合在线| 五月丁香婷婷中文| 五月综合视频| 五月丁香婷婷钟和色图| 婷婷五月欧美| 桃色成人网| 天天插天天干| 五月丁香亚洲综合| 中文幕无线码中文字蜜桃| 婷婷成人基地| 六月激情网| 婷婷久久18| 99福利导航| 亚洲综合在线伊人婷| 色五月婷婷激情综合网| 情五月亚洲婷婷| 五月婷婷婷自由综合| 日本性激情色播| 丁香五月婷婷色偷偷| 5月婷婷6月六月丁香| 99热这里只有精品99| 99熟女啪啪视频| 日本一级黄色电影| 激情图片亚洲| 国产激情av| 大香蕉久久久| 深爱五月中文字幕| 日本成人噜噜噜| 久久婷婷网站| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 色色热日| 亚洲精品国产成人AV在线| 欧美激情五月天婷婷| sewuyuejiqingwang| 99久久玖玖| 97资源碰碰| 性按摩玩人妻HD中文字幕| 91碰免费视频| av中文在线| 秋霞电影理论| av网址在线| 噜噜五月天综合| 欧美激情综合色综合啪啪五月| 日韩中出视频| 99色在线观看免费| 天天做天天爽| www.9操| 青青日韩| 东北婷婷五月天| 另类小说色婷婷| 色色色综合网| 97人人做| 人妻久久久久久久久久久| www色婷婷| 色色色色丁香| 欧亚色色| 91久久九久久九久久九久久九久久| 国产99久久久| 超碰成人影视| 丁香 婷婷 激情 综合 五月| 久久天天| 色婷婷很很十八禁| 九九视频网| 激情五月婷婷开心网| 五月丁香六月激情综合| 五月天婷婷免费| 天天夜天天色天天| 色五月婷婷五月天| 婷婷五月天激情网| 五月婷婷激情网| 亚洲成人AV电影在线| 91色噜噜狠狠狠狠色综合| 天天爽天天爽夜夜爽| 人妻无码精品一区| 92国产福利| 婷婷深爱五月丁香网| 99免费在线| 91丁香婷婷综合资源| 色婷婷综合中心| 91色久| 婷婷五月色花丁香社区| 激情五月婷婷中文字幕| www.99热| 色综天天综合| 91丨九色丨东北熟女| 久婷自拍视频| 亚洲性色XXXXX| 综合五月婷婷| 婷婷99| 五月天婷婷综合网| 色色婷婷色色| 五月丁香六月婷婷色日| 一级七香蕉| 五月丁香综合伦理片| 婷婷午夜| 性爱动图国产麻豆一区二区三区| 91一起操| 成人在线网| 综合伊人久久| 久99热在线观看| 色五月六月| 99九九精品视频推荐| 亚洲综合网激情小说| 热99在线| 五月丁香啪啪啪免费看| 狠狠色丁香| 丁香五月影院| 久9精品视频| 色99色| av免费在线网站| 婷婷色六月| 海外网站专业操老外| www.国产色| www.99热精品99.com| 亚洲五月色| 嫩草视频| 中文久久婷婷| 色五月色五天色情网| 五月丁香啪啪综合| 久久9视频| 日本五月婷婷| 深爱激情小说五月婷婷| 色九九中文字幕| 99成人精品视频| 另类国产欧美视频| 天天橾日日橾夜夜橾17| 九九伦子片| 99精在线| 91人人爽狠狠狠| 97九色| 欧美怡红院黄站| 人妻操在线看| AV中文网| 色香欲综合| 久久婷婷丁香| 91操人| 亚洲性爱日韩无码| 婷婷色五月天色| 99热这里是精品| 亚洲视频操| 99视频精品在线| 婷丁香五月天| a片在线免费观看一区| 色婷婷精品视频| 欧美啪啪9| 丁香五月婷久久| 激情深爱综合| 婷婷六月天| 婷婷涩五月| 色色精品色| 91色色色18| 91九九| 风流少妇A片一区二区蜜桃 | 大香蕉久| 激情综合五月色丁香婷婷| 色99免费视频中文| 91九色网| 色五月婷婷激情| 欧洲一区二区| AV成人在线网站| 狠狠穞A片一區二區三區| 在线中文字幕av| 国产视频色色色色色色色| 婷婷五月图片小说网| 大香蕉99热| 亚洲熟妇AV乱码在线观看| 色五月色五天免费视频| 五月婷亚洲精品AV天堂| 五月丁香综合色婷婷| 五月丁香久久网| 春色激情第四色| 国产资源在线视频| 四川BBB搡BBB搡多人乱亂| 第四色婷婷丁香五月| 91一起操| 涩五月丝袜婷婷| 中文字幕在线免费观看视频| 色色五月天网站| 婷婷五月综合啪| 九九色欲网| 开心日韩丁香婷婷五月| 99九九视频| 五月婷成人| 丁香五月六月婷婷综合| 色婷婷丁香五月在线| 偷偷操99| 91肏肏肏| 人妻少妇色综合| 1024久婷| 美女激情综合| 国产97色在线 | 日韩| 99久久97久久欧美综合网| 国产精品国产成人国产三级| 亚洲婷婷激情综合激情999精品| oumeisesewang| 丁香婷婷五月综合影院| 久久九九囯产| 欧洲综合一区| 99视频| 亚洲精品视频在线| 五月综合视频| 激情VA视频| 中文字幕日韩无码制服诱或| 色狠狠激情五月| 97热在线精品| 成人在线视频一区| 久久五月天丁香花| seuuu婷婷| 亚洲精品久久久久久久久久吃药| 日韩色色视频| 激情五月天色色| 婷婷五月天激情网| 婷婷五月天开心网| 成人五月天视频| 丁香五月无码| 五月色俺婷婷| WWW.99热| 99热99热| 天天做天天爱天天玩夜夜爽| 五月丁香色色网| 色久影院| 99ri国产在线| 久久性爱视频| 狠狠综合网| 色婷婷丁香综合中文字幕| 热久久婷婷| 五月天福利影院导航| 亚洲日韩乱码一区二区三区四区| 99热精品无码| 丁香五月婷婷基地| 26uuu在线观看| 丁香五月激情在线| 日本成人噜噜噜| 五月天综合视频网| 99福利导航| 黄网免费观看| 天天干天干| 五月天婷婷色综合| 五月婷婷六月丁香| 国产精产国品一二三在观看| 超碰天堂网| 色色图五月天| WWW免费视频碰碰碰碰| 久久婷婷网站| 激情影院内射| 热99只有精品| www.com五月天| 五月天久久网站| 久热人妻| 国产伦亲子伦亲子视频观看 | 日日夜夜爽| 停停五月丁香| 亚洲精品影视| 亚洲va综合va国产va中文| 精品一区二区三区四区五区六区| 色五月婷婷成人| 久久99jiu9| 狠狠久久婷婷| 五月天婷婷xxx| www久| 97色色色视屏| 天天操屄网| 99热这里只有精品首页| 久久久久er热| 久久久人妻| 超碰2021| 久9草在线观看视频| 色色色五月| 九热...av| 综合99在线| 天天色综合图片| 成人网站在线观看视频| 亚洲情综合五月天| 国产精品色婷婷久久久精品| 亚洲精品网站色视频| 天天日天天操天天干| 婷婷亚洲五月| 99色色网| 94干大香蕉| 久久9精品| 九九热99re8热免费观看| 99热在线这里只有精品| 思思热在线| 久操操| 国产永久一黄| 婷婷的五月天另类视频| 九九热99精品在线| 日韩色久| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久精彩免费视频精彩免费视频| 五月五丁香婷婷| 激情婷婷六月天| 99综合免费视频| 五月婷婷精品视频| 欧美综合激情五月丁香| 日本丁香五月| 日产精品一线二线三线芒果| 天天搞天天色综合| 99热骚货| 色九月| 日美三级| 五月丁香成人日| 久久丝袜婷婷| 久久人人添人人爽添人人片αV | 亚洲天堂有码| 丁香婷婷五月天色综合| 五月丁香成人网| 日本乱子人伦在线视频| 激情九月综合| 538在线精品| 97精品欧美91久久久久久久| 久久婷婷电影| www.热99热| 午夜色婷婷| 激情综合在线观看| 天天日夜夜拍| 久九男女天堂| XXXX岛国| 九九热99热| 日本情色一区二区| 人妻精品久久久久久久| 九九热在线99| 色综合九九色综合88| 99热.com| 五月天婷a在线| 99国产er热视频| 99热6这里只有精品| 色狠狠色噜噜AV天堂五区| 五月香婷婷| 婷婷五月花| 五月综合色| 六月狠狠综合| 久久丁香五月天| 亚洲欧美丁香五月天亚洲欧美| 99精品免费| 99久久久| 超碰成人在线观看| 直接看的AV| AV色色天堂中文| tingtingzonghewang| 九九热AV| 九九家庭影院| 激情婷婷丁香| 69堂午夜视频最新地址| 五月婷婷丁香五月| 一起草无码视频| 狠狠的日| 久久婷婷丁香视频网| 欧美中文五月天| 婷五月天| 超碰国产在线观看| 色 噜噜 九月 婷婷| 综合网五月天123| 最近中文字幕2019视频1| 97色五月天| 国产精品美女久久久久AV超清| 九九sese| 无码免费人妻A片AAA毛片西瓜| 在线VA视频| 色人久久| 五月天婷基地| 99久热| www.色窝| www久久久久久久| 五月激情婷婷在线| 91疯狂操操操操| 噜啊噜在线| 美女激情综合| 六月激情综合| 亚洲99视频| 男人的天堂在线婷婷| 国产精品激情五月天色婷婷| 热久久婷婷| 国产激情在线| 六月丁香激情综合网| 婷婷成人五月天| 人妻操在线看| 色五月婷婷伊人| 五月婷婷色影院| 欧洲99视频在线| 国产小精品| 丁香婷婷中文字幕| 大天天伊人| 玖玖资源在线视频| 欧美性色五月天| 久久香蕉婷婷| 99久久这里只有精品| xfplayav在线| 九九十99视频| 欧美成人精品三区综合A片| 色情五月天A片| 伊人玖玖网| 久久伊人五月天| 丁香五月天婷婷久久| 五月丁香综合久久夜夜| 五月综合激情| 五月激情视频网| 9 9 9色色| 99爱这里只有精品免费视频| 在线色五月婷婷| 久久99精品久久久久久青青AR| 天天爽天天干| 五月婷婷深深爱爱| 欧美婷婷色五月网| 六月综合婷婷开心伊人| 日日干五月天婷婷| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 丁香五月在线观看| 五月综合视频在线| 9热久久| 99热欧美| 99热99干| 99噜噜噜在线播放| 丁香婷婷综合色五月激情国产基地| AV成人在线播放| 五月社区婷婷激情| 成人五月天丁香| 性爱激情五月| 亚洲激情五月天| 婷婷婷婷婷婷婷五月丁香| 综合激情伊人影视在线| 色婷婷色和| 婷婷激情综合网| 色婷婷丁香香香蕉视频| 色丁香五月| 成人在线观看国产| 亚洲永久免费| www.lingjunshare.com| 一级片sese片.COM| 五月丁香婷婷婷激情爱爱| 亚洲精品久久久无码| 91久久综合亚洲鲁鲁五月天| 这里只有精品69| 开心五月婷婷激情| XX色综合| 五月婷婷在线视频| 狠狠色狠狠操| 久色中文| 99久在线精品| 第五婷婷伊人丁香| 97人人操人人插| 色色色网站| 五月丁香婷婷综合视频| 色婷婷综合中心| 中文字幕精品在线观看| 五月婷中文娱乐综合| www.色五月| 五月丁香综合啪啪| 色五月婷婷成人| 婷婷大香蕉| 五月婷色激情五月| 五月天婷婷六月激情网| 色色九区| 日日夜夜狠狠| 久色五月丁香视频| A久网| 人妻性爱| 激情丁香婷婷| 五月婷婷黄色| 免费看无码视频A级| 香蕉影院色| 亚洲爆乳无码精品AAA片蜜桃| 日本色99| a久久| 婷婷五月天小说网| 亚州激情在线视频| 激情婷婷五月亚洲| www.日本久久videos| 九九精品自拍| 色五月婷婷操逼| 婷婷色片| 久久玖玖综合| 中文字幕精品推荐免费在线观| 国产黄色在线| 少妇搡BBBB搡BBB搡毛茸茸| 九九色影院| 97操视频| 99热免费精品| 天天色天天| 婷婷另类小说| 九九99精品视频在线观看| 99热九九热| 五月天伊人网| 99久在线精品99re8热| 五月天激情四射| 色婷婷小说| 思思热在线观看| 久久HD| av九九| 嫩草AV久久伊人妇女超级A| 九九亚洲视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 四月婷婷五月色综合| 五月伊人网| 婷婷五月丁香影院| 天天日夜夜夜操操操操| 婷婷五月天av网| 开心激情色婷婷五月天| AⅤ色区| 色色色.COM| 激情六月色| AA久久| 丁香五月婷婷影院| 中国丰满熟女A片免费观| 国产特级毛片AAAAAAA高清| 网站免费一站二站| 五月天激情美女久久| 天天色凹凸| 激情綜合網址| 丁香婷婷综合精品六月初| 啪啪啪啪五月天| www.五月天社区| 丁香激情五月| 日日夜夜干| 久久婷婷原创视频| 色婷婷啪啪啪啪啪啪| 日韩婷婷| 久久性爱视频免费| 久久久精久人妻| 久久久久人妻精品| 精品久久人妻| 99热每日| 久久婷婷色| 色亚洲色宗合| 九九热在线观看视频| 六月婷婷激情| 九九性视频| 欧美成综合在线观看| 五月激情综合网| 五月天婷婷丁香视频| 天天操综合网| 精品国产AV色一区二区深夜久久| 4399在线观看免费高清毛片| 91九色精品女同系列| 五月丁香综合伦理片| 久久黄色片| 久久婷婷五月| 五月天激情日色在线| 91九色在线| 午夜青草资源| www.超碰在线| 大香焦啪啪啪| ww久久| 丁香五月天激情网| 99视频在线| 大香蕉久久久久久久久| 日日干五月天婷婷| 国产视频婷婷| 丁香婷婷综合激情五月色| 墨西哥毛片内射精| 激情婷婷内射| 丁香激情五月| aV直接看| 狠狠色五月激情| 九九热这里只有精品6| 精品一二三区久久AAA片| 丁乡久久| 狠狠色婷婷7| 丁香五月天社区| 成人国产欧美大片一区| 九九色热| 狠狠操天天干| 亚洲精品第一国产综合亚AV | 97视频.干com| 久久久久久综合五月婷婷| 五月天成人综合| 人人插9| 婷婷激情网五月天| 亚洲另类在线观看| 五月婷婷啪啪网| 婷婷婷婷色| 五月丁香啪啪| 青青.com| 五月天婷婷基地综合网| 婷婷香蕉香| 午夜丁香六月婷| 日本99视频| 91精品人妻少妇无码影院| 青草激情综合| 超碰人妻公开在线| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 天天做天天爱天天玩| 国外亚洲成AV人片在线观看| 婷婷五月天丁香花| 色播五月| 婷婷性爱综合| 婷婷精品性性性性性性性| 伊人午夜综合色啪| 日本在线视频播放91| av首页在线| 亚洲熟妇AV综合网五月丁香伊人 | 情五月亚洲婷婷| 人妻熟妇国产精品| 日韩色五月| www.色色五月天.com| 91人碰| 五月天婷婷色小说| 婷婷五月天成人| 久久综合九九| 97在线精品视频| 超碰高清在线| 99热99极品观看| 色婷婷小说网| 色婷婷情片| 人人爽天天爽| 9色免费网| 人妻久久人妻久久第一区| 吾爱AV导航| 黄色激情五月天| 男人的天堂99| 激情五月天婷婷在线网址发给我| 九九热99在线视频| 色婷婷五月天偷拍| 97在线/亚洲| 67194成I人在线观看线路1| 久久网日本| 丁香五月首页| 欧美日本VA| 欧美在线视频99| 99热这是里只有精品| 色色热| 色五月视频无码播放| 国产无遮挡又黄又爽免费网站| 五月天婷婷在线啪啪视频| 色www久视频| 亚洲最大在线| 激情五月婷| 成人做爰A片免费看网站找不到了| 熟女激情五月天| 第二色AⅤ| WwW色婷婷| 五月天激情中文字幕| 九九中文色色| 99成人精品视频| 99爱爱网| 97福利视频| 人人综合五月人人婷婷| 中文字幕在线视频播放| 欧美这里只有精品| www.超碰在线| 色五月婷婷久久| 天天色激情| 色五月天丁香婷婷| 成人午夜无码视频| 五月婷婷啪啪网| 9久久网| 色色色色色色色色综合网| 亚洲婷婷月丁香五月| 亚洲六月综合激情久久下卡| 国产精品色婷婷AV综合色色| AA久久| 欧美成人精品A片免费一区99| 色婷婷狠狠久久综合五月| 九九九午夜视频| 偷拍五月丁香| 五月丁香婷婷成人综合网| 丁香色综合| 国产精品涩涩涩视频网站 | 九九综合网色全集| 99久久综合| 婷婷婷婷婷开心无码播放| 九色视频91疯狂| 久草热8精品视频在线观看| 色导航色婷婷五月天在线观看| 久热欧美| 久久婷婷原创视频| 久久视频这里有精品99| 激情综合色婷婷啪啪六月天| 人妖色AV色综合| 99在线精品免费视频| 五月天网站免费欧美| 99热九九这里只有精品10| 国产欧美大香蕉一区| 婷婷丁香在线| www色五月天| 久久婷婷五月综合色奶水99啪| 97在线观看| 综合色播| 婷婷五月天成人小说| 婷激情五月天视频导航| www.AV在线| 极品少妇XXXX精品少妇偷拍| 色99网| 五月丁香婷婷激情| 九九精品热播| 日韩精品呦呦va| www.婷婷| 五月婷婷导航| 99热这里只有精品最新网址| 99热只有精品在线播放| 激情性爱网站| 亚洲情综合五月天| 久久综合爱| 日日夜夜狠狠干| 天天草狠狠擦| 91成人视频| 亚洲激情五月| 另类天堂| 丁香激情网| 99热97| 婷婷五月天另类网站| 思思热久久阴99| 二级黄色毛片| av首页在线| 精品无码久久久久久久久| 色婷婷www| 狠狠草在线观看| 激情丁香五月婷婷啪啪| 五月天伊人av| 五月婷六月| www.com亚洲网站在线免费| 五月丁小婷婷激情四射| 日日做A爰片久久毛片A片英语| 婷婷久月| 超碰93在线观看| se99视频| 天天插天天干天天舔| 九九热精品| 久99综合婷婷| 91热网址| 五月激情射| 久久久五月天婷婷成人网| 激情久久久| 色色婷婷丁香| 夜夜谢天天干| 99精品综合| AA丁香综合激情| 中文字幕视频在线播放| 91视频综合网| 久久久这里有精品| 五月婷婷开心五月| 五月丁香无码| 丁香五月天BBw| 激情www.98com| 午夜性爱影视一区77| 91精品久久久久久综合五月天| 婷婷成人综合| 五月天婷婷綜合院| 香蕉国产2013| 99热碰碰热| 综合激情在线| 色情五月综合婷婷| 国产成人av在线| 色玖玖| 久99| 丁香五月天欧洲在线| 婷婷五月天中文字幕.| 国产激情久久久| 婷婷五月天成人五月天| 色五月婷婷激情综合网| 538在线| 五月天婷亚洲天综合网综合| 秋霞午夜理论| 色 五月婷婷基地| 五月婷婷丁香在线视频| 天天五月情| 丁香六月无码播放| 开心网五月色婷婷| 久8色色| 99久久玖玖| 久久五月天综合| 欧美在线视频免费播放| 婷综合| 久草热在线视频| 天天操夜夜操| Blackedraw视频一区二区| 久久综合五月天激情小说网站| 亚洲色99综合天堂| 免费在线a| 狠狠人妻色综合| 男人的天堂999| 婷婷五月久久| 激情五月开心五月丁香五月| www.婷婷六月天| 九九热av| 丁香激情五月| 麻豆观看夏晴子| 九色综合五月天婷五月| 色五月婷婷91| 色婷婷影院| 五月丁香啪啪激情| 思思久热6| 五月丁香影院| 在线中文字幕视频| 婷婷成人基地| Caoub青青超碰| 久99视频在线观看| 五月天婷亚洲天综合网综合| 久播影院免费观看电视剧大全最新网| 婷婷五月天综合网| 日日干天天| 婷婷五月天丁香综合网| 丁香狠狠色婷婷| www.狠狠狠狠| 亚洲日日日| 精品久久艹| 超碰在线免费观看3 9| 超碰免费人人肏| 久久久久9| 色狠狠色狠狠| 综合久久久| 亚洲成av人影院| 色射7856五月天激情四射| 久久久com| 青青草护士中出内射-欧美电影在线天堂新版 | 色色丁香五月婷婷| 婷婷五月天激情网| 婷婷五月激情综合| 丁香六月丁香婷婷激情| 久草a片| 色的色综合| 99只有这里有精品在线视频| 99热综合| 婷婷五月天亚洲综合网| 性色欲情 网站| 夜丁香综合| 一级黄色影片| 精品久9| 99热啪啪| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久婷婷五月天激情四射| 久久激情视频| 人操91在线| 天天色天天爽| 狠狠xx| 成人精品视频99在线观看免费| 色欲久久久久久综合网综合网| 色婷婷在线综合色播网| 色婷婷五月在线| 99热爆在线| 99爱视频精品| 91无码高清| 五月丁香久久综合91| 538在线| 玖玖99免费视频| 91热视频| 色五月婷婷天天干| www.婷婷五月| 午夜精品人妻无码一区二区三区| 久99久视频| 五月天婷婷无码| 婷婷五月天VI| 亚洲激情亚洲激情| 日日干日日| 伊人成综合五月婷婷| AV 3P| 丁香六月婷婷| 婷婷99狠狠躁天天躁中文| 蜜桃五月天色| 激情五月天婷婷| 婷婷香香五月| 久碰婷婷视频| 欧美激情伊人| 五月婷婷欧美激情| 亚洲无AV在线中文字幕| 91精品久久久久久77777| 五月丁香色综合| 欧美成人日韩| 91九色精品熟女内射| 国产乱子轮XXX农村| 色五月婷婷激情综合网| 91精品综合久久久久久五月丁香 | 婷婷午夜精品久久久| 99久久色| 天天情色综合网| 91男同视频| 五月综合激情图片 | 伊人在线视频| 99热网站在线观看| 激情五月综合| 五月天色导航婷婷资源婷婷| 五月婷婷中文| 天天综合网91| 婷婷操久久| 99人妻碰碰碰久久久久视| 天天插天天插天天插天天插| 亞洲自怕| 五月天婷婷婷| 影音先锋男人AV资源站| 丁香五月婷婷色偷偷| 久久婷五月影院| 丁香欧美| 五月婷婷伊| 五月亚洲| 久久五月天免费网站| 五月丁香啪啪| 丁香五月123| 综合色色婷婷| 91互操| 色综合激情| 五月丁香啪啪网| 九九色热| 婷婷丁香五月精品| 国产AV一区二区三区最新精品| 人人操Av| 亚洲午夜在线视频| 久久婷婷五月天激情唯美| 极品少妇婷婷五月| 26UUU精品一区二区| 日本视频欧美观看免费| 免费看成人747474九号视频在线观看| 五月 成人 婷婷| 99热精品在线| 色五月涩涩婷婷蜜桃| 色久天| 99色啊| 免费黄网不卡AV| 亚洲日韩欧美综合VA| 五月天停婷基地| 色中色综合| 亚洲激情电影五月天色婷婷丁香一起草 | 婷婷六月激情| 国产av影片| 五月丁香六月婷婷久久| 天天舔夜夜操www com| 碰超亚洲| 亚洲夜夜操| 国产免费一区二区三区三州老师F1F1.CC| www.zbzhongsen.com| 天天干夜夜操A片| 日韩黄色影院| 色婷六月| 色婷婷亚洲婷婷| 色色网站毛片| 美国十月色婷婷在线观看| 日韩黄黄| 综合色七七| 狠狠色五月| 婷婷丁香五月天哟啪| 99热在线中出| 五月天天天天天天天天天天天婷婷婷| 日本一级一级一级一级| 国产亚洲精品久久久久久郑州| 人人视频色| 9191avse| 超碰v| www.夜夜操| 狠狠色婷婷7| www.ywav| 伊人久久五月天| 婷婷在线免费| 亚州操操|