欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux顯示驅(qū)動(dòng)調(diào)試工具與實(shí)戰(zhàn):分層定位黑屏花屏問題

Linux顯示驅(qū)動(dòng)調(diào)試工具與實(shí)戰(zhàn):分層定位黑屏花屏問題 做過幾年底層顯示驅(qū)動(dòng)的開發(fā)調(diào)試我一直覺得這個(gè)方向有個(gè)特別實(shí)在的規(guī)律屏幕亮了不算本事屏幕不亮能定位到具體環(huán)節(jié)才算入門。顯示驅(qū)動(dòng)調(diào)試工具說到底就是幫你在茫茫多的寄存器、時(shí)序參數(shù)、幀緩沖地址、中斷狀態(tài)里快速圈出問題所在的那條“追蹤鏈”。前面幾篇聊了DRM框架、fbdev、panel驅(qū)動(dòng)這些基礎(chǔ)知識(shí)這篇就專門把調(diào)試工具攤開來(lái)講清楚——不是羅列工具名單而是告訴你每個(gè)工具在哪個(gè)環(huán)節(jié)用、怎么讀數(shù)、怎么判斷。這篇內(nèi)容適合正在搞Linux DRM/KMS驅(qū)動(dòng)、Android顯示HAL或者在做MIPI DSI、eDP、RGB屏調(diào)試的朋友參考。不管你是剛接觸顯示驅(qū)動(dòng)的初學(xué)者還是已經(jīng)被花屏、閃屏折磨了幾天的老手看完應(yīng)該都能建立一套自己的調(diào)試思路。1. 為什么顯示驅(qū)動(dòng)調(diào)試極其依賴工具搞顯示驅(qū)動(dòng)和搞其他內(nèi)核驅(qū)動(dòng)最大的區(qū)別是大部分情況下你根本看不到代碼在哪一步出錯(cuò)。網(wǎng)絡(luò)驅(qū)動(dòng)出問題你還能 ping 一下、看個(gè)丟包率存儲(chǔ)驅(qū)動(dòng)出錯(cuò)IO 統(tǒng)計(jì)直接給你答案。但顯示驅(qū)動(dòng)一旦出問題現(xiàn)象往往只有幾種黑屏、白屏、花屏、閃屏、偏色。屏幕上顯示的那幾個(gè)像素根本不會(huì)告訴你“我是因?yàn)闀r(shí)序不對(duì)才花掉的”。所以做顯示驅(qū)動(dòng)基本上就是“黑盒調(diào)試”你只能靠外部工具去觀察每一個(gè)環(huán)節(jié)到底工作沒有。我習(xí)慣把顯示鏈路拆成四層來(lái)看層級(jí)對(duì)應(yīng)內(nèi)容出問題時(shí)的表現(xiàn)主要工具應(yīng)用/合成層SurfaceFlinger、Wayland合成器圖層錯(cuò)亂、合成性能差dumpsys、glmark2內(nèi)核KMS層DRM驅(qū)動(dòng)、atomic配置、fb設(shè)置黑屏、分辨率錯(cuò)誤、模式設(shè)置失敗dmesg、modetest、debugfs面板控制層panel時(shí)序、背光、上下電序列白屏、閃爍、背光不亮dmesg、邏輯分析儀物理信號(hào)層MIPI/eDP信號(hào)質(zhì)量、時(shí)鐘頻率花屏、抖動(dòng)、顯示異常示波器、邏輯分析儀這類分層思路很像網(wǎng)絡(luò)調(diào)試。用過網(wǎng)絡(luò)調(diào)試工具nc的人都知道排查網(wǎng)絡(luò)問題先要搞清楚是鏈路層不通、IP層不通、還是應(yīng)用層的問題顯示驅(qū)動(dòng)也是一樣的邏輯先定位到層再定位到點(diǎn)最后才去摳具體參數(shù)。換句話說顯示驅(qū)動(dòng)調(diào)試沒有像nc那樣一個(gè)命令通吃全場(chǎng)的“萬(wàn)能工具”你能做的就是手上備齊一套工具按層去驗(yàn)證。另一個(gè)核心原因是顯示驅(qū)動(dòng)涉及的時(shí)序和狀態(tài)太多了。一個(gè)面板的點(diǎn)屏?xí)r序就有幾十個(gè)參數(shù)一個(gè)atomic commit里面涉及crtc、plane、connector三個(gè)對(duì)象的狀態(tài)聯(lián)動(dòng)??咳庋邸白x代碼找bug”大概率會(huì)漏但工具不會(huì)騙你——它把真實(shí)硬件狀態(tài)擺在你面前比對(duì)一下就知道驅(qū)動(dòng)代碼有沒有按預(yù)期走。2. 內(nèi)核態(tài)調(diào)試工具從日志到運(yùn)行追蹤這一層是顯示驅(qū)動(dòng)調(diào)試的主戰(zhàn)場(chǎng)。內(nèi)核態(tài)的工具有個(gè)共同特點(diǎn)它們反映的是驅(qū)動(dòng)程序自身運(yùn)行時(shí)的真實(shí)狀態(tài)不是靠猜而是直接讀內(nèi)核的數(shù)據(jù)結(jié)構(gòu)、跟蹤函數(shù)的執(zhí)行軌跡。2.1 drm.debug與dynamic_debug讓內(nèi)核開口說話DRM源碼里到處是DRM_DEBUG、DRM_DEV_DEBUG、DRM_ATOMIC_PRINT這些打印默認(rèn)情況下這些調(diào)試信息是關(guān)閉的因?yàn)槿_的話日志刷屏非常嚴(yán)重。你需要通過drm.debug參數(shù)來(lái)控制輸出級(jí)別。drm.debug參數(shù)是按位圖工作的比較常用的位0x01 DRM_UT_CORE核心消息0x02 DRM_UT_DRIVER驅(qū)動(dòng)通用消息0x04 DRM_UT_KMSKMS相關(guān)0x08 DRM_UT_PRIMEDMA-BUF/PRIME相關(guān)0x10 DRM_UT_ATOMICatomic操作相關(guān)0x20 DRM_UT_VBLANK垂直消隱相關(guān)0x40 DRM_UT_STATE對(duì)象狀態(tài)相關(guān)實(shí)際操作中像我排查modeset問題會(huì)這樣加載modprobe drm drm.debug0x1f0x1f就是0x01到0x10全開正好覆蓋了core、driver、KMS、prime、atomic。這組日志會(huì)詳細(xì)打印atomic事務(wù)中plane、crtc的更新過程是定位“為什么模式設(shè)置失敗”的第一手資料。如果內(nèi)核模塊已經(jīng)加載了也可以運(yùn)行時(shí)調(diào)echo 0x1f /sys/module/drm/parameters/debug比我更常用的是dynamic_debug機(jī)制它可以在不重啟的情況下精確打開某個(gè)驅(qū)動(dòng)的某一類打印echo file drivers/gpu/drm/specific_driver.c line 320 p /sys/kernel/dynamic_debug/control echo module my_display_driver p /sys/kernel/dynamic_debug/control這條命令的意思是打開某個(gè)文件的某一行或者整個(gè)模塊的動(dòng)態(tài)打印。排查驅(qū)動(dòng)初始化流程時(shí)把module級(jí)別的打印全開再配合dmesg看執(zhí)行順序基本能定位是probe卡死、資源申請(qǐng)失敗還是panel沒就緒??慈罩疽灿屑记伞mesg默認(rèn)輸出很多時(shí)候被其他日志擠掉了我會(huì)習(xí)慣性地先做一件事dmesg -c清空當(dāng)前日志然后復(fù)現(xiàn)問題這樣后面打印出來(lái)的就是本次操作產(chǎn)生的完整日志不會(huì)混入系統(tǒng)啟動(dòng)歷史。復(fù)現(xiàn)問題后再用dmesg回看配合時(shí)間戳和調(diào)用順序判斷執(zhí)行路徑。一個(gè)小經(jīng)驗(yàn)是顯示驅(qū)動(dòng)的初始化日志往往在啟動(dòng)階段就已經(jīng)刷過去了等到你進(jìn)系統(tǒng)發(fā)現(xiàn)問題再來(lái)看dmesg只能看到交互階段的信息。所以真正排查初始化問題時(shí)要在啟動(dòng)參數(shù)里加上loglevel8并且用串口或內(nèi)核日志抓取工具把啟動(dòng)過程全程記錄下來(lái)。2.2 /sys/kernel/debug/dri文件系統(tǒng)直接讀驅(qū)動(dòng)內(nèi)部狀態(tài)dmesg是“驅(qū)動(dòng)主動(dòng)告訴你發(fā)生了什么”而debugfs下的文件是“你自己去看當(dāng)前驅(qū)動(dòng)是什么狀態(tài)”。后者在排查問題的時(shí)候往往更硬核因?yàn)樗苯臃从硟?nèi)核對(duì)象在某一時(shí)刻的真實(shí)取值。先掛載debugfsmount -t debugfs none /sys/kernel/debug然后進(jìn)到DRM相關(guān)目錄cd /sys/kernel/debug/dri/0 ls里面會(huì)有state、framebuffers、connectors、clients等一堆文件。我最常看的是state它會(huì)把這個(gè)DRM設(shè)備下所有對(duì)象的狀態(tài)完整打印出來(lái)包括crtc的enable/active狀態(tài)、當(dāng)前mode、plane的fb關(guān)聯(lián)、connector的連接狀態(tài)。算是“一鍵查看驅(qū)動(dòng)全家桶狀態(tài)”。舉個(gè)例子排查黑屏?xí)r需要確認(rèn)crtc到底有沒有被正確使能直接看state文件里的內(nèi)容cat /sys/kernel/debug/dri/0/state輸出里會(huì)看到類似這樣的關(guān)鍵信息crtc是enabled還是disabled、active是1還是0、connector是否connected。如果應(yīng)用層和內(nèi)核都認(rèn)為crtc是enable的但屏幕依然黑屏那問題就不在KMS狀態(tài)配置上而是要去查panel本身的上電時(shí)序和信號(hào)輸出。這個(gè)判斷在調(diào)試中省了我大量時(shí)間因?yàn)樗苤苯影选膀?qū)動(dòng)狀態(tài)沒問題”這一塊排除掉。framebuffers文件也很有用cat /sys/kernel/debug/dri/0/framebuffers它會(huì)列出當(dāng)前創(chuàng)建的framebuffer對(duì)象包括句柄、寬度、高度、stride行字節(jié)數(shù)、像素格式。很多花屏問題追到最后就是stride計(jì)算不匹配。比如用戶空間應(yīng)用按1080寬、每像素4字節(jié)對(duì)齊生成了4420字節(jié)的stride驅(qū)動(dòng)卻按4320字節(jié)去計(jì)算掃描地址那從第二行開始就會(huì)錯(cuò)位表現(xiàn)出來(lái)就是肉眼可見的花屏條紋。這類問題從debugfs里一眼就能看出來(lái)。2.3 ftrace與perf把驅(qū)動(dòng)運(yùn)行軌跡錄下來(lái)dmesg和debugfs能看到“是什么狀態(tài)”但想看“執(zhí)行了哪些函數(shù)、耗時(shí)多少”就得靠ftrace和perf這兩個(gè)性能與追蹤大殺器。我排查驅(qū)動(dòng)長(zhǎng)時(shí)間才點(diǎn)亮屏幕的問題時(shí)最常用的就是ftrace的函數(shù)圖模式echo 0 /sys/kernel/debug/tracing/tracing_on echo function_graph /sys/kernel/debug/tracing/current_tracer echo drm_atomic_commit_tail /sys/kernel/debug/tracing/set_graph_function echo 1 /sys/kernel/debug/tracing/tracing_on cat /sys/kernel/debug/tracing/trace這段操作的意思是打開function_graph追蹤只追蹤drm_atomic_commit_tail這個(gè)函數(shù)及其調(diào)用的子函數(shù)然后讀取追蹤結(jié)果。輸出里會(huì)看到密密麻麻的函數(shù)調(diào)用縮進(jìn)能直觀看出內(nèi)核在哪個(gè)子函數(shù)里消耗了大量時(shí)間。用trace-cmd更省事trace-cmd record -p function_graph -l drm_atomic* trace-cmd reporttrace-cmd會(huì)自動(dòng)管理追蹤緩沖區(qū)的開關(guān)和讀取比手寫echo命令可維護(hù)性強(qiáng)得多。我一般會(huì)配合一個(gè)小腳本把重復(fù)的trace流程自動(dòng)化思路有點(diǎn)像寫lua腳本去批量執(zhí)行調(diào)試操作——把固定的操作序列固化成腳本然后每次復(fù)現(xiàn)問題時(shí)只改目標(biāo)函數(shù)名節(jié)省下來(lái)的時(shí)間很可觀。perf在大規(guī)模耗時(shí)分析上更強(qiáng)。比如驅(qū)動(dòng)整體性能下降用perf找熱點(diǎn)函數(shù)是最快的perf top這個(gè)命令會(huì)實(shí)時(shí)顯示CPU使用率最高的內(nèi)核函數(shù)。如果看到某個(gè)鎖函數(shù)、某個(gè)list遍歷函數(shù)占了很高的比例那性能問題大概率就在那里。做顯示驅(qū)動(dòng)性能調(diào)優(yōu)時(shí)我還會(huì)用perf record抓一段實(shí)際點(diǎn)屏或刷屏的調(diào)用鏈再通過perf report看annotate視圖。很多“屏幕刷新一卡一卡”的問題最后都是通過這個(gè)方式定位到驅(qū)動(dòng)里某個(gè)不必要的忙等待循環(huán)。3. 用戶態(tài)測(cè)試工具驗(yàn)證鏈路功能內(nèi)核態(tài)工具解決“驅(qū)動(dòng)有沒有按預(yù)想工作”的問題用戶態(tài)工具解決的是“整個(gè)顯示鏈路能不能跑通、跑得多快”的問題。這是兩條腿缺一條都不行。3.1 modetestKMS功能的照妖鏡modetest是libdrm目錄下的經(jīng)典測(cè)試工具凡是做Linux顯示驅(qū)動(dòng)的人一定都認(rèn)識(shí)它。它用最樸素的方式調(diào)用DRM KMS接口把當(dāng)前的connector、encoder、crtc、plane信息全部枚舉出來(lái)這在驗(yàn)證顯示驅(qū)動(dòng)最基本功能時(shí)極其有用。先看基礎(chǔ)用法# 查看card0下所有connector的狀態(tài) modetest -M card0 -c # 查看所有plane及其支持的像素格式 modetest -M card0 -p # 在connector 32上設(shè)置一個(gè)1080x192060Hz的模式 modetest -M card0 -s 32:1080x1920-60-c參數(shù)輸出每個(gè)connector的連接狀態(tài)、物理尺寸、支持的mode列表。如果內(nèi)核已經(jīng)成功解析了EDID或者panel驅(qū)動(dòng)里預(yù)設(shè)了mode這里就能看到mode列表。如果這個(gè)列表是空的說明驅(qū)動(dòng)沒有正確向KMS暴露模式屏幕當(dāng)然點(diǎn)不亮。-p參數(shù)會(huì)列出所有plane的尺寸范圍、格式列表和當(dāng)前關(guān)聯(lián)的fb是排查花屏問題的重要入口。最硬核的用法是直接在屏幕上輸出測(cè)試彩條modetest -M card0 -s 32:1080x1920 -v這個(gè)命令在目標(biāo)connector上創(chuàng)建一個(gè)framebuffer用一段動(dòng)態(tài)變化的彩條填充并輸出。如果你能看到流暢變化的彩條說明從KMS到panel整條鏈路沒有任何問題剩下的問題就出在應(yīng)用或合成層。如果彩條是花的、錯(cuò)位的、或者根本沒畫面那就回頭去查內(nèi)核態(tài)。有臺(tái)式機(jī)環(huán)境跑modetest時(shí)有個(gè)注意點(diǎn)如果X/Wayland正占著顯卡modetest會(huì)拿不到設(shè)備。最簡(jiǎn)單的辦法是切到純文本終端下執(zhí)行或者用DRM主設(shè)備權(quán)限直接跑。很多新手說modetest沒輸出排查一番后發(fā)現(xiàn)是權(quán)限問題。用root或者把用戶加入video組可以避免絕大部分權(quán)限坑。3.2 kmscube與glmark2從GPU到屏幕的完整鏈路modetest驗(yàn)證的是“不經(jīng)過GPU、直接KMS輸出”的鏈路但很多花屏、撕裂問題是GPU渲染和顯示掃描之間的配合出了問題。這時(shí)候需要kmscube和glmark2這類工具拉通全鏈路驗(yàn)證。kmscube在支持EGL/GLE的平臺(tái)上跑一個(gè)旋轉(zhuǎn)的立方體場(chǎng)景同時(shí)會(huì)把渲染結(jié)果通過KMS直接提交到顯示層。它既能驗(yàn)證GPU能不能正常渲染又能驗(yàn)證渲染結(jié)果能不能正確顯示。我在排查“GPU渲染輸出后屏幕顯示空白”這類現(xiàn)象時(shí)第一個(gè)跑的就是kmscube。它能幫我快速區(qū)分是GPU沒有渲染出內(nèi)容還是渲染出來(lái)了但沒有被正確掃描出。glmark2則是標(biāo)準(zhǔn)OpenGL ES基準(zhǔn)測(cè)試工具它跑的是大量場(chǎng)景組合測(cè)完會(huì)給出一個(gè)綜合幀率和每項(xiàng)得分。對(duì)顯示驅(qū)動(dòng)調(diào)試來(lái)說glmark2的價(jià)值在于壓力測(cè)試和性能基線如果幀率明顯低于正常水平或者畫面在切換場(chǎng)景時(shí)出現(xiàn)撕裂那就是驅(qū)動(dòng)性能優(yōu)化不到位的信號(hào)。配套的還有一個(gè)eglinfo工具eglinfo它能輸出EGL版本、擴(kuò)展列表、surface格式、原生窗口類型等。排查EGL配置時(shí)很有用尤其是確認(rèn)默認(rèn)surface格式是不是被工作負(fù)載意外改了。比如某個(gè)app跑完后EGL surface格式從RGBA8888變成RGB565就會(huì)導(dǎo)致畫面顏色發(fā)紫或閃一下這個(gè)狀態(tài)用eglinfo查一遍馬上就能確認(rèn)。3.3 邏輯分析儀與示波器物理層最后一道防線內(nèi)核態(tài)和用戶態(tài)工具都查完了問題還是存在那就說明大概率是物理信號(hào)層面的問題。這時(shí)候必須上硬件工具邏輯分析儀用來(lái)抓MIPI DSI、eDP的包命令和時(shí)序示波器用來(lái)量時(shí)鐘頻率、上升沿質(zhì)量和電壓幅值。用邏輯分析儀抓屏過程最核心的是確認(rèn)一點(diǎn)panel初始化序列到底有沒有按預(yù)期發(fā)出去。我調(diào)試一塊MIPI DSI屏?xí)r屏幕白屏但背光亮內(nèi)核日志顯示panel驅(qū)動(dòng)probe正常。這時(shí)我接上邏輯分析儀抓取MIPI DSI的command lane發(fā)現(xiàn)驅(qū)動(dòng)根本沒有往panel發(fā)送display on指令因?yàn)閞eset GPIO的時(shí)序反了panel一直停留在sleep模式。這個(gè)問題從日志上看完全無(wú)解只靠邏輯分析儀抓波形才能定位。示波器主要用于測(cè)量時(shí)鐘頻率和信號(hào)質(zhì)量。點(diǎn)屏后如果屏幕閃得很厲害優(yōu)先用示波器量一下pixel clock或MIPI clock的實(shí)際頻率。很多時(shí)候驅(qū)動(dòng)里配置的頻率和PLL實(shí)際算出來(lái)的頻率不一致導(dǎo)致刷新率偏移你以為是驅(qū)動(dòng)導(dǎo)致閃屏實(shí)際上是時(shí)鐘參數(shù)算錯(cuò)了。測(cè)量要點(diǎn)是直接在時(shí)鐘lane上量頻率然后反推刷新率和modetest里設(shè)置的模式做比對(duì)相差在1%以內(nèi)才算正常。4. 實(shí)操一次花屏問題的完整排查路徑工具講再多都是紙面功夫真正有價(jià)值的是把工具串起來(lái)的實(shí)戰(zhàn)流程。我拿最近調(diào)試的一塊1080x1920 RGB LCD屏為例完整走一遍排查思路你可以直接參考這個(gè)路徑。現(xiàn)象是內(nèi)核啟動(dòng)到顯示階段后屏幕有畫面但畫面明顯花屏表現(xiàn)為橫向彩色條紋每隔一段距離就錯(cuò)位一次。這是顯示驅(qū)動(dòng)調(diào)試?yán)锓浅5湫偷陌Y狀——數(shù)據(jù)有輸出但幀緩沖被錯(cuò)誤掃描了。第一步看內(nèi)核日志確認(rèn)驅(qū)動(dòng)有沒有報(bào)錯(cuò)dmesg | grep -i drm排查結(jié)果沒有任何error/warning級(jí)別的信息驅(qū)動(dòng)probe成功panel也正常初始化。這說明問題不在于驅(qū)動(dòng)崩潰或panel沒起來(lái)。第二步用modetest確認(rèn)KMS對(duì)象狀態(tài)modetest -M card0 -c modetest -M card0 -p查出connector狀態(tài)正常mode列表里有1080x192060plane也處于正常狀態(tài)。這說明KMS層的模式配置是通的。此時(shí)我心里已經(jīng)有一半把握問題出在plane和framebuffer的尺寸/stride匹配上。第三步直接看debugfs確認(rèn)framebuffer的真實(shí)參數(shù)cat /sys/kernel/debug/dri/0/framebuffers重點(diǎn)看stride和pixel_format兩個(gè)字段。對(duì)比modetest輸出后發(fā)現(xiàn)實(shí)際framebuffer的stride是4420字節(jié)而plane配置時(shí)計(jì)算出來(lái)的stride值卻是4320字節(jié)。兩者差了正好100字節(jié)每行。這樣每掃描一行地址就會(huì)往后偏移100字節(jié)掃描到屏幕中間就會(huì)累積出一大截錯(cuò)位看起來(lái)就是橫向條紋花屏。第四步反向追蹤stride為什么不對(duì)。檢查應(yīng)用層的buffer分配邏輯發(fā)現(xiàn)它按1080寬度乘以一個(gè)不當(dāng)?shù)腶lignment硬編碼了stride而KMS驅(qū)動(dòng)的atomic check里沒有校驗(yàn)stride是否匹配導(dǎo)致錯(cuò)誤配置一路綠燈直到顯示。修復(fù)方式是在atomic_check中增加stride一致性校驗(yàn)同時(shí)修正應(yīng)用層的分配代碼。這個(gè)過程看起來(lái)簡(jiǎn)單但如果沒有第二步和第三步的工具支撐我大概只能靠反復(fù)改驅(qū)動(dòng)打印來(lái)定位那會(huì)慢得多。調(diào)試工具的意義就在于此每一步都能直接排除一類可能逐步縮小范圍到具體對(duì)象。我復(fù)盤時(shí)總跟新人說花屏問題先還原到“KMS輸出彩條”這一步如果是彩條也花就說明問題在驅(qū)動(dòng)或物理鏈路如果彩條正常就去看應(yīng)用層buffer。這條分界的價(jià)值極高能讓你少走一半彎路。5. 常見問題速查表與排查技巧實(shí)錄做多了顯示驅(qū)動(dòng)調(diào)試發(fā)現(xiàn)很多問題是有規(guī)律可循的。我把這些年積累的問題現(xiàn)象、排查路徑和對(duì)應(yīng)工具整理成一張速查表遇到問題直接對(duì)照著查現(xiàn)象優(yōu)先排查路徑關(guān)鍵工具黑屏無(wú)背光背光控制GPIO/PWM是否配置、背光供電時(shí)序dmesg、示波器黑屏有背光panel上下電時(shí)序、reset/STB引腳電平、初始化命令邏輯分析儀、dmesg白屏panel是否進(jìn)入sleep模式、display on是否發(fā)出邏輯分析儀花屏錯(cuò)位fb的stride/pixel_format/地址對(duì)齊debugfs、modetest花屏雪花MIPI lane數(shù)配置、clock頻率邏輯分析儀、示波器閃屏刷新率是否正確、vblank中斷是否穩(wěn)定modetest、ftrace、示波器偏色pixel_format、色域空間、clutmodetest、debugfs撕裂vsync等待缺失、buffer切換不同步glmark2、dmesg觸摸時(shí)畫面卡中斷優(yōu)先級(jí)、共享鎖競(jìng)爭(zhēng)perf、ftrace排查時(shí)的幾個(gè)核心技巧值得單獨(dú)寫出來(lái)首先復(fù)現(xiàn)問題時(shí)一定要保留現(xiàn)場(chǎng)日志。drm.debug全開后再去復(fù)現(xiàn)問題不要復(fù)現(xiàn)完才想起來(lái)沒開日志。另外很多顯示問題需要冷啟動(dòng)才能復(fù)現(xiàn)一定要在開機(jī)日志里抓到關(guān)鍵信息否則就白跑一次。其次先用軟件工具排除軟件問題再動(dòng)硬件工具。每次看到花屏就去接示波器這是最大的誤區(qū)。正確的順序是dmesg看錯(cuò)誤、modetest看狀態(tài)、debugfs看對(duì)象、ftrace看調(diào)用鏈最后才是接邏輯分析儀量波形。很多軟件問題在前三步就能定位。第三改mode之前先備份當(dāng)前配置。尤其帶EDID的屏在調(diào)試時(shí)隨意切換一個(gè)錯(cuò)誤模式可能觸發(fā)面板保護(hù)。我之前調(diào)試時(shí)在連接狀態(tài)下設(shè)置了一個(gè)不支持的timing結(jié)果面板直接進(jìn)入了保護(hù)狀態(tài)需要斷電一段時(shí)間才能恢復(fù)。第四關(guān)注fb的對(duì)齊規(guī)則。DRM驅(qū)動(dòng)對(duì)framebuffer的stride和起始地址一般有對(duì)齊要求常見的是64位或者256字節(jié)對(duì)齊。用戶空間分配buffer的alignment若不滿足驅(qū)動(dòng)要求掃描就會(huì)出現(xiàn)周期性的錯(cuò)位。debugfs里看到的stride與實(shí)際分配buffer的size對(duì)不上基本就是這個(gè)原因。第五分清vblank和vsync。vblank是硬件事件vsync是vblank同步到用戶空間后的邏輯??磀mesg里vblank中斷的頻率如果中斷頻繁丟失或者觸發(fā)異常那就不是應(yīng)用層vsync的問題而是內(nèi)核驅(qū)動(dòng)對(duì)vblank處理有bug。很多幀率上不去的問題追到后來(lái)都是vblank中斷被關(guān)掉了。6. 一些調(diào)試環(huán)境方面的細(xì)節(jié)補(bǔ)充工具選好了、流程理順了調(diào)試環(huán)境本身也有不少講究。我最早做調(diào)試時(shí)吃過不少虧這里多說幾句。建議搞一整套穩(wěn)定的串口日志方案。顯示驅(qū)動(dòng)和別的驅(qū)動(dòng)不同屏幕本身就是被調(diào)試對(duì)象你沒法在屏幕上打印信息觀察系統(tǒng)狀態(tài)。如果板子沒有串口或者串口沒引出調(diào)試效率會(huì)直線下降。所以我做顯示驅(qū)動(dòng)開發(fā)時(shí)第一件事就是把串口拉通而且日志級(jí)別開到最高確保無(wú)論屏幕亮不亮都能看到內(nèi)核的完整運(yùn)行過程。另外手邊要有一套穩(wěn)定的測(cè)試畫面。我會(huì)準(zhǔn)備幾個(gè)原始色彩畫面純色、漸變、網(wǎng)格用腳本固定輸出到指定分辨率。這些畫面的好處是純色能看出屏有沒有壞點(diǎn)、偏色漸變能看出8bit/10bit色深切換是否正確網(wǎng)格能精確判斷錯(cuò)位在屏幕的哪個(gè)區(qū)域。比隨便放一張照片再觀察“看起來(lái)不對(duì)勁”要可靠得多。調(diào)試工具的自動(dòng)化腳本也值得投入時(shí)間。顯示驅(qū)動(dòng)調(diào)試經(jīng)常需要反復(fù)切換分辨率、檢查狀態(tài)、比對(duì)日志。把這些操作寫成shell腳本或者用python腳本調(diào)用modetest和debugfs自動(dòng)比對(duì)預(yù)期結(jié)果可以解放大量重復(fù)勞動(dòng)。就像寫lua調(diào)試腳本一樣把操作序列固化下來(lái)出問題跑一遍就能得到結(jié)構(gòu)化結(jié)果比手動(dòng)一條條敲命令高效得多。最后聊一下工具版本的匹配問題。modetest和debugfs接口在不同內(nèi)核版本上差異不小老內(nèi)核的modetest拿到新內(nèi)核上跑可能解析不了新的DRM對(duì)象類型。我用的一直是隨內(nèi)核版本配套的libdrm工具盡量保持工具版本和內(nèi)核版本一致避免因?yàn)楣ぞ弑旧斫馕鲥e(cuò)誤產(chǎn)生誤導(dǎo)。畢竟調(diào)試工具自己如果不可靠它給出的結(jié)論也就不可信了。回頭說一點(diǎn)個(gè)人體會(huì)。我見過很多人桌上堆滿了高端示波器和邏輯分析儀遇到顯示問題卻還是兩眼一抹黑。工具的多少?gòu)膩?lái)不等于調(diào)試能力強(qiáng)真正的差距在于你有沒有建立一套“分層定位”的思維。先把問題框到某一個(gè)層再用這一層對(duì)應(yīng)的工具去細(xì)化最后才回到代碼層面改東西。這套方法論內(nèi)化之后你會(huì)發(fā)現(xiàn)顯示驅(qū)動(dòng)調(diào)試其實(shí)沒有那么多玄學(xué)大部分問題都是“工具用對(duì)了答案自己就出來(lái)了”。顯示器亮起來(lái)的那一瞬間永遠(yuǎn)是我做這塊驅(qū)動(dòng)最爽的時(shí)刻。而為了那一次點(diǎn)亮前面無(wú)數(shù)次把dmesg翻到底、把modetest輸出對(duì)齊、把波形量到小數(shù)點(diǎn)后幾位——這些功夫一點(diǎn)都不會(huì)白費(fèi)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩一级一片内射视频4K| 91a片爽| 亚州精品久久久久AV无码| 综久久久| 天天色中文字幕女优AV| 国产激情久久| 五月天播播| 丁香五月图片| www999日韩精品| 色情综合网| 插插五月天| 日本高清久| 新激情婷婷| 99在线免费视频| 久久精品66| 深夜男女福利刺激影院一区| 伊人色综合久久久| 狠狠色综合久久久久| 人妻人人操| 99日这里只有精品| 色综合五月在线| 午夜丁香| 99操逼| 91色欲综合| 大香蕉久久| 91丁香五月| 婷婷六月激情丁香| 五月 丁香 欧美| 五月天婷婷爱| 99日精品视频| www91色网站| 91超级碰| 99操逼| 免费AV在线| 五月成人综合| 欧美日韩aaaa| 五月综合缴情网| 26uuu国自产精品| 操日本99| 五月激情综合网婷婷| 狠狠干无码| 色五月成人| 色五月亚洲开心网| 亚洲成人在线五月天| 开心五激情网| 五月婷婷亚洲综合网| 97五月久久丁香婷婷| 色色色色色九九九九九| 182tv992tv人之初午夜免费观看| 成人精品免费在线观看| 狠狠色婷| 毛v一区二区视频| 亚洲av| 伊人久久婷婷| 777精品久无码人妻蜜桃| 九九热99热| 久久久激情视频| 超碰网站在线观看| 日韩婷婷| 激情六月婷婷| 国产精品久久久爽爽爽麻豆色哟哟| 狠狠爱综合网| 色 免费网站视频| 超碰97干| 激情四射五月天偷偷看婷婷| 激情综合久久| 亚洲天堂婷婷丁香| 丁香五月六月| 丁香婷婷色情| 超碰97免费在线| 伦乱天堂| 91九色精品熟女内射| www.99久久久久99| 五月婷婷丁香| 色www久视频| 操逼视频一区| 久久综合婷婷五月| 色吧综合网| 成人 九九九九| www九月婷婷| 综合久久久婷| 夜色综合网| 色5月婷婷| 婷婷午夜精品久久久| 26uuu国产| 婷婷久久五月| 蜜臀AV在线观看| 五月天婷婷AV| 2050人人操免费工开爱 | 91se在线视频| 农村熟妇高潮精品A片| 日日夜夜天天综合| 啪啪色激情五月天| 日日夜夜噜噜爽爽| 97综合在线| 涩综合婷婷| 99精品视频在线观看| 91干婷婷| 婷婷九月激情| www.人人操人人看人人想人人摸 人人人人操,COM | www好屌操| 五月天激情啪啪| 久久大香蕉同僚| 色99在线| 婷婷9月天| 久久婷婷丁香视频网| 欧美爆乳一区二区三区| 色婷婷久久综合| 99久久久久| 99在线视频观看| 欧美成人日韩| 99久久精品网| 操人无码| 一区二区乱视频码| 99久久6| 色色婷婷综合网| 99热精品观看| 国产九月婷婷| 婷婷五月天 偷拍| 欧美婷婷五月天| 欧美经典片免费观看大全| 激情五月婷婷视频一区二区三区| 日韩成人av在线| 色情综合网| 白天AV月月| 日日操天天爽| 免费久久这里只有精品99| 99热在这里只有精品| 九九综合| 午夜丁香综合婷婷| 亚洲视频一区| 思思热AV| 激情图片婷婷丁香五月| 激情五月五月婷婷| 99久久99久久| www.99精品在线| 六月综合婷婷开心伊人| 中文字幕,综合,91| 色婷婷综合成人| 日韩AAAAA| 五月丁香久久久日婷婷久久婷婷日| 99热的无码| 久操操| 婷婷综合在线播放| 伊人喵咪a V| 久er7久热| 国产精品色| 97碰碰人人| 欧美婷婷五月丁香| 九九激情网| 六月丁香久久| 国产精品美女久久久久AV超清 | 日韩性视频| 久久182| 这里只有精品视频在线观看免费| 色播五月婷婷五月| 伊人久久大香蕉网| www.五月婷| 欧美Va在线| 国产精品黑丝| WWW.99视频| 久久亚洲婷婷| 亚洲婷婷月丁香五月| 色婷婷狠| 97色欧美| 五月久久婷婷| 日良久久| 丁香五月中文字幕| 激情婷婷五月天丁香| 色色五月激情| 91在线日| 九九热色视频| 亚洲精品无人区| 99色色网站| 日日操天天操| 五月天激情网址| 免费无码毛片一区二区A片| 玖玖视频福利| 夜夜嗨一区二区三区直播内容 | 精品九九网| 国产VA亚洲VA96| 丁香五月婷婷五月基地| 操97免费超级视频| 久热视频A.| 婷婷综合五月| 成年人看Va免费视频| www.色欲丁香婷婷| 99热亚洲| www.com操| 丁香激情综合| 成人五月天丁香婷| 五月色丁香婷婷中文字幕| 欧美精产国品一二三区| 丁香五月婷婷亚洲综合精品| 色婷婷深爱五月| 610018岁成人视频| 激情综合网五月| 丁香五月亚洲AV| 国产乱人偷精品人妻A片| tingtingzonghewang| 色噜噜狠狠狠狠色综合久欧美| 五月婷婷福利| site:xiongshengzz.com| 成人无码髙潮喷水A片| 婷婷丁香成人五月天| 国产精品国产| 女人被躁到高潮嗷嗷叫小| 日日色五月天| 色激情五月| 99爱视频在线观看这里只有精品| 五月天激情www| 91尤物九色在线| 五月婷婷九| 1234操逼网| 精品人妻在线| 婷婷五月综合网| 国产精品A片在线| 六月丁香中文字幕| 久久九精品| 五月婷婷丁香五月婷婷| 99ER热精品视频| 色婷婷丁香女女| 五月天狠狠网| 日韩久久这里只有精品| 91精品久久久久、久五月天| sS丁香五月婷婷| 婷婷亚洲在线| 香蕉久久国产AV一区二区| 丁香五月六月婷婷怡红院| 亚洲在线操| 五月天色小说| 综合色播| 久久这里有精品视频| 婷婷性爱| 色色激情五月天| 亚洲成人av中文| 4399成人黄A片| 久久丁香久久| 久热播这里只有精品| 婷婷五月天AV网| 操逼综合网| 五月天成人综合| 色婷婷五月中文字幕在线dvd| 99色热视频| 人妻丰满精品一区二区A片| 日本色色视频| 天堂AV在线看| 天天成人综合视频| 开心五月深爱五月婷| 亚洲啪啪视频| 91成人视频| 九月大香蕉| 九九九激情综合| 天天爽天天日| 日韩1区2区| 婷婷五月天小说| 欧美成人精品一区二区 | 99热亚洲精品| 亚洲激情五月天| 婷婷激情五月综合丁| 色网站99| 九九视频热| 77799热| yellow视频在线观看91| 玖玖综合色| 激情五月天色婷婷| 五月婷婷狠狠干| 提提热五月天婷婷| 99在线观看免费精品视频| 激情婷婷丁香五月天| www.久久爱.c n| 超碰在线个人观看| 大伊香蕉玖玖爱| 五月天伊人久久| 涩五月婷婷| 婷婷色五月天在线观看| 成人AV中文字幕| 久久天天| 亚洲综合激情五月久久| 欧洲色| 久久婷婷成人综合色怡春院| 秋霞免费视频| 在线综合啪| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 激情综合网五月| 久久WW| 五月婷婷欧美| 性av| 99在线播放| 亚洲成人中文字幕| 久久视频婷婷| 思思热在线视频观看精品| 青青日韩| 色五月婷婷狠狠撸| 99性爱视频网站| 狠狠xx| 在线观看亚洲AV| 九月丁香| 久热婷婷| 久久婷婷五| 色婷婷88| 婷婷丁香五月天狠狠| 亚洲综合99| 色色激情五月| 国产精产国品一二三在观看| 9久久久| 日韩成人中文字幕| 久久伊人日日夜夜| 婷婷月综合| 天天日天天摸| 99热一本| 狠狠va| www.五月天激情| 人人干99| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 日本在线视频看se99| 大香线蕉伊人| 婷婷在线免费| www.99在线| 日韩小视频在线99| 开心四月婷婷在线色播播| 五月色丁香视频精品| 玖玖无码中文| 九色1区视频在线| 91精品91久久久中77777| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 久久婷婷六月综合| 免费啪啪啪网站| 亚洲精品色色| 玖玖爱资源站| 亚洲精品成人片在线播| 五月天成人手机在线视频| 女人天堂AV| 少妇高潮呻吟A片免费看软件| 青青草Avb在线| 国产色色网址网站| 99日韩| 九九综合网| 五月丁香六月婷婷精品| 成人一级片| 五月天婷婷在线播放| 五月激情婷婷丁香| 天天综合五月| 超碰人人干| 激情综合丁香六| 插插插丁香五月婷婷| 操九色| 亚洲狠狠终合停停终合| 97色伦另类图片小说视频| 26uuu欧美日本| 蜜桃成语时李时珍 免费| 久久综合九色综合88i| 亚洲精品乱码久久久久久按摩观| 精品人妻久久久久| 9精品一区| 天天影视色综合网| 超碰色热| 婷婷五月在线综合| 久久精彩视频| 成人一区在线观看| 婷婷五月天激情在线| 欧洲电影在线观看免费版英语版 | 天天操婷婷| 欧美激情综合色综合啪啪五月| 九九人人看| 婷婷五月图片小说视频| 好吊兆人妻| www.狠狠操.con| 黄色精品五月婷婷| 九九婷婷综合| WWW久久久| 亚洲精品国产成人AV在线| 玖玖五月丁香| 91热在线| 亚洲精99| 噼里啪啦在线观看免费完整版视频| 久久性刺激| 九九热经典视频在线观看| 99久久超级| 色综合综合网| 婷婷娌伦网| 婷婷五月天激情小说| 亚洲热久| 99日韩| 色999亚洲人成色| 26uuu亚洲| 色色综合激情| 色色射| 午夜婷婷久久 | 色欲色欲久久宗合网| 九九热色视频| 国产日韩精品SUV| 色欲五月婷婷| 综合激情五月丁香| 夜夜夜夜操| 久久婷婷五月天懂色| 九九综合网色全集| 亚洲激情综合免费| 99视频在线观看欧| 婷婷97色| 久久久91| 一本久久亚洲五月婷婷 | 久久 无毛。| 五月婷婷综合在线| 欧美精品999| av大香蕉| 欧美xx激情视频在线观看| 亚洲午夜一区二区| 99色在线| 久久色亭亭五月天| 五月丁香网av| 色就色94欧美setu| 婷婷性爱影院| 婷婷丁香五月天亚洲| www.综合久久| 亚洲色网络| 欧洲综合色| 日韩欧美一道四区中文字幕| WWW.国产| 超碰com| 五月丁香六月婷婷,婷| 91精品91久久久中77777久久玖玖九九| 五月婷婷色影院| 色播播之激情五月婷婷| 五月丁香亭亭操逼| 大香久久综合网| 婷婷五月天奸女| 国产欧美日韩一区二区三区| 婷久久| 少妇高潮呻吟A片免费看软件| 婷婷久久色| 久久婷婷五月国产色综合激情| 五月婷婷激情啪啪| 欧美丰满熟妇BBB久久久| 色久五月天| 丁香丁婷五月激情| 婷婷大乡焦噜噜| 国产AV一区二区三区最新精品 | 丁香五月天在线| 婷婷五月激情四月综合 | 久久久久久久,99精品视频| 欧美日韩成人在线| 天天色粽合合合合合合合| 五月婷婷六月激情在线| 国产综合视频婷婷| 婷婷五月天AV在| 五月婷婷色在线| 婷婷六月啪啪| 五月激情综合网| 另类图片婷婷五月天| 婷婷月五天在线在线看| 蜜桃婷婷狠狠久久| 大香蕉丁香五月| 久久XX| 开心五月综合激情网| 婷婷开心激情五月激情网| 亭亭色色五月天| 激情丁香久久久久久| 99re热视频这里只精品| 成人精品在线| 九九九色综合| 丁香婷婷婷五月综合色情| 六月五月天婷婷涩播在线| 热九九精品| 99热免费| 色色色热| 日日做夜夜爱| 情婷婷五月天| 色婷婷色五月天| 五月天激情中文字幕| WWW.五月天9999| 中文字幕成人| 激情五月天在线观看婷婷| 99免费在线视频| 久久丁香婷| 亚洲亚洲人成综合网络| 五月婷婷涩涩爱| 老美AA片| 丁香五月激情啪啪啪啪| 99天堂网最新| www.无码com| 伊人久热91| 午夜色丁香| 婷婷五月丁香人妻无码高清| 伊人五月天97| 人人97碰| 亚州操操| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 超碰在线成人| 国产99久久久国产精品免费看| 少妇被下春药玩弄A片| 性做久久久久久久免费看| 国产99久久久国产精品免费看| 色一情一乱一乱一区91Av| 97热视频| 日本欧美成人片AAAA| 亚洲乱码日产精品BD| 国产精品久久久爽爽爽麻豆色哟哟 | 久思思热视频在线观看| 91色涩| 综合伊人久久| 99日本精品视频热| 五月丁香色综合| 亚洲狠狠色丁香婷婷综合久久| chaopeng在线人人| 丁香五月欧美色综合| 丁香五月婷婷综合啪啪| 九九综舍久久| 丁香六月亚洲| 婷婷六月丁香五月| 五月天综合色| 夜色.cnm| 97色碰| 日韩av干| 丁香五月婷婷亚洲综合精品| 少妇水多A片太爽了| 婷婷黄色五月| 侠女刀之记忆电影在线看免费| 丁香婷婷五色月| 丁香五月五月婷婷| 九九热免费视频| 97婷婷五月| 91九色欧美| 九九99精品视频在线观看| 五月www| 五月丁香六月玩女人| 99热这里全都是精品| 另类丁香五月天区图| 久久人五月| 色,激情五月天| 婷婷激情五月色综合| 91精品久久久久久77777| 91精品久久久久久久| 日本欧美成人片AAAA| 一二区成人电影| 婷婷激情伍月网| 国产熟女日日骚五月丁香爱| 天天综合网网欲色| 激情五月天影院| 79精品视频在线观看,| 亚洲Av成人在线观看| www综合久久| 五月婷婷香蕉| 久操大香蕉| 免费V片在线| 99在线精品观看99| 日本色婷婷综合| 色婷婷九月| 九九无码| 99九九精品| 婷婷色狠狠| 五月色综合| 婷婷性爱| 五月婷婷中文字幕| 欧美狠狠一在草| 99九九在线视频| 五月婷婷成人| 亚洲AV日韩无码| 婷婷丁香激情综合色情| 日本色噜| 久久9精品| 天天做天天摸| 97色色视频| 99精品人人| 综合啪啪| 99爱爱网| 久久色五月天| 91综合在线| 婷婷五月丁香青青草在线| 91超级碰在线| 26uuu欧美日本| 97色在线| 婷婷99视频全集高清| 91丁香五月| 久久五月婷天天干| 韩国中文字幕91| 9.1综合网| 性视频久久| 操逼巨乳91| 丁香五月手机在线| 九九99在线| 九九这里都是精品| 中文字幕丰满乱孑伦无码专区| WWW.五月天9999| 色色色网站| 丁香婷最新动态| 色婷婷狠狠| 久久99精品九九久久久婷婷| 色色婷婷丁香| 五月婷婷与六月丁香图片激情| 亚洲碰碰碰| 26uuu精品一区二区| 久久丁香久久| 五月亭大香蕉| 激情综合色网| 婷婷色五月偷拍| 另类在线| 欧美群妇大交乱婬网| 六月综合婷婷开心伊人| 婷婷五月综合丁香久久| 99久久婷婷国产综合精品草原| 婷婷久久网| 新久久五月天激情| 中文中文在线| 激情五月天小说| 啪啪视频99| 五月婷婷色啪| 久久久久婷婷五月热综合| av五月丁香婷婷网| 婷婷亚洲丁香五月| www久| 六月婷婷激情| 久热最新视频| 婷婷五月天综合在线| 九九婷婷综合| 99视频这里只有免费精品| 激情丁香婷婷| Www,五月天| 激情婷婷丁香五月天| 国产精品久久久海的味道| 综合久久五月天| 色五月av| 婷婷激情五月综合| 婷婷激情四射| 亚洲无码影音| www.日韩国产| 久久6这里只有精品| 人妻激情久久| 97人人操在线| 五月天丁香成人社| 国产熟妇乱子伦hd| 激情六月天婷婷| 人人操Av| 91人妻PORNY九色大屁股| 人妻在线中文字幕久久| 久久久27操| 伊人婷婷五月天| 99热这里只有精品1998| 日韩成人无码人妻| 骚逼视频一区2区| 1024人妻| 秋霞影音91人妻久久| 综合色影| 婷婷丁香五月综合久久| 欧美激情综合色综合啪啪五月| 第四色婷婷色五月| 99啪啪视频| 激情5月婷婷| 在线播放中文字幕| 久色五月婷婷综合| 玖玖爱导航| 日本乱子人伦在线视频| av在线资源| 99精品在线| 婷婷五月视屏| 色五月天.con| 色婷婷先锋| 婷婷视频在线碰| 丁香成人五月天| 日本爆乳片手机在线播放| 色国产五月| 婷婷丁香五月综合| av免费在线网站| 日韩在线观看网址| 亚洲妇女熟BBW| 综合大香蕉| 色丁香五月| 天堂婷婷丁香六月网| 婷婷开心深爱五月天| 色狠狠999综合| 99热999| 五月天婷婷色色| 狼人狠狠操| 色在线视频网2025| 可似看的AV| 极品 少妇 内射| 丁香五月自拍| 噜噜噜狠狠色综合| 婷婷五月激情综合网| 亚洲欧洲中文日韩久久AV乱码 | 99热国产| 九九99热| 96精品久久久久久久久| 亚洲免费观看高清完整版AV线| 丁香色情五月综合激情| 丁香六月婷婷| 国产精产国品一二三在观看| 婷婷大香蕉| www色婷婷| 国产免费一区二区三州老师F1F1| 丁香婷婷色九月| 婷婷五月天亚洲综合| 狠狠搞狠狠操| 五月婷激情影院| 97色永久免费视频| 久re热视频| 色色99| 狠狠人人婷婷| 99视频在线播放大全| 丁香婷婷91在线观看视频| 人人操av| 婷婷丁香五月麻豆| 97人人干| 91超碰九色| AV在线免费播放| 丁香六月婷婷激情综合| 人人人操Av| 五月婷婷色男女| 婷婷激情欧美| 66色在线日韩| 99色免费观看全部| 夜夜久久综合网| 丁香婷婷大香蕉| 亚洲永久四色| 婷婷综合视频| 激情婷婷五月丁香啪啪啪| 无码AV免费精品一区二区三区 | 99综合成人视频在线观看| 天天揷综合网| 日本视频久久| 色色色色色色色色色影院| 久久青草国| 青青草国产亚洲精品久久| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 熟女五月天久久综合| 青草网在线观看| 色婷婷五月天综合网| www.99热这里只有精品| 99re8这里只有精品99re8热视频| 婷婷五月天激情四射| 九月婷婷综合色干| 丁香六月婷婷开心婷婷网| 五月婷婷激情综合| 激情综合五月色丁香婷婷| 婷婷激情五月综合| 99热亚洲| 激情性爱网站| 青青草性爱视频| 无码 色| 五月婷婷在线视频免费观看| 婷婷五月天狠狠搞干| www超碰| 男女激情久久| 九九这里只有精品在线视频| 婷婷中文在线| 99热这里只有是亚洲国产| 久99热在线观看| 亚洲九区| 综合久久99| 五月婷婷综合色啪| 久久成人天| WWW.桔色成人.COM| 96自拍视频九色在线观看| h亚洲| 精品网站99| 天天色综合综合| 伊人婷婷激情| 免费亚洲婷婷中文字幕| 777精品久无码人妻蜜桃| 五月丁香婷婷激情四射迷人| 婷婷五月永远18免费久久久| 久久综合天天综合| 五月丁香影院| 91久久网站| 色七色九九| 香蕉国产2013| 色月丁| 久久婷婷成人视频| 综合久久97| 亚洲色图啪啪| 狠狠操狠狠狠| 色五月激情| 激情性爱网站| 密黄站| 97操视频| 精品操逼一区二区| 五月天色婷婷基地| 丁香五月激情五月| 99久久婷婷| 先锋资源婷婷| 亚洲日韩成人三级av| 丁香香五月激情免费视频| 中文字幕综合网| 伊人网啪啪| 婷婷五月天高清无码| 久9热视频在线| 综合激情开心五月| 天天肏在线观看| 婷婷影院欧美| 激情六月色| 激情文学综合婷婷五月天丁香花| 这里只精品| 九月婷婷激情| 五月天丁香成人| 丁香五月六月婷婷怡红院| 激情综合丁香六| 亚洲 无码 中文字幕 中出| 香蕉AV福利精品导航| 丁香色成人| 深爱五月激情| 最新日韩久热免费视频看看| 五月天婷婷视频小说| 久久区区一二三av| 97好吊操| 无码少妇高潮喷水A片免费| 欧美va国产va| 久久久91| 亚洲不卡欧洲| 六月激情婷婷| 色99在线| 丁香网五月网| 超碰京东热av男人的天堂| 日日操日日撸| 色五月丁香91| 五月丁香成人视频| 久久婷婷丁香| 九月色婷婷| 99久久99久久综合| 国产精品视频| 99,色| 第九色区av天堂| 久久久er热| 激情五月五月婷婷| 成人婷婷五月| 人操91在线| 99ri视频在线播放| 婷婷玖玖丁香| 国产精品色色| 丁香五月天AV在线| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲性爱99| 亚洲亚洲人成综合网络| 婷婷色基地| 亚洲成人在线观看网址| 97干免费视频| 婷婷综合久久| 九九草草逼| 丁香色成人| 天天日人人| 97人人操人人拍| 六月婷婷av| 美女婷婷六月色| 九色视频入口91| 午夜丁香| 99爱免费在线视频| 182TV亚洲| 婷婷五月天av| www.无码com| 九九热精品| 天天做天天爱天天玩夜夜爽| 丁香六月久久| WWW五月| 超级碰碰91| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 六月丁香停| 久久精彩视频| 99视频内射三四| 五月天停停基地| 丁香五月婷婷www..com| 五月久久婷婷天堂视频| WWW.激情| wwwwww.色| 少妇AB又爽又紧无码网站| 久久丝丝热| 沈娜娜av| 五月综合亚洲婷婷| 色综合天天综合成人网| 天天天干夜夜夜操| 国产三级秋霞| 久久色五月| 97香蕉人人在线观看| 久热免费视频| 五月天激情图片| 蜜桃五月天| 亚洲婷婷开心五月| 9久久网| 国产av天堂| 综合色色婷婷| 久久五月天网| 久久丁香五月婷| 丁香五月视频在线观看| 九九综合九九| 嫩模草| 婷婷五月丁香综合| 五月天成人在线视频网站| 99久久思思| 日韩好吊操| 五月婷婷久久综合| 9久操| 婷婷桃色网| 五月婷婷视频| 少妇2做爰HD韩国电影| 国产成人亚洲综合A∨婷婷| 丁香六月婷婷综合啪啪| 99热日本| 久久久8| 色婷婷丁香九月| 婷婷五月天久久久| 99ri精品| 狠狠色噜噜| 九九综合久久| 日韩人妻在线播放| AA片在线观看视频在线播放 | 91色色五月天| 成人丁香| 二色AV| www.91热久久| 这里只有精品视频在线| 91啪级电影| 天天五月香欧美| 99年操人人爽| 这里有精品| 99r久久这里只有精品| 久久精品99| 久久婷婷桃花五月天| 91啪级电影| 九九碰九九爱97超| 五月丁香在线视频观看| 九七色色六月丁香| 日本人人超碰| 九色视频九色九色91jiuseshipin| 热日韩欧美| 成人做爰A片免费看网站找不到了| 操人91| 99精品视频在线观看| 日本天天色| 午夜九九九九九九九九九九九九九| 婷婷丁香人妻天天| 深爱激情四射| 97操视频| 97久久久| 操久久精| 婷婷色五月开心五月| 丁香色情五月综合激情| 91凹凸在线| 26uuu精品一区二区| 婷婷五月丁香五月| 全部老头和老太XXXXX| 大香焦啪啪啪| 婷婷丁香五月天综合激情| 婷婷九九色| 综合狠狠干| 亚洲激情丁香五月天色| 婷婷开心激情综合五月天| 能直接看的av网站| 亚洲AV人人操| 亚洲V国产V欧美V久久久久久| www.lchjjc.com| 丁香五月婷婷综合精品素人| 婷婷丁香精品视频在线观看| 国产精品日日躁夜夜躁| 九九伦子片| 色色草97| www.超碰在线| 99re在线观看视频| 久久99婷婷| 欧美激情综合色丁香婷婷五月天| 色香五月天| 日韩啊啊啊| 婷婷五月色| 婷婷激情97| 国产偷人爽久久久久久老妇APP| 色婷婷久久7777| 久久久久久9| 亚洲爱爱无码婷婷色五月| 天天色视频| 超碰在线成人| 天天插天天插| 欧美大片| 在线成人视频免费| AV五月丁香| 日日爽日日操| 五月丁香六月婷婷久久肏| 国产精品VIDEOSSEX久久发布| 在线日韩av| 激情五月天在线观看色婷婷| 免费色色色| 丁香五月av| 国产黄大片在线观看画质优化| 九九热精品99| 狠狠五月天婷婷| 九九自拍网| 99爱在线| 色日本丁香婷婷| 久久999久久999久久999久久| 婷婷91| 中文AV网站| 深爱五月婷婷开心中文字幕| 久久色亭亭五月天| 任你爽视频| 任我肏视频精品| 丁香婷婷基地| 狠狠草狠狠草| 欧美性色视频| 久月久在线视频| 九九精品亚洲| 天天做天天爱天天玩夜夜爽| 色综合色色| 综合久久9| 久久丁香久久| 欧类av怡春院| 开心久久xxx色| 生活片五区| 色五月天丁香婷婷色| 这里只有免费的精品| 六月婷婷久久| 丁香六月青青草| 天天狠狠插| 久久这里只有精品8| 婷婷在线播放| 99热91| 丁香五月开心亚洲| 日本人妻操| 热久久这里只有精品20| www五月| 五月天激情综合首页| 九月丁香亭亭| 狠狠爱婷婷爱| 婷婷娌伦网| 色99免费视频中文| 色五月婷婷视频| 深爱开心激情| 秋霞丝袜啪啪啪| 另类小说激情五月天| 777米奇影视第四色| 婷婷精品| 综合网啪| 91久久综合亚洲噜噜成人在线| 狼人狠狠操| 丁香婷婷久久综合在线| 婷婷丁香色五月天| 久久最新色色色| 亚洲婷婷丁香五月亚洲| 五月婷婷综合网| 大香蕉五月天婷婷丁香91| 日本爆乳片手机在线播放| 亚洲成人av在线播放| 色久天| 人人爽欧美婷婷久久久五月丁香| 五月婷婷六月情| 色综合久网| 日日操夜夜爽| 狠狠色综合久久久久| 99热这里只有精品23| 六月婷婷色综合| 超碰99热在线观看| 99免费在线视频| 久久婷婷的综合色丁香五月| 久热91| 成人看片网站| 精品思思久久| 久99久视频精选| 婷婷五月永远18免费久久久| 九九色婷婷五月天| 亚洲久久视频| 亚洲九九99精品视频在线播放| 五月深爱网| 五月J香蕉婷婷| 五月婷婷婷婷| 99热这里| 久久伊人婷婷| 欧美色久| 99精品在线观看视频| 思思色综合网站| 69精品人人人人| 米奇激情婷婷| 婷婷综合中文字幕| www.天天日| 天堂亚洲 在线| 天天干天天做| 五月天婷婷六月激情网| 91成人性爱视频| 色婷婷综合丁香五月天| 亚洲久热| 中文字幕日韩无码制服诱或| www网站在线观看| 久久久8| 五月丁香色五月| 五月丁香亭亭A片| 另类综合国产| 五月丁香激情综合网官网| 超碰93在线观看| 日本九九九九| 亚洲mm免费| 天天爱天天做天天爽| 久久国产一区二区三区| 五月天婷婷综合免费| 亚洲在线资源| 三级黄色大片视频| 91热视频色网站| 五月天婷婷久色| 久热超碰91| 国产婷婷色综合AV蜜臀AV | 日韩三级片一区二区| 丁香香蕉射射射| 色小说五月婷婷| AV在线资源| 啪啪视频99| 天天干天天干天天操| 日韩a热| 在线免费观看激情视频| 婷婷激情综合| 久久久婷丁香五月| 97精品欧美91久久久久久久| 久久综合婷婷激情| 99热这里有精力| 天天插综合| 天堂AV三级| 九九色网| 2018国产大陆天天弄| 91丨九色丨丰满人妖| 激情婷婷另类| 免费成人va| 96精品久久久久久久久| 啪啪五月婷婷| 少妇高潮呻吟A片免费看软件| 五月婷婷丁香俺日污视频| 99人人操人人操人人精| 强辱丰满人妻HD中文字幕| 久热播这里只有精品| 秋霞三级色戒| 99噜噜| 肏日网在线看| 国产精产国品一二三在观看| 这里只有精品1| 99乱视频| 五月天成人网在线观看| 丁香五月 六月婷婷首页| 丁香六月天婷婷在线| 丁香久月婷| 欧美碰碰| 日韩欧美成人网| 国产乱妇无乱码大黄AA片| 第五色色色婷婷| 五月婷婷伊人久久| 色婷婷成人在线| 丁香五月性| √天堂资源在线人妻熟女| 九九视屏| 日本123区日韩欧美不卡在线看| 97色射| 日本99久久| 91久久电影| 久久精彩视频99| 五月丁香A片| 狠狠干婷婷| se99视频| 婷婷六月丁香五月| 激情无码网| 久久免费精彩视频| 狠狠色婷婷777| 激情五月综亚网| 色亭亭五月天网扯| 婷婷五月天亚洲天堂| 欧美成人热| 丁香九月综合激情| www,色婷婷| 97碰超级人人看| 色99无码| 激情四射婷婷色色色| 久久久jd| 日本色色色| 五月丁香六月婷婷,婷| 99热在这里只有免费精品| 蜜臀丁香黄色婷婷五月天| 91精品在线看| 欧美月久久| 婷婷9月天| jiuse91在线| Www.se.久久| 婷婷欧美激情| 狠狠干.com| 一级韩国产精品毛| 无码橾| 日本美女上人| 午夜成人综合| 五月综合激情| 99自拍视频在线| ri电影在线| 五月婷婷丁香综合| 九月丁香亭亭| 天天情天天狠天天透| 五月丁香六月日逼| 欧美婷婷六月丁香综合色| 久久网日本| 婷婷色色丁香五月天| 99婷婷五月天| 亚洲另类久久| 婷婷五月天欧美图片在线播放电驴| 色婷婷丁香| 六九色综合婷婷五月天| 97九色视频| 婷婷五月天小说| 色色网站毛片| 无人精品在线视频| 99久久99视频只有精品| 久99久在线| 婷婷玉月丁香五月在线视频| 婷婷五月天丁香社区| 91男女视频在线观看| 久久综合性| 夜夜撸日日操| 婷婷涩五月| 91日综合欧美| 96自拍视频九色在线观看| 五月丁香999| 天天爽天天操| 男人操女人高潮91视频| 在线观看中文字幕| 一本色道久久综合狠狠躁小说| 色色婷婷五月| 午夜69成人做爰视频| 久久丁香九| 丁香九月婷| 丁香六月婷婷高清| 婷婷六月伊人| 99激| 久99视频在线观看| 99性视频| 九九色热| 99九九精品| 五月天狠狠草| 伊人久久五月天| 99无码黄色视频| 91九色欧美| 五月丁香婷婷深深爱| 很很干天天干| www.夜夜操.com| 天天综合久久| 色色色网站| 4399在线日本A片| 激情开心五月天| 超碰成人在线观看| 婷婷五月丁香五月| 五月天婷婷综合网| 思思久久99| 一区二区乱码视频| 五月婷婷久草在线视频综合| 亚洲热久久| 狠狠xx| 婷婷五月综合啪| 亚洲va成人va成人va在线观看| 日本在线免费中文com.| www.狠狠干com| 久久66精品| 六月婷婷俺也去| 超碰久热| 秋霞三级色戒| 狠狠五月激情丁香六月| 婷婷五月综合视频| 激情丁香久久| www.99热这里只有精品| 激情婷婷六月天| 丁香五月手机在线| 日韩欧美成人片| 99视频在线观看网址| 五月激情啪啪啪| 久在线综合69| 可以直接看的AV网站| 2050人人操免费工开爱| 人人爱天天摸摸天天爱| 超碰91在线| 精品久久人妻热| 五月天婷婷色色| www.五月丁香| 激情深愛五月視頻|