欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

嵌入式Linux驅(qū)動開發(fā):軟硬件邊界、中斷并發(fā)與DMA避坑指南

嵌入式Linux驅(qū)動開發(fā):軟硬件邊界、中斷并發(fā)與DMA避坑指南 做嵌入式開發(fā)這些年我見過太多從單片機裸機編程轉(zhuǎn)過來的人第一反應都是驅(qū)動開發(fā)不就是照著芯片手冊配置寄存器嘛。直到第一次碰上內(nèi)核崩潰、第一次被中斷上下文搞到懷疑人生、第一次發(fā)現(xiàn)DMA拿到的數(shù)據(jù)是舊的才明白這行真正的門檻在哪里。這篇文章想借著我這些年寫驅(qū)動、調(diào)驅(qū)動的經(jīng)歷聊聊嵌入式驅(qū)動開發(fā)里那些真正值錢的經(jīng)驗——不是某顆芯片的寄存器表而是處理軟硬件邊界問題的方法論以及那些常規(guī)文檔里根本不會寫的坑。內(nèi)容主要面向兩類人一是剛入門Linux驅(qū)動、想系統(tǒng)建立認知的開發(fā)者二是已經(jīng)寫過一些驅(qū)動但總覺得能跑就行、一查就廢的工程師。文章不會逐行帶讀內(nèi)核源碼而是把驅(qū)動開發(fā)拆成邊界認知、代碼分層、并發(fā)處理、調(diào)試手段、面試進階五個板塊每一塊都是我在實際項目里反復踩過、最后沉淀下來的東西。1. 驅(qū)動開發(fā)真正的門檻不是查寄存器而是理解軟硬件邊界1.1 一份驅(qū)動其實是在維護三方契約很多人對驅(qū)動的理解是操作硬件的那段代碼這個說法沒錯但它把問題想簡單了。驅(qū)動真正做的事情是在硬件廠商、內(nèi)核框架、上層應用這三方之間維護一份隱形的契約。硬件廠商給你的是數(shù)據(jù)手冊和寄存器表它關心的是時序、電平、地址、DMA通道這些物理層面的約束。內(nèi)核框架給你的是platform_driver、file_operations、中斷注冊這些標準接口它關心的是進程調(diào)度、內(nèi)存管理、并發(fā)安全這些軟件層面的規(guī)則。上層應用則只會調(diào)用open、read、ioctl它根本不關心你底層是I2C還是SPI。驅(qū)動工程師就是那個夾在中間傳話的人。你得懂硬件的脾氣比如某顆傳感器在片選拉低之后必須等至少10微秒才能讀數(shù)據(jù)否則返回全零你也得懂內(nèi)核的規(guī)矩比如中斷上下文里不能用會睡眠的函數(shù)否則整個系統(tǒng)都可能僵住。我見過不少從裸機轉(zhuǎn)過來的同事他們最擅長的就是對著數(shù)據(jù)手冊一個寄存器一個寄存器地配驅(qū)動也很快能跑起來。但一旦遇到跑幾天偶發(fā)死機數(shù)據(jù)偶爾錯一幀換一顆主控就啟動不了這種問題就完全抓瞎了。原因很簡單裸機開發(fā)面對的是單一執(zhí)行流所有事情都是你說了算而Linux驅(qū)動面對的是多進程、多中斷、多核并發(fā)你在寄存器和內(nèi)核接口之間填的每一行代碼都是在跟一個巨大的并發(fā)系統(tǒng)打交道。1.2 為什么照著例程改的路子走不遠嵌入式圈子里最普遍的學習方式是找一塊開發(fā)板、抄一份廠家例程、改幾個引腳配置然后就覺得自己會了。我對這種路徑本身沒有意見——快速建立正反饋很重要。但如果你想靠這行走得遠就一定要意識到例程能給你的是能跑的最小路徑它不會告訴你為什么必須這么寫。舉一個最常見的例子。很多人在注冊字符設備時會照著例程用register_chrdev注冊一個設備號再用class_create和device_create在/dev下生成節(jié)點。這套流程本身沒錯但如果你不理解主設備號和次設備號的分配機制不理解miscdevice和真正的字符設備驅(qū)動模型之間有什么區(qū)別那后面遇到設備號沖突動態(tài)分配設備號后udev不生成節(jié)點設備樹里reg屬性怎么對應這些問題時你只能繼續(xù)去網(wǎng)上搜別人的代碼而不是自己判斷。驅(qū)動開發(fā)里最關鍵的三種能力——時序判斷、并發(fā)分析、問題定位——都是例程給不了你的。例程是在理想條件下、由芯片原廠工程師調(diào)試好的路徑它默認你會正確使用也默認你背后有全套調(diào)試工具。等你到了真實的項目里硬件可能有改版、晶振可能有偏差、外設可能有errata勘誤表這時候照抄例程就是在給自己埋雷。1.3 軟硬件邊界到底指什么我總結下來驅(qū)動工程師日常打交道的軟硬件邊界無外乎四類。一是時序約束。任何外設都有時序要求比如I2C的建立時間、保持時間SPI的時鐘極性和相位Flash的頁編程時間。驅(qū)動里那些看似莫名其妙的udelay、ndelay背后全是硬件的物理約束。這個邊界如果踩了癥狀通常很詭異——十次讀有八次對兩次錯用示波器才能抓得到。二是并發(fā)約束。硬件中斷和進程上下文會同時訪問你的驅(qū)動數(shù)據(jù)多核CPU上兩個核同時執(zhí)行你的驅(qū)動代碼這在裸機時代根本不會發(fā)生。驅(qū)動里上半部分處理中斷、下半部分處理數(shù)據(jù)、進程需要訪問狀態(tài)這些路徑之間怎么互斥是邊界問題的重災區(qū)。三是資源邊界。你操作的內(nèi)存必須是DMA可達的你映射的寄存器必須在ioport或iomem范圍內(nèi)你申請的中斷號必須和硬件實際觸發(fā)的中斷線對應。這些資源看似是配置一下就行實際背后連著IOMMU、內(nèi)存管理、中斷控制器一整條鏈路。四是接口契約。file_operations里的函數(shù)簽名、ioctl的命令編碼規(guī)則、驅(qū)動的probe/remove流程這些是內(nèi)核和驅(qū)動之間的契約。違反契約的代碼通常不會立刻崩而是在某個特定條件下以最難查的方式崩給你看。把驅(qū)動開發(fā)當成軟硬件邊界的翻譯工作很多疑惑就能想通了。那些為什么驅(qū)動要這么寫的問題答案往往不在代碼里而在某一側的約束里。2. 從點燈到平臺驅(qū)動我一直在用的驅(qū)動代碼分層方法2.1 分層不是炫技是被現(xiàn)實逼出來的我剛寫驅(qū)動的時候習慣一個文件搞定一切寄存器操作、中斷處理、ioctl、sysfs屬性全部堆在一起。剛開始覺得挺爽代碼量看起來很大好像很有成就感。直到項目做到第二個版本需求變了三次我才發(fā)現(xiàn)這種寫法有多坑。第一次坑是換內(nèi)核版本。廠商給的BSP從內(nèi)核4.9升到5.10file_operations里的一些接口變了、設備樹解析函數(shù)改名了我那個大雜燴驅(qū)動里到處都用了舊接口改起來牽一發(fā)動全身。第二次坑是換硬件平臺。項目從A芯片切到B芯片雖然外設接口差不多但寄存器完全兩碼事而我的業(yè)務邏輯代碼和寄存器操作纏在一起根本拆不開。第三次坑是測試。我想給驅(qū)動的業(yè)務邏輯寫單元測試結果發(fā)現(xiàn)邏輯和硬件操作綁得死死的在PC上根本跑不起來。后來我痛定思痛參考了內(nèi)核自己推薦的驅(qū)動架構、也參考了一些老牌驅(qū)動的寫法總結出一套適合絕大多數(shù)外設驅(qū)動的三層結構。它不是內(nèi)核強制要求的但按這個思路寫的驅(qū)動后期維護成本能低一半以上。2.2 一套能落地的三層結構我的分層思路很簡單硬件操作往死里收斂業(yè)務邏輯往外分離中間留一個穩(wěn)定的接口面。第一層叫硬件抽象層也叫寄存器層。這一層只做一件事——直接操作硬件向上提供hw_init、hw_read_reg、hw_write_reg、hw_start等函數(shù)。每個函數(shù)內(nèi)部就是讀寄存器、寫寄存器、ufudelay不許有任何業(yè)務判斷。換平臺的時候改這一層就完了。第二層叫驅(qū)動核心層。這一層實現(xiàn)內(nèi)核框架要求的那一堆東西platform_driver的probe/remove、file_operations里的read/write/ioctl、中斷處理、等待隊列、鎖。它負責把內(nèi)核的規(guī)矩和第一層的物理操作接在一起但這里不應該出現(xiàn)具體業(yè)務邏輯。第三層叫業(yè)務策略層。這一層處理這個設備到底是干什么用的比如一個溫濕度傳感器驅(qū)動業(yè)務層決定數(shù)據(jù)是每10秒采一次還是每1秒采一次、數(shù)據(jù)超閾值時上報還是直接丟棄。你可以通過ioctl、sysfs或者輸入子系統(tǒng)把這一層的能力暴露給用戶態(tài)。舉個例子同樣是做一個GPIO按鍵驅(qū)動如果按三層結構來寫硬件層只負責gpio_request、gpio_direction_input、gpio_get_value這幾個操作核心層負責把按鍵這個輸入設備注冊成input子系統(tǒng)設備維護消抖定時器和等待隊列業(yè)務層則決定長按3秒是關機指令還是恢復出廠設置這類策略。這么一分你就能非常清楚地知道改按鍵閾值是改業(yè)務層換GPIO引腳是改硬件層調(diào)整上報機制是改核心層。互不牽連。2.3 用平臺驅(qū)動模型和設備樹串起來說完分層還要說說驅(qū)動怎么和設備綁定?,F(xiàn)代Linux內(nèi)核里絕大多數(shù)設備驅(qū)動都采用平臺設備模型platform bus配合設備樹來工作。簡單解釋一下設備樹相當于一份給內(nèi)核看的硬件資產(chǎn)清單它描述的是板子上有哪些設備、各設備掛在哪個總線、用哪組寄存器地址、哪個中斷、哪個GPIO、哪個時鐘。驅(qū)動則是通過compatible字符串來聲明我支持哪些設備內(nèi)核啟動時拿設備樹里的節(jié)點去匹配驅(qū)動的compatible匹配上了就調(diào)用你的probe。這里有一個經(jīng)常被忽略的細節(jié)compatible字符串必須和設備樹里的完全一致包括大小寫和逗號后綴。我曾經(jīng)在一個項目里設備樹里寫的是ti,ads1015驅(qū)動的of_match_table里寫的是ads1015結果驅(qū)動死活不probe排查了大半天才在dts里發(fā)現(xiàn)少了個前綴。這種錯誤不會報編譯錯誤只會表現(xiàn)為設備不工作非???。一個標準的platform_driver骨架大致長這樣static const struct of_device_id mydev_of_match[] { { .compatible vendor,mydev, }, { /* sentinel */ } }; MODULE_DEVICE_TABLE(of, mydev_of_match); static int mydev_probe(struct platform_device *pdev) { struct resource *res; void __iomem *base; res platform_get_resource(pdev, IORESOURCE_MEM, 0); base devm_ioremap_resource(pdev-dev, res); if (IS_ERR(base)) return PTR_ERR(base); /* 初始化硬件層、注冊字符設備、申請中斷等 */ return 0; } static int mydev_remove(struct platform_device *pdev) { /* 釋放資源、注銷設備 */ return 0; } static struct platform_driver mydev_driver { .probe mydev_probe, .remove mydev_remove, .driver { .name mydev, .of_match_table mydev_of_match, }, }; module_platform_driver(mydev_driver);注意我用了devm開頭的資源管理函數(shù)。這也是個經(jīng)驗之談能用devm_xxx就用devm_xxx它在probe失敗或remove的時候會自動幫你釋放資源省掉無數(shù)手動清理的麻煩。我見過太多人手動iounmap、kfree、unregister結果在某個error path上漏了一個釋放卸載模塊的時候直接內(nèi)核崩潰。2.4 一個非阻塞按鍵驅(qū)動的分層示例既然熱搜詞里有人專門搜嵌入式按鍵非阻塞掃描我就拿一個真實的按鍵驅(qū)動設計說一下分層的好處。裸機時代做按鍵無非就是輪詢GPIO讀到電平變化就認為是鍵按下再延時消抖。但在Linux驅(qū)動里輪詢是最不推薦的方式——它浪費CPU還會拖慢系統(tǒng)的實時響應。正確的做法是GPIO配置成中斷觸發(fā)中斷到來之后調(diào)度一個定時器做消抖消抖確認后在進程上下文里讀取鍵值再通過輸入子系統(tǒng)上報給用戶空間。這里面的分層邏輯是這樣的硬件層提供key_gpio_init、key_gpio_read、key_gpio_irq_request全部是對GPIO子系統(tǒng)的封裝核心層注冊中斷處理函數(shù)中斷里只做兩件事——禁用當前觸發(fā)、啟動消抖定時器然后立即返回。定時器回調(diào)函數(shù)在軟中斷上下文執(zhí)行里面讀GPIO、確認狀態(tài)、調(diào)用input_event上報業(yè)務層通過設備樹屬性或者ioctl配置長按多久算快捷操作雙鍵組合是什么意思。非阻塞的思想貫穿始終中斷處理函數(shù)不睡眠、定時器回調(diào)不睡眠、沒有任何一個路徑會占著CPU輪詢。整個驅(qū)動的CPU開銷趨近于零按鍵響應卻非常即時。這個結構如果放在大雜燴寫法里很容易演變成中斷里直接做消抖延時然后在中斷上下文里睡眠最后被殺進程或者內(nèi)核報BUG。3. 最容易翻車的四個技術點中斷、并發(fā)、阻塞與DMA3.1 中斷上下文哪些函數(shù)碰都不能碰驅(qū)動開發(fā)里翻車率最高的點就是中斷上下文。很多從裸機轉(zhuǎn)過來的人覺得中斷來了我就處理處理完就返回這有什么難的。但在Linux里中斷處理函數(shù)運行在特殊上下文它不能睡眠、不能被調(diào)度所以凡是可能阻塞的函數(shù)都不能調(diào)用。具體來說下面這些操作在中斷上下文里都是雷區(qū)調(diào)用kmalloc(GFP_KERNEL)——這個標志允許睡眠必須改成GFP_ATOMIC調(diào)用mutex_lock——mutex在競爭時會睡眠必須改用自旋鎖調(diào)用copy_from_user/copy_to_user——這兩個函數(shù)可能訪問用戶頁表并觸發(fā)缺頁可能睡眠調(diào)用某些可能在內(nèi)部睡眠的標準API比如msleep、wait_event想都不要想。我剛入門時有過一次血淚教訓在一個GPIO中斷里直接調(diào)用i2c_transfer去讀外設寄存器當時想的是反正快得很。確實大部分時候很快但I2C總線在極端情況下會被別的設備占用或者重試i2c_transfer一旦進入等待我的中斷就睡在那了。內(nèi)核在那個上下文里調(diào)用睡眠函數(shù)輕則lockdep報BUG: sleeping function called from invalid context重則直接死機。后來我把那部分邏輯改成了工作隊列在進程上下文里跑I2C訪問問題徹底消失。現(xiàn)在內(nèi)核里解決這類問題的主流做法是中斷線程化request_threaded_irq配合thread_fn把中斷處理的主體放到一個內(nèi)核線程里這個線程可以被調(diào)度、可以睡眠安全性高得多。我的建議是中斷回調(diào)里只做最快的硬件響應比如清除中斷標志、讀取FIFO里的數(shù)據(jù)、置一個標志位其余一切交給中斷下半部tasklet、工作隊列或線程化中斷去處理。3.2 鎖的選擇自旋鎖、信號量還是mutex并發(fā)問題是驅(qū)動開發(fā)和裸機開發(fā)最大的分水嶺。多核時代同一個驅(qū)動代碼可能同時在兩個CPU上運行就算只有一個核中斷也可能打斷進程的執(zhí)行流。如果你不保護共享數(shù)據(jù)最后的表現(xiàn)就是偶發(fā)錯亂極難復現(xiàn)。內(nèi)核里可用的鎖很多但真正需要你決策的其實就是三種自旋鎖、互斥鎖mutex、讀寫鎖。選擇邏輯其實很簡單就兩條如果你的臨界區(qū)很短幾十條指令且這個臨界區(qū)可能在中斷上下文或原子上下文里執(zhí)行那就只能用自旋鎖。自旋鎖的語義是原地打轉(zhuǎn)等待不會睡眠但代價是忙等所以臨界區(qū)里絕對不能有耗時操作。如果臨界區(qū)在進程上下文并且可能會執(zhí)行耗時操作比如I2C通信、大量的數(shù)據(jù)拷貝那就應該用mutex。它的語義是拿不到鎖就睡一覺等鎖可用再醒不浪費CPU但可能在睡眠中被信號打斷需要處理返回值。在我的經(jīng)驗里大部分驅(qū)動數(shù)據(jù)可以拆成兩種一種是很小的狀態(tài)變量和標志位用原子操作或者自旋鎖保護就夠了另一種是描述設備狀態(tài)的大結構體用mutex保護。千萬不要迷信全用自旋鎖——曾經(jīng)有人在中斷里調(diào)用一個用自旋鎖保護的、內(nèi)部帶msleep的函數(shù)當場panic。還要特別提一下鎖的順序。如果你的驅(qū)動里有兩把鎖并且代碼路徑A先拿鎖1再拿鎖2路徑B先拿鎖2再拿鎖1那么恭喜你死鎖向你招手了。內(nèi)核的lockdep機制就是為了抓這個問題設計的它會跟蹤鎖獲取順序一旦發(fā)現(xiàn)潛在死鎖就報警。所以我的建議是測試階段一定打開CONFIG_PROVE_LOCKINGlockdep報的任何警告都不要無視它不是在跟你開玩笑。3.3 阻塞與非阻塞IO等待隊列是核心用戶態(tài)的read、write阻塞不阻塞取決于驅(qū)動的file_operations怎么實現(xiàn)。驅(qū)動里實現(xiàn)阻塞語義的核心機制叫等待隊列wait queue。它的思路是當沒有數(shù)據(jù)可讀時進程把自己掛到等待隊列上主動讓出CPU硬件數(shù)據(jù)來了之后中斷處理函數(shù)里把等待隊列上的人喚醒。這套機制里最常見的坑是喚醒丟失。比如進程剛檢查完沒有數(shù)據(jù)準備睡眠這時候中斷來了數(shù)據(jù)到貨喚醒被觸發(fā)——但此時進程還沒真正睡下去于是喚醒就丟了進程一直睡到天荒地老。內(nèi)核的機制幫你處理了這個問題wait_event_interruptible宏會保證檢查和睡眠之間不被打斷這也是為什么內(nèi)核一直推薦用標準宏而不是自己判斷加sleep。另一個常見問題是偽喚醒。等待隊列可能被信號喚醒、被spurious wakeup虛假喚醒喚醒所以被喚醒之后必須重新檢查條件是否為真再決定繼續(xù)睡還是真起來干活。這也是wait_event宏內(nèi)部做條件循環(huán)的原因——條件不滿足就重新睡。非阻塞IO則要實現(xiàn)poll接口。你需要在poll函數(shù)里調(diào)用poll_wait把當前進程加到設備的等待隊列上同時返回當前可讀寫的掩碼。用戶態(tài)用select/poll/epoll時內(nèi)核會調(diào)用你的poll函數(shù)來查詢狀態(tài)。很多新手driver只做poll_wait卻不返回掩碼結果select永遠說沒有事件這是典型的能編過、在跑、全錯的問題。3.4 DMA與緩存一致性的坑只要你的驅(qū)動涉及大塊數(shù)據(jù)傳輸就一定要碰DMA。DMA的坑不在DMA本身而在CPU cache。CPU讀寫數(shù)據(jù)時會經(jīng)過cache而DMA引擎直接讀寫物理內(nèi)存兩者看到的數(shù)據(jù)可能不一致——CPU改了數(shù)據(jù)但還沒刷回內(nèi)存DMA讀走的還是舊數(shù)據(jù)或者DMA寫入了新數(shù)據(jù)但CPU的cache里還留著舊值。內(nèi)核針對DMA提供了完善的API但你必須正確選擇使用方式使用dma_alloc_coherent分配一塊一致性DMA緩沖區(qū)。它保證cache和內(nèi)存始終同步適合控制結構、描述符表這類CPU和DMA頻繁共享訪問的數(shù)據(jù)。代價是分配和訪問它的效率偏低因為每次CPU訪問都可能觸發(fā)cache操作。使用dma_map_single/dma_unmap_single做流式映射streaming mapping。適合大塊數(shù)據(jù)的一次性傳輸通過dma_sync_single_for_cpu和dma_sync_single_for_device來手動維護cache一致性。我的實際經(jīng)驗是能預先知道方向的傳輸盡量用流式映射并且嚴格按順序——寫數(shù)據(jù)、sync_for_device、啟動DMADMA完成后、讀數(shù)據(jù)前必須sync_for_cpu。順序搞反的典型癥狀是第一次數(shù)據(jù)是好的第二次開始出錯因為cache在第一次傳輸后已經(jīng)把舊值刷進去了。這個問題我在調(diào)一個音頻驅(qū)動時花了兩天才定位到最后排查方式是在DMA完成中斷里加打印比對每次讀到的第一個字節(jié)才發(fā)現(xiàn)cache回寫的順序問題。4. 驅(qū)動調(diào)試三板斧日志、寄存器實錘、Oops回溯4.1 printk的正確打開方式驅(qū)動調(diào)試和純應用調(diào)試不一樣你不能隨手開一個gdb斷點。內(nèi)核是跑在目標機上的操作系統(tǒng)最樸素也最可靠的調(diào)試工具依然是printk。但printk不是隨便打打就完了。很多新手驅(qū)動一開打印就刷屏整個控制臺跟流水一樣連系統(tǒng)實時性都被拖垮了。我的經(jīng)驗是遵循三級策略第一級開發(fā)階段用pr_info和pr_debug把關鍵路徑全部打出來比如probe成功、中斷觸發(fā)、數(shù)據(jù)讀取。這時候盡量把打印做成動態(tài)的不要寫死方便后續(xù)關閉。第二級功能驗證階段只保留真正有信息量的log比如寄存器版本的讀取值、狀態(tài)機的跳轉(zhuǎn)條件。每一條打印都要問自己一句如果它出現(xiàn)了我能不能根據(jù)它判斷問題方向第三級發(fā)布前把不必要的打印全部改成pr_debug或者用dynamic_debug控制。內(nèi)核的動態(tài)調(diào)試機制可以讓你在運行時按模塊、按函數(shù)、按行號單獨開關某條打印不需要重新編譯。# 打開某模塊內(nèi)所有動態(tài)調(diào)試打印 echo module mydriver p /sys/kernel/debug/dynamic_debug/control這個技巧太實用了。我調(diào)過一個USB轉(zhuǎn)串口驅(qū)動平時一條log都不能留出問題的時候遠程把動態(tài)調(diào)試打開日志瞬間出來了問題定位完一關零負擔。4.2 devmem與寄存器實測硬件問題一錘定音驅(qū)動不工作的原因一半在軟件一半在硬件。當你懷疑是硬件問題時最快的驗證方式是繞過驅(qū)動直接讀寄存器。此時devmem是最趁手的工具——它能直接操作物理地址映射的寄存器。在開發(fā)板的uboot里或者busybox環(huán)境中# 讀物理地址0x01c20000處的32位寄存器值 devmem 0x01c20000 32 # 寫一個值到該地址小心破壞系統(tǒng) devmem 0x01c20000 32 0x12345678實際調(diào)外部總線設備時我?guī)缀趺看味际窍炔閿?shù)據(jù)手冊確定期望值再用devmem讀寫對比。比如某個外設的ID寄存器應該讀到0x2490如果讀到0xffffffff基本說明片選沒拉對或者地址線接錯了如果讀到0x00000000可能是外設沒有上電復位。這些判斷在驅(qū)動代碼層面再做就慢了十倍不止。另外記住devmem讀寫的是物理地址不是驅(qū)動里的虛擬地址。驅(qū)動里ioremap出來的虛擬地址可以通過/proc/iomem查看物理地址映射關系對照devmem地址前先確認這兩個地址是同一個寄存器。4.3 內(nèi)核Oops怎么看從call trace定位代碼位置內(nèi)核崩潰的那一刻你會在終端或者串口上看到一大段Unable to handle kernel paging request或者Oops信息。不懂的人覺得是天書會看的人能從中讀出問題坐標。首先要讀的就是PC指針所在的那一行PC is at mydev_read0x34/0x4c [mydriver]。這一行告訴我們崩潰發(fā)生在mydriver模塊里函數(shù)是mydev_read距離函數(shù)開頭第0x34字節(jié)的位置函數(shù)總長度0x4c字節(jié)。這還不夠關鍵是要把0x34轉(zhuǎn)換成源碼行號。如果你的驅(qū)動編譯時帶了調(diào)試信息-g可以用addr2lineaddr2line -e mydriver.ko -f 0x34但這里有個坑addr2line算的是模塊加載后的地址而Oops里的偏移是相對函數(shù)起點的你需要知道模塊在內(nèi)核地址空間里的實際基址。實際操作中我更推薦先看call trace里的上一級調(diào)用確認是哪個調(diào)用路徑觸發(fā)了崩潰。call trace才是真正定位問題的關鍵。它會打印出從系統(tǒng)啟動到崩潰那一刻的函數(shù)調(diào)用鏈路你的驅(qū)動函數(shù)、內(nèi)核的VFS調(diào)用、系統(tǒng)調(diào)用的入口會一層層列出來。我遇到過一次驅(qū)動崩潰第一眼看PC定位在我的ioctl函數(shù)里我以為是參數(shù)校驗的問題結果看了call trace才發(fā)現(xiàn)是VFS層在release階段調(diào)用了我已經(jīng)注銷的函數(shù)——真正的坑是設備節(jié)點已經(jīng)關閉但我的設備結構體已經(jīng)被free了。另外寄存器dump里最有價值的是LR寄存器。ARM架構里LR保存著函數(shù)返回地址如果崩潰在某個被調(diào)用的函數(shù)里LR會告訴你它是從哪個位置跳到崩潰點的相當于另一個定位坐標。最后一個建議開啟CONFIG_DEBUG_KERNEL和CONFIG_DEBUG_INFO把panic_on_oops設為1。雖然看起來有點極端但在測試階段與其讓系統(tǒng)帶著錯誤狀態(tài)繼續(xù)運行產(chǎn)生更多亂象不如讓它當場停下來把現(xiàn)場完整留給你分析。4.4 示波器、邏輯分析儀與trace工具代碼層面排查完之后總有一些問題要落到物理層面。示波器看電源紋波、看時鐘質(zhì)量、看時序邊沿邏輯分析儀抓地址線、數(shù)據(jù)線、片選信號的關系。這不是EE的活驅(qū)動工程師也必須會用否則你永遠不知道驅(qū)動寫對了但硬件就是給不了正確響應到底是哪一方的鍋。我調(diào)SPI Flash等待時間時就是靠邏輯分析儀抓到片選信號太短——驅(qū)動在等待狀態(tài)判斷上少處理了一個字節(jié)的時序。這種事printk和devmem都幫不了你因為問題出在物理信號層面。除此之外還有一些在線的內(nèi)核跟蹤工具值得掌握。ftrace可以trace函數(shù)的調(diào)用能看驅(qū)動里面誰在什么時候被調(diào)用了多少次tracepoint在關鍵事件點有預埋的探針比如irq_handler_entry可以看中斷觸發(fā)頻率perf用來分析性能熱點比如你的read為啥慢是拷貝慢還是硬件等待慢。這些工具不需要重新編譯內(nèi)核在主流嵌入式發(fā)行版里都內(nèi)置了學會它們能省大量瞎猜的時間。5. 從面試到實戰(zhàn)嵌入式驅(qū)動工程師的核心競爭力5.1 面試官問八股文其實在問這四件事嵌入式圈子這兩年八股文文化很重很多人背了一堆概念卻一問細節(jié)就露餡。其實面試官問那些經(jīng)典問題背后想考察的就四件能力內(nèi)存理解、并發(fā)意識、內(nèi)核機制掌握度、排查問題的思路。比如他問自旋鎖能不能在中斷上下文使用不是要你回答能或不能——能但要注意臨界區(qū)不能睡眠而是想看你有沒有真正理解自旋鎖的底層語義忙等、禁止搶占、可能觸發(fā)死鎖的前提。他問kmalloc(GFP_KERNEL)為什么不能在中斷上下文用也是在考察你有沒有把內(nèi)存管理和原子上下文串起來GFP_KERNEL可能觸發(fā)直接回收然后睡眠。以我的經(jīng)驗面試里最有區(qū)分度的題目不是那些要背定義的概念而是給你一個偶發(fā)死機的現(xiàn)象說說你的排查思路。這題沒有標準答案但好的回答會從復現(xiàn)、縮小范圍、打印增強、邏輯分析、按層次排查展開差點的回答就是加打印、看日志兩句話。5.2 我推薦的驅(qū)動學習路線結合嵌入式學習路線這個熱搜詞我說說成年人學驅(qū)動開發(fā)的務實路徑。先不要碰內(nèi)核源碼那是最后的閱讀理解材料不是起點。第一步把C語言和計算機基礎扎牢指針、結構體、內(nèi)存布局、編譯鏈接過程、棧和堆。再把Linux應用編程過一遍文件IO、多線程、進程間通信、select/epoll。這一步是為了讓你理解用戶態(tài)怎么跟驅(qū)動打交道理解open/read/write背后的系統(tǒng)調(diào)用鏈路。第二步學內(nèi)核的三大核心機制進程管理特別是調(diào)度和上下文切換、內(nèi)存管理頁表、進程地址空間、malloc到頁表的映射過程、中斷處理上半部下半部、中斷線程化。這三塊是驅(qū)動開發(fā)的地基。第三步找一塊主流開發(fā)板寫一個真正的字符設備驅(qū)動配上設備樹、platform_driver、中斷和等待隊列。不要停留在點亮LED——那個連驅(qū)動都算不上只能叫GPIO操作。第四步做一個復合外設的項目比如帶DMA的采集驅(qū)動、帶中斷的輸入設備、一個完整的SPI/I2C從設備驅(qū)動。重點不是功能跑通而是把并發(fā)、阻塞、資源管理的經(jīng)驗練扎實。5.3 一個拿得出手的驅(qū)動項目怎么攢很多人面試時簡歷上寫著熟悉Linux驅(qū)動開發(fā)但項目經(jīng)歷只有在開發(fā)板上寫了LED和按鍵驅(qū)動。這種項目在面試官眼里等于沒有。真正有說服力的項目至少要體現(xiàn)三個層次。第一層是復雜度你的驅(qū)動不只是一堆寄存器操作它包含了中斷、DMA、并發(fā)保護、阻塞IO、設備樹適配這些元素。比如做一個音頻采集驅(qū)動SPI接口、DMA傳輸、環(huán)形緩沖區(qū)、用戶態(tài)通過ALSA或字符設備讀取數(shù)據(jù)。這個項目天然就涉及緩存一致性、數(shù)據(jù)完整性、并發(fā)邊界。第二層是工程化代碼有分層結構、錯誤處理路徑完整、支持動態(tài)調(diào)試、有明確的并發(fā)設計說明。能讓面試官看出你不是寫完能跑就行的人而是考慮過卸載模塊會不會崩并發(fā)訪問會不會錯的人。第三層是遷移能力你能把一個現(xiàn)有驅(qū)動從一個平臺移植到另一個平臺并且說明過程中踩過哪些坑。這種跨平臺移植的經(jīng)歷最能體現(xiàn)對軟硬件邊界理解是否透徹。5.4 驅(qū)動開發(fā)的終局能力是系統(tǒng)思維走到后面你會發(fā)現(xiàn)單純寫一個外設驅(qū)動越來越不是重點真正拉開差距的是你能不能從系統(tǒng)的角度看問題。一個看起來很簡單的USB設備驅(qū)動往上要適配USB棧、設備模型、電源管理往下要處理控制器寄存器、DMA、中斷。你要能快速看懂內(nèi)核里相關子系統(tǒng)的框架代碼能利用內(nèi)核提供的框架而不是繞過框架。suspend/resume你寫不寫pinctrl和gpio子系統(tǒng)怎么協(xié)同設備運行時電源管理runtime PM該不該引入IOMMU要不要配置時鐘框架怎么調(diào)頻這些問題在簡單的example驅(qū)動里永遠不存在但在真實產(chǎn)品里每一項都可能成為問題。我見過太多人驅(qū)動本身寫得挺快但一涉及低功耗喚醒、涉及系統(tǒng)休眠恢復就亂了陣腳——因為那些時刻驅(qū)動不再是孤立的代碼而是整個電源域和時鐘域的一部分。所以我的建議很明確驅(qū)動開發(fā)的經(jīng)驗前期拼的是對硬件和內(nèi)核接口的熟悉程度后期拼的是對整個系統(tǒng)框架的理解深度。后者沒有速成路徑只能靠一個個項目喂出來。最近圈子里聊AI寫代碼聊得很熱鬧也有人問我驅(qū)動能不能讓AI來寫。我的看法是模板代碼、常見外設的驅(qū)動骨架、設備樹的常規(guī)寫法AI確實能幫上忙但驅(qū)動開發(fā)真正值錢的部分——判斷并發(fā)風險、理解硬件時序、在call trace里幾小時內(nèi)定位問題——恰恰是AI最不擅長的。那些都是經(jīng)驗不是語法。所以我給新人的建議始終不變把中斷、并發(fā)、DMA這三塊硬骨頭啃明白比抄一百遍例程都管用。等你真正被客戶現(xiàn)場的偶發(fā)故障折磨過幾回再回頭看這篇文章里說的每一句話大概都會有一種原來當初的鍋出在這里的恍然。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品色色| 日本啪啪网| 狠狠人人| 中文字幕成人| 婷婷五月天激情电影| 欧美性爱专区| 牛色色碰| 99国产精品久久久久久久久久久| 啪啪综合| 色五月婷婷五月天| 五月激情婷婷丁香天堂| 亚洲激情精品| 丁香花五月天激情| 97超碰在线观看免费| 日韩少妇内射免费播放| 久热婷婷| 激情欧美五月丁香| www九九热| 亚洲日日日| 色综合开心五月深爱五月| 思思99热这里只有精品| 91碰视频| 色综合视频| 一级片无码| 丁香网站| 日本一级黄色电影| 日韩婷婷| 日日操天天操| 亚洲av骚货| 日亚二欧美| www.色五月.com| 亚洲激情色色| 99热精品综合| 五月丁香婷婷激情| 色五月婷婷、老熟女| 久久XX| 国产午夜精品一区二区三区嫩草| jiZZdr| AV在线大香蕉| 在线观看中文字幕亚洲| 九色91视频| 日本婷色| 亚洲六月婷婷| 婷婷五月天综合AV| 中文在线成人| 射久久丁香五月| 激情5月婷婷| 国产熟女日日骚五月丁香爱| 欧美va| 日本在线视频手机播放五月婷| 久久婷婷五月| 日本精品在线噜噜噜| 色综合久久88色综合天天99| 成人欧美日韩| 久久激情网| AV在线免费网站| 亚洲xx网| 天天日夜夜欢| 久久婷婷网站| 色呦呦免费观看| 91九色丨国产丨爆乳| 五月丁香激情综合啪啪| 国产日韩av片| 97香蕉久久超级碰碰高清版| 大香蕉婷婷五月天| 超碰在线国产| 中文字幕丰满乱孑伦无码专区| 97精品综合久久| 超碰在线人人| 九九色色| 婷婷五月色花丁香社区| 深爱五月激情网| 五月色情婷婷| 色A网| 少妇日麻屄| 丁香婷婷丁香五月欧美人| 人人草公开操| www.sd-xiangsu.cpm| 婷婷五月成人有| 久久永久网址| 丁香婷婷久久激情| 五月丁香六月综合激情网| 天天操九九插| 夜夜骑天天玩天天日| 亚洲第一色区| 精品乱码久久久久| 五月婷婷激情久久| 婷婷综合激情| 少妇高潮呻吟A片免费看软件 | www 五月天 com| 天天艹夜夜爽| 五月综合婷婷久久在线| 色小说五月天| 免费视频无码| 大香蕉综合| 99热在线只有精品| 国产精品18久久久| 青草性爱视频| 男女啪啪做爰高潮无遮挡| 国产又粗又大又爽又黄| aV直接看| 99精品九九| 99日视频在线| 大香蕉综合在线| 婷婷丁香社区网| anquye伊人| 九九在线免费观看| 性色五月天| 丁香久久五月婷综合| 丁香六月婷婷综合激情欧美| 天天综合色| 性一交一乱一交A片久| 中日韩美欧成人一区二区精品在线| 婷婷五月色播天| 色五月在线综合| 丁香婷婷婷五月综合色情| xx久久| 99热99干| 色五月婷婷五月久久| 青青草视频福利| 五月丁香天堂网| 激情五月丁香亭亭 | 亚洲国产婷婷色五月| 亚洲另类婷婷五月丁香在线播放| 五月婷婷无码专区| 亚洲色五月天| 五月婷婷之综合激情| 99这里有精品视频| www久久久久久久| 五月天激情网址| AAA久久| 欧美成性色| 五月婷人妻| 五月天色婷婷基地| 久久99热这里只频精品6学生| 婷婷五月综合社区| 国产av天堂| 97成人操| 99精品一二三四视频| 日本a片网址| 久久九九99字幕| 五月天婷婷在线AN| 色色射| 性色做爰片在线观看WW| 亚州婷婷五月激情综合| 丁香婷婷人妻| 婷婷丁香五月天中文字幕| AV人人操| 99色天堂| 丁香熟女乱| 亚洲网视屏| 六月婷伊人| 一级黄色尤物综合视频手机在线观看| 色色丁香婷婷综合| 国产精品人人做人人爽人人添| 亚洲一二三网| 久久98| 天天久久综合| 五月天操逼网| 少妇搡BBBB搡BBB搡毛茸茸| 91xxxx九色| 中文字幕成人| 天天色天天爱天天爽| 91干在线| 人与禽A片啪啪| 玖玖五月丁香| 久久与婷婷| 婷婷伊人网| 狠狠操狠狠爱| 91丁香色五月| 中文字幕婷婷五月天| 天天xxxxxx天天日| 九九热视频精品| 亚洲在线免费成人| 激情六月丁香| 五月丁香六月婷综合成人综合| www.97碰碰com| 婷婷五月色| 九九热99久久99| 欧美日韩99| 天天摸日日舔狠狠添婷婷婷 | 性韩日色婷婷五月天激情啪啪XXX| 婷婷五月天亚洲激情戏精品| 婷婷五月丁香色综合| 丁香五月综合| 五月婷婷六月丁香首页| 日本精品。999| 噜噜色婷婷| 9+1视频网址| 国内一级片| 麻豆雪千夏| 五月丁香六月婷婷中文版| 激情五月天视频| 俺去也婷婷| 久久女人九九| 欧美综合激情五月丁香| 99福利导航| 610018岁成人视频| 久久草大香蕉| 五月亭亭性| 99热超碰| 成人在线日韩欧美| 激情五月天免费视频| 日韩成人无码人妻| 亚洲永远av在线播放| 色情综合网| 丁香五月电影| 风流少妇A片一区二区蜜桃 | 色亭亭丁香五月天| 亚洲亚洲激情| 热99精品视频五月| 69人人操人人爽| Av狠狠色丁香婷| 激情五月影院| 久久婷婷六月综合国际| 激情五月天在线观看色婷婷| 欧美狠狠色| 国产精品久久久久久久久久免费| 人人操插| 久久这里都是精品| 色噜噜丁香| 丁香六月啪| 婷婷丁香77777| 亚洲美女网Va| 97色 五月天丁香| www.激情.com.| 五月天亚洲综合网| 亚洲丁香花五月丁香花| 五月丁香婷婷无码A∨| 婷婷激情人妻| 五月婷九九草| 五月天欧美激情| 久久精彩免费视频| 99综合自拍| 激情婷婷综合五月少妇| 婷婷六月色| 9久久AV| 人妻尝试久久久久久久久久久久| 色婷婷狠狠| 99九九综合久久九九| 天天色天天色天天色天天色天天色| 色综合99| 天天日色情| 99免费综合网| 97在线视频人妻九色| 91日婷婷在线| 五月天婷婷乱| 操操碰| 婷婷五月色综合| 999热在线视频| 国产又粗又大又爽又黄| 亚洲婷婷视频| 伊人婷婷色| 另类婷婷五月天啪帕帕| 开心五月婷婷在线视频免费观看| 综合色99| 青青.com| 殴美日比视频| 久久大香蕉视频| 色色哒五月婷婷六月丁香| 五月婷婷色| 九热视频| 超碰人人操在线| 99九九免费精品| 色五月丁香激情视频| 色婷婷五月在线| 亚洲婷婷久久综合| 欧美激情综合色综合啪啪五月| 天天爱天天天射AV| 久久这里99| 日日夜夜干| 99小视频| 久久92| 爱iii做iiii日日| 99秘 在线| 日韩成人免费电影| 色五月婷色彩免播放器| 日日爽日日| 操操国产| 成人免费高清在线播放| 97婷婷狠狠久久综合9色| 一级操逼内射在线视频| 婷婷五月综合中文字幕| 99re最新地址| 天天婬色综合| 欧美色爱五月天| 99热最新国内| 五月中旬婷婷丁香六| 亚洲亚洲人成综合网络| WWW丁香五月| 一本色道久久综合狠狠躁小说| 99婷五月| 一区二区三区四区无码| 国产毛片操B| 丁香狠狠| 四LLL少妇BBBB槡BBBB| 黄色99视频| 人人操97| 超碰在线人人| 亚洲4区国产欧美| 成人精品99| 免费视频1区| 五月婷婷婷婷婷| 综合久久十三| 激情五月天激情综合网| 97碰操| 亚亚州久久高潮| 国产伊人大香蕉| 开心五月婷婷婷美女| 色九月综合网| 久热超碰91| 狠狠第四色| 婷婷中文无码| 激情欧美婷婷| 色婷婷亚洲婷婷| 婷婷综合五月激情| 狠狠色综合五月人人| 丁香婷婷色五月天| 九色porny在线观看激情四射| 直接看的AV| 狠狠综合色网| 粉嫩av蜜桃av蜜臀av| 91九色国产| 精品久久99码| 538久久| 七月婷婷色香综合网| 五月丁香花激情综合网| 91丨九色丨老农村| 婷婷五月色亚洲| 99热在线观看成人| 久久激情五月| 99九色视频在线观看| 激情影院丁香五月| 五月丁香婷婷六月天| 丁香五月婷婷国产av| 丁香五月综合在线视频| 亚洲视频国产一区| 开心激情网在线| 婷婷五月花免费视频在线| 国自产拍偷拍精品啪啪一区二区| 夜夜爽天天日| 色色九九五月天 | www,超碰| 五月丁香大香蕉| WWW色综合| 99人妻碰碰久久久禁片| 成人开心五月天| 六月婷婷九月丁香| 五月天激情视频| 2020夜夜操天天爽| 激情五月天色色色| 99久在线| 激情五月激情综合网一级丸片| 欧美三级巜人妻互换| 五月婷婷久草在线视频综合| 性爱五月丁香| 超碰成人免费| 久久人妻在线| 欧美日韩成人在线观看| www.丁香五月| 成 人 色 色| 色情开心五月| 六月婷婷色综合| 婷婷丁香五月天小说| 99爱视频在线观看这里只有精品| 婷婷丁香五月激情图片| 色色综合热| 欧美 日韩 成人 在线| 天天摸.天天mo| 久久色大香蕉| 91九色视频在线观看| www.天天色综合| 亚洲成人无码专区| 综合五月天| 日本妈妈乱| 亚洲中文字幕AV在线| 久久性爱视频网站| 激情网站五月| 伊人在线大香蕉网| 91超级碰碰碰| 婷婷五月天性| 91婷婷色| 无码少妇高潮喷水A片免费| 欧州色色| 99热精品在线| 久久性都花花世界成人免费视频| 97干欧美| 开心五月婷婷在线视频免费观看| 99热日| 久久激情网| 色99热| AV在线大香蕉| 婷婷五月在线影院| 丁香六月激情四射| 五月丁香AV、伊人业余、性色熟妇| 我想看国产大学生口爆吞精的视频| 99视频精品| renre人人操国产超碰在线| 色综合色婷色基地| 五月婷丁香| 99色色色色| 九九九这里只有精品| 97色精品视频 | 婷婷99热| 天天综合天综合久久网| 97色婷婷成人综合在线观看| 五月天激情无码高清| AV动漫不卡无码免费| 久草热8精品视频在线观看| 五月丁香六月婷婷操操操| 六月丁香婷婷五月天| 日本三级99人妇网站| WWW.99热| 五月婷婷久草在线视频综合| 91狠狠色丁香婷婷综合久久| 97自拍视频网| 色婷五月天| 五月丁六月香| 丁香五月婷婷啪| 日本欧美999久久久三级片| 丁香婷婷影院| 色播播婷婷| 深情六月婷婷综合久久| 亚洲另类av| 熟妇人妻中文字幕无码老熟妇| 66成人网| 五月开心婷婷| 久久九九综合| www.色情五月天.com| 99在线精品观看99| 天天插天天插| 亚洲激情色色| 五月天婷婷色| 五月丁香亭亭AV女优| 婷婷丁香六月天| 六月天婷婷| 天天操夜夜夜拍拍拍| 91要啪| 开心色色五月天综合| 香蕉婷婷| 久久婷婷综合五月天| 热久久77777| 97色啪| www.wuyuetian啪啪| 久久性爱视频| www.com五月天| 亚洲 精品 综合 精品| 4399高清无码视频| 丁香性爱在线视频| 六月丁香网| 99精品免费视频| 五月丁香成人| 激情久久久| 色色婷婷色色| 天堂久久久久天堂网| 五月婷婷六月丁香综合在线| 激情开心五月天| 激情激情激情网| 99久久精| 99碰| 久久久久视剧HD| 思思热在线观看| 九色自拍| 日韩三级高清无码| 人人看人人要| 婷婷九月激情| 91精品久久久久久综合五月天| 五月婷婷www| 538在线精品| 亚洲精品午夜国产va久久成人| 99久在线精品99re8热| 色婷婷色久综| 久青青久| 超碰成人在线观看| 激情久久丁香| 九九视频在线观看视频在线播放69| 亚洲无码99| 99re热在线视频| 少妇激情五月天| 五月婷婷在线网站| 六月丁香啪| 成人在线不卡| 日韩精品一品二区三区的使用体验 | 台湾无码A片一区二区| 97婷婷五月天| 五月婷婷综合色啪首页| 婷婷五月色花丁香社区| 综合色99| 91.com男女操| 9999热在线观看| 婷婷五月精品| 五月婷婷香蕉| 青柠影视免费高清电视剧| 泰州成人视频| 九九色99| 猫咪伊人久久| 99视频激情四射| 色五开心五月五月深深爱| 夜夜做天天爽| 五月天免费色| 深爱五月激情网| 色五月综合| 波多野结衣AV无码Porn| 亚洲av午夜精品一区二区| 五月婷婷电影院| 极品少妇高潮啪啪AV无码| 97色婷婷| 大香蕉精品视频| 久久婷婷五月天激情| 婷婷五月激情视频在线| 99亚洲无码| 天天狠狠色| 五月天婷婷激情干干| 国产1区2区3区在线观| www色五月| 91九色大屁股| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲人人操| 激情综合网五月激情| 9久久婷婷国产综合精品性色| 五月天激情久久| 五月婷婷六月少妇激情| 在线可以看的av网址| 99在线视频在线观看| 五月天婷婷在线啪啪视频| 丁香午月AV中文字幕| 五月天亚洲图片婷婷| 高清视频一区| 亚洲视频五区| 91九色视频| 九九热中文| 丁香五月影视| 日本超碰在线| 丁香六月综合激情| 婷婷五月天成人导航| 91日韩在线| 五月天婷婷基地| 另类图片天天影视在线观看| 欧美色五月| 五月天色色色| 天天日天天舔天天摸| 婷婷激情五月综合| 久久这里这里有精品免费视频| 538午夜激情| 99re思思热在线视频| 99视频色在线观看| 亚洲激情校园| 南京搡BBBB搡BBBB| 五月丁香在线偷拍视频| 婷婷五月伦理| 亚洲亚洲永久无码777777| 桔色成人在线| 五月婷婷中文字幕AV| 精品人妻伦一二三区久| 色综合久久88色综合天天看| 久99视频在线观看| 六月丁香婷| 79精品视频在线观看,| 第五色婷婷| 狠狠色综合网| 国产婷婷色综合AV蜜臀AV| 国产又爽又猛又粗的视频A片 | 久久精彩视频| 精品影院| 99久操视频| wwww.9免费视频| 丁香五月婷婷欧美成人色图| 五月丁香九九| 婷婷精品在线| 国产VA播放| 色婷婷4| 思思w99| 狠狠插日日干撸| 开心激情五月天网| 综合激情在线| 夜夜撸夜夜骑| 四LLL少妇BBBB槡BBBB| 蜜乳av一级av| 婷婷狠狠爱| 亚洲XX网| 一区二区三区视频| 思思99精品视频| 美女主播野战视步页| 69色色视频| 婷婷久久丁香| 中文字幕av久久爽一区| 中文字幕黄色片| 国产又色又爽又黄又免费| 91久女| 激情淫乱男女| 97色色色| 可以免费看av网站| 丁香五月天啪啪激情综和网| 婷婷五月综合网| 婷婷色九月| 色五月婷婷五月天| 69凹凸成人综合网| 97伊人综合婷婷| 97干欧美| 五月六月丁香婷婷在线观看| 色婷婷色人人射| 丁香激惜男女| 婷婷之六月丁香| 五月婷婷婷| 色婷婷综合久久久久| www超碰| 91嫩草国产线观看亚洲一区二区| 九热电影av| 五月色网| 色综合五月婷婷狠狠干| 五月丁香婷婷综合视频| 婷婷丁香在线| 免费无码毛片一区二区A片| 九色1区视频在线| 激情综合99| 亚洲va日| 激情五月婷婷综合色播小说| 六月丁香婷婷综合狠狠爱夜夜爱| 996热| 97午夜一区二区| 97丁香五月| 五月婷婷 欧美| 五月天停停成人网| 超碰色综合| 婷婷五月丁香五月| www,99色| 91丨九色丨东北熟女| 玖玖爱资源站| 婷婷激情五月天在线视频| 丁香六月激情网C0W| 人人97碰| 做爰丰满少妇1313| 99啪在线| 狠狠色噜噜狠狠色噜噜噜999| 婷婷丁香激情五月天色色| 久久9热| 97人人草| 99热很操老逼| AV色五月婷婷| 丁香婷婷视频一区二区| 99热人人| 成人综合视频网址| 欧美天堂久久| 五月色欧洲| 99爱精品| 成人无码髙潮喷水A片| 婷婷色色丁香| 婷婷五月天视| 99色网站| 五月婷丁香| 9色免费网| 婷婷亚洲天堂| 激情丁香五月婷婷啪啪| 九九热九九| 综合av在线| 国产精品视频免费看| 色五月天综合| 免费国产视频| 色色欧美色色色| 棕合影院色色| 国产片色| 操碰91| 毛片九九九九九九九九18| 人人97碰| 丁香五月欧美色综合| 亚欧州精品视频| 密着浓厚中出乚交尾GvG935| 黄色五月婷婷| 亭亭五月天成人| 五月天婷婷在线AN| 午夜福利成人AV91| 亚洲激情 久久| 日本美女五月天| 欧美成人AAA片一区国产精品| 黄久久久| 99色热视频| 91超碰在线观看| 任你搞免费视频观看| 五月天亚洲图片婷婷| 99热无码首页| 9久热| 激情综合色婷婷啪啪六月天| 玖玖精品视频99| 五月天久久婷婷| 婷婷丁香五月社区亚洲| 婷丁五月| WWW免费视频碰碰碰碰| 清纯唯美 激情四射| 337p大胆噜噜噜噜噜91Av| 天天婷婷色六月| 婷婷精品| 91AV婷婷| 老司机伊人| 国产日韩欧美| 激情六月丁香| 99热亚洲精品| 香蕉久久国产AV一区二区| 大香蕉久久久| 六月丁香社区| 性色做爰片在线观看WW| www久久99| 强伦轩人妻一区二区电影| 午夜精品人妻无码一区二区三区| 久草大| 五月婷婷亚洲| 亚洲三A| 99精品热| 伊人五月综合网| 91综合视频丁香| 久久五月丁香伊人青草| 无码人妻电影| 伊人久久大香线蕉综合网站| 综合五月天天天天天五月| 99免费| 超碰无码318604| 狠狠操狠狠干综合| 国产这里只有精品| 婷婷五月丁香综合| 激情六月色| 五月丁香亭亭电影久久| 这里只精品| 99啪啪视频| 天久久久久| 思思久日精品视频| 无遮挡国产高潮视频免费观看 | 亚洲狠狠婷婷综合久久久| 久久99久久99久久99人受| 色综合狠狠色| 久久九九视频| 五月天婷婷婷| 五月丁香好婷婷姑娘综合网| 色婷婷激情视频| 99热官网| 欧亚洲在线高清视频| 大香线蕉伊人| 久热婷婷在线视频| 深爱五月日韩| 在线中文AV| 日韩黄黄| 九九色色| 一级黄色影片| 日本久久人| 亚洲婷婷综合视频| 色久综合天天做视频| 人妻熟人中文字幕一区二区 | 色狠狠色综合| 天堂久久丁香| 日韩无码人妻一区二区三区综合 | 久久久久久婷| 丁香五月第四色88| 久久精品国产AV一区二区三区 | 亚洲AV免费在线| 1024日韩| 天天肏视频| 91凹凸在线| 亚洲五月天激情| 五月色婷丁香| 激情伊人| 亚洲婷婷乱乱丁香| 日本精品人妻无码77777| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 99热在线播放| 另类图片色五月| 九热久| 欧洲色色| 激情五月婷婷视频一区二区三区| 综合网视频| 色婷婷亚洲综合天堂| 人妻VideOssS人妻| 大香蕉在九| 婷婷五月天99| 久久综合久色欧美综合狠狠 | 五月丁香五月婷婷| 欧美啪啪五月天| 这里只有精品免费| 久热爱大香蕉在线蜜臀悦色 | 99人人操| 色五月涩涩婷婷| 婷婷综合日本| 激情综合五月婷婷| 久久九精品| 婷婷五月天激情小说| 五月天婷婷涩涩| 久久精品只有这| 久久六月综合| 丁香五月成人社区| a片在线免费观看一区| 婷婷色正月| 1024你懂的欧美曰韩| 深爱开心激情| 久久影视婷婷五月| 五月天婷婷激情| 久久色五月天| 日本系列_4页_777FP| www久久久久久久97| www.99热视频| 婷婷丁香成人| 这里只有精品视频免费在线观看| 亚洲欧洲99| 久久五月丁香| 久久五月丁香六月婷| 欧美顶级少妇做爰HD | 国产99久| 日本社区五月天激情| 超碰在线播放免费观看| 天天干电影| 日本九九视频| 日韩成人中文字幕| 玖热精品综合视频| 色五月综合网| 五月丁香五月激情综合色综合| 欧美情色一区| 五月丁香龟婷婷| 欧美婷婷综合网| 日本天天操| 午夜成人网站在线观看| 91精品综合久久久久久五月丁香| 欧美色狠婷久| 色五月激情五月| 甈你aaaaa| 色婷婷精| 开心婷婷五月| 丁香五月婷婷亚洲综合精品| 色香欲综合| 五月婷婷久久开心网| 老妇六区| 天天爱夜夜爽| 国产综合婷婷| 五月天婷婷基地| 色播五月婷婷综合| AV在线不卡播放| 五月天六月婷| 久久9热| 国产成人网| 99热思思在线观看| se色婷婷视频| 婷婷五月天视频亚洲| 91精品91久久久中77777久久玖玖九九| 久久综合性| 亚洲人人96@| 六月婷婷综合网2| 婷婷开心激情| 在线成人网址| 99热久| 激情小说之五月| 97婷婷五月激情六月丁香伊人| 91丨九色丨丰满人妖| 激情图片亚洲| 无码一区精品一区视频| 丁香五月天AV| 久久婷狠狠色| 婷婷中文字幕| 99热这里只有精品最新地址获取| 色婷婷情片| 国产精品电影| 五月的婷婷六月丁香| 99ri6在线视频| 狠狠爱婷婷| 噜综合| 色99综合色88| 天天干天天拍| 久久机热这里只有精品免费视频| 91久久精品国产91性色TV| 熟女激情五月天 | 精久久色| 日本黄色在线观看| 九九热在线精品视频| 亚洲男人的天堂婷婷色五月| 久久综合五月| 色婷婷五月天偷拍| 五月丁香欧美| 亚洲成人中心| 婷婷伊人| 婷婷五月花西瓜| WWW.婷婷五月天.COM| 99色综合| 色五月影视| 97碰碰人人| 日韩精品无码一区二区| 夜夜爱网站| 超碰在线91| 丁香五月花影院| 色色色婷婷| 思思视频这里是精品| 超级碰碰一区| 狠狠香蕉| 婷婷开心综合人妻小说网址| 色色九九五月天| 99色在线视频| 五月天天天色| 婷婷色综合| 综合久久十三| 97香蕉久久超级碰碰高清版| 丁香婷五月天| 色五月婷婷激情基地| 久操大香蕉| 日韩AV大全| 久草婷婷| 免费色婷婷| 五月天色图| 一区二区三区四区无码| 人伦30P| 欧美成人猛片AAAAAAA| 天天人人人人人人人人人人人| 伊人青草成人| 操逼综合网| 激情婷婷丁香| www.com五月天| 热的国产99热| 久久一操| 久热9| 亚洲视频色婷婷| 好吊操这里只有精品| 久久伊人婷| 色综合婷婷| 久久人妻久久| 五月综合视频在线| 1囯产午夜仑鲁鲁| 26uuu欧美| 人妻久久久久久久 | 超碰1999| 五月色婷婷在线观看| 久久五月婷综合网| 91色色色| 综合婷婷五月天| 天天天天天色| 五月婷婷偷拍| 日B日潘金莲BB| 久久婷婷六月综合| 久播影院免费观看电视剧大全最新网| 香蕉久久国产AV一区二区| 亚洲人成播放网站| 亚洲五月天激情| 五月天婷婷激情在线色图| 九九热视频首页/这里只有精品| 亚洲自拍天堂| 亚洲亚洲人成综合网络| 九九婷婷综合| 五月网网站| 99色视| 欧美日韩国产一区二区| 色噜噜狠狠色综无码久久合欧美| www999日韩精品| 婷婷四色成人综合色视| 99热精品在线| 狠狠久久婷| 久久精品99国产精品日本| 中文字幕综合| 。久久久久久久久久久久久久人妻| 婷婷导航| 人人综合91网| 91精品久久久久久久久久| 亚洲精品国产成人AV在线| 婷婷.com| 欧美亚洲999| 九九热10| 99久热在线精品99re6热| 色五月婷婷久久| 2020日日干| 日韩精品无码99| 国产亚洲色婷婷99精品| 一本色道久久88加勒比—| 丁香五月婷婷色综合| 另类视频五月天| 激情六月天| 激情综合六月| 天天色综合色色色色色。| 人人性久久| 婷婷六久久| 日本精品久久久久中文字幕| 久久多色| 午夜丁香婷婷| 天天 青草 丝袜制服 在线| 秋霞免费三级片| 99色日本| 婷婷五月天丁香综合网| 欧美美女视频| 欧美日韩999| 99热只有| 都市激情五月婷婷亚洲| 激情欧美婷五月| 免费黄色视频网址| 97五月天婷婷综合激情网| 九九九九九九热| 丁香五月激情综合| 久久婷色| 色五月婷婷五月天| 五月丁香做爱视频| 一區四區歐美日韓| 丁香九月激情| 日本97在线| 二区成人视频| 成人草榴视频| 亚洲欧洲另类| 久久五月婷| 国产激情在线| 色爱亚洲| 狠狠撸激情综合丁香五月天俺来啦| 操笔无码| 丁香五月色| 国产精品成人AV在线| 婷婷丁香www视频日本韩国| 影音先锋五月婷婷| BBWCUCKOLD精品熟妇| 中文av网| 97人人超| 丁香五月色五月| 久久婷婷五月天蜜桃| 五月婷婷婷婷婷| 亚洲mm色| 欧美日韩大黄| 激情五月天在线观看婷婷| 久久人人九九| 91色吧网| 成人在线高清| 久久爱综合| 日本色啪| 91se视频| 人妻丰满精品一区二区A片| 久久久激情| www.五月天婷婷| 99综合免费视频| 亚洲在线操| 日韩黄色电影| 激情五月综合| 色情五月婷婷| 激情深爱五月| 激情五月婷婷色播网| 激情狠狠丁香月| 五月天成人在线精品| 九九视频这里只有精品在线播放| wWwCom夜操wwW| 丁香五月性| 久草 天堂| 96精品久久久久久久久| 久热超碰91| 五月天婷综合| 色玖玖玖| 亚洲人人操| 五月激情综合性爱| 五月天堂色色| 老师把我爽高潮了免费A片| 日韩有码一区| 99精品综合在线| 九九久久色| 丁香亚洲色综合| 色综啪啪| 色婷婷狠狠久久综合五月| 182.t午在线观看| 五月婷婷香蕉| 色色婷婷综合| 久久婷婷五月综合色丁香花| 五月综合激情啪啪啪啪啪| 97爱艹婷婷开心丁香激情综合| 日本色色影片| 曰韩五月丁香色婷婷无码| 涩丁香| 99在线视频网址在线观看| 日本色啪| 色婷婷亚洲综合天堂| 五月婷性爱| 色约约视频一区二区三区四区五区| 97色综合视频| 亚洲天堂有码| 超碰AV成人| 五月婷婷色啪| 手机旧版看人妻1025| 激情六月天婷婷| 亚洲最大在线| www色色色com| 嫩草AV久久伊人妇女超级A| 性色播| 狠狠做五月婷婷| www·五月天| 9999色色色色| 美女美女美女三级色天天天天天| 亚洲天天综合| 几激情五月婷婷色五月色天堂| 综合图片色色| 亚洲婷婷久久综合| 亚洲网视屏| 天天干夜夜想| 色噜噜婷婷| 99噜噜噜在线播放| 丁香五月婷婷社区| 伊人激情网| 婷婷五月无码| 色五月天丁香婷婷| 色婷婷综合视频| 开心久久xxx色| 婷婷美女精品视频| 人人干AV| 婷婷五月天激情丁香| 久久美女五月天| 色老久久| 国产免费一区二区在线A片视频| 六月激情网| 国自产拍偷拍精品啪啪一区二区| 97五月婷| 久久网址99热| 五月丁香久久呀| 久热9| 这里只有视频精品| 五月天全国最大成人网| 色了色综合| 久久视频在线| 五月天开心婷婷激情网站| 色色色婷婷五月| 婷婷五月情| 最近免费中文字幕大全高清大全1| 免费观看全黄做爰的视频| 26uuu色五月| 日本专区久久| 香蕉狠狠爱视频| 五月婷婷高清| 亚洲mm色| 99热精品在线免费观看| 国产精品色色| 啪啪啪大香蕉| 被强行糟蹋的女人A片| 蜜桃人妻无码AV天堂三区| 热久国产| 天天操夜夜操| 色色五月婷婷网| 9在线9在线婷婷在线国产| 2017狠狠干| 99热免费精品热久久66| 狠狠色丁香婷婷基地| 五月五婷婷| 亚洲黄色精品| 狠狠操狠狠爱| 久久九九激情五月天| 九九偷拍网| 久热91| 国产日韩欧美性生活| 婷婷五月天论坛| 丁香五月成人婷婷| 丁香桃色网| 无人区码一码二码三码医生系列| 殴美97色| 超碰免费人妻| 久久婷婷五月草视频在线播放| 五月激情网络| 91色吧网| www.色婷婷| 激情五月婷婷视频| 成人毛片在线免费观看| VA婷婷| 中文字幕色色色| 丁香婷婷九月| 五月婷婷丁香| 91大操| 超碰资源在线| 99惹在线精品免费观看| 五月丁香婷在线| AV成人在线播放| 操一操干一干| 五月天丁香婷婷久久九| 在线中文亚洲| www.99热最新视频8| 天天操狠狠操| 欧美人人操| 国产欧美日韩综合精品一区二区| 亚洲AV电影美洲AV电影| 香蕉综合在线| 天天干天天干天天干天天干天天| 色五月综合| 超碰精品在线| 婷婷色资源| 91seav| 五月丁香婷婷激情在线| www.99热| 激情婷婷五月天| 五月色亭丁香| 五月丁香花婷婷玉莉AV| 五月天婷婷婷| 九九色图| 岛国在线观看91| 激情啪啪五月| 久草久青福利| 中文在线视频久1| 五月丁香婷婷色| 99ri网站在线观看| 五月天丁香综合| 丁香五月98| 9l视频自拍九色9l视频在线观看| 五月丁香影院| 久久久久久久五月| 久久久久久久综合狠狠综合| 操日挥操日日| 亚洲1区| 色五月 婷婷, 大香蕉| 六月丁香综合| 黄页大全十八禁| 狠狠色狠狠| 八戒青柠影视剧在线观看| 丁香五月婷婷天堂大香蕉| 久久久er热| 五月天偷拍| 久久久婷婷婷| 一婬一伦一区二区三区| 日韩草草草草草草草草草草草草| 热99在线| 熟女激情五月天| 91人人人人人人人| 伊人五月天综合网| 俺去也五月天婷婷| 久久综合婷婷| 丁香五月天日韩无码| 99热这里只有精品268| 九九这里都是精品| 精品乱码久久久久| 91窝窝| 99热在线里有精品| 综合啪啪| 影音先锋91在线资源站| 欧美色久| 婷婷伊人久久综合| 五月天综合图片| 亚洲色五月| 婷婷丁香五月视频| 五月网激情| 可以免费观看的AV| 影音先锋91在线资源站| 激情六月丁香| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 俺去也五月天婷婷| 一级黄色操B| 五月婷婷亚洲综合网| 99啪啪网| 99热爆在线| 丁香六月婷婷激情综合| 青草五月天| 青柠影视免费高清电视剧| 天堂色婷婷| 狠狠干五月丁香综合网| 国产激情视频在线观看| 亚洲AV免费国产电影| 激情五月网站| 成人AV在线电影| 91干在线视频| 色综合爱综合| 91婷婷色五月| 婷婷94s| 丁香婷婷免费| 99热在线精品观看| 97婷婷五月丁香| wWw色五月| www.五月天色色.com| 超碰成人影视| 亚洲综合新99视频| 9l视频自拍9l九色9l成人| 91a片爽| 天天日夜夜高潮| 六月婷婷综合激情| 色吧网综合| 另类的婷婷| 色99自拍| 欧美日韩精品一区二区三区钱| 婷婷五六日| 97人人搞| 色yeye色综合| 天天橾日日橾夜夜橾17| 开心激情婷婷| 99色色| 人人爱国产|