欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux設(shè)備驅(qū)動工程師入門:從字符設(shè)備到設(shè)備樹的完整路徑

Linux設(shè)備驅(qū)動工程師入門:從字符設(shè)備到設(shè)備樹的完整路徑 角色定得挺準(zhǔn)——設(shè)備驅(qū)動工程師在不少人眼里確實(shí)帶著一層“神秘濾鏡”一來是平時(shí)很少直接接觸二來是薪資普遍不錯(cuò)網(wǎng)上還總有人說“沒個(gè)五年十年寫不了驅(qū)動”。我在嵌入式Linux這個(gè)圈子里混了十來年從應(yīng)用層一路折騰到內(nèi)核態(tài)今天就把這層窗戶紙捅破。你可以把這篇內(nèi)容當(dāng)成一份完整的職業(yè)觀察筆記也可以當(dāng)成一份入門地圖我會把Linux設(shè)備驅(qū)動工程師的真實(shí)工作內(nèi)容、核心技術(shù)棧、職業(yè)發(fā)展和入行路徑一次性講透包括我自己踩過的坑和復(fù)盤出來的經(jīng)驗(yàn)。無論你是在校學(xué)生、做應(yīng)用開發(fā)想轉(zhuǎn)內(nèi)核方向的老兵還是剛跳進(jìn)嵌入式行業(yè)的新人這篇都值得耐心讀完。1. “神秘感”是從哪來的這個(gè)崗位到底在做什么1.1 外界誤讀和真實(shí)工作場景的差距一提起設(shè)備驅(qū)動工程師很多人的第一反應(yīng)是“寫底層的很厲害但是不知道他每天具體在干嘛”。實(shí)際上這個(gè)崗位的工作范圍非常清晰讓操作系統(tǒng)能正確控制某一塊硬件。以手機(jī)為例屏幕、攝像頭、觸摸屏、Wi-Fi模塊、傳感器、電池管理芯片每一類硬件都需要對應(yīng)的驅(qū)動代碼操作系統(tǒng)才能調(diào)用它們干活。我一直覺得“神秘”這個(gè)印象主要來自三個(gè)原因第一驅(qū)動代碼跑在內(nèi)核態(tài)普通應(yīng)用開發(fā)者一輩子可能都碰不到內(nèi)核源碼第二驅(qū)動開發(fā)依賴具體硬件沒有開發(fā)板或者對應(yīng)的芯片文檔光看代碼很難建立實(shí)感第三內(nèi)核態(tài)出問題表現(xiàn)形式往往是系統(tǒng)崩潰、重啟、死機(jī)沒有應(yīng)用層那種清晰的報(bào)錯(cuò)堆棧排錯(cuò)難度看起來很高。但真實(shí)的工作場景其實(shí)沒那么玄乎。我日常做的事情大致可以分成五塊讀芯片手冊、看內(nèi)核現(xiàn)有框架、寫驅(qū)動代碼、調(diào)試硬件交互、配合應(yīng)用層調(diào)接口。芯片手冊是最核心的輸入比如你要寫一個(gè)I2C溫濕度傳感器的驅(qū)動第一步不是打開編輯器寫代碼而是把芯片的datasheet翻出來搞清楚寄存器地址、I2C從機(jī)地址、數(shù)據(jù)格式、轉(zhuǎn)換公式然后去找內(nèi)核現(xiàn)成的i2c_driver框架按規(guī)矩實(shí)現(xiàn)probe、remove、讀寫函數(shù)。1.2 為什么高薪高在哪里高薪這個(gè)問題我可以直接給結(jié)論這個(gè)崗位薪資高本質(zhì)上是供需關(guān)系和進(jìn)入門檻共同決定的。供給少是因?yàn)閮?nèi)核開發(fā)的學(xué)習(xí)曲線確實(shí)陡峭光是把Linux內(nèi)核的進(jìn)程調(diào)度、內(nèi)存管理、中斷系統(tǒng)、并發(fā)機(jī)制搞清楚就需要不短的時(shí)間需求多是因?yàn)楝F(xiàn)在的設(shè)備智能化程度越來越高從手機(jī)、汽車、路由器到醫(yī)療設(shè)備、工業(yè)控制器只要跑Linux系統(tǒng)就需要有人維護(hù)和編寫驅(qū)動。另外還有一個(gè)容易被忽視的原因驅(qū)動工程師承擔(dān)的責(zé)任邊界是模糊的。硬件工程師可以把鍋推給驅(qū)動說你軟件沒配好應(yīng)用工程師也可以把鍋推給驅(qū)動說我的數(shù)據(jù)一直讀不對。最后的定位環(huán)節(jié)往往是驅(qū)動工程師拿邏輯分析儀、示波器一根線一根線地排查。這種“兜底”能力加上內(nèi)核態(tài)開發(fā)本身對系統(tǒng)穩(wěn)定性要求的嚴(yán)苛程度自然推高了崗位價(jià)值。這幾年我觀察到的一線薪酬區(qū)間是應(yīng)屆生如果能拿出像樣的內(nèi)核學(xué)習(xí)項(xiàng)目起步基本高于普通應(yīng)用開發(fā)三到五年經(jīng)驗(yàn)、能獨(dú)立負(fù)責(zé)一個(gè)SoC平臺bring-up的工程師在一線城市的薪資非常有競爭力如果你還能搞定音頻、Camera、網(wǎng)絡(luò)這類復(fù)雜度更高的子系統(tǒng)薪資天花板還能繼續(xù)往上走。1.3 這個(gè)崗位的真正門檻不是寫代碼而是讀懂約束寫驅(qū)動代碼本身不復(fù)雜真正的門檻是讀懂硬件的約束。硬件不是軟件一些在應(yīng)用開發(fā)里完全不需要考慮的物理問題在這里必須時(shí)刻記在心里。比如寄存器寫入之后不是立刻生效的可能需要等待幾個(gè)時(shí)鐘周期某些寄存器是只讀的你不能想當(dāng)然地往里面寫值某些硬件模塊有嚴(yán)格的時(shí)序要求你在驅(qū)動里加一個(gè)調(diào)試printk都可能破壞時(shí)序?qū)е略O(shè)備莫名其妙工作異常。這也是為什么我一直強(qiáng)調(diào)做驅(qū)動開發(fā)耐心和細(xì)致比聰明更重要。聰明的頭腦能幫你快速理解框架但能不能沉下心來把200頁的芯片手冊啃完能不能一根信號一根信號地對照時(shí)序圖決定了你能在這個(gè)領(lǐng)域走多深。2. 最核心的入門骨架Linux字符設(shè)備驅(qū)動框架拆解2.1 為什么從字符設(shè)備入手關(guān)于Linux設(shè)備驅(qū)動網(wǎng)絡(luò)上被搜得最多的一個(gè)詞就是“字符設(shè)備驅(qū)動框架”。這完全合理如果你對驅(qū)動開發(fā)完全沒有概念字符設(shè)備就是最好的切入口。字符設(shè)備的典型特征是數(shù)據(jù)按字節(jié)流順序讀寫沒有固定大小的塊結(jié)構(gòu)。鍵盤、鼠標(biāo)、串口、溫度傳感器、LED燈全都是典型的字符設(shè)備。我見過不少新人一上來就想寫網(wǎng)絡(luò)驅(qū)動或者USB驅(qū)動我的建議是先打住。字符設(shè)備驅(qū)動框架雖然簡單但它覆蓋了驅(qū)動開發(fā)的完整生命周期模塊加載、設(shè)備注冊、文件操作接口實(shí)現(xiàn)、數(shù)據(jù)讀寫、模塊卸載。這個(gè)流程走通了你再看platform bus、PCI、USB、V4L2這些復(fù)雜的子系統(tǒng)會發(fā)現(xiàn)它們的核心骨架并沒有變只是掛接的總線和協(xié)議復(fù)雜了。2.2 框架里每個(gè)環(huán)節(jié)背后的“為什么”先看一個(gè)最精簡的字符設(shè)備驅(qū)動骨架然后我再逐行拆解每個(gè)環(huán)節(jié)的用意。#include linux/module.h #include linux/fs.h #include linux/cdev.h #include linux/device.h #include linux/uaccess.h #define DEVICE_NAME mydemo #define CLASS_NAME mydemo_class static dev_t dev_num; static struct cdev my_cdev; static struct class *my_class; static struct device *my_device; static int demo_open(struct inode *inode, struct file *filp) { pr_info(mydemo: open called\n); return 0; } static ssize_t demo_read(struct file *filp, char __user *buf, size_t count, loff_t *offset) { char kernel_buf[64] hello from kernel\n; size_t len strlen(kernel_buf); int ret; if (count len) return -EINVAL; ret copy_to_user(buf, kernel_buf, len); if (ret) return -EFAULT; return len; } static ssize_t demo_write(struct file *filp, const char __user *buf, size_t count, loff_t *offset) { char kernel_buf[128]; int ret; if (count sizeof(kernel_buf)) return -EINVAL; ret copy_from_user(kernel_buf, buf, count); if (ret) return -EFAULT; kernel_buf[count] \0; pr_info(mydemo: received %s\n, kernel_buf); return count; } static int demo_release(struct inode *inode, struct file *filp) { pr_info(mydemo: release called\n); return 0; } static struct file_operations fops { .owner THIS_MODULE, .open demo_open, .read demo_read, .write demo_write, .release demo_release, }; static int __init demo_init(void) { int ret; ret alloc_chrdev_region(dev_num, 0, 1, DEVICE_NAME); if (ret 0) { pr_err(mydemo: failed to alloc region\n); return ret; } cdev_init(my_cdev, fops); my_cdev.owner THIS_MODULE; ret cdev_add(my_cdev, dev_num, 1); if (ret 0) { pr_err(mydemo: failed to add cdev\n); goto err_unregister; } my_class class_create(CLASS_NAME); if (IS_ERR(my_class)) { ret PTR_ERR(my_class); goto err_cdev_del; } my_device device_create(my_class, NULL, dev_num, NULL, DEVICE_NAME); if (IS_ERR(my_device)) { ret PTR_ERR(my_device); goto err_class_destroy; } pr_info(mydemo: init success, major %d minor %d\n, MAJOR(dev_num), MINOR(dev_num)); return 0; err_class_destroy: class_destroy(my_class); err_cdev_del: cdev_del(my_cdev); err_unregister: unregister_chrdev_region(dev_num, 1); return ret; } static void __exit demo_exit(void) { device_destroy(my_class, dev_num); class_destroy(my_class); cdev_del(my_cdev); unregister_chrdev_region(dev_num, 1); pr_info(mydemo: exit\n); } module_init(demo_init); module_exit(demo_exit); MODULE_LICENSE(GPL); MODULE_AUTHOR(Your Name); MODULE_DESCRIPTION(A simple character device driver demo);這個(gè)例子看起來代碼量不大每一行都至少對應(yīng)一個(gè)內(nèi)核機(jī)制。alloc_chrdev_region的作用是向內(nèi)核申請一個(gè)未使用的設(shè)備號設(shè)備號由主設(shè)備號和次設(shè)備號組成。主設(shè)備號用來關(guān)聯(lián)驅(qū)動次設(shè)備號用來區(qū)分同一個(gè)驅(qū)動下的不同設(shè)備。這里選擇動態(tài)分配而不是寫死主設(shè)備號原則很簡單避免和系統(tǒng)已有的設(shè)備號沖突。cdev_init和cdev_add是把我們的file_operations結(jié)構(gòu)體注冊進(jìn)內(nèi)核的字符設(shè)備層。注冊成功之后用戶在應(yīng)用層打開/dev/mydemo這個(gè)節(jié)點(diǎn)內(nèi)核就能根據(jù)設(shè)備號找到對應(yīng)的cdev進(jìn)而找到我們實(shí)現(xiàn)的demo_open、demo_read這些函數(shù)。class和device的創(chuàng)建容易被新手當(dāng)成“可有可無的儀式感”其實(shí)非常關(guān)鍵。class_create之后再用device_create內(nèi)核會自動在/sys/class/下生成設(shè)備信息并且讓設(shè)備節(jié)點(diǎn)在udev的配合下自動出現(xiàn)在/dev/目錄里。沒有這一步你就只能手動mknod創(chuàng)建設(shè)備節(jié)點(diǎn)節(jié)點(diǎn)號一旦對不上應(yīng)用層打不開設(shè)備調(diào)試體驗(yàn)極差。2.3 最容易被新手忽略的承上啟下問題框架寫完了怎么驗(yàn)證你需要在開發(fā)板上或者虛擬機(jī)里用make編譯這個(gè)模塊用內(nèi)核源碼目錄下的Makefile做外部模塊編譯然后依次執(zhí)行sudo insmod mydemo.ko lsmod | grep mydemo ls -l /dev/mydemo echo hello /dev/mydemo cat /dev/mydemo sudo rmmod mydemoecho和cat分別觸發(fā)write和read路徑如果一切正常read會返回hello from kernelwrite的字符串也會通過pr_info打印到內(nèi)核日志里用dmesg就能看到。很多人在這一步碰到的問題是編譯報(bào)錯(cuò)找不到linux/module.h。這通常是因?yàn)闆]有把內(nèi)核頭文件裝好或者編譯時(shí)KDIR指向了當(dāng)前系統(tǒng)的運(yùn)行內(nèi)核而不是有完整源碼的目錄。這里有個(gè)我自己常用的配置思路如果是開發(fā)板就在板子的Linux源碼目錄下建一個(gè)驅(qū)動子目錄用內(nèi)核的obj-m機(jī)制來編譯如果是虛擬機(jī)裝好linux-headers-$(uname -r)再編譯基本能規(guī)避90%以上的頭文件問題。3. 從字符設(shè)備到真實(shí)項(xiàng)目繞過設(shè)備樹這一關(guān)不現(xiàn)實(shí)3.1 設(shè)備樹到底解決的是什么問題如果你搜“l(fā)inux設(shè)備驅(qū)動”幾乎一定會碰到“設(shè)備樹”Device Tree, DTS這個(gè)詞這也是當(dāng)前嵌入式Linux驅(qū)動開發(fā)繞不過去的核心概念。網(wǎng)上關(guān)于設(shè)備樹的討論很多但真正能把它講清楚的不多。我個(gè)人的理解方式是設(shè)備樹是嵌入式世界里硬件資源的登記冊。傳統(tǒng)的PC平臺硬件資源基本是標(biāo)準(zhǔn)的、固定的內(nèi)核啟動時(shí)可以通過PCI總線枚舉和ACPI表來發(fā)現(xiàn)硬件但嵌入式平臺的硬件情況千差萬別同樣是i.MX6ULL芯片A廠商的板子GPIO1_IO03接的是一顆LEDB廠商的板子GPIO1_IO03接的卻可能是一顆按鍵。內(nèi)核如果寫死某個(gè)GPIO是LED換一塊板子就廢了。設(shè)備樹的作用就是把“哪顆引腳接了什么東西”這樣的信息從內(nèi)核源碼中抽離出來變成可以被bootloader加載、可以被內(nèi)核解析的數(shù)據(jù)描述。設(shè)備樹文件.dts編譯后生成.dtbbootloader啟動內(nèi)核時(shí)把.dtb傳給內(nèi)核內(nèi)核通過解析設(shè)備樹來知道當(dāng)前板子上有哪些設(shè)備、寄存器地址是什么、中斷號是多少、引腳配置怎樣然后創(chuàng)建對應(yīng)的platform_device最終觸發(fā)我們驅(qū)動里的probe函數(shù)。3.2 probe函數(shù)的匹配邏輯和常見翻車點(diǎn)一個(gè)platform驅(qū)動核心入口不再是init函數(shù)里主動注冊設(shè)備而是靠設(shè)備樹里的compatible字符串和驅(qū)動里的of_match_table進(jìn)行匹配。以我手頭一個(gè)GPIO LED的驅(qū)動為例設(shè)備樹節(jié)點(diǎn)可能是這樣的myled { compatible mycompany,myled; gpio-led gpio1 3 GPIO_ACTIVE_HIGH; };驅(qū)動側(cè)的關(guān)鍵代碼是static const struct of_device_id myled_of_match[] { { .compatible mycompany,myled }, {} }; MODULE_DEVICE_TABLE(of, myled_of_match); static struct platform_driver myled_driver { .probe myled_probe, .remove myled_remove, .driver { .name myled, .of_match_table myled_of_match, }, }; module_platform_driver(myled_driver);這里最常見的翻車場景有兩個(gè)。第一設(shè)備樹里compatible寫的是mycompany,myled驅(qū)動里匹配表卻寫成了mycompany,my-led一個(gè)連字符之差probe函數(shù)永遠(yuǎn)不被調(diào)用第二修改設(shè)備樹源碼之后沒有重新編譯生成.dtb并更新到boot分區(qū)bootloader加載的還是老版本設(shè)備樹你調(diào)試一天都找不到原因。我在實(shí)際項(xiàng)目中排查過很多次這類問題經(jīng)驗(yàn)是先讀/sys/firmware/devicetree/base/目錄看內(nèi)核解析到的設(shè)備樹內(nèi)容是不是你修改后的版本再查/sys/bus/platform/devices/下有沒有生成對應(yīng)的設(shè)備節(jié)點(diǎn)最后看內(nèi)核日志里是否打印了platform myled: Driver myled requests probe deferral這類提示。按照這個(gè)鏈路排查基本能快速定位是設(shè)備樹沒生效、還是驅(qū)動匹配失敗。3.3 怎樣讀設(shè)備樹又不被繞暈初學(xué)設(shè)備樹你會看到一大堆reg、interrupts、clocks、pinctrl屬性。我的建議是不要試圖一把抓全先把最常用的幾個(gè)搞懂compatible負(fù)責(zé)匹配驅(qū)動reg負(fù)責(zé)描述寄存器地址和長度interrupts負(fù)責(zé)中斷號gpio相關(guān)屬性負(fù)責(zé)引腳操作clocks負(fù)責(zé)時(shí)鐘關(guān)聯(lián)。等你能讀懂一份簡單的i.MX或者全志平臺設(shè)備樹時(shí)再去看內(nèi)核的Documentation/devicetree/bindings/目錄那里面有每個(gè)設(shè)備類型對應(yīng)的bindings文檔是官方欽定的設(shè)備樹屬性說明。遇到不熟悉的IP對應(yīng)的bindings文檔一定要看屬性名寫錯(cuò)一個(gè)字符驅(qū)動probe都可能失敗。4. 內(nèi)核態(tài)和用戶態(tài)的邊界數(shù)據(jù)交互是驅(qū)動開發(fā)的命門4.1 copy_to_user和copy_from_user不是隨便用的寫字符設(shè)備驅(qū)動時(shí)你一定會用到copy_to_user和copy_from_user。為什么不能直接用memcpy呢原因有兩點(diǎn)。第一用戶態(tài)指針是虛擬地址內(nèi)核態(tài)不能假設(shè)它指向的物理內(nèi)存一定可訪問第二內(nèi)核必須保證安全性不能因?yàn)橛脩魝魅胍粋€(gè)野指針就讓內(nèi)核崩潰。copy_to_user和copy_from_user內(nèi)部會做地址合法性檢查并且根據(jù)當(dāng)前進(jìn)程的頁表來完成用戶態(tài)和內(nèi)核態(tài)之間的數(shù)據(jù)拷貝。如果拷貝失敗會返回未拷貝完成的字節(jié)數(shù)。我在代碼里會刻意檢查這個(gè)返回值一旦非零直接返回-EFAULT給應(yīng)用層讓應(yīng)用層知道是地址傳錯(cuò)了還是緩沖區(qū)太小。4.2 為什么需要ioctl它在實(shí)際項(xiàng)目中怎么用在應(yīng)用開發(fā)里你調(diào)用read和write就能完成大部分?jǐn)?shù)據(jù)交互但到了驅(qū)動開發(fā)很多操作無法用“讀”或“寫”來抽象。比如你想讓串口驅(qū)動修改波特率讓攝像頭驅(qū)動切換分辨率讓LED驅(qū)動改變閃爍模式這時(shí)候就需要ioctl。它本質(zhì)上是一個(gè)命令分發(fā)器通過不同的cmd告訴驅(qū)動“我要做什么”。一個(gè)簡單的LED驅(qū)動我通常會這樣定義命令#define MYLED_MAGIC L #define MYLED_SET_ON _IO(MYLED_MAGIC, 1) #define MYLED_SET_OFF _IO(MYLED_MAGIC, 2) #define MYLED_GET_STATE _IOR(MYLED_MAGIC, 3, int)然后在file_operations里實(shí)現(xiàn).unlocked_ioctl。用戶態(tài)通過ioctl(fd, MYLED_SET_ON)來點(diǎn)亮LED。需要注意的是現(xiàn)代內(nèi)核里一般用unlocked_ioctl而老的ioctl字段已經(jīng)被移除了。做驅(qū)動開發(fā)時(shí)如果抄到老代碼編譯報(bào)錯(cuò)不要慌把.ioctl改成.unlocked_ioctl往往就好了。4.3 mmap高吞吐場景下的終極方案如果驅(qū)動和應(yīng)用層之間需要頻繁傳遞大量數(shù)據(jù)比如攝像頭采集的幀數(shù)據(jù)、GPU處理后的圖像數(shù)據(jù)用read/write拷貝來拷貝去性能是不行的。這時(shí)候可以用mmap讓用戶態(tài)進(jìn)程直接把設(shè)備的物理內(nèi)存映射到自己的虛擬地址空間省掉內(nèi)核態(tài)的中間拷貝。我在實(shí)際項(xiàng)目里用mmap做過圖像傳感器數(shù)據(jù)采集吞吐量確實(shí)提升明顯但它也引入了新的復(fù)雜度。最典型的問題是緩存一致性CPU和設(shè)備DMA同時(shí)對同一塊內(nèi)存操作時(shí)可能會出現(xiàn)數(shù)據(jù)不一致。你需要搞清楚是否要調(diào)用dma_alloc_coherent分配一致內(nèi)存或者用dma_map_single配合適當(dāng)?shù)耐浇涌趤砭S護(hù)cache。這塊知識點(diǎn)比較深入新手階段可以先了解mmap能解決什么問題、引入什么代價(jià)等真正做視頻方向時(shí)再深入。5. 并發(fā)、中斷和時(shí)間驅(qū)動工程師真正燒腦的三座山5.1 并發(fā)場景比應(yīng)用開發(fā)殘酷得多應(yīng)用開發(fā)里用多線程處理并發(fā)加把鎖基本能解決大部分問題驅(qū)動開發(fā)里并發(fā)可能來自進(jìn)程上下文、中斷上下文、多核CPU同時(shí)訪問還有底半部機(jī)制tasklet、workqueue、軟中斷。任何一條路徑上對共享數(shù)據(jù)的非原子訪問都可能引起競態(tài)條件。踩過坑之后我才理解驅(qū)動里加鎖的第一原則不是“所有地方都加”而是“明確每個(gè)共享數(shù)據(jù)的保護(hù)責(zé)任”。自旋鎖適合臨界區(qū)很短、不能在持有鎖時(shí)睡眠的場景互斥鎖適合臨界區(qū)較長、允許睡眠的場景。如果在自旋鎖里調(diào)用了一個(gè)可能睡眠的函數(shù)比如kmalloc時(shí)用了GFP_KERNEL系統(tǒng)可能會在持鎖期間被調(diào)度出去死鎖就是大概率的事情。5.2 中斷上下文里不能做的那些事中斷處理是驅(qū)動開發(fā)中另一個(gè)容易翻車的領(lǐng)域。硬件觸發(fā)中斷后CPU會跳到中斷處理函數(shù)此時(shí)系統(tǒng)處于中斷上下文很多常規(guī)操作是被禁止的。比如你不能直接調(diào)用會睡眠的函數(shù)wait_event、mutex_lock至少要避免不能訪問用戶空間甚至獲取某些鎖也要特別小心。正確的套路是頂半部加底半部上半部handler里只做最緊急的事比如讀取硬件狀態(tài)寄存器、清除中斷標(biāo)志、把數(shù)據(jù)放入緩沖區(qū)然后觸發(fā)底半部底半部里再處理真正耗時(shí)的操作比如數(shù)據(jù)解析、喚醒等待隊(duì)列。常用的底半部機(jī)制有tasklet、workqueue和threaded IRQ。我的習(xí)慣是能用request_threaded_irq就用中斷線程化主中斷處理函數(shù)里只做標(biāo)記和確認(rèn)其余工作全部丟給線程簡單清晰也不容易出問題。5.3 時(shí)間感知和延時(shí)操作驅(qū)動工程師必須對時(shí)間敏感。硬件操作里經(jīng)常需要微秒級延時(shí)比如傳感器上電后要等10ms才能開始I2C通信寄存器寫完后要等100微秒才能讀狀態(tài)。在內(nèi)核態(tài)不同精度的延時(shí)函數(shù)適用場景完全不同我按自己的經(jīng)驗(yàn)整理了一個(gè)參考表函數(shù)精度適用場景注意事項(xiàng)udelay微秒級忙等待不可睡眠時(shí)用長延時(shí)浪費(fèi)CPU小于10us建議用它mdelay毫秒級基于udelay封裝不推薦用于長延時(shí)的輪詢場景usleep_range微秒到毫秒允許睡眠的上下文比udelay省電推薦在進(jìn)程上下文用msleep毫秒級允許睡眠實(shí)際睡眠時(shí)間可能比請求值長schedule_timeout任意讓出CPU直到超時(shí)常用于等待特定條件踩過的坑是在中斷上下文誤用usleep_range。它其實(shí)會調(diào)度睡眠中斷上下文里一調(diào)用系統(tǒng)直接報(bào)BUG: sleeping function called from invalid context??吹竭@個(gè)報(bào)錯(cuò)先檢查你的調(diào)用點(diǎn)是不是在中斷里。5.4 大規(guī)模并發(fā)調(diào)試的笨辦法和巧辦法內(nèi)核并發(fā)問題復(fù)現(xiàn)困難調(diào)試更困難。我的經(jīng)驗(yàn)是按這個(gè)順序來先靠代碼審查把每個(gè)共享變量的訪問路徑列出來畫出可能發(fā)生競態(tài)的組合這一步能解決七成問題再用lockdep檢測死鎖開機(jī)參數(shù)里加lockdep如果代碼存在鎖序問題內(nèi)核會打印詳細(xì)的死鎖報(bào)告最后才是我個(gè)人最喜歡的bpf工具在開發(fā)板上用bpftrace掛到特定的內(nèi)核函數(shù)上統(tǒng)計(jì)鎖等待時(shí)間、臨界區(qū)執(zhí)行時(shí)間比盲目加printk高效得多。6. 驅(qū)動開發(fā)的支撐生態(tài)調(diào)試工具與真實(shí)項(xiàng)目工作流6.1 沒有示波器和邏輯分析儀你寸步難行很多人寫驅(qū)動把精力全部放在代碼上忽略了硬件調(diào)試工具的重要性。我的觀點(diǎn)是驅(qū)動工程師的必備裝備不只是鍵盤還有邏輯分析儀和示波器。調(diào)I2C設(shè)備時(shí)邏輯分析儀能直接抓出SDA和SCL上的波形對照芯片手冊的時(shí)序圖一眼就能看出是不是地址錯(cuò)了、ACK位丟了調(diào)UART時(shí)波形能告訴你波特率是否匹配。kernelside的軟件調(diào)試手段當(dāng)然也重要。dmesg看內(nèi)核日志/proc和/sys接口看運(yùn)行時(shí)狀態(tài)ftrace追蹤函數(shù)調(diào)用棧printk雖然笨但好用。不過我真心的建議是屬性調(diào)試信息不要直接丟在release版本里可以用pr_debug加動態(tài)調(diào)試開關(guān)看日志時(shí)通過/sys/kernel/debug/dynamic_debug/按模塊開啟這樣既保留了排查能力又不拖累線上性能。6.2 一個(gè)真實(shí)的驅(qū)動開發(fā)迭代過程我把一個(gè)典型的驅(qū)動開發(fā)任務(wù)拆成六個(gè)階段方便你對照自己的工作流有沒有遺漏。階段一拿到硬件和芯片手冊先做“靜態(tài)資料分析”把寄存器、中斷、引腳定義列成清單搞清楚這個(gè)設(shè)備在內(nèi)核里屬于哪一類子系統(tǒng)有沒有現(xiàn)成的驅(qū)動框架可以復(fù)用。階段二搭好最小驗(yàn)證環(huán)境確認(rèn)開發(fā)板能啟動系統(tǒng)能加載HelloWorld模塊串口和網(wǎng)絡(luò)調(diào)試通道都可用。階段三實(shí)現(xiàn)設(shè)備樹節(jié)點(diǎn)和probe函數(shù)先不急著做業(yè)務(wù)功能只驗(yàn)證“驅(qū)動能被正確綁定到設(shè)備”。階段四實(shí)現(xiàn)基礎(chǔ)讀寫接口用簡單的read/write把寄存器讀出來驗(yàn)證硬件寄存器映射是否正確。階段五補(bǔ)齊中斷、并發(fā)、數(shù)據(jù)交互等完整邏輯這階段最耗時(shí)也是問題的高發(fā)期。階段六穩(wěn)定性測試和優(yōu)化連續(xù)運(yùn)行、并發(fā)壓力、異?;謴?fù)這些都要覆蓋。6.3 沒有開發(fā)板也能學(xué)嗎模擬環(huán)境是起步利器看到這里如果你還沒有任何硬件但想開始學(xué)驅(qū)動完全可以從虛擬環(huán)境起步。QEMU可以模擬一個(gè)完整的ARM開發(fā)板很多開源項(xiàng)目分配了可以運(yùn)行的“virt”機(jī)器你可以在純軟件的Ubuntu主機(jī)上編譯內(nèi)核、加載模塊、創(chuàng)建設(shè)備節(jié)點(diǎn)、用應(yīng)用層程序調(diào)用底層驅(qū)動。嵌入式Linux社區(qū)也提供了很多現(xiàn)成的QEMU鏡像自帶內(nèi)核源碼、工具鏈和文件系統(tǒng)你只要按文檔跑起來就能完成字符設(shè)備驅(qū)動、中斷驅(qū)動甚至簡單的gpio模擬。我個(gè)人當(dāng)年還用過另一種組合在虛擬機(jī)里跑一個(gè)老版本內(nèi)核的發(fā)行版比如Ubuntu 20.04自己下載對應(yīng)內(nèi)核源碼重新編譯然后用qemu-system-x86_64加載這個(gè)新內(nèi)核在里面做驅(qū)動實(shí)驗(yàn)。雖然不如真實(shí)開發(fā)板來得直觀但用來理解框架和API綽綽有余。7. 入行路徑與面試考察點(diǎn)從我面試和被面試的經(jīng)驗(yàn)說起7.1 想從應(yīng)用開發(fā)轉(zhuǎn)驅(qū)動需要補(bǔ)哪些課經(jīng)常有人問我現(xiàn)在做Linux應(yīng)用開發(fā)轉(zhuǎn)驅(qū)動方向需要準(zhǔn)備什么我的建議是從三個(gè)方面入手。C語言要重新按內(nèi)核風(fēng)格來練。內(nèi)核用的是C89風(fēng)格、GNU擴(kuò)展不能依賴各種庫函數(shù)不能隨便用printf很多操作要自己操作鏈表和哈希表。建議先精讀Linux內(nèi)核源碼里的include/linux/list.h把鏈表操作練熟。操作系統(tǒng)基礎(chǔ)要補(bǔ)充到內(nèi)核級進(jìn)程調(diào)度、內(nèi)存管理、中斷機(jī)制這些不能只停留在概念上要能結(jié)合源碼說出實(shí)現(xiàn)。硬件知識要補(bǔ)起來至少能看懂芯片手冊理解GPIO、I2C、SPI這些接口的基本時(shí)序。7.2 面試官到底在面試什么面試時(shí)很多候選人的簡歷寫得很漂亮項(xiàng)目經(jīng)歷里堆了各種技術(shù)名詞但一問細(xì)節(jié)就露餡。設(shè)備驅(qū)動方向的面試我個(gè)人關(guān)注的點(diǎn)通常有這幾個(gè)第一內(nèi)核模塊的加載和卸載流程是什么module_init的機(jī)制你怎么理解第二字符設(shè)備驅(qū)動注冊需要哪些步驟設(shè)備號怎么分配第三中斷上下文中哪些事情不能做第四自旋鎖和互斥鎖的區(qū)別什么場景用哪個(gè)第五設(shè)備樹的作用和匹配流程。此外我會故意問一些“看起來簡單但需要真懂”的問題比如printk能用在中斷上下文嗎copy_to_user失敗返回什么這些問題不是考背概念而是看你能不能基于底層原理做出正確判斷。7.3 長期成長路徑從驅(qū)動工程師到系統(tǒng)級工程師設(shè)備驅(qū)動這個(gè)崗位長期發(fā)展路線其實(shí)很寬。你可以往某個(gè)垂直子系統(tǒng)方向深耕比如成為音頻系統(tǒng)工程師、Camera系統(tǒng)工程師、網(wǎng)絡(luò)驅(qū)動專家也可以從驅(qū)動拓展到整個(gè)內(nèi)核子系統(tǒng)往內(nèi)核內(nèi)存管理、調(diào)度器方向發(fā)展還可以往系統(tǒng)級架構(gòu)走涵蓋bootloader、內(nèi)核裁剪、文件系統(tǒng)、功耗優(yōu)化、安全啟動成為真正能hold住整個(gè)系統(tǒng)的系統(tǒng)級工程師。我自己比較強(qiáng)烈的感受是驅(qū)動開發(fā)給的技術(shù)視野是整個(gè)Linux系統(tǒng)中比較獨(dú)特的一種——因?yàn)閺挠布拇嫫鞯絻?nèi)核框架到應(yīng)用接口要全鏈路理清持續(xù)做幾年之后你對“一個(gè)數(shù)據(jù)從硬件到用戶態(tài)到底經(jīng)歷了什么”會有非常清晰的認(rèn)知。這份“底層連接感”是驅(qū)動工程師最值錢的長期資產(chǎn)。8. 寫在最后破除“神秘感”后這個(gè)方向值不值得投入設(shè)備驅(qū)動工程師再神秘拆開來看也只是“通過內(nèi)核代碼讓硬件正確工作”的工程師。它高薪的原因并不神秘門檻不低、責(zé)任不小、供給有限。如果你正在思考要不要入這一行我想給你幾條非常實(shí)際的經(jīng)驗(yàn)。第一不要被“內(nèi)核很可怕”嚇退。Linux內(nèi)核源碼看似龐大但你不需要全部掌握。你只需要先吃透一條主線比如“字符設(shè)備怎么從應(yīng)用層到驅(qū)動再到硬件”然后沿著這條線不斷向縱深擴(kuò)展內(nèi)核對你就不再是一團(tuán)迷霧。第二一定要買一塊開發(fā)板不用太貴正點(diǎn)原子或者野火的入門級板子就夠用了。有硬件在手上你才能真正把驅(qū)動代碼跑起來才能真正理解中斷的實(shí)時(shí)性和設(shè)備的物理行為。第三保持寫筆記的習(xí)慣。驅(qū)動力開發(fā)中各種宏定義、匹配規(guī)則、報(bào)錯(cuò)格式都不是一錘子買賣能記住的我這么多年下來遇到不明報(bào)錯(cuò)時(shí)翻自己筆記的次數(shù)遠(yuǎn)多于重新查代碼的次數(shù)。如果你正在找工作我會建議把“至少自己動手寫一個(gè)完整驅(qū)動項(xiàng)目”作為底線。這個(gè)項(xiàng)目不一定要多復(fù)雜但一定要完整——從設(shè)備樹節(jié)點(diǎn)到驅(qū)動代碼到應(yīng)用層測試程序全套跑通。面試官看到這樣的項(xiàng)目基本能確認(rèn)你不是只搬運(yùn)過示例代碼的人。驅(qū)動開發(fā)這條路前期確實(shí)燒腦但熬過那個(gè)“什么都連不上、什么都不知道為什么”的階段之后你會獲得一種極強(qiáng)的掌控感。那種你能清楚地知道系統(tǒng)每一層在干什么、每一個(gè)硬件行為背后邏輯的感覺是這份職業(yè)最迷人的地方。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情文学 综合 九月| 99re久久| 99精品丁香五月| 天天骑天天操| 就爱操www com| 黄色中文字目| 人人干av| 婷婷五月天网| 色视五月天婷婷| 大战熟女丰满人妻AV| 亚洲十月婷婷综合| 亚洲综合五月天| www久久久久久久97| 无码免费人妻A片AAA毛片西瓜| 婷婷丁香五月天小说| 激情丁香五月天图片| 99热这里只有精品8| 天天搞天天爽| 超碰九九热| 丁香五月AV综合| 少妇高潮呻吟A片免费看软件| 激情丁香五月婷婷| 丁香五月狠狠在线观看| 色激情网| 最新日韩久热免费视频看看| 成人精品一区二区三区四区五区 | 日韩有码一区| 亚洲xx网| 婷婷四月 成人 狠狠干| 欧美色爱五月天| 五月色婷婷影院| 拍真实国产伦偷精品| 婷婷久久欧美| 99热欧| 丁香五月婷婷在线视频| 五月丁香777| 黄色中文字目| 99热99ai| 国产九九一区二区三区| 婷婷五月丁香激情图片| 色综合av超碰| 99久热在线精品| 激情婷婷五六月天| 婷婷97碰碰| 99精品视频在线观看| 综合网狠狠| 97色 五月天丁香| 中文字幕av在线| 激情五月天小说网| 超碰a女人的天堂| 丁香六月无码| 亚洲最大五月六月丁香婷婷| 五月天激情综合首页| 日韩AAA| 激情五月丁香亭亭| 久久人妻超碰一区| 丁香婷婷精品视频| 91久久九久久九久久九久久九久久| 五月花婷婷| 99五月婷| 久久视频这里99| 成人短视频在线观看| 激情av在线| 很很干天天干| 九九精品丁香花| 91婷婷在线| 五月中旬婷婷丁香六| 婷婷九月丁香| 久一网站| 日日综合网| AV性爱在线| 激情电影五月婷婷| 婷丁香久综合| 五月天婷婷av| 91在线视频综合| 天天模,夜夜模夜夜爽| 91人人爽狠狠狠| 丝袜熟女一区二区三区| 青青草婷婷综合五月| 97人人干人人操| 激情五月天色色色| 91oumei| 5月色婷婷| 国产97色在线| 丁香五月婷婷五月| 亚洲色99| 色婷婷无吗| www.爱操com.| 无码人妻少妇色欲AV一区二区| 久久92| 五月丁香淫淫婷婷婷| 五月婷婷深深爱| 婷婷中文无码| 伊人久久婷| 欧美日韩精品一区二区三区钱| 五月天婷婷久色| 91精品国产综合久久密臀| 五月丁香激情综合啪| 丁香婷婷五月天色综合| 欧美69久成人做爰视频| 婷婷丁香五月av| 久久伦乱| 丁香五月综合| 综合狠狠干| 91精品婷婷国产综合久久| 色色色色色日韩午夜激情 | 婷婷五月丁香六月| 婷婷自拍| 亚洲热视频在线| 亚洲九九视频| 成人做爰A片免费看视频| 91干视频| 久久精品女人天堂AAA| 我爱大香蕉| 欧美日韩成人在线网站| 丁香桃色网| 亚洲午夜电影| 狠狠香蕉| 五月色婷婷亚洲 | 香蕉AV777XXX色综合一区| 伊人干练久| 日韩在线9| 视频久久9| 婷婷中文字幕| 亚州色婷婷| 婷婷五月在线观看| 久久久久久久久月丁| 色婷婷成人做爰A片免费看网站 | 这里只有精品,日韩视频| 色六月天天激情综合网| 激情五月婷婷丁香| 中文成人在线| 久久久久久久97| 26UUU在线观看| 亚洲AVwwwwwww| 99热在线这里只有精品| 婷婷丁香无码专区| 丁香五月色五月婷婷宗合| 九九色热| 五月天另类小说久久小说网| 激情黄色小说色五月| 婷婷激情六月| 丁香五月婷婷99| 婷婷五月天xxx| 亚洲碰碰碰| 亚洲欧洲另类图片| 久久这里在精品视频| 九九在线精点品| 99热免费精品| 超碰成人在线观看| 五月天激情四射网站| 久久人妻视频| 9视频1在线| 激情综合网五月婷婷| 无码激情| 国产99久久久国产精品免费看| 啪啪啪五月天| 老师把我爽高潮了免费A片| 国产欧美va| 1024在线观看免费视频| 五月激情婷婷开心五月| 99热在线观看| 五月婷婷色男女| 国产婷婷综合在线免费视频| 一级无码作爱片| 激情五月天开心网丁香无码| 色五月激情综合网| AV在线资源| 激情五月婷婷老师| 五月丁香狠狠爱婷婷综合| 天天舔天天插天天爱| 九九在线视频| 九九精品热播| 久久免片| 色婷婷久久7777| 五月丁香综合久久| 色五月亚洲| 激情文学天天| 99热精品在线播放| 狠狠色综合网| 91超级碰碰碰| 桃色激情婷婷伊人网| 99色| 深爱五月中文字幕| 五月丁香欧美综合| 亚洲熟妇AV乱码在线观看| 九九热在线视频观看| 乱码操操| 欧美一级a | 啪啪五月婷婷| 六月婷婷色综合| 久色中文| 黄网在线免费观看| 中文字幕91,综合| 99热这里只有精品99| 五月天基地| 天天干天干| 9久久精品| 亚洲视频五区| 97婷婷狠狠| 五月婷婷啪啪啪| 色综合激情| 色婷婷深爱五月| 自拍视频99| 99久在线精品99re8| 婷婷五月丁香色情| 丁香五月久久| 五月色情精品| 99热在线播放| 激情99| 婷婷色播综合五月| 91chinese在线| www。五月,com| 天天日夜夜拍| 天天干,夜夜爽| 91一起艹| 亚洲小说五月婷婷| 91丨九色丨首页| 精品网站:999WWW| 日本激情ⅩXX免费视频| 久久在线92| 97人妻超级碰碰碰碰碰| 9久热在线视频精品| 五月婷婷69| 婷婷七月丁香色色| 玖玖热视频| 激情五月天婷婷激情| 六月丁香久久| 狠狠色婷婷六月激情网| 日韩综合久久| 婷婷五月婷婷五月天| 美女天天爽| 久久99精品久久久久久噜噜| 蜜桃人妻无码AV天堂三区| 2025天天爽天天摸| 六月激情丁香一道本7777| 99re热免费观看视频精品| 第1影院之五月婷婷| 婷婷五月天综合久久| 变天就操逼婷婷五月| 五月亭亭开心网| 淫荡工a| 第四色婷婷日本| 五月婷婷开心深| 五月天社区| \\五月天婷婷激情| 色五月婷婷综合在线| 欧洲激情五月天| 伊人久久大香线蕉av一区| 国产在线网址1| 五月激情影院| 可以免费观看的AV| 五月婷婷综合在线| 人妻久久久久久久| 色五月色五天色情网| 夜夜夜天天操| 丁香五月天激情| 香蕉久久国产AV一区二区| 色欲天天综合网| 日日骑夜夜撸| 亭亭玉月丁香| 亚洲传媒在线观看| 国产成人网| 五月天色婷婷网| 久碰视频| 玖玖综合色| 无码人妻一区| 偷拍五月丁香| 东北婷婷五月天| 久久激情综合| 丁香六月婷婷综合麻豆| 亚洲五月婷天天操| 五月激情综合激情五月| 日本在线免费中文com.| 五月婷丁香在线视频在线| 最新日本A片| 综合色久| 丁香五月综合激情久久潮喷| 噜噜综合网| 婷婷丁香69精华| 蜜桃婷婷丁香综合久久开心亚洲| 久热大香蕉| 欧美婷婷综合网| 午夜天天精品视频| 色婷婷丁香AV综合| 激情超碰网| 九九精品免费视频99| 久久久久久婷| 五月丁香婷婷六月| 色噜噜婷婷| AV性爱网| 五月婷婷婷婷网| 欧美槡BBBB槡BBB少妇| 色色性爱视频| 婷婷六月天激情| 色婷婷五月综合在线| 伊人影音无码一区二区三区| 午夜激情综合| 婷婷丁香激情综合色情| 9191avse| 九九热这里只有精品7| 国产色视频网站2| 狠狠色综合图片| 免费黄色片子| 天天插天天射| 国产免费性爱| 一级片操逼视频| 免费视频WWW在线观看网站| 五月婷婷色| 99热这里只有精品55| 久九色| 操碰97| 色九月| 色婷丁香91| 丁香五月 无码| 九九九九无码| 亚州色婷婷| 色色99色色| 欧美毛片www| 婷婷五月色惰| 丁香五月黄色| 婷婷黄色| 久久99热这里| 97碰碰草| 亚洲成人av在线播放| 国产偷人爽久久久久久老妇APP| 亚洲九区| 日日干五月天婷婷| 襙逼网| 亚洲一二三网| aaaa久久| 久久久久久久久久久久久9| 亚洲美女婷婷五月天| 91欧美| 久久精品66| 久久总和99| 热99这里只是精品| 亚洲操B视频| 婷婷综合久久综合| 日本99在线视频| 99热精品观看| 亚洲经典三级| 色婷婷亚洲综合av| 五月天色色激情综合| 五月婷婷丁香大陆免费| 狠狠草网| 久久人妻超碰一区| 日本色爽| 伊人五月综合网| 91蜜桃婷婷狠狠久久综合9色| 极品人妻VIDEOSSS人妻 | 婷婷久久色| 亚洲愉拍99热成人精品| www.99热. com这里只有精品| 超碰人人操人人干| 美女精品一级不卡视频| 狠狠色噜噜色狠狠狠综合久久成人波 | 天天插天天狠| 亚洲国产精品VA在线看黑人| 丰满少妇猛烈A片免费看观看| 日本eVa一区=区视频| 激情综合丁香六| 最新久久99视频网站| 91色五月| 亚洲天堂AAA| rr天天操| 天天影院色| 亚洲天堂久久| 92久操视频| 色色综合色视频| 色五月在线观看| 大香蕉手机视频| www.99热精品99.com| 五月www| 99久久久国产精品免费蜜乳tv| 疯狂做受XXXX高潮A片| 婷婷天天五月天| 色噜噜狠狠色综合AV兰草影视| 五月丁香欧美在线| 五月丁香综合网| AAA久久久AAA久久久AAA| 少妇久久诱惑视频| 婷婷五月天激情小说| 99热草草| 婷婷激情综合无月| 久久久噜噜噜久久人妻| 国产无套精品一区二区| 五月天婷婷激情在线色图| www色婷婷久久综合久色 | BBWCUCKOLD精品熟妇| 丁香五月AV| 99爱视频免费看| 99热这里只有精品1| 蜜乳AV成人| 天天肏屄夜夜爽| 五月天婷久精视频| 丁香六月在线综合| 色噜噜狠狠色综合AV兰草影视| 五月婷婷五月天| 激情婷婷亚洲五月| 综合激情五月婷婷| 久久色婷婷| 天天综合色99| 五月激情丁香久久综合网| 婷婷五月激情的图片| 国产婷伊人| 光棍影院日韩精品| 久婷婷久草| 色婷婷先锋| 久久精品日| 亚洲综合狠狠艹| 性爱久久| 丁香五月天人体| 国产无套精品一区二区| 色五月91| 色五月天丁香| 丁香婷婷影院| 亚洲激情四谢| 久久婷婷资源| 丁香五月综合图片在线观看| 人人操97| 久久婷婷伊人| 色五月婷婷狠狠撸| 综合激情五月丁香| 久热久色| 99噜噜噜在线播放| 在线你懂的亚洲欧| 欧美乱码国产一级A片| 久久五月天激情| 欧美色播综合在线观看| 欧美大片| 五月天婷爱综合| 亚洲乱码日产精品BD| 河北真实伦对白精彩脏话| 色色色区| 婷婷丁香综合| 婷婷五月天av小说| 五月激情婷婷丁香| 久热精彩视频98| 丁香五月婷婷六月婷| 中文毛片无遮挡高潮免费| 成人网丁香五月| 婷婷色五月色妇| 99国产精品久久久久久久久久久 | 狼人伊人天堂| 婷婷六月久久| 久久久久久99日本| 亚洲日日日| 五月婷综合激情| 色婷婷五月天偷拍| 色色9 9| 日韩乱玛久久| av婷婷丁香| 国产婷婷五月色情综合| 亚洲9久久精品| 情趣视频66| 色婷婷玖玖影院| 日本狠狠网| 99九九精品| 色五月色五天色情网| 97色操| 欧洲色| 中文字幕无码人妻少妇免费视频| 色啪影院| 亚洲va综合va国产va中文| 99久久婷婷国产综合精品电影| 人人看人人要| 在线91日韩| 久久久久久久久人妻| 99色日本| 婷婷久久丁香五月| 狠狠色婷婷| 热五月婷婷| 五月天综合网| 婷婷性爱五月天丁香网| 美欧成人视频| 婷婷碰碰| 婷婷五月激情视频网| 色婷婷丁香五月在线观看| 4399在线观看免费毛片| 色五月天成人在线| 无码少妇高潮喷水A片免费| 极品少妇XXXX精品少妇偷拍| 超碰色女人| 丁香五月婷婷啪啪啪| 99熟女| 激情综合五月婷婷| 天天狠狠干| 9精品视频在线观看| 丁香五月婷婷影院| av性爱在线| 色婷婷88| 99热国产| 99亚洲视频| 激情综合婷婷| 久9热视频在线| 色五月婷婷综合| 色综合激情| 久久婷婷五月天| 亚洲最大五月六月丁香婷婷| 伊人久久综合| 九九无码| 色五月天综合| 五月天婷婷激情网| 五月婷在线| 色情五月婷婷| 激情99热| se.久久视频在线观看| 涩涩涩,com| 婷婷九九色| 99在线免费视频| 丁香五月综合久久八| 久久五月天 91| 老司机日日夜夜青草| 丁香亚洲婷婷五月| 久久久久久久久久91| 婷婷丁香成人| 婷婷色五天| 天天操天天爱天天日| 日韩AV在线影片| 99免费在线| 任我肏视频精品| 久操热线| 很很干天天干| 美女要搞搞天天搞搞搞网站| 97久操视频| www.色婷婷| 99热这里只有精品9| 激情五月丁香综合蜜桃| 天堂久久婷婷| 亚洲精品一区中文字幕乱码| 最新va在线播放| 五月天色五月天| 91成人看片| 狠狠爱深色婷婷综合| 91超碰九色| 天天草比天天爽| ,99视频久久| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 九九热123| www.99在线| 丁香五月亚综合图片| 人妻久久久久久| 色色亚洲| 成人超碰Av| 九九热在视频| 99自拍视频在线观看| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲精品99| 日日插日日干| 久久久久99精品成人片| xxxx五月激情| 热九九精品| 久久婷婷亚洲无码一起| 日韩二区搞逼插逼毛片| 丁香五月六月| 欧洲色色| 六月色国内综合| 婷婷五月天丁香| 久热一区| 欧美成人AAA片一区国产精品| 色99网站| 96精品久久久久久久久| 色色色com| 婷婷丁香五月天婷婷| 婷婷99丁香| 综合AV网| 国产SUV精品一区二区883| 久久九九@| 六月激情婷婷| 国产精品色婷婷AV综合色色| 婷婷丁香五月天在线| 午夜 外网 精品 在线| 国产亚洲99| 嫩模aV在线| 九九99热| 射区导航| 丁香五月激情综合婷综| 五月丁香五月婷婷| 欧洲第一久色| 色五月开心开心五月激情五月| 激情丁香五月婷| 激情综合5| 另类小说五月天| 婷五月天| 激情五月综合色婷婷| 色婷五月| 色天天综合| 婷婷丁香五月亚洲免费| www夜夜操wwwcon| 丁香五月婷婷香| 激情六月天婷婷| 中文字幕av网站| 日日爽夜夜爽| 99综合网| 亚洲视频在线观看| 亚洲深喉AV| 日日影院 | 欧美日韩999| 亚洲AV成人在线| 六月激情网| 97人人干| 亚洲精品亚洲人成人网| 人妻丰满精品一区二区A片| 亚洲色婷婷| 大香蕉五月天婷婷| 精品一区二区三区四区五区六区| 三年高清大片免费观看国语| 五月天婷婷狂暴白浆| 国产av网| 五月天伊人久久久久| 色九区| 色婷婷五月天偷拍| 亚洲无码猫咪| 欧美精品999| 五月丁香啪| 成人网丁香五月| 六月色色综合| 婷婷99狠狠躁天天躁中| 大香蕉婷婷五月天| 婷婷激情五月天激情在线| 婷婷丁香五月久久| 色六月天| 丁香五月婷综合网| 久久天堂网| 中文字幕AV在线| 91久热| 午夜天堂啪啪| www.色五月| 91久久九| 97色色综合| 五月丁香六月色婷| 五月天综合缴情网网站0| 五月丁香久久久| 色婷婷五月天激情在线观看| 天天综合网91| 狠狠干狠狠干| 色都都狠狠色都都色综合色| 91操片| 91呦呦呦| 丁香密臀AV激情网| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | av在线激情| 国产色婷婷亚洲| 伊人网啪啪| 亚洲五月婷婷| 思思热久久婷婷五月天| 色五月亚洲| 99热这里只有精品55| 国产精品电| 天天操天天曰天天射| 丁香婷最新动态| 手机在线日韩视频中文字幕| 色五月久久成人婷婷| 婷婷五月视频| 337p大胆噜噜噜噜噜91Av| AA片在线观看视频在线播放 | 婷婷伊人綜合中文| 激情五月综合| 婷婷丁香五月亚洲综合网在线视频观看| 天天操夜夜操| www.色婷婷.com| 亚洲乱啪| 日韩一66精品| 狠狠色大香蕉| 99婷婷精品推荐在线视频| 国产精产国品一二三在观看| 69五月天视频| www.综合久久| av操一操| 国产婷婷五月| 色丁香久综合在线久综合在线观看| 精品亚洲国产成AV人片传媒| 五月丁香六月婷婷网| 五月在线| 激情婷婷激情在线不卡| 九九国产视频| 五月丁激情| 9月色婷婷| 九九亚洲天堂| 99性视频| 天堂婷婷丁香六月网| 久久大香蕉同僚| 天堂无码人妻精品AV一区| 婷婷久久五月天中文字幕在线观看| 久久这里在精品视频| 亚洲综合五月天| 激情五月天网| 五月丁香婷婷啪啪综合| 六月色色婷婷| 高清不卡一区| 精品香蕉99久久久久网站| 久久色婷婷| 丁香五月婷老师| 少妇高潮A片无套内谢麻豆传| 婷婷激情四射五月天| 大香蕉婷婷| 人操91在线| 天天操综合网| 婷婷久久内射| 久操婷婷| 成人五月天在线视频在线观看| 4399精品一区二区| 91精品久久久久久77777| 狠狠操狠狠操| 免费国产视频| 色在线视频网2025| 香蕉人妻AV久久久久天天| 成人午夜免费电影| 久久偷拍综合五月天| 九九九九精品精| 99免费成人网| www.色综合| 久久丁香婷婷色情综合| 激情婷婷五月天网址| 伊人五月婷婷| 狠狠色网| 开心激情播播五月天| 国产日产亚系列精品版优势| 婷婷的激情五月| 超碰免费成人| 丁香密臀AV激情网| 五月六月伦理| 97干资源在线观看| 无遮挡国产高潮视频免费观看 | 婷婷成人在线| www.激情| wwccc久久久| 色婷婷在线视频观看| 丁香婷婷色五月| 九九热这里只有精品31| 国产精产国品一二三在观看| 激情六| 超碰人人艹| 激情亚洲婷婷| 婷婷丁香五月婷婷| 久久久人妻| 天天做天天爱天天搞| 色 色 色综合com| 疯狂做受XXXX高潮A片动画| 亚洲综合在线伊人婷| 六月婷婷综合| 九九九九九九综合| 一本久道综合色婷婷五月| 噼里啪啦在线观看免费完整版视频| 性日本激情| 婷婷伊人综合中文字幕| 成人中文字幕在线| 超碰91人人操| 婷婷免费无马| 色婷婷A| 色一情一乱一乱91Av| 欧美婷婷五月丁香| 丁香久久激情俄| 婷婷五月丁香基地| 婷婷六月丁香在线| 国产av天天插天天操天天爽| 99精品视频在线观看| 久久丁香五月婷| 伊人大香五月天| 69色婷婷| 久草丁香婷婷五月天婷| 色色五月婷婷久久| 色五月激情五月开心五月| 99热精品10| se99视频| 日韩av网站在线观看| 五月天婷婷伊人| 91avse| 91久久婷婷| 亚洲欧美婷婷五月色综合| 五月丁香色婷婷色| 亚洲AV免费在线| 婷婷五月天影院| 丁香六月激情综合网| 九九婷婷五月天| 婷婷五月激情在线| 婷婷五月日本| 色色色热热热| 婷婷操超碰| 色情婷婷五月天| 六月丁香婷婷拍拍| 久久久久久久久久久久久9| 亚洲性爱区无码区| 4438全国最大视频成人网站在线观看| 五月久视频| 在线网黄| 疯狂做受XXXX高潮A片动画| 五月天播播| 婷婷五月丁香欧洲| 99热e| 久热99热| 成人免费高清在线播放| 久久人妻熟女一区二区| www.超碰在线| 日韩成人综合| 影音先锋噜一噜| 任你草| 色99视频| 婷婷五月天性| 熟妇无码乱子成人精品| 日本va欧美va欧美va| 丁香久久五月婷综合| 丁香五月天激情综合| 婷婷五月天亚洲综合网| 亚洲视频国产一区| 亚洲超碰在线| 欧美成人网婷婷综合在线| 操操操91| 男女99免费视频| caopeng97日韩| 伊人久久大香线蕉综合网站| 久久丁香| 狠狠五月天婷婷激情网。| 狠狠色丁香久久综合婷婷亚洲成人福利| 91人操| 色噜噜,噜噜色| 五月天婷婷色播综合在线| 婷婷五月天激情电影小说| 婷香五月| 伊久大香蕉| 激情爱爱网站超大免费| 婷婷婷五月天最新综合你懂的| 五月婷婷丁香啪啪| 久久精品爱爱| 狠狠五月激情婷婷直播片| 五月丁香六月婷婷国产视频| 99热伊人| 思思热在线精品视频网站| 午夜丁香综合婷婷| 26uuu欧美| 99re99热| 色吊丝av中文字幕| 婷婷丁香在线| 综合色激情| 激情深爱五月婷婷| 五月天堂色色| 午夜天堂一区人妻| 超碰日日操| 丁香五月婷婷天激情| 激情綜合網址| 五月天激情网站| 激情五月婷婷视频一区二区三区| 久久99热这里只有精品23| 五月婷婷黄色毛片| 午夜大香蕉| 26UUU欧美| 99er免费在线观看| 卡视频1区2区| 日日影院 | 婷香五月| 欧美日韩aaaa| 国产在线6| 91丨人妻丨国产丨丝袜| 五月综合激情网| 天天干肏夜夜| 亚洲色9| 九九热在线视频观看免费10| 老司机午夜福利视频金瓶梅| 丁香六月久久| 51精品国自产在线| 色色色在线观看| 再次出发二| 夜夜夜夜撸夜夜操| 9热网站| 久久久久久久人妻| 丁香五月手机在线| 深爱激情五月天婷婷网| 五月丁香婷婷久久| 精品九九网| 色五月丁香A欧美com | 亚洲国产精品成人va在线观看| WWW.99热| 成人在线观看一区| 雪千夏麻豆| 欧美日韩99| 伊人婷婷综合| www.狠狠干com| 亚洲中文丁香| 欧美一级色| 欧美久人人| 无码91中文字幕| 激情综合五月婷婷| 人人爽天天爽| 92久久| 婷婷六月激情| 99久久国产成人精品| 99热18| 五月花激情网| 色天使久久综合| 夜夜撸天天操| 亚洲色优| 色人妻五月| 97色伦另类图片小说视频 | 国产色色视频| 伊人久久大香网| 狠狠干综合网| www免费在线视频| 五月天伊人日日噜影片AV| 操一区| 婷婷日韩| 综合色久| 9九色首页| 人人操人人爱丁香五月| 色久婷婷五月| 丁香色五月婷婷17C| 婷婷九月丁香| 色五月婷婷色| 久久9久| 欧美 日韩 成人在线| 婷婷五月天毛片| 男妓跪趴把舌头伸进我的嘴巴| 婷婷综合久久| 超碰AV在线| 91成人性爱视频| 色五月色图| 综合另类视频| 亚洲成人影视在线观看| 午夜爱爱网站| 久操无码| www.五月婷婷.com| 99精品视频网| 九九色图| 曰曰久久| 9999久久久久| 91狠狠色丁香婷婷综合久久| 人妻综合网| 丁香婷婷六月男男| 丁香五月婷婷色| 婷婷色情六月| 久久婷婷视频| 久99久热| 激情小说视频图片| 九九热99热| 色色五月天激情| 日韩无码色色| 秋霞AV淫| 久久婷狠狠色| 五月丁香六月综合激情无码软件亮点| 色视频五月天| 91九色视频在线观看| 激情另类综合| 色丁香五月| 九九免费视频| 26uuu国产| 超碰在线成人| 精品色色| 三人荫蒂添的好舒服A片 | 91碰视频| 青草青草久热这里只有精品| 色色综合网站| 99ri在线观看视频| 五月婷婷五月丁香综合| 思思99re这里只有| 色婷婷五月天激情综合| www.深爱激情| 日本五月天一页| 日韩九九| 久9热在线视频| 久久98| 碰99在线| 97香蕉人人在线观看| 久99综合婷婷| anquye伊人| 九九爱这里只有精品| 九九热区一区二区三区| 日本操B视频| 婷婷五月天av| 五月 成人 婷婷| 丁香五月天激情综合| 欧美精品18| 亚洲精品V天堂中文字幕| 琪琪狠狠干| 校园春色亚洲色| 九伊人网| 色噜噜夜夜夜综合网| 91精品熟女| 色99热| 91色在线 | 日韩| 综合色五月| 99精品国产乱码久久久人妻| 人人操人人添人人摸97| 97人人搞| 婷婷五月丁香激情色情| 亚洲中文乱字字幕在线永久| 九九精品热| 黄色网址五月婷婷| Www99热| 亚洲色爽| 亚洲 五月 婷婷 成人| 婷婷综合色图| 九九热最新| 久久久宗合视频88| 欧美丁香五月97色| 久久人人人人妻| 婷婷五月综合网| 亚洲日韩一页精品发布| 91人人操人人看| 天天激情视频| 久久精彩视频| 中文字幕按摩做爰| 五月丁香婷婷色播无码| 啪啪丁香五月| 婷婷综合网伊人| 久久久久久久久99精品| 97人人超| AV操一操| 99色中文| 97涩涩丁香五月天| 99免费热视频在线| .精品久久久麻豆国产精品| 婷婷性爱视频在线| 天天色伊人| 国产.亚洲.欧洲视频在线| 777精品久无码人妻蜜桃| 99精品视频推荐| sewuyue第四色| 另类A片| 97婷婷五月| 永久的网站AAAA | 色五月大香蕉婷婷| 狠狠色激情在线| 色五月播五月| WWW.久久.COM| 婷婷五月激情图片| 婷婷六月五月| 人妻少妇色综合| 另类伊人婷婷| 婷婷情色激情| 大香蕉啪啪网| 激情五月狠狠喔| 色婷婷最爱五月| 一區四區歐美日韓| 亚洲女婷婷五月基地综合久久久 | 色情五月丁香| 丁香六月久久| 亭亭五月色男人| 久久激情网| 日韩黄色电影| 天天操,夜夜骑| 日日操夜夜撸| 五月久久网| 色六月天| 狠狠色综合网| 婷婷精品在线| 激情五月天com| 亚洲情欲| 亚洲国产另类av| 久热最新视频| 大香蕉五月天| 婷婷激情性爱| www.五月天社区| 极品人妻VIDEOSSS人妻| www,婷婷| 5月丁香婷婷激情网| 国产成人精品亚洲线观看| 综合色色婷婷| 亚洲秘 无码一区二区三区妃光/1| 九色综合网| 成人在线综合| 欧美丁香五月| 亚洲乱码日产精品BD| 色丁香五月天射婷婷爱婷婷| 99婷婷国产最新视频| 婷婷9月天| 色婷婷成人在线| 少妇搡BBBB搡BBB搡毛茸茸 | 婷婷婷五月香蕉| 婷婷成人丁香色情基地30| 九九色热| 激情图片亚洲| 婷婷自拍| 五月丁香婷婷啪啪综合网| 涩五月婷婷| 婷婷五月天激情文学小说| av在线观看网站| 色婷婷激情四射视频| 丁香五月天在线| 99精品综合| 亚洲精| 精品人妻伦九区久久AAA片| 日韩综合网络男女香蕉a片| 99er精品视频| 97干在线视频精品店| 91啪级电影| 国产67194| 一起草Av| 婷婷五月综合社区| 日韩在线99| 久久伦乱| 亚洲激情五月| 思思网站| XX色综合| 91综合在线观看| 《蜘蛛女》梁铮1995| 五月婷A V在线| 天天干肏夜夜| se色婷婷视频| 婷婷综合六| 精品久9| 嫩草综合网| 国产毛多水多女人A片| 香蕉操亚洲| 538任你爽| 久久综合九九| 人人草人人爱| 亚洲色爽| 成人无码髙潮喷水A片| 婷婷成人丁香色情基地30| 一级片操逼视频| 五月丁香六月情亚洲| 香蕉婷婷五月| 丁香五月天的网址。| 嫩草视频| 五月丁香六月激情视频| 婷婷色五月天色| 婷婷五月综合啪| 99啪| 日日夜夜狠狠| 蜜乳.comcom| 五月丁香婷婷成人网| 人妻性爱| 国外亚洲成AV人片在线观看| 草婷婷在线| 久久综合55| 五月天播播| 91婷色| 五月天丁香| 日日操夜夜爽天天天| 搡BBBB搡BBB搡五十| 精久久色| 一片AV片免费播放| 婷婷婷久久久| 丁香五月婷婷狠狠色| 99热在线观看| 99热这里只有精品最新| 91九色无码内射| 亚洲啪啪网| 99re热精品在线视频| 无码99| 翔田千里无码| 中文在线视频久9| 欧美久久网| 狼人久草| 国产看真人毛片爱做A片| 丁香五月婷婷色| 激情久久久久久久久久| 99热在线精品观看| 91视屏在线观看com.wwwvv| 九97免费视频| 996er热| 色综合色综合婷婷热| 精品久久久91久久影视网| 天天婷婷综合亚洲亚洲| 99干视频| 久草热久草在线视频| 79色色色色| 欧美色99| 亚洲va成人va成人va在线观看| 9这里只有精品| 亚洲成人无码片| 丁香六月综合激情| 婷婷五月深爱五月| 一级精品999WWW| 夜精品无码A片一区二区蜜桃| 五月丁香六月综合激情无码软件亮点| 色五月婷婷操逼| 五月综合色| 26uuu在线观看| 超碰在线看| 96丁香婷婷九月蜜桃综合久久| 五月婷婷深深爱| 4399在线观看免费高清电视剧| 亚洲9久久精品| 日日噜噜夜夜狠狠久久丁香五月| 开心深爱五月天| 91热久| 深爱五月天| 热思思| 综合激情五月天| 丁香五月婷婷啪啪| 综合激情站| 婷婷五月天亚洲综合| 伊人久久艹| 亚洲一二三网| 五月天综合色| 久久色情综合免费网站| 99久久黄色顶级视频| 久久精品天| 五月婷婷激情网| 91九色中文| 五月色欧美| 噜噜噜狠狠色综| 久久婷综| 婷婷五月激情小说| 五月综合激情视频在线| 538午夜激情| 久久99jiu9| 五月综合视频| 日91高清无玛| 久久成人天| 婷婷99狠狠躁天天躁| 98热精品| 久久caop| 91蜜桃婷婷狠狠久久综合9色| 亚洲va在线∨a天堂va欧美va| 婷婷六月综合| co超碰在线观看| 久久婷婷色综合| 婷婷五亚洲| 婷婷丁香水多多视频| 色色免费网站| 丁香激情五月天| www.五月天| 久色视频| 激情丁香五月| 色播丁香婷婷五月激情| www.激情五月天。com| 丁香亚洲色综合| 亚洲视频在线观看| 天天久| 婷婷丁香五另类网站| 玖玖综合网| 色 噜噜 九月 婷婷| 蜜桃成语时李时珍 免费| 久久综合中文| 婷婷五月六| 国产精品激情五月天色婷婷| 免费婷婷| 日韩无码系列| 万月丁香狠狠爱| 日本一级一级一级一级| AAAA网站| WwW天天干| 99热只有精品综合| 久99热在线观看| 欧美日韩精品一区二区三区钱| 久久精品一区二区三区四区| 日韩成人综合网| 天天操无码| 97色天堂| av狠狠操| 婷婷五月丁香六月天亚洲综合| 婷婷大美在线| 天天爽成人综合网站| 五月婷婷黄色| 情色五月天网站| 超碰人人操| 超碰97色| 抽插特写| 亚洲最大成人综合网720P| 日日夜夜天天| 激情六月婷婷| 996er热| 99九九热在线观看| 激情都市丁香婷婷| 激情五月,婷婷五月,丁香五月| 六月婷婷亚洲| 爱婷婷久久视频| 色综合久久天天综合网| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 亚洲精品色色| 99热精品在线| 色色综合网站| 六月色色| 51成人|