欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式以太網(wǎng)驅(qū)動(dòng)開(kāi)發(fā)實(shí)戰(zhàn):從MAC/PHY調(diào)試到性能優(yōu)化

嵌入式以太網(wǎng)驅(qū)動(dòng)開(kāi)發(fā)實(shí)戰(zhàn):從MAC/PHY調(diào)試到性能優(yōu)化 做嵌入式驅(qū)動(dòng)開(kāi)發(fā)這些年以太網(wǎng)這個(gè)坑算是踩得最深也最有收獲的一個(gè)領(lǐng)域。從早期的百兆芯片到現(xiàn)在的千兆、2.5G從簡(jiǎn)單的RGMII到復(fù)雜的SGMII再到工業(yè)現(xiàn)場(chǎng)跟各種設(shè)備做以太網(wǎng)通訊幾乎每個(gè)項(xiàng)目都能遇到全新的問(wèn)題。今天這一期我把自己在Ethernet以太網(wǎng)驅(qū)動(dòng)開(kāi)發(fā)上積累的經(jīng)驗(yàn)整理出來(lái)從底層原理到實(shí)際調(diào)試從性能優(yōu)化到工業(yè)場(chǎng)景踩坑一次性說(shuō)透。無(wú)論你是剛開(kāi)始接觸網(wǎng)絡(luò)驅(qū)動(dòng)的新手還是已經(jīng)在MAC和PHY之間掙扎了一段時(shí)間的同行這篇內(nèi)容應(yīng)該都能提供一些參考。很多剛?cè)腴T(mén)的朋友容易把以太網(wǎng)驅(qū)動(dòng)理解為“配置寄存器、啟用DMA、收發(fā)包就完事”但實(shí)際上驅(qū)動(dòng)只是整個(gè)網(wǎng)絡(luò)路徑中的一環(huán)。你寫(xiě)的是網(wǎng)卡驅(qū)動(dòng)但你的代碼要跟協(xié)議棧、PHY、甚至交換機(jī)、對(duì)端設(shè)備發(fā)生關(guān)系。所以我先說(shuō)清楚以太網(wǎng)驅(qū)動(dòng)開(kāi)發(fā)核心是理解數(shù)據(jù)流而不是只會(huì)翻datasheet。1. 以太網(wǎng)驅(qū)動(dòng)開(kāi)發(fā)的核心思路從MAC到PHY的整體認(rèn)知1.1 網(wǎng)絡(luò)分層視角下的驅(qū)動(dòng)邊界以太網(wǎng)驅(qū)動(dòng)處于硬件和協(xié)議棧之間往上對(duì)接Linux內(nèi)核的net_device結(jié)構(gòu)體往下直接操作MAC控制器和PHY芯片。驅(qū)動(dòng)需要處理的是內(nèi)核協(xié)議棧傳來(lái)的sk_buff通過(guò)DMA發(fā)送到MAC再由PHY轉(zhuǎn)換成物理層信號(hào)反過(guò)來(lái)PHY收到的電信號(hào)經(jīng)過(guò)MAC還原成幀DMA搬到內(nèi)存再上交協(xié)議棧。我見(jiàn)過(guò)很多人調(diào)試網(wǎng)絡(luò)不通第一步就去看寄存器這沒(méi)錯(cuò)但容易迷失方向。更穩(wěn)妥的做法是先確認(rèn)物理層鏈路是否ok——PHY是否完成了自協(xié)商link是否established然后看MAC是否收到了幀再看DMA描述符是否有數(shù)據(jù)。這種從物理層往上層走的排查思路能讓你少走很多彎路。驅(qū)動(dòng)開(kāi)發(fā)的第一個(gè)關(guān)鍵邊界是搞清楚哪些事情由硬件做哪些由驅(qū)動(dòng)做。比如CRC校驗(yàn)、幀間隙、MAC地址過(guò)濾這些絕大多數(shù)MAC硬件都做了驅(qū)動(dòng)不需要重復(fù)處理。但有些功能比如VLAN tag插入、TCP分段卸載TSO雖然硬件支持驅(qū)動(dòng)也要做很多配置和狀態(tài)維護(hù)工作。這里面的“度”沒(méi)把握好就會(huì)出現(xiàn)莫名其妙的丟包或者性能問(wèn)題。第二個(gè)邊界是PHY管理。PHY芯片的寄存器空間需要通過(guò)MDIO總線訪問(wèn)通常由MAC的MDIO控制器或者獨(dú)立的MDIO硬件完成。驅(qū)動(dòng)要負(fù)責(zé)PHY的復(fù)位、自協(xié)商觸發(fā)、速度/雙工模式讀取、loopback測(cè)試等。很多新人在初始化時(shí)只做一次PHY配置后續(xù)不管了結(jié)果遇到熱插拔或者對(duì)端設(shè)備切換速率鏈路就僵死。正確的做法是注冊(cè)PHY中斷或者輪詢link狀態(tài)實(shí)時(shí)響應(yīng)鏈路變化。1.2 速率與介質(zhì)1G/2.5G Ethernet 的PCS/PMA 與 SGMII 到底在說(shuō)什么我們?cè)谶x型的時(shí)候經(jīng)常會(huì)看到“1G/2.5G Ethernet PCS/PMA or SGMII”這樣的描述。很多工程師一看到PCS/PMA就頭大其實(shí)它指的是PHY內(nèi)部的兩個(gè)子層。PCSPhysical Coding Sublayer負(fù)責(zé)編碼、加擾、對(duì)齊等。千兆以太網(wǎng)用的是8B/10B編碼2.5G以太網(wǎng)在SGMII接口上往往也是基于類(lèi)似的編碼方式。PMAPhysical Medium Attachment負(fù)責(zé)串并轉(zhuǎn)換、時(shí)鐘恢復(fù)和信號(hào)調(diào)制。簡(jiǎn)單說(shuō)PCS解決“數(shù)據(jù)怎么變成可以在線上傳輸?shù)拇a流”P(pán)MA解決“碼流怎么通過(guò)物理線纜發(fā)出去”。而SGMII是一種MAC和PHY之間的接口協(xié)議它本身是一種串行接口類(lèi)似于SerDes。SGMII可以承載1Gbps或更低的速率而2.5G Ethernet的SGMII通常是2500Mbps有些芯片也支持“USXGMII”這類(lèi)擴(kuò)展接口。當(dāng)你看到“1G/2.5G Ethernet PCS/PMA or SGMII”指的是PHY支持這些接口模式你需要在驅(qū)動(dòng)里通過(guò)寄存器配置選擇合適的模式。實(shí)際項(xiàng)目里我們用的主控芯片可能內(nèi)置了MAC但缺少PHY或者PHY是外掛的。MAC和PHY之間的接口常見(jiàn)的有RGMII千兆常用的并行接口時(shí)鐘125MHz數(shù)據(jù)雙沿采樣引腳多但布線相對(duì)簡(jiǎn)單。SGMII串行接口引腳少抗干擾強(qiáng)適合高速和板間互聯(lián)。QSGMII4個(gè)SGMII復(fù)用一對(duì)差分線主要用于交換機(jī)芯片。驅(qū)動(dòng)開(kāi)發(fā)時(shí)要特別注意SGMII的自協(xié)商機(jī)制。SGMII本身也有自協(xié)商但它不是標(biāo)準(zhǔn)的802.3自協(xié)商而是MAC和PHY之間的速率協(xié)商。驅(qū)動(dòng)里需要正確配置MAC側(cè)的SGMII自適應(yīng)通常是在MAC寄存器中使能SGMII autoneg同時(shí)也要讓PHY側(cè)配合。這個(gè)配置如果不對(duì)經(jīng)常出現(xiàn)PHY link up但數(shù)據(jù)不通或者M(jìn)AC和PHY速率不一致的情況。有一種比較陰間的現(xiàn)象PHY顯示鏈接速率是1G但MAC那邊配置的是2.5G結(jié)果就是能收到一點(diǎn)數(shù)據(jù)但丟包率極高。排查這種問(wèn)題需要同時(shí)讀取MAC側(cè)的狀態(tài)寄存器通常有l(wèi)ink速度指示和PHY側(cè)的速度寄存器對(duì)比兩邊是否一致。這也是我強(qiáng)調(diào)“接口配置必須兩端對(duì)齊”的原因。2. 驅(qū)動(dòng)開(kāi)發(fā)中的關(guān)鍵環(huán)節(jié)接口、描述符與中斷處理2.1 從RGMII到SGMII的接口選擇與配置選擇RGMII還是SGMII很多時(shí)候不是開(kāi)發(fā)人員能決定的而是硬件工程師根據(jù)板級(jí)布局和成本定的。作為驅(qū)動(dòng)開(kāi)發(fā)者你需要做的是適配。RGMII的配置要點(diǎn)主要是時(shí)鐘延時(shí)。RGMII規(guī)范要求數(shù)據(jù)在時(shí)鐘的雙沿采樣但實(shí)際布線時(shí)數(shù)據(jù)信號(hào)和時(shí)鐘信號(hào)可能存在偏差。于是就有了“tx delay”和“rx delay”的概念。很多MAC和PHY都支持在內(nèi)部插入延時(shí)通過(guò)寄存器配置。例如你可以設(shè)置MAC側(cè)的TX clock delay或者讓PHY側(cè)提供RX clock delay。這個(gè)配置必須在驅(qū)動(dòng)初始化階段完成而且要跟硬件原理圖對(duì)應(yīng)。我遇到過(guò)一塊板子初始化PHY后ping不通后來(lái)發(fā)現(xiàn)是RGMII的RX延時(shí)沒(méi)有配置導(dǎo)致MAC在時(shí)鐘沿采樣數(shù)據(jù)時(shí)采到的都是毛刺。加上delay之后一切正常。所以RGMII調(diào)試時(shí)如果你不確定延時(shí)配置可以用PHY的loopback模式測(cè)試MAC側(cè)的數(shù)據(jù)通路再逐項(xiàng)排查。SGMII的配置相對(duì)簡(jiǎn)單因?yàn)樗谴胁罘志€不需要考慮并行數(shù)據(jù)的時(shí)鐘偏移。但SGMII也有自己的坑協(xié)商失敗。特別是當(dāng)對(duì)端設(shè)備是交換機(jī)或者另一個(gè)開(kāi)發(fā)板時(shí)如果SGMII配置不是“自協(xié)商固定從模式”可能需要強(qiáng)制設(shè)置速度。我記得有一款PHY默認(rèn)SGMII從模式必須等到對(duì)端發(fā)送自協(xié)商配置才能建立鏈路這在有些場(chǎng)景下會(huì)導(dǎo)致長(zhǎng)時(shí)間無(wú)法link up。解決方法是把SGMII配置為master模式自己主動(dòng)發(fā)起協(xié)商。2.2 DMA描述符環(huán)設(shè)計(jì)與內(nèi)存屏障無(wú)論MAC是內(nèi)置還是外置絕大多數(shù)以太網(wǎng)控制器都使用DMA搬運(yùn)網(wǎng)絡(luò)數(shù)據(jù)避免CPU逐字節(jié)拷貝。DMA描述符環(huán)是整個(gè)驅(qū)動(dòng)的核心數(shù)據(jù)結(jié)構(gòu)它描述了一塊內(nèi)存緩沖區(qū)的位置、長(zhǎng)度、狀態(tài)等信息。驅(qū)動(dòng)需要維護(hù)發(fā)送描述符環(huán)和接收描述符環(huán)。接收描述符環(huán)的初始化尤其重要。你需要為每個(gè)描述符分配一個(gè)緩沖區(qū)sk_buff的data區(qū)并把物理地址寫(xiě)入描述符。然后設(shè)置擁有權(quán)位交給硬件。硬件收到數(shù)據(jù)后會(huì)填充緩沖區(qū)并把狀態(tài)位更新為“已接收”驅(qū)動(dòng)在中斷或輪詢中掃描描述符發(fā)現(xiàn)擁有權(quán)變化就知道有數(shù)據(jù)到了。這里有幾個(gè)容易犯的錯(cuò)分配緩沖區(qū)時(shí)沒(méi)有做cache對(duì)齊。網(wǎng)絡(luò)DMA要求緩沖區(qū)物理地址對(duì)齊到cache line否則可能出現(xiàn)數(shù)據(jù)不一致。沒(méi)有處理“擁有權(quán)”標(biāo)志。有些芯片用描述符的最后一個(gè)bit來(lái)表示歸屬驅(qū)動(dòng)在回收描述符時(shí)如果寫(xiě)錯(cuò)了會(huì)覆蓋硬件正在使用的描述符。環(huán)形隊(duì)列的索引管理。發(fā)送和接收的索引要明確區(qū)分“硬件當(dāng)前使用的索引”和“驅(qū)動(dòng)當(dāng)前處理的索引”兩者沒(méi)理清就會(huì)丟包或者卡死。內(nèi)存屏障也是一個(gè)關(guān)鍵點(diǎn)。CPU往描述符寫(xiě)入狀態(tài)后需要確保寫(xiě)入順序?qū)MA可見(jiàn)DMA更新?tīng)顟B(tài)后CPU讀取時(shí)也需要屏障。在Linux驅(qū)動(dòng)中通常使用dma_wmb()和dma_rmb()。有朋友問(wèn)過(guò)我為什么加了mb()還是有問(wèn)題其實(shí)是因?yàn)閙b()是全屏障性能損耗大而且有些架構(gòu)下語(yǔ)義不完全匹配DMA場(chǎng)景。正確的做法是嚴(yán)格區(qū)分讀寫(xiě)方向。我在調(diào)試一個(gè)eMMC和網(wǎng)絡(luò)DMA互相干擾的項(xiàng)目時(shí)發(fā)現(xiàn)描述符狀態(tài)一直讀取不到硬件更新后來(lái)檢查發(fā)現(xiàn)是描述符本身被分配到了非DMA安全區(qū)域。所以在分配描述符時(shí)一定要用dma_alloc_coherent()或者類(lèi)似接口保證內(nèi)存不會(huì)被cache寫(xiě)回覆蓋。2.3 中斷與輪詢的取舍以太網(wǎng)驅(qū)動(dòng)通常有兩種收包模式中斷驅(qū)動(dòng)和NAPI輪詢。中斷是及時(shí)但高吞吐時(shí)頻繁中斷會(huì)吃掉CPUNAPI是把中斷和輪詢結(jié)合起來(lái)用少量中斷配合輪詢批量收包。Linux內(nèi)核默認(rèn)使用NAPI這也是為什么netdev驅(qū)動(dòng)里都有一個(gè)poll回調(diào)。輪詢的實(shí)現(xiàn)并不復(fù)雜在中斷處理函數(shù)里關(guān)閉發(fā)送/接收中斷激活NAPI調(diào)度poll執(zhí)行。poll中循環(huán)處理發(fā)送完成和接收數(shù)據(jù)直到預(yù)算耗盡或者無(wú)包可收后重新開(kāi)啟中斷。這個(gè)機(jī)制看著普通但對(duì)驅(qū)動(dòng)性能影響很大。你要合理設(shè)置weight參數(shù)比如100、200或者更大。weight越大單次poll時(shí)間越長(zhǎng)但CPU占用也高。我通常的做法是根據(jù)實(shí)際吞吐測(cè)試結(jié)果調(diào)整以CPU占用不超標(biāo)為前提盡量提高weight。還有個(gè)細(xì)節(jié)有些MAC控制器在收包時(shí)會(huì)自動(dòng)禁用接收中斷驅(qū)動(dòng)如果忘了在poll中重新開(kāi)啟就會(huì)出現(xiàn)“網(wǎng)絡(luò)死”的現(xiàn)象。我在自己的驅(qū)動(dòng)里都是把“重新使能中斷”放在poll函數(shù)的最后并加一個(gè)dummy read來(lái)保證寄存器寫(xiě)入順序。3. 實(shí)際調(diào)試從寄存器到數(shù)據(jù)流的排錯(cuò)實(shí)戰(zhàn)3.1 PHY 初始化與自協(xié)商狀態(tài)機(jī)PHY的初始化不是簡(jiǎn)單的reset然后配置寄存器而是要理解PHY的狀態(tài)機(jī)。PHY上電后通常處于ENERGY-DETECT狀態(tài)不斷探測(cè)介質(zhì)是否有信號(hào)。當(dāng)檢測(cè)到對(duì)端設(shè)備時(shí)進(jìn)入自協(xié)商狀態(tài)交換能力信息最終確定速率和雙工模式。驅(qū)動(dòng)里需要確保在PHY完成自協(xié)商后再去配置MAC的速率和雙工。如果MAC側(cè)先配置了錯(cuò)誤的速率即使PHY協(xié)商好了數(shù)據(jù)也發(fā)不出去。常見(jiàn)的做法是使用PHY驅(qū)動(dòng)的adjust_link回調(diào)在link up時(shí)讀取PHY的狀態(tài)然后更新MAC的配置。另外自協(xié)商超時(shí)問(wèn)題很常見(jiàn)。有些PHY的寄存器配置不當(dāng)會(huì)導(dǎo)致自協(xié)商失敗或者反復(fù)重啟。調(diào)試時(shí)可以先用ethtool -s eth0 autoneg off speed 1000 duplex full強(qiáng)制固定速率確認(rèn)鏈路是否能通再排查自協(xié)商。但要注意強(qiáng)制速率時(shí)MAC側(cè)必須同步配置不能只改PHY。3.2 用Wireshark和抓包工具定位問(wèn)題很多嵌入式工程師看不起抓包覺(jué)得嵌入式環(huán)境沒(méi)有條件。其實(shí)現(xiàn)在的開(kāi)發(fā)板大多有兩個(gè)網(wǎng)口一個(gè)跑業(yè)務(wù)一個(gè)做管理或者用交換機(jī)鏡像端口都能方便地抓包。在驅(qū)動(dòng)調(diào)試階段我強(qiáng)烈建議盡早接上抓包工具。當(dāng)出現(xiàn)“ping不通”的情況先用Wireshark抓包看有沒(méi)有請(qǐng)求發(fā)出。如果抓不到任何幀說(shuō)明數(shù)據(jù)沒(méi)有從MAC送出去問(wèn)題可能在驅(qū)動(dòng)或硬件如果能抓到請(qǐng)求但收不到應(yīng)答說(shuō)明請(qǐng)求到了對(duì)端對(duì)端的應(yīng)答可能沒(méi)回來(lái)或者我們的MAC沒(méi)有收到如果收到了應(yīng)答但協(xié)議棧沒(méi)反應(yīng)那可能是MAC地址、VLAN或者校驗(yàn)和的問(wèn)題。我在調(diào)試一個(gè)工業(yè)網(wǎng)關(guān)時(shí)發(fā)現(xiàn)設(shè)備能被ping通但TCP連接建立失敗。抓包發(fā)現(xiàn)SYN包發(fā)出后對(duì)端回了SYN-ACK但我們的設(shè)備沒(méi)再發(fā)ACK而且不停地重傳SYN。進(jìn)一步查發(fā)現(xiàn)TCP校驗(yàn)和計(jì)算錯(cuò)誤。原因是MAC硬件開(kāi)啟了TCP校驗(yàn)和卸載TX checksum offload但驅(qū)動(dòng)沒(méi)有正確設(shè)置sk_buff的ip_summed標(biāo)志導(dǎo)致硬件計(jì)算的校驗(yàn)和覆蓋了協(xié)議棧算好的值結(jié)果反而錯(cuò)了。把ip_summed設(shè)為CHECKSUM_PARTIAL之后一切正常。3.3 常見(jiàn)問(wèn)題速查表我整理了一下這幾年遇到的最多的以太網(wǎng)驅(qū)動(dòng)問(wèn)題做成表格方便大家對(duì)照排查?,F(xiàn)象可能原因排查思路link up但ping不通MAC/PHY速度不一致或RGMII延時(shí)錯(cuò)誤檢查MAC和PHY速度寄存器調(diào)整RX/TX delay測(cè)試loopback能收到包但丟包嚴(yán)重DMA描述符不足或緩沖區(qū)被覆蓋檢查描述符環(huán)大小確認(rèn)擁有權(quán)位處理正確多ring緩沖區(qū)傳輸速度只有100MPHY沒(méi)有協(xié)商上千兆或線纜/接口問(wèn)題用ethtool查看自協(xié)商結(jié)果強(qiáng)制千兆測(cè)試更換線纜TCP吞吐量極低中斷頻繁或TSO/GRO未開(kāi)啟開(kāi)啟NAPI確認(rèn)ethtool -K支持TSO檢查中斷合并設(shè)備長(zhǎng)時(shí)間運(yùn)行后斷網(wǎng)PHY熱鏈接檢測(cè)失效或看門(mén)狗超時(shí)實(shí)現(xiàn)PHY link狀態(tài)輪詢?cè)黾渔溌坊謴?fù)流程發(fā)送方向正常接收方向不通接收DMA描述符不完整或接收中斷未使能檢查接收描述符初始化確認(rèn)中斷配置用loopback測(cè)試接收路徑無(wú)法與特定設(shè)備通訊對(duì)端設(shè)備MAC地址過(guò)濾或協(xié)議不匹配抓包確認(rèn)對(duì)端是否回包檢查MAC地址表檢查VLAN和協(xié)議字段這張表不可能是全的但覆蓋了大部分初級(jí)問(wèn)題。很多時(shí)候問(wèn)題不在驅(qū)動(dòng)本身而在硬件設(shè)計(jì)或者PHY配置所以在排查時(shí)要大膽假設(shè)小心驗(yàn)證。4. 工業(yè)場(chǎng)景中的以太網(wǎng)驅(qū)動(dòng)與焊機(jī)等設(shè)備通訊的經(jīng)驗(yàn)分享4.1 安川焊機(jī)以太網(wǎng)通訊的痛點(diǎn)最近一個(gè)項(xiàng)目里我需要讓嵌入式主控通過(guò)以太網(wǎng)與安川焊機(jī)通訊實(shí)現(xiàn)焊接參數(shù)下發(fā)和狀態(tài)讀取。這類(lèi)工業(yè)設(shè)備使用的以太網(wǎng)協(xié)議往往不是標(biāo)準(zhǔn)TCP/IP而是基于Ethernet/IP、Profinet或特定廠商私有協(xié)議。安川焊機(jī)有些型號(hào)支持TCP/UDP但通訊報(bào)文有特定的格式要求比如首尾字節(jié)固定、CRC校驗(yàn)、數(shù)據(jù)長(zhǎng)度固定等。在這里驅(qū)動(dòng)層面其實(shí)不需要做太多特殊事情因?yàn)門(mén)CP/IP協(xié)議棧已經(jīng)替我們搞定了。真正麻煩的是應(yīng)用層的協(xié)議解析和時(shí)序控制。但從驅(qū)動(dòng)開(kāi)發(fā)角度有兩個(gè)點(diǎn)需要特別留意第一工業(yè)設(shè)備的以太網(wǎng)端口通常不響應(yīng)ARP請(qǐng)求或者M(jìn)AC地址過(guò)濾嚴(yán)格。如果主控通過(guò)MAC地址白名單方式連接設(shè)備那么驅(qū)動(dòng)可能需要構(gòu)造特殊的ARP包或者干脆不用ARP直接靜態(tài)ARP表項(xiàng)。第二有些工業(yè)設(shè)備會(huì)在連接空閑時(shí)主動(dòng)斷開(kāi)或者發(fā)送特定的“心跳包”。驅(qū)動(dòng)和協(xié)議棧需要配合在socket層面保持連接。否則你會(huì)發(fā)現(xiàn)過(guò)一段時(shí)間TCP連接還在但數(shù)據(jù)已經(jīng)發(fā)不過(guò)去了。另外工業(yè)現(xiàn)場(chǎng)電磁干擾嚴(yán)重網(wǎng)線很容易出現(xiàn)瞬斷。此時(shí)PHY的link狀態(tài)會(huì)反復(fù)變動(dòng)。驅(qū)動(dòng)要能快速感知link down并在link up后自動(dòng)恢復(fù)。我的做法是用內(nèi)核的PHY狀態(tài)機(jī)注冊(cè)phy_start()和phy_stop()流程配合PHY中斷每次link變化都打印日志并通知網(wǎng)絡(luò)協(xié)議棧執(zhí)行重連。4.2 協(xié)議無(wú)關(guān)的驅(qū)動(dòng)設(shè)計(jì)思路做嵌入式驅(qū)動(dòng)有時(shí)會(huì)被要求適配多種不同的設(shè)備和協(xié)議。比如同樣是焊接控制器有的用標(biāo)準(zhǔn)Modbus TCP有的用私有協(xié)議。驅(qū)動(dòng)如果做得很死每個(gè)協(xié)議都要改一遍就會(huì)很痛苦。我的建議是在驅(qū)動(dòng)層保持“協(xié)議無(wú)關(guān)”只負(fù)責(zé)把以太網(wǎng)幀正確地收發(fā)出去所有協(xié)議解析都放到上層應(yīng)用。為此驅(qū)動(dòng)需要提供干凈的接口比如注冊(cè)netdev_ops上層用socket訪問(wèn)而不是在驅(qū)動(dòng)里解析業(yè)務(wù)報(bào)文。還有一點(diǎn)工業(yè)場(chǎng)景經(jīng)常用到VLAN。比如一臺(tái)設(shè)備同時(shí)連接辦公網(wǎng)和工業(yè)網(wǎng)VLAN隔離可以防止廣播風(fēng)暴。驅(qū)動(dòng)要支持VLAN offload和VLAN過(guò)濾。Linux內(nèi)核有現(xiàn)成的ndo_vlan_rx_add_vid回調(diào)驅(qū)動(dòng)只需要在寄存器中配置VLAN ID即可。我在開(kāi)發(fā)支持多種工業(yè)協(xié)議的主控板時(shí)把驅(qū)動(dòng)的重點(diǎn)放在穩(wěn)定性和可配置性上。比如通過(guò)設(shè)備樹(shù)參數(shù)配置MAC地址、PHY地址、VLAN ID、速率甚至中斷觸發(fā)方式。這樣同一個(gè)驅(qū)動(dòng)二進(jìn)制就能適配不同的設(shè)備子型號(hào)節(jié)省了很多維護(hù)成本。4.3 關(guān)于Apple Mobile Device Ethernet的插曲最近熱搜里有“apple mobile device ethernet下載”這個(gè)詞一度讓我很迷惑。后來(lái)才明白這其實(shí)是指蘋(píng)果設(shè)備比如iPhone、iPad在連接電腦時(shí)通過(guò)USB拔號(hào)網(wǎng)絡(luò)或者以太網(wǎng)適配器模擬出的一個(gè)網(wǎng)絡(luò)接口。這個(gè)場(chǎng)景在物聯(lián)網(wǎng)開(kāi)發(fā)里也有價(jià)值比如你想用iOS設(shè)備與嵌入式主板通訊可以通過(guò)雷電轉(zhuǎn)以太網(wǎng)適配器或者通過(guò)USB共享網(wǎng)絡(luò)。從驅(qū)動(dòng)開(kāi)發(fā)的視角當(dāng)你把蘋(píng)果設(shè)備插入電腦系統(tǒng)會(huì)識(shí)別出一個(gè)“Apple Mobile Device Ethernet”設(shè)備這個(gè)設(shè)備本質(zhì)上是一個(gè)USB網(wǎng)卡。它的驅(qū)動(dòng)是蘋(píng)果官方提供的在macOS和Windows上都有。對(duì)嵌入式開(kāi)發(fā)者來(lái)說(shuō)相關(guān)經(jīng)驗(yàn)就是你的嵌入式設(shè)備如果支持USB gadget的RNDIS或者ECM協(xié)議也可以被電腦識(shí)別為一個(gè)虛擬網(wǎng)卡從而進(jìn)行網(wǎng)絡(luò)調(diào)試。但要注意蘋(píng)果設(shè)備的以太網(wǎng)接口默認(rèn)可能只支持特定速率和協(xié)議。所以如果你用自研的設(shè)備去跟蘋(píng)果設(shè)備通訊最好先確認(rèn)雙方的USB以太網(wǎng)類(lèi)兼容性特別是驅(qū)動(dòng)中的描述符配置。這里就不展開(kāi)細(xì)說(shuō)了但至少說(shuō)明以太網(wǎng)驅(qū)動(dòng)并不局限于物理網(wǎng)口還包含USB虛擬網(wǎng)卡等形態(tài)。5. 驅(qū)動(dòng)性能優(yōu)化與穩(wěn)定性保障5.1 吞吐量?jī)?yōu)化零拷貝與多隊(duì)列當(dāng)你的驅(qū)動(dòng)能正常收發(fā)數(shù)據(jù)之后性能和穩(wěn)定性就是下一步目標(biāo)。在嵌入式平臺(tái)上吞吐量的瓶頸往往不是網(wǎng)絡(luò)帶寬而是內(nèi)存拷貝和中斷開(kāi)銷(xiāo)。零拷貝是一個(gè)繞不開(kāi)的話題。Linux協(xié)議棧的sk_buff本身支持headroom和frag機(jī)制驅(qū)動(dòng)在接收數(shù)據(jù)時(shí)最好讓DMA直接填充到sk_buff的數(shù)據(jù)區(qū)避免額外拷貝一次。發(fā)送方向則可以利用sendpage或者M(jìn)SG_ZEROCOPY讓協(xié)議棧的數(shù)據(jù)直接進(jìn)入DMA描述符。多隊(duì)列RSS/Flow PIR在高吞吐場(chǎng)景下很重要。如果MAC支持多隊(duì)列你可以把不同數(shù)據(jù)流的包分配到不同的DMA通道和CPU核心極大提升并發(fā)處理能力。但嵌入式CPU核心數(shù)不多多隊(duì)列也可能帶來(lái)更多中斷需要根據(jù)實(shí)際情況權(quán)衡。我在一個(gè)四核ARM平臺(tái)上把單個(gè)隊(duì)列改成雙隊(duì)列并綁定兩個(gè)中斷到不同的CPU核心吞吐量提升了約30%。代價(jià)是CPU占用率從60%升到了70%但整體吞吐從900Mbps提升到了1.2Gbps基于2.5G網(wǎng)口。所以多隊(duì)列不是萬(wàn)能的但值得嘗試。5.2 電源管理與鏈路檢測(cè)嵌入式設(shè)備對(duì)功耗敏感網(wǎng)絡(luò)驅(qū)動(dòng)的電源管理往往容易被忽略。MAC和PHY通常都有低功耗模式但在進(jìn)入低功耗前要確保沒(méi)有未完成的DMA傳輸。否則數(shù)據(jù)寫(xiě)到一半設(shè)備睡眠醒來(lái)后描述符狀態(tài)不一致就會(huì)導(dǎo)致驅(qū)動(dòng)卡死。鏈路檢測(cè)要盡量不依賴定時(shí)器最好用PHY中斷。有些PHY支持活動(dòng)中斷和link狀態(tài)變化中斷驅(qū)動(dòng)在link_change回調(diào)中執(zhí)行相應(yīng)操作。如果PHY不支持中斷就只能周期性地讀寄存器但輪詢間隔不能太短建議2秒左右。太短會(huì)增加功耗太長(zhǎng)則反應(yīng)遲鈍。我遇到過(guò)一個(gè)項(xiàng)目設(shè)備為了省電在空閑時(shí)關(guān)閉PHY但喚醒時(shí)總是出現(xiàn)第一次ping不通。后來(lái)發(fā)現(xiàn)喚醒后PHY的自協(xié)商需要幾秒而網(wǎng)絡(luò)協(xié)議棧已經(jīng)在喚醒后立刻發(fā)起了ARP請(qǐng)求。解決方法是在驅(qū)動(dòng)喚醒流程中等待PHY完成自協(xié)商后再上報(bào)__LINK_STATE_START或者通過(guò)netif_carrier_on()延遲上報(bào)link。5.3 長(zhǎng)期穩(wěn)定運(yùn)行的注意事項(xiàng)嵌入式設(shè)備往往要求7x24小時(shí)運(yùn)行驅(qū)動(dòng)在這種環(huán)境下最容易出現(xiàn)的問(wèn)題是內(nèi)存泄漏和描述符耗盡。內(nèi)存泄漏可能來(lái)自每個(gè)收包分發(fā)的緩沖區(qū)沒(méi)有正確釋放。我在檢查一個(gè)老代碼時(shí)發(fā)現(xiàn)接收路徑中每次丟包都直接調(diào)用dev_kfree_skb_any()但有些分支沒(méi)有釋放導(dǎo)致內(nèi)存緩慢增長(zhǎng)。這類(lèi)問(wèn)題很難查需要借助kmemleak工具或者定期查看/proc/net/skbuff這樣的信息。描述符耗盡也常見(jiàn)。比如發(fā)送路徑中如果上層快速發(fā)送大量小包而驅(qū)動(dòng)沒(méi)有及時(shí)回收發(fā)送完成描述符環(huán)形隊(duì)列會(huì)滿導(dǎo)致NETDEV_TX_BUSY。解決方法是在發(fā)送的時(shí)候檢查描述符是否夠用不夠用就停止發(fā)送隊(duì)列等完成中斷后重啟隊(duì)列。這個(gè)邏輯我每次都會(huì)認(rèn)真檢查因?yàn)橐粋€(gè)簡(jiǎn)單的錯(cuò)誤就會(huì)造成死鎖。另外建議給驅(qū)動(dòng)添加debugfs接口可以手動(dòng)查看描述符環(huán)狀態(tài)、PHY寄存器、中斷統(tǒng)計(jì)。我在正式項(xiàng)目中一定會(huì)在debugfs里面放一個(gè)“手動(dòng)觸發(fā)link down再恢復(fù)”的測(cè)試入口方便生產(chǎn)測(cè)試和現(xiàn)場(chǎng)排查。這不難但對(duì)故障定位非常有幫助。結(jié)語(yǔ)最后分享一個(gè)我自己的習(xí)慣。每次寫(xiě)以太網(wǎng)驅(qū)動(dòng)我都會(huì)先把PHY的寄存器表打印出來(lái)保存一份完整的狀態(tài)基線。一旦后續(xù)出現(xiàn)通訊問(wèn)題我可以快速對(duì)比寄存器值判斷是PHY配置變了還是硬件鏈路有問(wèn)題。這個(gè)方法幫我解決了不少“莫名其妙”的網(wǎng)絡(luò)故障。如果你也是做嵌入式驅(qū)動(dòng)開(kāi)發(fā)的不妨試試。另外記得在驅(qū)動(dòng)代碼里加足夠多的日志別嫌麻煩關(guān)鍵時(shí)刻就是這些日志救了你。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色优久久| 久久曰曰| 丰满少妇猛烈A片免费看观看| 成人国产欧美大片一区| 天天网曰日曰夜夜综合永久免费| 五月婷激情影院| 淫视馆AV在线| 亚洲瑟瑟精品在线| 五月丁香六月激情在线| 激情小说婷婷| 日日操夜夜操中国无码| 人妻AV在线| 桃色伊人在线| 99色在线观看视频| 色婷青青| 五月婷婷激情综合| 淫荡综合网| 激情网五月天| 婷婷丁香在线| 成人短视频免费| 色色五月婷婷| 婷婷五月综合亚洲| 中文字幕丰满孑伦无码专区 | 99精品在线| 九九婷婷激情综合网| 亚洲在线播放| 六月婷五月丁香| 婷婷五月色网| 久久综合五月天| 国产毛片操B| 大香蕉婷婷丁香| 婷婷日在线观看| 特级片神马电影| 一月婷婷色色| 91女人18毛片水多国产| 色情·com| 天天爽免费视频| www.狠狠| 婷婷激情五月天小说| 久久综合这里只有精品1| 激情网综合| 国产精品成人AV在线| 五月丁香六月激情| 在线综合91| 99热 这里只有精品 国产 日韩| 激情综合色五月六月婷婷| 婷婷五月天伊人| 婷婷丁香社区| 久操婷婷| 婷婷五月色| 风流少妇A片一区二区蜜桃| 丁香 亚洲 久久| 久婷婷五月激情| 婷婷丁香五月激情| 极品人妻VIDEOSSS人妻| 九九国产精视频| 五月激情天天干| 99精品视频免费观看| 亚洲成人无码免费| 丁香五月亚洲AV| 久久99色色| 99ri视频| 99操逼| 婷婷综合亚洲| 色婷婷四色| 婷婷丁香五月天在线视频| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲色碰| 婷婷色五月激情强奸四射| 秋霞少妇AV网站| 婷婷五月天最新综合你懂的| 九九色99| 婷婷久久五月天丁香| 五月天深爱激情网| 九九综合九| 婷婷五月黄色激情在线| 五月婷在线| 成熟妇人A片免费看网站| 九九re精品视频在线观看| 婷婷五月视频| 五月天丁香婷婷视频网址| 91精品综合久久久久久五月丁香| 国产.亚洲.欧洲视频在线| 天堂美国久久| 五月婷成人| 人人摸人人搞| 一区二区乱视频码| 婷婷五月天六点丁香五月| 亚洲激情另类| 五月开心婷婷网| 九热久| 五月天色色无码| 色啪网| 91色在线 | 日韩| 精品怡红九九九| 激情99| www.婷婷| 97色婷婷成人综合在线观看| 五月激情综合网| 99视频这里有精品| 激情久久 婷婷| 亚洲五月综合色播| 激情婷婷五月丁香啪啪啪| 五月天婷a在线| 色婷丁香| 亚洲啪视频| 五月丁香婷婷综合视频| 97五月久久丁香婷婷| av性爱在线| 欧美日本日韩| 亚洲性爱日韩无码| 丁香五月停停av| 五月丁香六月婷婷不卡免费无码| 免费观看全黄做爰的视频 | 天天做天天爱天天高潮| 婷婷色五月激情| 大香蕉啪啪网| av 一区三区四区| 亚洲激情五月| 婷婷五月天,影院| 久久99久久99久久99人受| 欧美性二区| 久久香蕉网| 久久这里精彩免费在线观看| 久久婷婷五月天| 色婷五月婷婷| 99热99热不卡| www.金莲av| 久久奄也去色色网站| 色综合五月天| 人人草人人爱手机视频看看| 五月丁香久久激情综合| 丁香六月婷| 亚洲99在线| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99亚洲天堂| 丁香五月性| 97人人操人人爽| 婷婷五月在线视频| 五月丁香直播| 成人国产网站| 日本高清久久| 呦呦v线| 在线观看国产高清视频免费网站| 亚洲AV成人无码久久精品老人法拉利| 殴美日韩成人| 国内外色色色色色成人视频| 先锋av性爱成人电影| 日韩成人精品中文字幕电影| 五月天婷婷色综合| 色婷婷久久综合| 五月丁香六月婷| 精品无码人妻一区| 激情av网| 99精品视频免费观看| 亚洲一个色| 开心五月网 | 伦乱美欧| 国产免费av网站| 深爱激情五月天| 五月婷婷欧美| 亚洲字幕AV一区二区三区四区| 黄色99网| 亚洲成人超碰| 六月色婷婷| caopeng97日韩| 99啪啪骑| 深爱激情综合网| 久久五月婷综合网| 天天综合 99久久婷婷| 九九热免费| 99re思思热这里| 成人啪啪色婷婷久| 色五月大香蕉| 婷婷五月天综合小说网| 激情网第九色| 丁香五月婷婷久久久| 狠狠香蕉| 婷婷情色激情| 思思色播| 五月五月婷婷| 被强行糟蹋的女人A片| 99热免费在线| 六月丁香婷啪射| 久久日韩婷婷五月| 中文字幕丰满孑伦无码专区| 99热精品99| 激情综合网五月天天| 五月天久久成人| bukadeavzaixian| 色婷婷久久| 五月天在线视频尤物视频在线看| 99精品久久久久久久婷婷| 三十熟女| 激情综合网激情五月天| 操一操插一插| 亚洲另类婷婷五月丁香在线播放| 久久九九re热| 韩国中文字幕91| 97香蕉久久超级碰碰高清版| 五月婷导航| 99日韩| 丁香婷婷激情四射五月| 99久久婷婷| 亚洲色网络| 五月网激情| 久热在线观看视频9| www色婷婷| 五月婷婷婷婷网| 狠狠色综合网| 97色婷婷在线观看| 色九月丁香婷婷蜜桃在线观看| 婷婷五月天福利| 中文字幕欧美久久| 国产女生爱爱AA| 九九99在线免费在线观看视频| 亚洲激情免费视频| 五月天激情婷婷五月天久久| 人妻自慰在线| www.精品99| 日韩成人电泉AV| 五月婷丁香| 99狠狠操一| 婷婷六月综合基地| 波多野结衣不卡AV| 少妇2做爰HD韩国电影| 久久婷婷五月综合伊人| 99精品视频免费观看| 我爱婷婷五月天综合88| 精品一区二区三区四区五区六区介绍 | 色婷婷成人丁香| 五月天社区婷婷丁香社区| 色色热| 丁香五月婷婷啪| 久久九九re热| 六月色婷婷综合影视| 超碰免费人| 99久视频| 天天婷婷色六月| 开心婷婷五月花| 成人日韩欧美| 五月丁香久久| 丁香婷婷六月天| 99色.com| 热久69| 色噜噜狠狠狠狠色综合久欧美| 激情丁香五月婷婷| 久久丁香| 中文字幕人成乱码在线观看| 天天插天天插| 午夜69成人做爰视频| 五月天婷婷色| 六月婷婷色| 九九色逼| 26uuu成人网| 亚洲综合网 665566| 天天日 天天草| 五月丁香五月婷婷在线观看| 五月在线| 天天操天天插| 欧美丁香五月97色| 天天日夜夜拍| 91色久| 久久怕怕视频| 亚洲综合五月天婷婷丁香| 无码99| 51国精产品自偷自偷综合| 婷婷婷婷婷婷婷五月丁香| 91精品久久久久久久| 蜜桃人妻无码AV天堂三区| 婷婷激情小说| 97中文在线| 97影院一级片| 色婷婷电影网| 久草久青福利| 天天狠狠色噜噜| 色婷五月天网站| 深爱开心五月天| 日本婷婷丁香五月| WWW.夜夜| 天天久| 日韩啊啊啊| 婷婷五月天社区| 99色在线观看视频| 亚洲热久久| 夜夜夜夜夜操| 成人精品视频99在线观看免费| 无码AV久久久久久久久| 91热久88| 精品久热69| 亚洲黄色精品| 综合五月天亚洲婷婷| 99热国产这里只有| 色色丁香五月婷婷| 婷婷五月天综合色| 深爱激情五月天| 玖玖99免费视频| 99热国产| 亚洲欧美日韩VIP| 182无码| 日噜噜色| 日日噜噜夜夜狠狠久久丁香六月| 亚洲色色在线| 开心婷婷五月中文字幕组| 色播播五月| 久久狠狠干| 欧美这里只有精品| 色天使色综合| 亚洲另类婷婷综合| 5月丁香综合网| av在线色五月丁香婷区久| 欧美成人精品老美女噜噜噜| 香焦网五月天| 国产精品涩涩涩视频网站| 伊人久久丁香五月91| 婷婷五月六月| 99国产小视频2013| www.亭亭五月天| 丁香五月天激情综合| 婷婷天堂综合| 六月丁花香啪啪激情欧美| 色444综合网| 大香蕉九操| 婷婷五月天桃花网| 超碰无码318604| 亚洲va欧美| 婷婷丁香五月天小说| 五月丁香婷婷成人网| 中文字幕综合网| 伊人综合网站| 色婷婷综合在线| 超碰人人操人人干| 丁香六月激情网C0W| 亚卅毛片| 婷婷在线五月综合| 五月丁香激情综合网| 26uuu美女三级视频| 天天天天天天噜| 色婷婷成人网| 影音先锋五月婷婷| 亚洲思思热久| 激情小说婷婷五月| 久久99精品视频| 二区成人视频| 综合激情五月综合激情五月激情1| 少妇人妻综合色6699| 九月婷婷综合| 99热人人操人人操| 久久丝丝热| 淫水导航| 亚洲男女激情| www91在线| 99rewww| 婷婷丁香成人五月天| 亚洲这里只有精品| 九九超碰人人| 五月丁香色婷婷基地| 色色五月婷婷久久| 欧美日韩色色| va婷婷在线| 影音先锋偷偷色男人站| 99热8在线| 91久操| 亚洲天堂aaa| 亚洲天堂热| 一区二区三区XXXXXX| 色婷婷五月基地在线| 丁香六月无码播放| 八戒青柠影视剧在线观看| 国产成人AV在线播放| 很很干在线视频| 激情99热| 色综合av超碰| 思思久热6| 思思久久99| 97碰碰电影| 婷婷五月丁香激情色情| 能看的av网站| 99色网站| 五月婷婷丁香| 9一精品视频观看| 人人人人人人人人人草| 五月丁香六月情| 男人天堂AV在线一区二区| hd五月婷婷在线| 丁香成人五月天| 亚州第一黄网| 五月丁香婷中文字幕| 五月天色图| AVV黄| 婷婷五月天免费| 综合网色| 婷婷五月天国产精品| 丁香婷婷激情五月天无毒不卡蜜桃| 久久久久久人妻| 99热9999| 97干在线播放| 激情婷婷九月| 丁香五月婷婷日本| 九月色婷婷综合亚洲| 激情五月天开心网丁香无码| 五月丁香激情啪啪| 精品国产va久久久久| 在线观看av网站| 六月丁香婷婷综合影院| 另类视频丁香五月| 99久久国产综合精品五月天喷水\| 狠狠做五月| 色五月激情| 影音先锋男人资源站一区二区| 99免费视频在线观看爱| 亚洲成人在线电影网站| 色五月丁香伊人| 欧美十二区| 最新亚洲色色网| 婷婷午夜| 狠狠操.com| 五月丁香人妻| 婷婷成人网五月天| 99久久9| 婷婷五月花免费视频在线| 9999久久久久| 九九精品网站| 色婷婷婷婷| 丁香婷婷超碰| 五月婷婷99热| 五月丁香亚洲校园欧美| 超碰91在线| 玖月婷婷爱丁香| 色色a| 久久精品爱爱| 色色热| 狠狠另类视频| 五月天综合在线网| www.五月天社区| 丁香五月伊人| 久久激情网| 九九热99在线视频| 丁香婷婷五月综合| www,久久久| 综合久久婷婷| 久久黄A片| 五月婷在线| 大香蕉啪啪啪| 五月天激情小说| 久热这里这里有精品| 婷婷丁香五月综合| 五月天婷婷开心| 五月婷婷香蕉| 婷婷午夜天| 超碰伊人碰婷婷五月| 久久激情五月婷婷| 色色色99| 99激情| 日韩婷婷五月天| 色婷婷香蕉在线| 五月天婷婷无码视频| 欧美日本不卡黄色片| 婷婷五月天精品| 中文AV在线观看| 色五月婷婷中文字幕| 午夜理论片最新午夜理论剧| 99re8热精品免费视频| 99热6色| 欧美日韩国产伦精品日韩人妻一| 六月丁香婷| 五月天激情四射| 天天爱天天操| 国产婷婷色综合AV蜜臀AV| 中文久久婷婷| 九九aV| 天天干夜夜欢| 五月婷婷六月丁香首页| 五月丁香啪| 五月丁香五月天现场视频| 婷婷伊人五月丁香天堂网| 可以免费观看的AV| 婷婷五月天成人娱乐| 美女久久婷婷| 丁香五月色网| 色五月天综合| 啪啪操操| 欧美精品999| 嫩BBB槡BBBB搡BBBB视频| 色综合久网| 色吧五月婷婷| 丁香六月亚洲综合| 亚洲天99| 无遮羞AV| 亚洲99综合| 丁香色播五月天| 伊人热婷婷| 亚洲男女激情| 丁香六月久| 五月婷婷大香蕉| 91色性感五月婷婷丁香| 丁香九月婷| 亚洲99视频| 美欧成人视频| 亚洲视频一区| 超级碰碰碰97免费| 五月四色婷婷| 大香蕉520| 男女av免费看| 久久这里有精品| 色五狠狠| site:minyis.com| 绿色小导航AV| 熟女人妻一区二区三区免费看| 人。妻久久| 青青草搞屄视频网站| 综合 蜜月 婷婷| 六月丁香五月天| 91精品综合久久久久久五月丁香| 色五月开心婷婷| 亚洲成人AV一区在线观看| 狠狠插狠狠操| 五月婷婷六月天| 日本天天综合| 日韩性视频| 玖玖婷婷五月天毛片| 色五月婷婷亚洲| 五月婷婷 激情五月| xxxx五月激情| 丁香激情四射| 永久天堂日本| 亚洲成av人影院| 欧美在线操| 亚洲成人噜噜| 夫妻超碰在线| 666555。COm毛片| 9999久久久久| 六月丁香五月婷婷| 婷婷综合五月色播| 激情五月天婷婷直播| 亚洲色基地| 国产在线激情视频| 国产精品大香蕉| 成人婷婷| 无码区婷婷五月花开| sewuyuejiqingwang| 亚洲AV成人片无码网站| 玖玖九九9999在线观看视频精品| 婷婷丁香六月| 97色色色色色| 91碰视频| 九九视屏| 日韩色色视频| 午夜丁香五月天综合| 婷婷六月激情啪啪| 婷婷基地成人五月天| 五月婷婷综合久久| 久久久五月天婷婷| 亚洲精品久久久无码| 狠狠色婷婷7777久| 午夜成人综合| www.精品99| 人操91在线| 精品久久99| 九九久久99| www.99精品在线| 婷婷色五月色| 婷婷欧美激情| 五月婷婷人妻| a久久免费视频| 色婷婷五月综合在线| 2050人人操免费工开爱| 综合久久婷婷| 99综合在线| 大香蕉五月婷婷| 激情五月天情色| 婷婷在线网| 99热在线观看| 亚洲妇女熟BBW| 色色综合网站| 激情五月天色播| 色情婷婷| 亚洲爆乳无码精品AAA片蜜桃| 激情综合网色播五月| 九九操操| 99热在线精品观看| 五月天另类激情在线| 五月天另类小说| 五月丁香久久| 五月婷婷啪啪| 激情婷婷丁香| 99精品偷自拍| 激情婷婷丁香五月| 五月婷婷六月激情| 日本在线播放97| 九月婷婷在线视频| 狠狠婷婷综合| 婷婷久久婷婷色五月| 婷婷激情五月天激情小说 | 精品九九网| 亚洲无码影片| 日本人妻久久| 无码髙清| 亚洲中文av| 超碰亚洲天堂| 狠狠夜夜五月丁香| 思思re视频在线| 九九无码视屏| 人人操av| 大香蕉久操| 国产精品色| 欧美性生交XXXXX无码小说| 国产欧美日韩综合精品一区二区| 五月婷三级片| 欧美碰碰| 成人婷99最新| 综合激情网五月激情| www婷婷色情网| 激情久久天天| 五月色色激情网| 色欲久久久久久综合网综合网| 超碰国产AV| 亚洲激情av| 亚洲综合九九| 九色综合网| 9色免费网| 91久久国产综合久久| 激情性爱五月| 色色亚洲无码| 丁香五月综合在线观看| 丁香九月综合激情| 婷婷午夜天| 夜夜撸夜夜骑| 91人在线观看| 一区二区三区XXXXXX| 欧美婷婷日本| 人妻熟妇六区| 色欲午夜无码久久久久久张津瑜| 婷婷六月丁香五月| 久婷婷视平| 天天射色五月天| 五月婷精品| 色五月亚洲五月天| 亚洲热久久| 久久激情综合| 9久热精品在线视频| 色开心五月丁香| 日本人妻A片成人免费看片| 婷婷激情中文综合| 五月之婷婷| 丁香花五月天激情| 99热网精品| 国产综合81p| 激情av| 五月丁香六月情婷婷久久| 久热这里只有精品6| 99热.com| 99视频日韩| 五月丁香六月香香蕉| 26UUU在线观看| 久久久久久人妻| 婷婷色网站| 色婷婷六月| 情色婷婷五月天| 久热这里精品免费| 91久久久久久久久| 婷婷综合性爱网| 97碰| 日操夜撸| 96丁香六月婷婷蜜桃综合久久| 久热A片| 五月大香蕉| 人人操人人爱丁香五月| 夜夜爽天天干| 超碰A V在线| 九九99免费理论| 五月之婷婷| 日日杆天天| 欧美日本高清视频99| 精品国产人人爱人人| 婷婷五月天美女21p| 99精品偷自拍| 91色在线/日韩| 久热这里只有精品在线| 九九色热| 国产精品国产| 狠狠色噜噜狠狠狠888了| 91超级碰碰碰| 天天综合天综合久久网| 婷婷丁香九月| 91精品久久久久久综合五月天| 99热99在线| 国产成人高清| 亚洲欧美999| 婷婷五月六月丁香| 丝袜激情网| 成 人 色 色| 天天爽夜夜操| 九九激情综合| 五月婷婷中文字幕| www婷婷色| 丁香六月天婷婷在线| 久久亚洲无码| 色色色色色日韩午夜激情 | 九九蜜臀精品| 我去色色网五雨天| 狠狠色噜噜色狠狠狠综合色 | 久操无码| 99无码精品| 久9精品视频在线| 亚洲欧美成人在线| 婷婷色导航| 欧美激情伊人| 九九精品视频在线观看| 人人色人人弄人人操| 国产xxxxx在线观看| 中文字幕,综合,91| www.久操| 激情性五月天免费小说视频| 欧美成人精品A片免费一区99| 欧美久热| 狠狠色婷婷7777久| 久久精品五月天| 五月激情婷婷六月| 日本三级第一页| 超碰成人影视| 亚洲久久婷婷| 国产精品久久久久久喷浆| 精品无码av丁香五月激情| 五月婷婷九月婷婷九月婷婷| 色爱综合五月| 婷婷综合五月天| 婷婷射婷婷舔| 欧美色婷婷| 99A片| 婷婷色播婷婷| 久久思思热视频| 亚洲视频操| 午夜天堂一区人妻| 色色婷婷丁香五月天| 综合久色五月| 五月天婷婷情色| 精品夜夜澡人妻无码AV| 色偷偷综合| 人妻系列久久久久久久久久久| 亚洲色五月婷婷| 97人人干人人操| 欧美婷婷精品激情| 亚洲激情丁香五月天色| 欧美月久久| 99热免费| 狼友超碰| 五月激情黄色小说| 五月综合色| 五月婷色丁香| JAPANRCEP老熟妇乱子伦视频| 五月丁香激情综合网| 久久er九九| 91日日日| 青青草伊人婷婷| 亚洲欧美婷婷五月色综合| 天天舔天天摸天天射| 黄网在线观看免费| 五月天婷婷婷| 六月丁香激情网| 五月丁香免费看| 婷婷基地成人五月天| 无码橾| 亚洲妇女熟BBW| 99熟女视频| 五月丁香六月激情啪| 亚州色婷婷| 亚洲无码猫咪| 国产毛片欧美毛片久久久 | 日韩免费视频| 精品人人操| 五月婷婷中文字幕| 亚洲婷婷六月天| 日韩黄黄| 一级七香蕉| 99燥99日| 久久久久久人妻| 这里只有精品在线观看视频| 夜夜天天久久婷婷| AA丁香综合激情| 99ri视频在线播放| 欧美精品狠狠色丁香婷婷| 亚洲激情AV| 成人网址在线观看| 久草热在线视频| 日日懆天天懆| 成人久久天天x资源站| 九九色图| 久久婷婷五月综合啪| 69精品人人人人| 六月丁香激情网| 99操无码视频观看| 国产精品婷婷午夜在线观看| site:picc-up.com| 亚洲国产婷婷色五月| 99色五月| 五月天婷婷丁香人人操91| 超碰9799| 激情五月天丁香| 久草视频一,二三四| 可以直接看的av| 婷婷爱五月天人人爱| WWW五月天| 人妻狠狠操| 丁香五月综合激情性爱| 97久久超级| 亚洲九九99精品视频在线播放| 亚洲亚洲人成综合网络| 另类小说色婷婷| 亚洲操操| 97色在线视频| 婷婷色综合| rr天天操| 直接看的AV| www.成人婷婷综合| 激情五月丁香六月婷婷| 欧美综合激情五月丁香| 狠狠干天天内射| 26UUU一区二区| 99色在线视频| 黄色三级日本| 亚洲AV日韩无码| 非洲一级AV| 99热99精品| 香蕉大综综综合久久| 欧美熟妇一区二区三区| 97人人妻人人艹| 久久久婷婷五月天| 日本强伦片中文字幕免费看| 思思久久99热只有频精品66| www.夜夜| 99国产精品久久久久久久久久久| 超碰在线91| 99免费在线视频| 99久久国产宗和精品1上映| 久草婷婷| 国产成人精品亚洲线观看| 99色干| 成人AV免费观看| 97人人干人人操| 9久久精品| 色停停香蕉视频| 九九操操| 丁香色五月天| 色婷婷香蕉| 欧美人与性动交CCOO| 无码人妻精品一区二区蜜桃色欲 | 成人免费在线电影| 在线成人视频免费| 停停五月色宗合| 99色色网| 色欲天天综合| 丁香六月在线| 九九Av| 色狠狠色噜噜AV天堂五区| 韩国中文字幕91| 亚洲精品第一国产综合亚AV | 五月婷婷在线视频免费观看| 人妻内射麻豆视频| 99色热视频| 夜夜爽天操| 婷婷五月天六月丁香| 成人网址在线观看| 丁香五月婷婷偷拍| 丁香五月久久| 久久五月天综合| 亚洲欧洲中文日韩久久AV乱码| 日韩二区搞逼插逼毛片| 草榴视频黄色网| 激情九九六月激情免费视频| 激情伊人| 色情五月丁香婷婷网| 五月丁香六月日逼| 美女婷婷六月色| 日日鲁鲁夜夜爽爽| 色5月婷婷| 五月天久久婷婷| www.婷婷亚洲基地| 欧美精品999| 91无码色色| 五月激情久久| 9久国产精品| 丁香五月天激情网址| 日日操夜夜爽天天天| 97婷婷五月| 91九色国产熟女| 五月激情六月丁香| 国产高清av黄色看片| 亚洲人成网站999久久久综合| 久久超级碰视频| 91超级碰| 激情五月婷婷啪啪| 日韩AAAAA| 182TV大香蕉| 欧美婷婷五月丁香| 免费超碰在线观看| 九月婷婷综合网| 五月天婷婷xxx| 婷婷五月天com| 亚洲无码99| 99色视频在线| 婷婷色资源| 国产精品社区| 开心婷婷五月花| 思思久久精品| 激情图片五月天| 在线综合亚洲欧美65| 色五月五月婷婷| 99热欧| 婷婷五月六| 色婷婷激情| 久久五月热| 婷婷五月天AV| 五月丁香色婷婷综合| 亚洲欧洲午夜成人精品av| 91狠狠综合久久久久久| 综合久久综合五月天婷婷| 激情综合五| 亚洲九九九九| 久草狼人| 久9视频| 五月丁香A∨在线| 色很很96| 欧美VA在线| 婷婷社区五月天| 热99热久| 精品国产va久久久久| 色婷婷五月天视频在线| 五月天激情国产综合婷婷| 色综啪啪| 另类色视频| 丁香五月在线观看| 99爱在线视频| 久久久27操| 色亭亭五月天网扯| 日本激情91| 日韩av手机在线观看| 久操福利| 丁香五月天激情网| 色情五月综合婷婷| 综合久久伊人| 五月丁香色婷婷婷基地| 99久在线精品99re8热| 色情综合网| 99re热在线观看| 色色色.com| 91精品久久久久久综合五月天| 五月婷无码| 丁香五月亚洲激情婷婷射| 国产精品A片| 亚洲综合激情五月久久| 久久丁香社| 能看的av片| 9久精品视频| 九月婷婷在线观看| 狠狠五月天婷婷| 欧美影院| 天天爱天天天射AV| 99久久99视频只有精品| 婷婷五月天视频免费在线观看| 爱久久小说下载网| 99色天堂| 激情五月久久| seuuu婷婷| 99热欧美在线观看| 婷婷丁香五月天激情| 九九九九操逼| 色很很96| 九九这里是免费的视频5| www。五月,com| 六月激情婷婷综合| 99碰碰| 久久精品噜噜噜成人A∨色欲| 新99思思视频| 亚洲九区| a在线免费v| 五月婷婷说| 国产毛片精品一区二区色欲黄A片| 97碰在线视频| 日本3级片一区2区| WWW.亚洲无码| 日韩三十六页| 天天色天天干天天插| 另类小说五月天| 久操干| rr天天操| 欧洲综合一区| 日本人妻丁香婷婷久久寝取熟女五月| 色丁香久久| 秋霞AV美国| 日日爽日日| 婷婷丁香五月天综合在线日韩| 99热成人永久免费| 伊人玖玖精品| 激情丁香久久久久久| 欧美婷婷色五月| 婷婷色情 | 成人必爱视| 综合网亚洲| 色五月综合在线| 人人操AV| 99久久婷婷综合| 99热这里只是精品| 99久久国产宗和精品1上映| 五月婷婷色播视频| 色色色9| 91久久1118| 婷婷激情九月| 六月婷婷九月丁香| 十一月婷婷激情四射| 五月开心久久| 丁香桃色网| 九九99免费理论| 亚洲成人av在线| 久久99精品日本| 色婷五月天| 香蕉97碰碰碰超视精品| 日日干天天| 欧美啪啪网| AV人人操| 色欲久久久久久综合网综合网| 日本va欧美va国产激情| 久久99免费视频网站| 噜噜色噜噜网| 99综合成人视频在线观看| 97色婷婷五月天| 91干婷婷| 99热99热不卡| 国产中文字幕在线视频免费观看 | 强辱丰满人妻HD中文字幕 | 日韩色色网| 另类小说五月天| 色热久资源| 五月婷婷综合在线| 深爱激情四射| 亚洲第一成人无码A片| 亚洲综合在线丁香五月| 伊人狼人干| 欧美五月丁香| 色综合色色色色| 九九热精品视频| 久久精品系列| 大香蕉伊人99| 丁香五月综合高清在线| 激情四射五月天| 啪啪婷婷五月天激情| 激情婷婷五月丁香啪啪啪| 亚洲经典小视频| 婷婷伊人綜合中文| 2017人人操| 色婷婷先锋| 五月丁香色婷婷色| 99热老司机| 99色在线| 狠狠色官网| 婷婷影院A成人| 天天综合影院| 97爱综合| 91丨九色丨高潮丰满日本| 妇激情基地| 婷婷色色五月天| 五月天婷婷丁香视频| 无码人妻AV久久久一区二区三区| 国产片色| 免费色婷婷| 日本婷婷色日| 欧美色色色色色色色色色色| 久久丁香五月婷婷| 丁香六月婷婷激情综合| 久热这里| 婷婷色欧美激情| 青青艹b| 五月色丁香| 六月婷婷成人| 国产精产国品一二三在观看| 欧美激情凹凸丁香网| 熟女啪啪视频| 国产精品18久久久| 射久久丁香五月| 激情性爱网站| 大香蕉婷婷丁香天堂AV| 日本精品在线噜噜噜| 婷婷在线视频| 天天添天天摸天天天天做| 天天操天天插| 天天操天天操| 97成人在线视频| 狠狠色精品综合| 在线99色| 五月色综合| 狠狠色官网| 九九99视频精品| 丁香六月婷| 99色视频在线观看| AV大片在线观看| 久久人妻超碰一区| aaa9区免费在线观看| 97在线综合| 美女五月天婷婷| 成人网页在线观看| 久久综合干| 五月天自拍视频| 久久99大全| 欧美日韩成人h| 大香蕉五月婷婷| 公的粗大挺进了我的密道| 日婷婷久久开心| 99re思思热在线视频| 嫩草视频。| 色播五月| 亚洲视频伍月婷婷| 亚洲性受XXXX五月丁香| 婷婷激情97| 26UUU欧美| 色欲久久久久| 91九色国产| 六月五月天婷婷涩播在线| 色激情五月| 激情婷婷五六月天| 一本九九色| 香蕉婷婷| 夜夜爽天天日| 午夜色婷婷| 91嫩草国产线观看亚洲一区二区| 色婷婷中文在线| 人人干人人操人人摸人人做| 五月婷婷日| 色偷偷AV亚洲男人的天堂| www.五月天| 六月丁香婷婷综合色播| 91成人看| 天天爽夜夜操| 久久精品视频在这里有| 色婷婷六月天| 日韩在线视频9色| 五月婷婷黄色| 日韩操| 玖玖爱资源站| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 97操操| 99爱免费视频| 色五月丁香六月资源站| 久热爱大香蕉在线蜜臀悦色| 亚洲精品视频在线播放| 婷婷狠狠干| 五月丁香婷婷无码A∨| 青996青| 国产精产国品一二三在观看| 五月色婷婷中文字幕| 九色色| 99热只有精品在线播放| 色九综合| 99精品热| 26uuu精品一区二区| 一本综合丁香日日狠狠色| www.色五月| 久久99免费视频网站| 婷婷综合五月| 夜夜大香蕉婷婷丁香| 婷婷五月天亚洲精品| 五月丁香啪啪啪| 婷婷五月丁香基| 中文激情网| 91在线操| 99精品九九| 人妻丰满精品一区二区A片| 9久久精品| 久久久无码精品成人A片小说| 五月激情丁香| 视色网在线播放| 婷婷色五月激情| 久99久视频免费观看| 黄色成人AV在线| 91男同视频| 99热婷婷| 爱射综合| 丁香五月激情啪| site:pnnrt.com| 久久免费婷婷视频| 99精品爱| 狠狠狠狠狠狠草| 99热最新地址在线| 九九亚洲综合| 啪啪操超碰| 888久久久| 丁香五月激情综合久久| 亚洲字幕AV一区二区三区四区| 五月婷婷丁香五月| 久久婷婷精品| 97色热| 五月天婷婷久久| 六月色播| 天天日日夜夜爽。| 六月色国内综合| 色久五月| 久色成人| 99re久热只有精品6在线直播| 五月份婷婷| 久久婷婷五月综合| 超碰在线人妻| 91avse| 丁香九九九九| 六月婷婷综合激情| 91人人超碰在线| 91视频免费后入强操| 久久大香免费| 色原狠狠综合| 青青草原爱爱网| 婷婷五月欧美| 色吊操色妞| 99ri6在线视频| 丁香五月激情综合久久| 182tv992tv人之初午夜免费观看| 色婷青青| 伊人大综合| 波多婷婷久久| 亚洲精品无码A片一区二区| 99只有精品9| 区欧美日韩成人| 亚洲黄色操逼| 亚洲成人AV一区在线观看| 婷婷久久欧美| 成人 九九九九| 婷婷色基地在线看 | 中文字幕97超级碰| 五月天婷婷香蕉狠狠超碰综合| 欧美激情综合色丁香婷婷五月天| 九九家庭影院| 亚洲激情淫网| 午夜 外网 精品 在线| 婷婷色系婷色| 狠狠狠狠狠草| 五月天狠狠草| 天天干天干| 色婷婷日本| 五月丁香福利| 99热18| 97操操| 性生生活大片又黄又| 婷婷五月丁香综合网| 天天视频精品9| 色情五月| 超碰在线观看9| 九九伊人网| 凹凸7777操操操| 亚洲婷婷六月天| 99国产小视频| 蜘蛛女侠2003满天星免费观看| 色在线99| 免费黄色视频网址| 天天爽人人综合免费7799| 99国产精品白浆在线观看免费| 色色欧美。| 91九九精品| 噜噜操操| 九九激情网| 五月天开心婷婷久久| 久久这里只有国产视频| 天天干天天色综合| 丁香九月综合激情| 99精品综合| 国精产品一区一区三区免费视频| 日韩不卡123| 色www.con| 99热婷婷| 五月深爱婷婷|