欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式固件啟動(dòng)故障定位實(shí)戰(zhàn):從復(fù)位源到main()前的五級(jí)穿透法

嵌入式固件啟動(dòng)故障定位實(shí)戰(zhàn):從復(fù)位源到main()前的五級(jí)穿透法 1. 這不是“講啟動(dòng)流程”的課是嵌入式固件工程師的現(xiàn)場(chǎng)作戰(zhàn)手冊(cè)你手里的開(kāi)發(fā)板突然卡在串口打印第一行就停住log里只有一串0x20000000地址的非法訪問(wèn)OTA升級(jí)后設(shè)備反復(fù)重啟但bootloader日志顯示“image valid”校驗(yàn)和也對(duì)得上客戶現(xiàn)場(chǎng)反饋某批次固件在特定溫度下冷機(jī)啟動(dòng)失敗復(fù)現(xiàn)率37%而實(shí)驗(yàn)室100%通過(guò)——這些不是考試題是凌晨?jī)牲c(diǎn)你被電話叫醒時(shí)的真實(shí)戰(zhàn)場(chǎng)。這篇專欄要解決的從來(lái)不是“ARM芯片上電后PC從哪取指令”這種教科書(shū)定義而是當(dāng)你面對(duì)一塊貼著“已燒錄固件”的黑色PCB、一臺(tái)正在報(bào)錯(cuò)的產(chǎn)線測(cè)試儀、或一封寫(xiě)著“請(qǐng)48小時(shí)內(nèi)定位根因”的郵件時(shí)真正能讓你快速拆解、精準(zhǔn)定位、穩(wěn)住局面的工程化方法論。核心關(guān)鍵詞嵌入式、固件、啟動(dòng)流程、OTA、ARM每一個(gè)都對(duì)應(yīng)著真實(shí)產(chǎn)線里摔過(guò)的跟頭、改過(guò)的寄存器、抓過(guò)的波形。我?guī)н^(guò)的團(tuán)隊(duì)里新人常把“看懂startup.s”當(dāng)成啟動(dòng)流程終點(diǎn)老手卻知道真正的難點(diǎn)在startup.s執(zhí)行完之后——那幾毫秒內(nèi)發(fā)生的內(nèi)存映射切換、時(shí)鐘樹(shù)配置沖突、外設(shè)初始化時(shí)序錯(cuò)位才是讓90%故障藏身的灰色地帶。本系列不講抽象理論所有內(nèi)容都來(lái)自我們?yōu)榘卜罃z像頭、工業(yè)PLC、車載T-Box做固件交付時(shí)的真實(shí)案例比如用示波器抓取reset引腳與uart tx引腳的時(shí)序差定位bootloader跳轉(zhuǎn)失敗用JTAG trace buffer回溯到第7條指令的SP異常把OTA鏡像拆成bin段逐字節(jié)比對(duì)發(fā)現(xiàn)flash控制器DMA burst長(zhǎng)度配置錯(cuò)誤。上篇課后思考題不是為了考你而是還原我們當(dāng)年在客戶現(xiàn)場(chǎng)白板上畫(huà)出的故障樹(shù)——答案本身不重要重要的是你能否沿著“現(xiàn)象→寄存器狀態(tài)→硬件信號(hào)→電源軌紋波”這條鏈路一環(huán)扣一環(huán)地推演。適合誰(shuí)剛畢業(yè)想避開(kāi)“只會(huì)點(diǎn)燈”的嵌入式新人做了三年驅(qū)動(dòng)但遇到啟動(dòng)問(wèn)題仍要靠“重?zé)囋嚒钡闹屑?jí)工程師以及需要向客戶出具《啟動(dòng)異常根因分析報(bào)告》的固件架構(gòu)師。2. 啟動(dòng)流程深度拆解從復(fù)位向量到main()前的七層地獄2.1 真正的啟動(dòng)起點(diǎn)復(fù)位源與向量表基址的博弈很多工程師認(rèn)為啟動(dòng)始于CPU執(zhí)行第一條指令這是危險(xiǎn)的誤解。真正的起點(diǎn)是復(fù)位源觸發(fā)的硬件狀態(tài)重置。以Cortex-M系列為例當(dāng)POR上電復(fù)位發(fā)生時(shí)CPU并非直接跳轉(zhuǎn)到0x00000000而是根據(jù)BOOT引腳電平、eFUSE配置、甚至OTP中存儲(chǔ)的啟動(dòng)模式寄存器值決定向量表基址VTOR的初始值。我在調(diào)試一款全志H3芯片時(shí)客戶產(chǎn)線出現(xiàn)15%的啟動(dòng)失敗最終發(fā)現(xiàn)是eMMC boot mode下SOC內(nèi)部ROM bootloader會(huì)先讀取eMMC第一個(gè)扇區(qū)的MBR再根據(jù)MBR中的分區(qū)表跳轉(zhuǎn)到boot0分區(qū)加載u-boot而該批次eMMC的MBR寫(xiě)入時(shí)CRC校驗(yàn)位被擦除工具意外清零導(dǎo)致ROM bootloader誤判為無(wú)效鏡像直接fallback到SPI flash啟動(dòng)——但SPI flash里只有舊版bootloader其不支持新SOC的DDR初始化時(shí)序于是卡死在SDRAM初始化階段。這個(gè)案例說(shuō)明所謂“啟動(dòng)流程”必須從硬件復(fù)位源的物理特性開(kāi)始梳理。ARM架構(gòu)下常見(jiàn)的復(fù)位源包括POR、NRST、WDOG reset、SYSRESETREQ等每種復(fù)位源觸發(fā)后CPU內(nèi)核、總線矩陣、外設(shè)模塊的寄存器復(fù)位值并不完全相同。例如WDOG reset通常不會(huì)復(fù)位RTC寄存器而POR會(huì)清空所有寄存器。實(shí)操中我習(xí)慣在startup.s最開(kāi)頭插入一段匯編讀取SCB-AIRCR寄存器的VECTCLRACTIVE位和SYSRESETREQ位結(jié)合NVIC-IABR寄存器判斷當(dāng)前復(fù)位類型并通過(guò)GPIO輸出不同波形用示波器直接觀測(cè)復(fù)位源——這比看串口log快3秒且100%準(zhǔn)確。2.2 向量表不只是中斷入口更是內(nèi)存布局的憲法向量表Vector Table常被簡(jiǎn)化為“中斷函數(shù)地址數(shù)組”但它實(shí)際是整個(gè)固件內(nèi)存布局的憲法性文件。標(biāo)準(zhǔn)ARM Cortex-M向量表前16項(xiàng)為系統(tǒng)異常Reset、NMI、HardFault等后接用戶中斷。但關(guān)鍵在于向量表位置決定了整個(gè)代碼段的鏈接基址。當(dāng)使用分散加載scatter loading時(shí)向量表可能被鏈接到0x08000000主flash也可能被重定向到0x20000000SRAM用于調(diào)試。我在調(diào)試RT-Thread系統(tǒng)時(shí)遇到過(guò)經(jīng)典問(wèn)題將vector table放在SRAM后reset handler能正常執(zhí)行但HardFault發(fā)生時(shí)PC指向0xFFFFFFFE——查證發(fā)現(xiàn)是SCB-VTOR寄存器未在reset handler中顯式設(shè)置導(dǎo)致CPU仍從默認(rèn)0x00000000讀取向量表而該地址此時(shí)是未初始化的SRAM內(nèi)容全0故HardFault向量為0x00000000PC被加載為0x0000000040x00000004再加偏移變成0xFFFFFFFE。解決方案不是改鏈接腳本而是在startup.s的reset handler第一行插入ldr r0, 0x20000000msr VTOR, r0。更隱蔽的問(wèn)題出現(xiàn)在多bank flash場(chǎng)景某款STM32H7芯片有兩塊獨(dú)立flash bankbank1: 0x08000000, bank2: 0x08100000客戶要求OTA升級(jí)時(shí)新固件燒錄到bank2啟動(dòng)時(shí)由bootloader切換VTOR到bank2向量表。但實(shí)測(cè)發(fā)現(xiàn)切換后USB中斷無(wú)法觸發(fā)根源是USB PHY的時(shí)鐘使能寄存器RCC-APB1ENR在切換VTOR后未重新配置——因?yàn)樵摷拇嫫鞒跏蓟a位于bank1的startup.s中bank2的向量表雖指向bank2的reset handler但handler內(nèi)部調(diào)用的clock_init函數(shù)地址仍在bank1而bank1此時(shí)已被remap禁用。最終方案是將clock_init及所有依賴的底層驅(qū)動(dòng)函數(shù)全部復(fù)制到bank2并在鏈接腳本中用KEEP(*(.text.clock_init))強(qiáng)制保留。2.3 初始化三部曲堆棧、時(shí)鐘、內(nèi)存缺一不可的死亡鏈從reset handler跳轉(zhuǎn)到C環(huán)境前必須完成堆棧、時(shí)鐘、內(nèi)存三大初始化任一環(huán)節(jié)失敗都會(huì)導(dǎo)致不可預(yù)測(cè)行為。這里沒(méi)有“標(biāo)準(zhǔn)流程”只有針對(duì)具體SOC的精確操作序列。堆棧初始化Cortex-M內(nèi)核有兩個(gè)堆棧指針MSPMain Stack和PSPProcess Stack。Reset后CPU使用MSP因此startup.s中__initial_sp必須指向合法RAM區(qū)域。常見(jiàn)陷阱是stack size設(shè)置過(guò)小某次為智能電表設(shè)計(jì)固件stack size設(shè)為0x200測(cè)試時(shí)一切正常量產(chǎn)時(shí)客戶增加DLMS協(xié)議棧函數(shù)調(diào)用深度超過(guò)256字節(jié)導(dǎo)致MSP溢出覆蓋相鄰全局變量設(shè)備在抄表時(shí)隨機(jī)死機(jī)。解決方案是用arm-none-eabi-gcc的-fstack-usage選項(xiàng)生成每個(gè)函數(shù)的stack usage報(bào)告取最大值30%安全余量。時(shí)鐘樹(shù)配置這是啟動(dòng)失敗的最高發(fā)區(qū)域。以NXP i.MX RT1052為例其時(shí)鐘樹(shù)包含PLL、SYS PLL、AUDIO PLL等12個(gè)時(shí)鐘源reset后默認(rèn)使用24MHz晶振經(jīng)分頻得到的12MHz作為core clock。但若在未配置SYS PLL前就調(diào)用SystemCoreClockUpdate()該函數(shù)會(huì)讀取CCM_ANALOG_PLL_SYS_CTRL寄存器獲取當(dāng)前PLL倍頻系數(shù)而該寄存器reset值為0導(dǎo)致計(jì)算出的SystemCoreClock為0后續(xù)所有基于此的delay函數(shù)失效。更致命的是某些外設(shè)如FlexSPI的時(shí)鐘源必須在core clock穩(wěn)定后才能配置否則寄存器寫(xiě)入無(wú)效。我的做法是在clock_init函數(shù)中先用匯編指令dsb syisb確保流水線清空再讀取PLL lock status bit如CCM_ANALOG_PLL_SYS_CTRL[12]循環(huán)等待直到bit1最后才調(diào)用SystemCoreClockUpdate()。內(nèi)存初始化重點(diǎn)是SRAM和外設(shè)RAM。某次調(diào)試GD32F450發(fā)現(xiàn)DMA傳輸數(shù)據(jù)錯(cuò)亂最終定位到startup.s中未初始化DTCM RAMData Tightly Coupled Memory。DTCM是Cortex-M7特有的高速RAM地址范圍0x20000000-0x2001FFFFreset后內(nèi)容隨機(jī)若DMA descriptor table放在DTCM但未清零descriptor中的next pointer可能指向非法地址導(dǎo)致DMA鏈表斷裂。解決方案是在reset handler中添加movs r0, #0movs r1, #0movs r2, #0movs r3, #0循環(huán)清零DTCM區(qū)域而非依賴C庫(kù)的__iar_data_init3該函數(shù)僅初始化.data/.bss不處理DTCM。2.4 main()之前的暗流C運(yùn)行時(shí)環(huán)境與全局對(duì)象構(gòu)造當(dāng)startup.s執(zhí)行bl main時(shí)你以為進(jìn)入了安全區(qū)不C運(yùn)行時(shí)環(huán)境CRT的初始化才剛剛開(kāi)始。這部分由編譯器自動(dòng)生成但細(xì)節(jié)決定成敗。.data段復(fù)制鏈接腳本中定義.data位于flashLOAD_REGION但運(yùn)行時(shí)需復(fù)制到RAMRUN_REGION。復(fù)制過(guò)程由__iar_data_init3IAR或__libc_init_arrayGCC執(zhí)行。陷阱在于若flash讀取速度慢于RAM寫(xiě)入速度且未啟用cache復(fù)制過(guò)程可能超時(shí)。某次在ESP32-S3上.data段大小達(dá)128KB使用QSPI flash80MHz復(fù)制時(shí)因flash controller的read latency設(shè)置不當(dāng)導(dǎo)致復(fù)制耗時(shí)超過(guò)watchdog timeout設(shè)備在main()前被復(fù)位。解決方案是修改鏈接腳本在.data段前插入.fast_datasection將高頻訪問(wèn)的全局變量如DMA buffer指針顯式放入該section并用__attribute__((section(.fast_data)))標(biāo)記確保其位于內(nèi)部RAM而非QSPI映射區(qū)。全局對(duì)象構(gòu)造C項(xiàng)目中全局對(duì)象的constructor在main()前執(zhí)行。某次為車載T-Box開(kāi)發(fā)一個(gè)全局CAN driver對(duì)象在constructor中調(diào)用CAN_Init()而該函數(shù)依賴RCC_EnableClock()但clock init尚未完成——因?yàn)閏lock init在main()中而global object constructor在main()前。IAR編譯器默認(rèn)按聲明順序執(zhí)行constructor但GCC使用__init_array_start數(shù)組順序不可控。最終方案是放棄全局對(duì)象改用單例模式在main()中首次調(diào)用時(shí)初始化或使用__attribute__((constructor))顯式指定執(zhí)行順序。堆初始化malloc()依賴heap region。鏈接腳本中_heap_start和_heap_end定義不當(dāng)會(huì)導(dǎo)致malloc返回NULL。某次在RT-Thread項(xiàng)目中heap size設(shè)為0x10000但實(shí)際可用RAM因DTCM占用只剩0x8000malloc分配大buffer時(shí)失敗。更隱蔽的是heap與stack碰撞當(dāng)遞歸過(guò)深或局部數(shù)組過(guò)大stack向下增長(zhǎng)撞上heap向上增長(zhǎng)導(dǎo)致內(nèi)存破壞。我習(xí)慣在startup.s中添加stack guard在stack底部預(yù)留0x100字節(jié)寫(xiě)入magic number如0xDEADBEEF在main()開(kāi)頭檢查該值是否被修改若被改寫(xiě)則說(shuō)明stack overflow。3. 故障定位方法論從現(xiàn)象到根因的五級(jí)穿透法3.1 第一級(jí)現(xiàn)象分類學(xué)——拒絕模糊描述故障定位的第一步不是抓log而是對(duì)現(xiàn)象進(jìn)行原子化分類。我建立了一套現(xiàn)象分類矩陣橫軸為可觀測(cè)維度串口log、LED狀態(tài)、JTAG連接性、外設(shè)響應(yīng)縱軸為時(shí)間特征上電瞬間、啟動(dòng)過(guò)程中、運(yùn)行穩(wěn)定后、特定操作觸發(fā)。例如“設(shè)備上電后LED常亮不閃爍”屬于“LED狀態(tài)上電瞬間”而“運(yùn)行2小時(shí)后UART無(wú)響應(yīng)”屬于“外設(shè)響應(yīng)運(yùn)行穩(wěn)定后”。這種分類能立即排除80%的誤判。曾有個(gè)案例客戶報(bào)“設(shè)備無(wú)法啟動(dòng)”現(xiàn)場(chǎng)看到串口無(wú)任何輸出。按矩陣分類屬于“串口log上電瞬間”。我首先用萬(wàn)用表測(cè)UART_TX引腳電壓——正常應(yīng)為3.3V高阻態(tài)實(shí)測(cè)為0V說(shuō)明MCU未輸出問(wèn)題在MCU本身或供電若為3.3V則可能是電平轉(zhuǎn)換芯片損壞。結(jié)果測(cè)得TX為0V進(jìn)一步測(cè)VDDA為1.2V應(yīng)為3.3V發(fā)現(xiàn)LDO輸出電容虛焊導(dǎo)致模擬電源域未建立ADC和內(nèi)部RC振蕩器失效MCU無(wú)法退出復(fù)位。若不分類直接換MCU會(huì)浪費(fèi)3天。3.2 第二級(jí)寄存器快照——讓硬件開(kāi)口說(shuō)話當(dāng)現(xiàn)象指向特定模塊如UART無(wú)輸出必須獲取該模塊關(guān)鍵寄存器的實(shí)時(shí)快照。不要依賴loglog可能因時(shí)鐘未啟而無(wú)法打印。我使用JTAG debugger的memory dump功能在reset后立即halt CPU讀取相關(guān)寄存器。以UART為例關(guān)鍵寄存器包括UARTx_CR發(fā)送/接收使能位UARTx_FRbusy、txfe、rxfe等狀態(tài)位UARTx_IBRD/UARTx_FBRD波特率分頻值UARTx_LCR_H數(shù)據(jù)位、停止位、parity配置某次調(diào)試Nordic nRF52840UART無(wú)輸出UARTx_FR[txfe]為1發(fā)送FIFO空但UARTx_CR[txe]為0發(fā)送使能關(guān)閉。追蹤發(fā)現(xiàn)UARTx_CR寫(xiě)入操作被編譯器優(yōu)化掉——因?yàn)閷?xiě)入后未讀取確認(rèn)gcc認(rèn)為該操作無(wú)副作用。解決方案是添加__DSB()內(nèi)存屏障并用volatile修飾寄存器指針。更深層的問(wèn)題是UARTx_CR[txe]寫(xiě)1后需等待UARTx_FR[busy]從1變0才表示使能生效而我們的代碼未等待直接寫(xiě)數(shù)據(jù)導(dǎo)致數(shù)據(jù)丟失。因此寄存器快照不僅要讀值更要驗(yàn)證狀態(tài)轉(zhuǎn)換邏輯。3.3 第三級(jí)信號(hào)層捕獲——示波器是固件工程師的聽(tīng)診器當(dāng)寄存器值正常但功能異常必須下沉到電氣信號(hào)層。我標(biāo)配一個(gè)2通道示波器帶邏輯分析功能探頭直連關(guān)鍵信號(hào)線。典型場(chǎng)景復(fù)位信號(hào)完整性用10x探頭測(cè)NRST引腳觀察復(fù)位脈沖寬度和邊沿。某次設(shè)備偶發(fā)啟動(dòng)失敗示波器顯示NRST脈沖寬度僅80ns要求100ns原因是復(fù)位電路中RC時(shí)間常數(shù)過(guò)小且PCB走線存在反射。解決方案是增大R值至10kΩ并在NRST引腳就近加0.1μF去耦電容。時(shí)鐘信號(hào)質(zhì)量測(cè)HSE高速外部晶振輸出觀察波形是否正弦、有無(wú)過(guò)沖。某款STM32F767HSE頻率偏差達(dá)±500ppm導(dǎo)致USB通信失敗。示波器顯示波形頂部削頂說(shuō)明驅(qū)動(dòng)能力過(guò)強(qiáng)更換晶振負(fù)載電容從12pF為18pF后解決。總線事務(wù)時(shí)序用邏輯分析儀抓SPI bus驗(yàn)證CS、CLK、MOSI時(shí)序是否符合器件spec。某次調(diào)試SPI flash讀取ID返回0xFF抓波形發(fā)現(xiàn)CS低電平時(shí)間不足flash未進(jìn)入command mode。修改SPI controller的CS setup/hold time寄存器解決。3.4 第四級(jí)電源軌紋波——被忽視的終極殺手90%的間歇性故障源于電源。我用示波器AC耦合模式測(cè)各電源軌VDD、VDDA、VDDIO紋波帶寬設(shè)為20MHz。關(guān)鍵指標(biāo)VDD紋波峰峰值 50mV數(shù)字電源VDDA紋波峰峰值 10mV模擬電源某次車載設(shè)備在引擎啟動(dòng)時(shí)重啟示波器顯示VDD紋波達(dá)200mV原因是DC-DC converter的輸入電容ESR過(guò)高引擎啟動(dòng)時(shí)電池電壓跌落converter瞬態(tài)響應(yīng)不足。解決方案是并聯(lián)一個(gè)低ESR固態(tài)電容100μF/6.3V。更隱蔽的是地彈ground bounce當(dāng)多個(gè)GPIO同時(shí)翻轉(zhuǎn)瞬態(tài)電流通過(guò)地線電感產(chǎn)生壓降導(dǎo)致MCU內(nèi)部邏輯誤判。某次調(diào)試LED矩陣驅(qū)動(dòng)部分LED隨機(jī)熄滅測(cè)GND引腳對(duì)大地電壓波動(dòng)達(dá)300mV最終在MCU GND引腳就近增加0.01μF陶瓷電容濾除高頻噪聲。3.5 第五級(jí)交叉驗(yàn)證——用另一套系統(tǒng)證明你的結(jié)論當(dāng)以上四步仍無(wú)法定位啟動(dòng)交叉驗(yàn)證。核心原則用完全獨(dú)立的技術(shù)路徑驗(yàn)證同一假設(shè)。例如懷疑flash讀取錯(cuò)誤不只看讀取數(shù)據(jù)還應(yīng)用JTAG讀取flash內(nèi)容與bin文件md5比對(duì)用邏輯分析儀抓取SPI flash transaction驗(yàn)證發(fā)送的read command和address是否正確將flash芯片取下用編程器讀取對(duì)比數(shù)據(jù)某次為安防攝像頭定位啟動(dòng)失敗前四步均正常交叉驗(yàn)證時(shí)發(fā)現(xiàn)用JTAG讀取flash前16KB數(shù)據(jù)正確但從0x4000開(kāi)始全為0xFF。但編程器讀取同一flash數(shù)據(jù)完整。結(jié)論是MCU的QSPI controller配置錯(cuò)誤未正確設(shè)置memory mapping。最終查到QSPI_ACR寄存器中LATENCY位設(shè)置為0應(yīng)為3導(dǎo)致讀取時(shí)序不匹配。4. OTA升級(jí)工程化實(shí)戰(zhàn)從“能升級(jí)”到“可信賴”的七道防線4.1 鏡像格式設(shè)計(jì)不止是拼接是可信鏈的起點(diǎn)OTA鏡像不是簡(jiǎn)單的app.bin bootloader.bin拼接而是構(gòu)建可信鏈的載體。我采用分層簽名結(jié)構(gòu)Layer 0Root of Trustbootloader內(nèi)置公鑰用于驗(yàn)證Layer 1簽名Layer 1Firmware Header包含app版本號(hào)、硬件平臺(tái)ID、簽名算法標(biāo)識(shí)、簽名值Layer 2App Image原始固件二進(jìn)制Layer 3Metadata升級(jí)策略如roll-back protection flag、兼容性列表簽名使用ECDSA secp256r1私鑰離線保存于HSMHardware Security Module公鑰固化在bootloader ROM中。某次客戶要求支持roll-back protection我們?cè)贚ayer 1 header中增加min_version字段bootloader驗(yàn)證時(shí)若當(dāng)前版本低于min_version則拒絕升級(jí)。但實(shí)測(cè)發(fā)現(xiàn)若攻擊者篡改header中的min_versionsignature仍有效。解決方案是將min_version納入簽名摘要計(jì)算范圍——即簽名時(shí)對(duì)headerapp image整體hash而非僅對(duì)app image hash。這樣任何header字段修改都會(huì)導(dǎo)致signature verification fail。4.2 安全啟動(dòng)集成讓OTA成為信任錨點(diǎn)OTA不能脫離secure boot獨(dú)立存在。我將OTA流程深度集成到secure boot chain中Stage 1ROM bootloader驗(yàn)證bootloader image signatureStage 2verified bootloader驗(yàn)證app image signatureStage 3app image中包含OTA agent其signature由Stage 2驗(yàn)證關(guān)鍵創(chuàng)新是動(dòng)態(tài)密鑰派生OTA agent的簽名密鑰不是固定值而是由device unique IDfuse-based和firmware version hash派生。這樣即使某版本OTA agent密鑰泄露也無(wú)法用于其他版本。派生算法采用HMAC-SHA256derived_key HMAC-SHA256(device_id, version_hash)。某次安全審計(jì)發(fā)現(xiàn)若version_hash計(jì)算不包含build timestamp攻擊者可重放舊版本鏡像。因此我們?cè)趘ersion_hash中加入__DATE__和__TIME__宏確保每次build hash唯一。4.3 差分升級(jí)實(shí)現(xiàn)節(jié)省90%帶寬的工程細(xì)節(jié)全量升級(jí)在蜂窩網(wǎng)絡(luò)下成本高昂差分升級(jí)delta update是剛需。我采用bsdiff算法但針對(duì)嵌入式場(chǎng)景優(yōu)化內(nèi)存約束標(biāo)準(zhǔn)bsdiff需O(n)內(nèi)存我們改用streaming bsdiff內(nèi)存占用恒定為256KBflash磨損均衡差分patch寫(xiě)入時(shí)避免集中擦寫(xiě)同一block。方案是將patch分片每片寫(xiě)入不同flash sector并記錄sector wear-leveling counter斷電保護(hù)patch寫(xiě)入中途斷電必須保證可恢復(fù)。我們?cè)诿總€(gè)patch block前寫(xiě)入header包含block id、crc32、status flag0x00writing, 0xFFwritten。升級(jí)agent按block id順序?qū)懭雽?xiě)完一個(gè)block后將status flag置0xFF再寫(xiě)下一個(gè)。斷電后agent掃描所有block header跳過(guò)status0xFF的block繼續(xù)未完成的block。某次為NB-IoT設(shè)備實(shí)施差分升級(jí)全量鏡像4MB差分patch僅320KB節(jié)省帶寬80%。但實(shí)測(cè)發(fā)現(xiàn)patch應(yīng)用后app checksum錯(cuò)誤根源是bsdiff生成的patch中包含對(duì)flash controller寄存器的寫(xiě)操作因原始鏡像中有flash driver代碼而OTA agent執(zhí)行patch時(shí)flash controller處于非初始化狀態(tài)。解決方案是在patch生成時(shí)用objdump提取所有flash相關(guān)symbol將其從diff范圍排除改用runtime patch injection。4.4 回滾機(jī)制不是“備份舊版本”是狀態(tài)一致性保障回滾不是簡(jiǎn)單地“恢復(fù)舊固件”而是保障系統(tǒng)狀態(tài)一致。我設(shè)計(jì)雙slot機(jī)制A/B但關(guān)鍵在狀態(tài)同步Slot A當(dāng)前運(yùn)行固件Slot B待升級(jí)固件Shared State Partition獨(dú)立flash partition存儲(chǔ)設(shè)備狀態(tài)如sensor calibration data、network config升級(jí)前agent將Shared State復(fù)制到Slot B的reserved area升級(jí)成功后將Slot B的state寫(xiě)入Shared State若升級(jí)失敗回滾時(shí)從Shared State恢復(fù)Slot A的state。某次客戶設(shè)備升級(jí)后WiFi密碼丟失就是因?yàn)閟tate partition未同步。我們?cè)黾觭tate validation每次讀寫(xiě)state前計(jì)算CRC32并存儲(chǔ)于header若CRC mismatch則觸發(fā)factory reset。4.5 升級(jí)過(guò)程監(jiān)控從“黑盒”到“透明化”O(jiān)TA過(guò)程必須全程可觀測(cè)。我在agent中嵌入狀態(tài)機(jī)并通過(guò)UART/USB暴露狀態(tài)接口GET /ota/status返回{state: downloading, progress: 45, speed_kbps: 12}GET /ota/log返回最近100行debug logPOST /ota/cancel安全終止升級(jí)狀態(tài)機(jī)包含12個(gè)狀態(tài)每個(gè)狀態(tài)有超時(shí)保護(hù)。例如verifying signature狀態(tài)超時(shí)設(shè)為30秒超時(shí)則自動(dòng)回滾。某次升級(jí)卡在writing flash狀態(tài)遠(yuǎn)程查詢log發(fā)現(xiàn)flash erase耗時(shí)超預(yù)期原因是該批次flash的erase time spec為100ms但實(shí)測(cè)達(dá)200ms。解決方案是動(dòng)態(tài)調(diào)整timeout首次erase后記錄實(shí)際耗時(shí)后續(xù)erase timeout設(shè)為實(shí)際值*1.5。4.6 硬件協(xié)同設(shè)計(jì)讓OTA不再“裸奔”O(jiān)TA可靠性依賴硬件協(xié)同。我要求硬件設(shè)計(jì)包含獨(dú)立看門(mén)狗由專用WDOG芯片管理不依賴MCU內(nèi)部WDOG確保MCU hang死時(shí)仍能復(fù)位雙電源軌監(jiān)控VDD和VDDA分別監(jiān)控任一軌跌落即觸發(fā)復(fù)位升級(jí)指示LED硬件級(jí)LED由MCU GPIO控制升級(jí)中常亮成功后快閃失敗后慢閃某次設(shè)備在OTA中因VDDA跌落導(dǎo)致ADC采樣錯(cuò)誤進(jìn)而觸發(fā)軟件看門(mén)狗復(fù)位但MCU未完全復(fù)位flash controller處于未知狀態(tài)導(dǎo)致后續(xù)升級(jí)失敗。硬件級(jí)電源監(jiān)控芯片如MAX6326在VDDA2.7V時(shí)立即拉低NRST徹底復(fù)位。4.7 灰度發(fā)布策略用數(shù)據(jù)代替直覺(jué)OTA發(fā)布不是“全量推送”而是漸進(jìn)式灰度。我設(shè)計(jì)三級(jí)灰度Level 11%設(shè)備隨機(jī)選擇僅推送通知不自動(dòng)升級(jí)Level 210%設(shè)備自動(dòng)升級(jí)但限制并發(fā)數(shù)如每分鐘最多10臺(tái)Level 3100%設(shè)備全量推送但開(kāi)啟rollback threshold如錯(cuò)誤率0.1%自動(dòng)暫停監(jiān)控指標(biāo)包括升級(jí)成功率target 99.95%啟動(dòng)成功率升級(jí)后first boot success rate關(guān)鍵服務(wù)可用率如WiFi connect time 5s某次新版本OTA上線Level 2階段啟動(dòng)成功率降至92%監(jiān)控發(fā)現(xiàn)是new bootloader中新增的USB CDC初始化代碼與舊host driver不兼容。立即暫停Level 3回滾Level 2設(shè)備并發(fā)布hotfix。5. 上篇課后思考題完整解析還原真實(shí)故障排查現(xiàn)場(chǎng)5.1 思考題1某Cortex-M4設(shè)備啟動(dòng)時(shí)串口輸出“HardFault_Handler”但未打印更多l(xiāng)og。如何定位這不是代碼問(wèn)題是調(diào)試基礎(chǔ)設(shè)施缺失。HardFault發(fā)生時(shí)CPU進(jìn)入HardFault_Handler但若該handler未實(shí)現(xiàn)或未配置設(shè)備會(huì)死循環(huán)。標(biāo)準(zhǔn)做法是在HardFault_Handler中讀取SCB-HFSRHardFault Status Register和SCB-CFSRConfigurable Fault Status Register若CFSR[IBUSERR]1說(shuō)明instruction bus error可能是PC指向非法地址若CFSR[PRECISERR]1說(shuō)明precise data bus error查看BFARBus Fault Address Register用JTAG halt CPU讀取R0-R12、SP、LR、PC寄存器值PC值指向出錯(cuò)指令地址LR值指示調(diào)用來(lái)源反匯編PC地址處指令結(jié)合寄存器值分析某次實(shí)操中CFSR顯示PRECISERRBFAR0x20000000但該地址是valid SRAM。進(jìn)一步檢查發(fā)現(xiàn)該地址被DMA controller占用而CPU嘗試寫(xiě)入時(shí)DMA正在訪問(wèn)同一地址觸發(fā)bus conflict。解決方案是添加memory barrier在DMA啟動(dòng)前執(zhí)行__DSB()確保所有CPU寫(xiě)操作完成。5.2 思考題2OTA升級(jí)后設(shè)備啟動(dòng)卡在“Initializing SDIO...”但SDIO硬件測(cè)試正常。原因表面是SDIO驅(qū)動(dòng)問(wèn)題實(shí)則是時(shí)鐘域切換故障。SDIO controller依賴HSIHigh Speed Internal時(shí)鐘而OTA升級(jí)后bootloader可能將HSI頻率從16MHz改為24MHz以提升性能但SDIO driver的初始化代碼未適配新頻率。驗(yàn)證方法用示波器測(cè)SDIO CLK引腳確認(rèn)實(shí)際頻率檢查SDIO-CLKCR寄存器計(jì)算CLKDIV值是否匹配當(dāng)前HSI頻率對(duì)比升級(jí)前后bootloader的clock_init函數(shù)確認(rèn)HSI配置是否變更某次案例中bootloader將HSI trim value從0x00改為0x10導(dǎo)致HSI頻率從16.000MHz變?yōu)?6.012MHzSDIO driver中硬編碼的CLKDIV1實(shí)際CLK8.006MHz低于SDIO spec要求的12MHz導(dǎo)致初始化失敗。解決方案是driver中動(dòng)態(tài)計(jì)算CLKDIVCLKDIV (HSI_FREQ / (2 * SDIO_TARGET_CLK)) - 1。5.3 思考題3客戶反饋某批次固件在-20℃啟動(dòng)失敗實(shí)驗(yàn)室25℃正常。如何復(fù)現(xiàn)與解決這是溫度敏感型硬件缺陷需構(gòu)建溫度梯度測(cè)試環(huán)境將設(shè)備置于溫箱從25℃逐步降溫至-20℃每降5℃保持30分鐘在每個(gè)溫度點(diǎn)重復(fù)啟動(dòng)10次記錄失敗率失敗時(shí)立即用JTAG halt讀取所有電源監(jiān)控寄存器如VDD、VDDA、VREFINT某次定位到-20℃時(shí)VREFINT內(nèi)部參考電壓從1.2V降至1.05V導(dǎo)致ADC校準(zhǔn)失敗進(jìn)而影響flash controller的read margin判斷讀取失敗。解決方案是在低溫啟動(dòng)時(shí)禁用ADC校準(zhǔn)使用出廠校準(zhǔn)值或在bootloader中添加溫度補(bǔ)償讀取TSTemperature Sensor值查表修正VREFINT5.4 思考題4OTA鏡像校驗(yàn)通過(guò)但升級(jí)后app功能異常??赡茉蛐r?yàn)通過(guò)只證明鏡像完整性不保證執(zhí)行環(huán)境一致性??赡茉騀lash wear-out某block擦寫(xiě)次數(shù)超限讀取時(shí)bit flip但CRC32未檢測(cè)到因flip位在padding區(qū)域Memory mapping conflict新固件中新增外設(shè)驅(qū)動(dòng)其memory map與舊bootloader的MMU配置沖突Peripheral state leakage升級(jí)前未reset外設(shè)殘留狀態(tài)影響新固件某次案例中新固件啟用ETH MAC但bootloader未reset ETH controller導(dǎo)致PHY狀態(tài)機(jī)處于invalid state。解決方案是在OTA agent中升級(jí)前執(zhí)行RCC_EnableReset(RCC_RESET_ETH)強(qiáng)制reset。5.5 思考題5如何設(shè)計(jì)一個(gè)無(wú)需JTAG即可定位啟動(dòng)問(wèn)題的“黑盒診斷”機(jī)制核心是將診斷信息編碼到有限IO。我設(shè)計(jì)如下LED編碼用LED閃爍次數(shù)表示錯(cuò)誤碼如1閃stack overflow, 2閃hardfault, 3閃flash verify failUART fallback若主UART初始化失敗自動(dòng)切換到備用UART如USB CDC虛擬串口EEPROM log在關(guān)鍵路徑如clock init后、memory init后寫(xiě)入timestamp和status code到EEPROM某次為無(wú)UART接口的傳感器設(shè)計(jì)僅有一個(gè)LED。我們用摩斯碼編碼短閃dot0長(zhǎng)閃dash1組合成8位錯(cuò)誤碼。例如0x1A00011010表示“clock init timeout”?,F(xiàn)場(chǎng)人員用手機(jī)錄下LED閃爍用APP解碼即可獲知根因。6. 實(shí)操心得與避坑指南十年踩過(guò)的坑都在這里提示以下經(jīng)驗(yàn)均來(lái)自真實(shí)產(chǎn)線事故非理論推演關(guān)于startup.s的黃金法則永遠(yuǎn)在reset handler第一行插入cpsid idisable IRQ并在main()前最后一行執(zhí)行cpsie ienable IRQ。曾因未禁用IRQreset handler執(zhí)行中被NMI打斷導(dǎo)致stack corruption。更糟的是某些SOC如GD32的NMI handler未初始化直接跳轉(zhuǎn)到0x00000000引發(fā)連鎖故障。關(guān)于OTA的血淚教訓(xùn)絕不允許OTA agent與app共用同一heap。某次升級(jí)后malloc失敗查證發(fā)現(xiàn)OTA agent的heap與app的heap重疊因agent未釋放內(nèi)存即跳轉(zhuǎn)到app。解決方案是OTA agent使用靜態(tài)內(nèi)存池或在跳轉(zhuǎn)前調(diào)用heap_free_all()。關(guān)于示波器的隱藏技巧測(cè)復(fù)位信號(hào)時(shí)將示波器觸發(fā)模式設(shè)為“pulse width”條件設(shè)為“l(fā)ess than 100ns”可自動(dòng)捕獲異常窄脈沖。某次產(chǎn)線問(wèn)題就是靠此功能發(fā)現(xiàn)復(fù)位芯片輸出脈沖被PCB噪聲干擾變窄。關(guān)于編譯器的陷阱使用-O2優(yōu)化時(shí)gcc可能將while(1);優(yōu)化為udf #0undefined instruction導(dǎo)致HardFault。解決方案是添加__attribute__((used))或用for(;;) __asm volatile(wfi);。關(guān)于安全啟動(dòng)的誤區(qū)認(rèn)為簽名驗(yàn)證足夠安全。實(shí)際上若bootloader未驗(yàn)證自身完整性攻擊者可替換bootloader然后驗(yàn)證任意app。必須實(shí)現(xiàn)chain of trustROM bootloader → signed bootloader → signed app。關(guān)于溫度測(cè)試的真相溫箱降溫時(shí)設(shè)備外殼溫度滯后于環(huán)境溫度約15分鐘。某次-20℃測(cè)試設(shè)備內(nèi)部溫度實(shí)為-10℃導(dǎo)致誤判。正確做法是貼熱電偶到MCU die上直接測(cè)die溫度。關(guān)于JTAG的救命招數(shù)當(dāng)JTAG連接失敗先測(cè)TCK/TMS/TDI/TDO引腳電壓正常應(yīng)為3.3V。若TDO為0V說(shuō)明MCU未供電或JTAG disable fuse被燒。某次客戶設(shè)備JTAG失效測(cè)得TDO0V最終發(fā)現(xiàn)是PCB上JTAG排針焊接虛焊。關(guān)于OTA回滾的致命細(xì)節(jié)回滾時(shí)必須擦除新固件所在的flash sector否則下次升級(jí)時(shí)舊固件可能被新固件的erase操作意外擦除。某次回滾后設(shè)備變磚就是因?yàn)槲床脸齋lot B。關(guān)于啟動(dòng)流程文檔的謊言SOC datasheet中的“typical startup sequence”只是理想路徑。真實(shí)啟動(dòng)受PCB layout、電源設(shè)計(jì)、溫度、器件批次影響極大。我的做法是為每個(gè)硬件版本制作專屬startup checklist包含該版本特有的寄存器配置序列。**關(guān)于固件加密
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热日韩| enecarbon-materials.com污K127封锁请涟系@wip1688 | 91九色精品女同系列| 14色综合婷婷| 亚洲婷婷开心五月| 色99婷婷五月天| 亚洲六月婷婷| 久热播这里只有精品| 色噜婷婷| 色婷婷成人做爰A片免费看网站| 婷婷五月丁香成人| 激情av| 久久婷五月天| 久久久免费精彩视频| 超碰九九热| 亚洲无AV在线中文字幕| 97操操| 五月天婷婷爱丁香中文字幕| 久久婷婷丁香视频网| 99热在线观看| 99热新网址| 伦乱美欧| 超碰人人操在线| 色婷婷亚洲婷婷| 深爱激情网五月天| ,99视频久久| 五月婷婷碰碰| 国产精品久久久久久久久久免费 | 综合色久| av在线资源| 天天做综合网色综合| 99热这里有精品首页10| yw国产AV| 久久婷婷五月综合色丁香花| 激情丁香五月婷婷| www,色婷婷| 狠狠狠狠狠狠狠狠草| 九九干视频| 国产亚洲精品久久久久苍井松 | 婷婷久久婷婷| 婷婷狠狠干| 久久99婷婷| 激情丁香五月激情婷婷| 99精品偷自拍| 五月丁香六月婷婷网| 丁香婷婷色六月| 成人AV中文字幕| 日韩一级一片内射视频4K| 五月婷婷啪啪啪| 综合色影院| AV片在线观看| 国产女18毛片多18精品| 日本一級黃色一級片| 99国产在线| 天天操比比| 日日婷婷不卡| 激情五月丁香在线观看直播| 五月婷婷手机在线| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 五月天婷婷爱丁香中文字幕| 九九热这里只有精品31| 牛牛碰免费| 南京搡BBBB搡BBBB| 五月婷婷综合激情网| 成年人看Va免费视频| 韩日AV片| 人人性久久| 大香蕉在线观看9| 99热在线观看| 久久91久久精品久久| 狠狠综合网| 生活片五区| 国产偷人妻精品一区| 成人性爱无码| 激情综合网五月| 久久激情五月天| 涩涩涩五月天| 九九久久99| 《蜘蛛女》梁铮1995| 一本大道熟女人妻中文字幕在线| 天天操夜夜操| 97伦乱| www狠狠| 五月开心网| 亚洲五月婷婷| 国产操B| 午夜不卡久久精品无码免费| 色一情一乱一乱一区9| 加勒比日本一区二区三区| 亚洲成人中文字幕| 五月亭亭六月色| 97五月天婷婷午夜| 九九热在线观看视频| 色婷婷五月天偷拍| 免费看欧美成人A片无码| 日日操天天操| WWW99视频| 色五月婷婷操逼| 色婷婷偷拍| 91人人操人人| 狠狠操.COM| 国产成人99久久亚洲综合精品| 婷婷激情五月天激情| 色婷婷五月天激情在线观看| www.夜夜操.com| 夫妇交换刺激做爰| 亚洲综合婷婷| 26uuu国产| 日韩婷婷| 无月播播激情在线观看视频| 能看的av| 久久人妻少妇嫩草AV| 久久久久久久久久久久久久久久一道本| 男人的天堂在线婷婷| 五月久久婷婷天堂视频| 丁香五月六月激情久久| 丁香六月综合激情| 五月丁香操婷逼| 五月视频日本免费观看| yellow视频在线观看91| 91九九九九九九| 91丨九色丨白浆秘| 丁香五月天在线| 欧美99热| 9999热在线免费观看| 国产日日夜夜操| 在线视频激情网站| 99色人| 久9热| 一起草性爱不卡视频| 成人 在线 日韩| 五月婷婷熟女| 久久网址99热| 婷激情五月| 1024国产| 日韩视频女神99| 99热这是里只有精品| 日本VA视频| ay2区| 五月天婷婷伊人 | 亚洲黄色精品| 婷婷五月丁香综合桃花色网| 99精品在线下载| 五月婷婷久久综合| 4399亚洲视频| 中文字幕综合| 婷婷丁香六月天激情四射网| 69色色视频| 五月天com| 五月综合激情啪啪啪啪啪| 久去色色| 狠狠操狠狠爱| 久久在这里有精品| 亚洲妇女熟BBW| 日日噜噜久久婷婷五月天| 婷婷国产日本欧美| 欧美三级巜人妻互换| 久操b网| 99丁香五月婷| 五月丁香精品| 婷婷色婷婷| 九九综合网色全集 | 五月丁香久久精品在线观看| 色播五月丁香| 9.1综合网| 日韩99色99| 亚洲 在线 另类| 欧洲亚洲免费视频区| 婷婷五月色色| 天天性视频| 日韩 中文 欧美| 伊人碰碰婷婷| 国产性爱亚洲是图| 久久这里都是精品视频| 色情五月婷婷| 五月丁香婷中文字幕| 亚洲精品字幕在线观看| 凹凸操Av| 涩九九九九| 99re最新地址| 超碰97免费在线| 99精品视频网站| 天天日日夜夜| 久久色这里只有精品| 日韩成人电泉AV| 欧美成人性爱网| 性色综合网| 婷婷成人视频| 五月婷综合| www.婷婷五月| 中文字幕在线资源| 97色色视频| 人妻videos人妻高清| 成人精品一区日本无码网| 午夜 外网 精品 在线| 久久小说| 婷婷 伊人 久久| 丁香九九九九| 六月婷婷综合| 97婷婷丁香五月| 免费日本aⅴ中文字幕 | 日韩aⅴ视频| 蜜桃五月天| 日本99婷婷| 国产99视频永久免费| 色色999三级片| 开心五月婷婷婷美女| 最新日韩久热免费视频看看| 热99在线| 99热激情| 婷婷五月情色| 天堂色婷婷| 播五月丁香三月婷婷| 91丨九色丨高潮丰满日本| 国产成人一区二区三区在线观看| 99热这里只有精品3| 五月色俺婷婷| 精品婷婷五| 五月丁香 狠狠爱| AV 3P| 综合网五月| 婷婷久久五月| 美欧成人视频| WWW.激情| 99热销国产这里有精品| 精品亚洲国产成AV人片传媒| 五月婷婷激情综合| 另类激情综合| 久久久精品人妻录| 开心深爱五月天| 伊人久久综合| 久在热99| 婷婷丁香视频在线观看免费| 久久九九re热| 五月香婷婷| 99在线亚洲| 另类色视频| 婷婷五月激情在线| 婷婷丁香五月天激情四射| 粉嫩av懂色av蜜臀av熟妇| 思思热久久久久思思热| 婷婷五月天,影院| AA久久| 丁香五月激情综合久久| 色日本颜射| 99热66| 97婷婷丁香五月天激情图片| AV成人在线播放| 人人爽网| 激情文学综合婷婷五月天丁香花| 五月丁香激情综合| 91狠狠色| 伊人碰碰碰| 天天射天天射一道本日本社区 | 五月丁香天堂网| 色五月综合激情| 日韩一区二区在线播放| 婷婷色婷婷| 婷婷丁香六月天激情四射网| 香蕉影院色| 人人爱人人草| 香蕉久久国产AV一区二区| 久久久久久综合88| 中文字幕成人影视| 超碰三级片| 丁香涩涩爱| 激情综合激情五月| 五月天色网站| 这里只有精品久| 五月天六月天| 久久久99精品| 这里只有精品2| 激情综合五月色丁香婷婷| 五月天成人在线视频丁香| 嫩草AV久久伊人妇女超级A| 色五月婷婷影院| 亚洲人妻电影| 亚洲视频二区| 婷婷九月激情| 色天天综合| 台湾佬天天日丁香婷婷五月天| 狠狠爱综合网| 夜夜骑日日夜夜| 99色丁香婷婷综合网| 成人精品一区二区三区四区五区 | 大香蕉啪啪| 久9热视频在线观看| 国内久久久精品99| 97操在线视频| 婷婷激情五月天色| 思思热99热| 婷婷欧美| 97香蕉碰碰人妻国产欧美| 色色亚洲| 成人小说色图婷婷五月| 丁香五月区| 伊人婷婷综合| 综合久久婷婷五月丁香| 人人人操B超碰| 久久婷婷五月天蜜桃| 99色综合| 国产av天堂| 丁香婷婷狠狠97| 91丁香色五月| 九九99免费视频| 熟女人妻一区二区三区免费看| 99re6在线视频精品免费| 色五月激情五月| 丁香五月 性爱| 婷婷涩涩五月天| 色综合色| 丁香五月婷中字幕| 午夜丁香| 国产99久9在线| 99色色热| 狠狠草在线观看| av色婷婷| 日噜噜色| 狠狠人人| 久re热视频| 久久激情天堂| 激情内射人妻1区2区3区| 丁香九月色| 五月婷婷综合在线视频| 久久久五月天| 欧美婷婷色| 大香蕉75线| 色五月激情问网站| 色老久久| 亚洲色综合| 五月丁香婷久久| 九九AV在线| 国产婷婷五月中文字幕高清| 欧美大香蕉视频| 日韩在线观看网址| 亚洲激情综| 婷婷五月天激情在线观看| 激情六月天婷婷| 婷婷五月天av小说| 久久九九蜜| 五月天亭亭俺也| 狠狠色婷婷丁香五月| 99re99热| 久久综合中文| 婷婷丁香社区| 天天谢天天操| 国产肥白大熟妇BBBB视频| 色色色色区| 丁香伊人综合| 天天天天天日| 九九亚洲综合| 精品色色| 99色在线观看视频者| 天天久综合网永久入口17v| 九色视频这里只有精品| 色婷婷丁香| 欧美超碰亚洲| 丁香五月六月婷婷殴美综合| 国产91资源在线| 激情婷婷护士激情| 婷婷五月综合啪| 五月色婷| 色碰碰| 五月婷婷欧美激情| 丁香婷婷五月份| 丁香五月香蕉在线| 99ri精品| 9精品视频在线观看| 在线可以看的av网址| 婷婷色情 | 亚洲 激情 中文| 99re在线观看| 99综合99| 国产操逼视频网站| 97操碰在线视频| 日本色图综合| 色五月婷婷五月天| 午夜婷婷五月天| 91窝窝| 五月天婷婷丁香导航| ′久久99一| 九九综合色综合| 日韩欧洲亚洲| 91婷婷视频| 婷婷五月天高清无码| 四季AV综合网| 精品久久人妻| 狠狠色综合五月| 夫妻超碰在线| 日日干夜夜干| 五月丁香六月综合激情无码软件亮点| 婷婷丁香花五月天| 亚洲情综合五月天| 激情亭亭五月| 99热20| 婷婷六月激情综合| 婷婷久久亚洲| 激情婷婷五月天日本系列| 色婷婷综合在线| 秋霞性爱AV| 五月婷婷色丁香| 婷婷综合国产| 99在线观看| 五月激情天天干| 九九九九国产| 色婷婷精| 五月丁香久久| 五月天婷婷基地综合网| 欧美天天性| 六月婷色| 色五月色综合| 久久机热/这里只有精品| 丁香五月98| 色综合久久综合| 97久久超碰| 日本婷婷色日| 啪啪激情网站| 婷婷六月激情小说网| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 成人网站免费在线播放| 99热欲| 99精品综合| 五月天六月婷婷| 狠狠五月激情在线| 久久久久久99精品无码| 天天久久婷婷| 九九九九操逼| 超碰av在线| 婷婷五月,偷窥偷拍网| 第四色婷婷最爱| 亚洲色图45p| 亚洲日比视频| 91无码色色| 99在线精品免费视频| 日本色色视频| 五月丁香六月婷婷在线播放| 99爱这里只有精品| 国产韩日亚洲美州欧亚综合在线 | 香焦网五月天| 成人一区在线观看| 91狼友视频在线观看| 大香蕉婷婷| 99爱爱| 色婷婷超碰| 啪啪小说五月天| 99.色| 色噜噜伊人| 色婷丁香| 伊人91| www.97干视频| 狠狠情色| 九九色播五月丁香| 欧美日韩国产一区二区| 色99婷婷五月天| 午夜]香婷婷深深爱| 国产欧美日韩综合精品一区二区| 成人AV在线电影| 久久激情视频| 天天色天天操天天射| 久久精品4| 97欧美在线| 五月天激情综合| 这里只有精品视频99| 久久这里有精品在线观看| 五月婷婷六月丁香激情综合网| 欧美色五月| 97久久超碰| www.久久久久| 五月婷婷伦理| 亚洲综合干| 婷婷九月激情网| 99热草草| 成人在线视频男人的天堂4399| 色婷婷色和| 91亚洲天堂| 欧美日韩五月婷婷| 九九aV| www.婷婷| 国产欧美日韩一区二区三区| 日本激情五月天‘| 五月婷婷在线免费观看| 国产精品视频| 亚洲中文字幕网| 能看的AV| 亚洲不卡123| 中文字幕婷婷在线| 成人精品在线| 成人狠狠成人狠狠成人狠狠成人狠狠| 亚洲视频无| 97干在线观看| 五月激情四射婷婷丁香| 另类综合国产| 99爱视频在线观看| 色欲色香综合网| 欧美日韩欧美| 日都一级A片| 综激情网| 久久视频九九视频| 色情丁香五月婷婷精品| 免费做A爰片77777| www.91在线看| 亚洲色婷婷婷婷人人爽| 国产性爱亚洲是图| 五月激情综合网| 九九婷婷热| 亚洲小电影在线观看黄999| 婷婷五月天影院| 免费一区二区三区| 色婷婷影院| 久色五月婷婷综合| 色欲av伊人久久大香线蕉影院| 丁香婷婷大香蕉| 字母不卡码人逼| 亚洲综合五月天婷婷丁香| 丁香女人五月天| 久久五月天色| 天天日日夜夜| 无码人妻电影| 五月婷婷第四色| 亚洲色涩视频| 99爱在线免费视频| AV网在线| 天天操天天日天天爱| 婷婷色成人| 亚洲 在线 性爱 | 九九久久综合| 人妻中文av| 玖玖在线资源视频| 成人AV在线网站| 婷婷丁香成人色综合| 色婷婷综合久久久久| 五月丁香伊人网| 成人AV免费观看| 99精品九九| 久久综合激情五月天| 亚洲国产精品VA在线看黑人| 五月婷婷影视| 亚洲色情一区二区三区四区| 五月天婷婷丁香| 在线超碰91| 丁香五月婷婷基地| 996er热| 深爱激情丁香五月| 久久婷婷综合五月| 白天AV月月| 婷婷色五月丁香六月欧美啪| 婷婷五月综合色拍| 99在线免费视频| 婷婷激情六月中文| 六月婷婷七月丁香| 成人av免费观看| 97人人操在线| 综激情网| 91碰超| 这里只有精品无码| 百度4399有码精品V在线观看 | 91亚洲免费片| 五月天亚洲综合网| www.久久99精品| 丁香五月久久综合| 5月丁香美女影院| 91精品熟女| 色婷婷狠狠18禁| 中文字幕婷婷| 99久re热视频精品98| 国产婷婷综合| 这里有精品| 日本久久99久久| 五月婷婷真爱激情网| 婷婷六月丁综合| 五月婷婷福利| 9色操| 国产精品久久久久久五月天加勒比| 婷婷大香蕉| 婷婷五月天堂网| 五月天色社区| 婷婷爱在线观看| 涩五月婷婷| 天堂A∨在线| 99免费热视频在线| 九九九这里只有精品| 五月丁香婷婷啪啪| 精品无码av丁香五月激情| 深爱综合网| 噜综合| 爱射综合| 五月天全国最大成人网| 九九婷婷热| 午夜婷婷六月天| 精品操逼一区二区| 五月天激情图片| 人人干99| 人人摸人人干| 新伍月婷婷| 亚洲乱啪| 丁香九月激情| 狠狠擼综合| av首页在线| 天天日夜夜拍| 日韩欧美颜射| 日本精品久久久久中文字幕| 五月综合影院| 91 原创 在线 九色| 成人亚洲精品| 丁香五月大片| 操久久精| 狠狠操狠狠爱| 欧美va在线| 91超碰在线播放| 婷婷亚洲天堂| av性爱在线| 色噜噜狠狠色综合成人网| 97福利视频| 99成人免费热视频| 91久久久久久| 91大神在线免费看视频全集男男一起操| 天天天在线观看| 久久激情网| 欧美情色电影一区二区| 另类激情综合| 草操网| 色原狠狠综合| 狠狠精品干练久久久无码中文字幕| www开心激情网| 99热大香蕉| 亚洲午夜在线视频| 伊人久久婷婷| 丁香六月婷婷综合缴| 天天搽天天射| 色婷婷久久综| 亚洲丁香花五月丁香花| 九九热这里只有精品6| 色婷婷色婷婷五月| 色七色九九| 五月丁香六月色| 日韩成人精品中文字幕电影| 丁香五月影院| 婷婷综合在线| 五月丁香青草综合啪啪| 亚州激情网站无码| 成人在线精品| PORNY九色9l自拍视频成人| 91免费看片| 婷婷五月天丁香激情| 国产国产乱老熟女视频网站97| 五月天成人综合| 五月婷婷在线网站| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 天堂久久婷婷| 可以免费看AV网站| 婷婷激情网五月天| 日韩AAA| 久久丝丝热| 亚洲啪啪网| 激情五月天情色| 97精品人人A片免费看| 丁香五月伊人| 丁香五月天啪啪| 91色逼| 五月丁香亭亭| 婷婷五月天视频免费在线观看| 五月天色婷婷基地| 丁香五月冃欧美| 五月婷深深爱激情网| 五月婷婷六月激情在线| 激情 五月 婷婷 丁香| 五月丁香婷婷久久| 日本色婷婷| 超碰人人超碰| 99精品久久| 国产操碰| 九九熱最新視頻| 色综合久| 激情五月激情综合网一级丸片| 日日干天天射| 日韩999| 欧美丁香五月97色| 丁香五月中文字幕| 思思热天天看| 婷婷五月天无码熟女| ,99视频久久| 5月丁香综合网| 5月丁香六月情| 天天爽曰日爽| www,婷婷| 天天操婷婷| 中文激情网| 丁香五月色| 夜夜穞天天穞狠狠穞AV美女按摩| 日本熟妇乱妇熟色A片蜜桃| 国产全是老熟女太爽了| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 亚洲无AV在线中文字幕| 天天日天天久久青青| 婷婷99视频全集高清| 丁香婷婷五月天成人| 午夜日日| 99久久9| 第二色AⅤ| 丁香婷婷啪啪啪| 天天操综合网站| 亚洲国产精品VA在线看黑人| 网色99| 五月婷婷影院| 9999综合99综合人| 色婷婷久久综合| 99er免费在线观看| 欧美成人网99网| 婷婷 色 丁香 夜| 婷婷五月电影院| 婷婷五月天网| 综合 蜜月 婷婷| 97在线精品视频| 综合五月丁香久久| 五月成人天| 婷婷五月天激情四射| 亚洲V国产V欧美V久久久久久| 玖玖九九9999在线观看视频精品| 91九色国产在线| 99精品这里只有免费视频| 这里只有精品免费观看网占| 欧美性爱五月天| 99只有精品9| 综合另类视频| 这里只有精彩亚洲视频推荐| 九月婷婷久久| 91精品久| 国产 A片 自拍| 婷婷六月激情| 成人无码精品1区2区3区免费看| 大香蕉狠狠爱主页| 激情综合网,婷婷五月天| 午夜成人综合| 91精品91久久久久77777| 日韩不卡DvD| 婷婷五月噜噜| 婷婷午夜| 色噜噜狠狠色综合成人99| 99惹精品视频| 色欧洲| 国产AV不卡福利| 久久精品永久免费| 99激情| wWW九九在线播放| 婷婷五月天首页| a在线观看| 九九精品综合| 夜夜爽天天爽| 狠狠色噜噜狠狠狠777奇米| 欧美性二区| 碰97久久| 久草网大香视频| 涩涩网五月天| 超碰免费在线| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久婷婷色色| 激情宗合 激情宗合| 丁香五月婷婷骚视屏| 99ER热精品视频| 超碰在线人人| 日本色图综合| 精品99在线看| 亚洲婷婷五月天| 人操人| 久久综合五月天激情小说网站| 99黄色性生活| 激情五月天丁香| 激情久久综合网| 99热这里只有精品18| 久久婷婷精品| 亭亭玉立国色天香| 思思精品视频| 丁香五月天堂网| 婷婷在线免费| 丁香激情久久| 欧美色图天堂网| 玖玖综合色| 丁香花五月天激情| 丁香激情久久| 99在线精品免费视频| 97干97色| 九九黄色网| 久久婷婷五月天懂色| 久9视频| 色综合九九| 亚洲综合成人网| 九九精品网站| 五月天丁香六月综合| 五月婷婷色影院| 色婷婷久久久| 久久久精品人妻| 欧洲激情五月天婷婷| 中文字幕日产A片在线看| 丁香五月日本| 午夜成人av在线| 深爱激情婷| 欧美天天搞| 综合婷婷都市激情| 七七色综合| 五月激情天天干| 五月天激情图片网| 日本狠狠干| 成人免费高清在线播放| 99久久网站| 日本精品99网站| 久久久久久综合88| 激情久久久| 天天干天天插| 婷婷五月天AV在线| 日韩啪啪视频| 丁香五月老师| 婷婷丁香五月天激情四射| ss视频xx91| 丁香五月婷婷激情四射| 欧美大香蕉视频| 九九综合九九| 日本三级大片| 五月天俺去也| 综合玖玖偷拍| 精品人人操| 色色日韩| 天干夜夜操| 五月婷婷六月丁香激情综合网| 99ER热精品视频| 五月婷在线色视频| 色黄啪啪| 97热这里只有精品| 五月激激网w'w'w| 日韩无码AV电影网站| 天天天操天天天日| 五月天激情小说| 99ER热精品视频| 五月丁香六月激情啪| 欧美三级大片AA在线看| 九九精品免费| 99久久99热| 欧美日本不卡黄色片| 色情五月天丁香社区| 天天色·欧美| 亚洲视频无| 激情五月综合| 亚洲成人噜噜| 一级片sese片.COM| 开心久久网婷婷| 色999;丁香五月| 九九这里精品| 激情爱爱网站| 久操香蕉| 久久久97| 婷婷六月五月天综合| 日本熟妇精品99| 国产女生爱爱AA| 丁香五月天色婷婷| 夜丁香综合| 99热在线观看99| 97久久人人人干| 香蕉人在线香蕉人在线 | 九九伊人网| 五月色情精品| 五月婷视频| 欧美成人日韩| 五月天伊人日日噜影片AV| 婷婷久久免费| 丁香五月天日韩无码| 极品人妻VideOssS人妻| 夜夜骑天天操| 五月婷婷基地| 久热99久热| 91日韩在线| 亚洲激情综合| 另类五月激情| 五月丁香怕怕综合| 亚洲人人操| 丁香五月婷婷综合啪啪| 婷婷久久五月| 91偷拍视频| 国产精品热搜丁香五月婷婷| 99五月丁香丁| www.91.com黄| 丁香婷婷综合影院| 91狠狠综合久久| 棕合影院色色| 超碰在线中文字幕| 99r这里| 99热国品免费| 一区二区乱码视频| 五月丁香五月丁香五月丁香五月丁香91| 五月婷视频| 九九無妻| 五月婷婷,狠狠操| 色五月婷婷五月天激情综合| 97激情五月天| 色婷婷狠狠| 免费操超碰| 婷婷99视频全集高清| 久草热8精品视频在线观看| 久久九九99| 99在线观看精品视频| 97精品欧美91久久久久久久| 五月婷婷亚洲色视频| 牛牛碰免费| 99成人免费热视频| 婷婷五月天成人影片| 开心久久爱五月天| 91操操操| 五月天婷婷色小说| 蜜乳A√| 欧美内射AA| 日本色频| 开心五月天私房婷婷| 新97人人上人人| 美女va| 99热国产在| 26uuu淫色| 丁香月五月天婷婷久久| 色六月天| 乱色色色| 婷婷精品性视频| 婷婷中文字幕网| 九九大香视频| 97香蕉碰碰人妻国产欧美| dingxiangtingtingliuyue| 国产色99| 97色色网| 欧洲亚洲免费视频9| 在线播放成人网站| 思思久久精品| 国产亚洲成AV人片在线观黄桃| 伊人大综合| 七七色综合| 久九九热| 97碰啪啪| 婷婷之六月丁香| 深爱激情网五月天| 97色色色| 丁香色婷婷| 屁股翘好撅高迎合跪趴| 99操九九网| 亚洲不卡欧洲| 成人深爱丁香五月| 人人舔天天| 天天天天天久久久久久| 亚洲va欧美va天堂v国产综合| 久草大| 日本色色网站| 天天日天天操心| 国产黄色在线| 99re热在线视频观看| 五月丁香啪啪| 99热这里只有精品2024| 色综合色色| 97人人草| 婷婷WWW久久| 国产免费AV网站| 精品皮股午夜AV| 亚洲精品在线视频| 九色PORNY9l原创自拍| 九九精品re免费视频| 婷婷涩五月| 人妻在线中文字幕久久| 大香蕉九操| 69精品人人人人| 丁香香蕉婷婷| 五月天无码视屏播放| 婷婷六月丁香欧美视频在线| 综合色色网| 男女激情久久| 丁香六月啪| 99re这里只有精品在线观看| 久久这里只有精品22| 97九色| 教师性爱毛片| 日本综合久久| 另类激情综合| 99ER热精品视频| 十区AV| 五月婷婷久| 五月婷婷色播| 99精品视频推荐| 色婷婷六月天在线| 天天色宗合| 久热re在线视频| 成人九九视频| 亚洲黄色影视| 欧美超碰人人| 思思热在线播放| 这里只有精品视频| 五月丁香福利| 可以看的AV| 久久er99热精品一区二区| 玖玖在线视频| 五月丁香久久| 久热A片| 思思色综合网站| 日本三级中国三级99人妇网站| 九九中文色色| 天天五月情| 思思热在线视频精品| 亚洲无码性爱| 六月丁香婷婷天堂| 五月丁香婷中文| 91在线观看www| 久久久精品人妻录| 桃色成人网| 亚洲综合婷婷五月| 久热99热| 色色色色色五月| 69堂午夜视频最新地址| 99久在线精品99re8热| 色婷av| 婷婷涩五月天综合| 久久精品国产一区二区三区四区| 99色综合| 激情人妻综合| 色婷婷久久综合久色综| 伊人丁香在线| 婷婷五月天首页| 免费看欧美成人A片无码| 九九人人看| 五月丁香色婷婷久久| 亚洲婷婷丁香五月| 天天舔天天摸| 九九精品系列| 色五月丁香六月欧美综合| 丁香五月天社区婷婷| 久久九九蜜| 婷婷影视久久| 天天色综合网1| 两性婷婷丁香五月| 天天操综合网站| 雪千夏麻豆| 色大综合| 日逼影音先锋男人资源站| 99爱免费视频| 丁香五月婷婷国产av| 天天操屄网| 97性高潮久久久| 色婷婷久久| www.婷婷,com| 色五月琪琪| 在线区区区| 人妻久久久久久久久妻久久久久久久久| 97久久久| 十月丁香婷婷| 极品少妇XXXX精品少妇偷拍| 夜夜骑福利资源| 99热免费18| 激情综合五月婷婷| 99啪啪| 激情综合网五月婷婷| 人妻操逼视频。| 久热99| 99色热综合| 伊人久久综合| 91婷婷在线| 五月天成人伊人| 1024成人免费看| 丁香五月婷婷基地| 欧美日综合| 色色热| yazhou seshipin| 婷色综合| 99热主页日本| 欧洲日韩一区二区三区| 91九色无码日韩| 伊人春天av| 玩熟女五十AV一二三区| 丁香激情网| site:xiongshengzz.com| A片天天| 久久综合五月天| 丁香综合婷婷开心激情网| 色青青电影色五月| 综合网天天| 天天色一道本综合婷婷| 91在线资源| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99热这里精| 丁香五月婷婷激情蜜桃| 久9久成人精品视频| 伊人天天色| 日韩操啪| 蜜桃成语时李时珍 免费| 日日夜夜婷婷| 亚洲欧美综合7777色婷婷| 免费在线观看av网站| 日本视频99| 婷婷丁香五月天亚洲| www一起操| 开心五月婷婷| 丁香婷婷色五月合集| 亚洲热久| 情欲禁地| 婷婷五月天综合网| 亚洲九九在线| 婷婷五月AV| 亚洲激情四射| 成人丁香五月天| 日韩色色小视频| 久久婷婷丁香视频网| 99色在线视频| www.99热| 日本五月婷婷久久久六月丁香| 中文字幕+中文在线| 国产成人精品亚洲线观看| 99无码视频| 999热成人在线综合网| 色一情一乱一乱一区91| 伊人天堂婷婷| 激情综合婷婷| 婷婷丁香人妻天天爽| 天天爽,天天操。| 大香蕉七区| 五六月婷婷久久| 五月婷婷色| 超碰人人干| 99久久玖玖| 综合xx网| 91欧美| 免费成片在线观看| 激情婷婷狠狠干综合| 亚洲第一黄网| 色色色色网站| 婷婷五月丁香伊人网| 六月丁香AV| 色噜噜狠狠狠狠色综合久欧美| 成年人丁香五月| 99热在线精品观看| 丁香五月在线观看| 婷婷五月天欧美图片在线播放电驴| 久久视网36| 午夜婷婷| 色综合中文| 九九99精品免费播放| 免费观看全黄做爰的视频| 狠狠丁香| 五月香婷婷| 九九精品热播| 91九色中文字幕女在线观看| 亚洲狠狠狠| 国产日日操夜夜操的肉棒视频| 婷婷五月激情网站| 婷婷操逼| 免费国产视频| 婷婷激情六月中文| YW无码| 超碰色热| 色色综合网。| 亚洲综合色成丁香五月色| 激情五月婷婷色综合| 超碰免费成人网站| 久久99人人| 五月婷婷影视| 韩国情人在线电视剧免费观看高清版全集 | 色五月丁香六月婷婷| 五月婷婷色情| 5月婷婷激情网| 亚洲激情综合免费| 99re8在这里只有精品| 五月丁香啪啪伦理电影| 天天久| 人。妻久久| 九九99久久| 五月天六月婷婷| 色五月婷婷五月天激情综合| 无码橾| 综合久久97| 欧美大肥婆大肥BBBBB| 色婷婷成人做爰A片免费看网站| 婷婷五月欧美综合| 任你弄在线视频免费| 久久天堂婷婷五月| 五月丁香婷婷色播无码| 在线观看亚洲视频影院| 97人人操人人爽| 国产精品噜噜在线视频| 99热精品综合| 99狠狠操一| 另类小说五月天| 日本一级黄色片。| 怡春院天天干| 99熟女| 亚洲五月天伊人| 婷婷深爱五月天| 久久久久久激情| 日韩丰满少妇无码内射| 五月婷护士| www99热| 丁香亚洲婷婷五月| 欧美色五月| 丁香五月婷婷网| 日韩精品在线观看9| 97色欧美| 五月婷婷,六月激情| 五月天色网站| 97操操| 五月Huangsewang| 日韩久久视频| 婷婷大美在线| 啪啪婷婷五月天激情| www.久久| 九九热99视频在线| 激情五月综亚网| 夜夜爽天天日| 99精品视频免费观看| 九色综合网| 激情色播| 色色色色av777| 99热这里有精力| 91人人爱| 丁香五月花婷婷开心| 九九精品视频在线观看| 五月婷婷成人| 婷婷久久爱| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 国产Va视频| 5五月综合网亚洲| 日日天天天| 久草网大香视频| 九九黄色网| 亚洲综合五月天婷婷| 九九视频在线观看| 丁香九月激情久久| site:minyis.com| 玖玖无码中文| 双性美人被调教到喷水A片| 色狠狠色综合久久久绯色AⅤ影视| www.精品99| 玖玖爱资源站| 亚洲婷婷丁香五月| 成人久久天天x资源站| 色五月综合在线| 九月丁香婷婷网| 婷婷深爱五月亚洲综合| 狠狠爱激情网| 日韩高清久久| 9999色色色色| 国产精品人成A片一区二区| 视频一二区| 五月婷婷丁香婷婷| 三十熟女| 久久精彩综合视频| 99热亚洲| 五月天堂六月丁香亚州中文字幕久久 | 六月丁香婷婷网| 色婷婷小说网| ztEJj| 久久久久99精品成人片| 亚洲欧洲中文日韩久久AV乱码 | 夜夜爱网站| 182.t午在线观看| 26uuu.| 五月天综合| 九九碰九九爱97超碰| 婷婷激情综合| 大香蕉75线| 五月天久久网站| 超爽内射| 丁香婷婷五月综合影院| 91蝌蚪窝视频在线| a色色片| 亚洲午夜av| 久久久这里都是精品| 色综合久久88色综合天天99| 日本美女上人| 超碰在线9|