欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RDMA擴(kuò)展原子操作與固件健康監(jiān)控:PRM第4部分實(shí)戰(zhàn)解析

RDMA擴(kuò)展原子操作與固件健康監(jiān)控:PRM第4部分實(shí)戰(zhàn)解析 簡(jiǎn)介這份資源是 Mellanox 網(wǎng)卡編程參考手冊(cè)PRM第 4 部分面向從事 RDMA 驅(qū)動(dòng)開(kāi)發(fā)、固件調(diào)試與高性能網(wǎng)絡(luò)協(xié)議棧實(shí)現(xiàn)的工程師以及需要深入理解 HCA 硬件行為的研究人員。內(nèi)容聚焦擴(kuò)展原子操作、WQE 格式與 RDMA Write 原子性等底層機(jī)制可幫助讀者厘清 1B/2B 原子操作的掩碼規(guī)則、信號(hào)量長(zhǎng)度解釋方式以及寫(xiě)操作與原子操作之間的原子性約束條件。壓縮包內(nèi)僅含 1 個(gè) PDF 文件約 6.14MB屬于官方命令參考與寄存器章節(jié)的延續(xù)適合作為案頭查閱的規(guī)范文檔。目前已有 44 人學(xué)習(xí)說(shuō)明該資料在 RDMA 與 Mellanox 適配器開(kāi)發(fā)圈內(nèi)具有一定參考價(jià)值。讀者可借此掌握原子操作掩碼表、max_atomic_size 對(duì)齊邊界等關(guān)鍵細(xì)節(jié)為驅(qū)動(dòng)開(kāi)發(fā)與問(wèn)題定位提供權(quán)威依據(jù)。1. 從一次 semaphore 翻車(chē)說(shuō)起這份 PRM 到底解決什么問(wèn)題去年調(diào)一個(gè)基于 ConnectX-5 的 RDMA 共享鎖兩個(gè)節(jié)點(diǎn)跑壓力測(cè)試單節(jié)點(diǎn)怎么都不出錯(cuò)雙節(jié)點(diǎn)一上量就偶發(fā)死鎖。抓了三天最后定位到 1 字節(jié)原子操作——發(fā)起端按 4 字節(jié)對(duì)齊地址發(fā) CS響應(yīng)端卻按自己理解的偏移去讀掩碼對(duì)不上semaphore 釋放寫(xiě)飛了。這類問(wèn)題在驅(qū)動(dòng)層文檔里翻不到答案只能回到 Mellanox Adapters Programmers Reference ManualPRM第 4 部分。這份手冊(cè)不是給應(yīng)用層看的它面向的是寫(xiě) HCA 驅(qū)動(dòng)、調(diào) WQE、啃寄存器的那批人。第 4 部分集中在 Command Reference and Registers覆蓋擴(kuò)展原子操作、WQE 格式、RDMA Write 原子性、Health Buffer、Tracer 這幾塊。如果你正在做 RDMA 原語(yǔ)實(shí)現(xiàn)、固件健康監(jiān)控或者設(shè)備級(jí) trace 解析這份文檔基本是繞不開(kāi)的底稿。它不教你怎么裝驅(qū)動(dòng)但告訴你硬件在收到某個(gè) WQE 時(shí)到底怎么解釋那 32 位。2. 擴(kuò)展原子操作1B/2B semaphore 的掩碼邏輯與 WQE 落地2.1 為什么小于 4 字節(jié)的原子操作要靠掩碼實(shí)現(xiàn)硬件原子引擎的數(shù)據(jù)通路是 32 位寬的這是硅片層面的約束不是設(shè)計(jì)偷懶。PRM 里寫(xiě)得很直白小于 4 字節(jié)的原子參數(shù)通過(guò) 4 字節(jié)參數(shù)加適當(dāng)掩碼來(lái)支持。semaphore 的長(zhǎng)度由掩碼值解釋——32 位參數(shù)中未被掩碼覆蓋的部分構(gòu)成一個(gè)自然對(duì)齊的 1、2 或 4 字節(jié) semaphore。響應(yīng)端永遠(yuǎn)讀 4 字節(jié)執(zhí)行原子操作然后只把參數(shù)的未掩碼部分寫(xiě)回。響應(yīng)消息攜帶的 32 位值里semaphore 值就放在未掩碼部分。這里有個(gè)容易讀漏的點(diǎn)Compare data、swap data 和 data location 都是對(duì)齊到掩碼中 FF 所在位置的。也就是說(shuō)掩碼不只是告訴你哪些位有效它還決定了數(shù)據(jù)在 4 字節(jié)窗口里的對(duì)齊偏移。Table 675 給了完整的掩碼矩陣我把它整理成下面這張表方便對(duì)照。操作類型地址 A地址 A1地址 A2地址 A3CS 1BC-mask0xFF000000 S-mask0xFF000000C-mask0x00FF0000 S-mask0x00FF0000C-mask0x0000FF00 S-mask0x0000FF00C-mask0x000000FF S-mask0x000000FFCS 2BC-mask0xFFFF0000 S-mask0xFFFF0000NAC-mask0x0000FFFF S-mask0x0000FFFFNASWAP 1BC-mask0x00000000 S-mask0xFF000000C-mask0x00000000 S-mask0x00FF0000C-mask0x00000000 S-mask0x0000FF00C-mask0x00000000 S-mask0x000000FFSWAP 2BC-mask0x00000000 S-mask0xFFFF0000NAC-mask0x00000000 S-mask0x0000FFFFNAFA 1BData0xXX000000 mask0x80000000Data0x00XX0000 mask0x00800000Data0x0000XX00 mask0x00008000Data0x000000XX mask0x00000080FA 2BData0xXXXX0000 mask0x80000000NAData0x0000XXXX mask0x00008000NA注意 SWAP 操作的 C-mask 全為 0因?yàn)?swap 不涉及比較只做交換。FA 的 mask 高位是 0x80 而不是 0xFF這是 fetch-add 的進(jìn)位語(yǔ)義決定的別照搬 CS 的掩碼。2.2 構(gòu)造一個(gè) 1B CS 的 WQE參數(shù)怎么填WQE 格式在 PRM 的 Send WQE Format 一節(jié)第 290 頁(yè)有完整定義擴(kuò)展原子操作復(fù)用同一套結(jié)構(gòu)。下面用 Python 拼一個(gè) 1B compare-and-swap 的 WQE 描述符重點(diǎn)看 cst_data 和 swap_data 的掩碼處理。import struct def build_atomic_cs_wqe(raddr, rkey, compare_val, swap_val, byte_offset): 構(gòu)造 1B compare-and-swap 的 WQE 控制段。 raddr: 遠(yuǎn)端 4 字節(jié)對(duì)齊地址 rkey: 遠(yuǎn)端內(nèi)存 key compare_val: 比較值1 字節(jié)有效 swap_val: 交換值1 字節(jié)有效 byte_offset: 0/1/2/3對(duì)應(yīng) A/A1/A2/A3 # 根據(jù)偏移選擇 C-mask 和 S-mask c_masks [0xFF000000, 0x00FF0000, 0x0000FF00, 0x000000FF] s_masks [0xFF000000, 0x00FF0000, 0x0000FF00, 0x000000FF] c_mask c_masks[byte_offset] s_mask s_masks[byte_offset] # compare 和 swap 值左移到對(duì)應(yīng)字節(jié)位置 shift (3 - byte_offset) * 8 c_data (compare_val 0xFF) shift s_data (swap_val 0xFF) shift # WQE 控制段opcode0x0A 表示 atomic CS ctrl struct.pack(I, 0x0A) # 地址和 key addr_seg struct.pack(QI, raddr, rkey) # 原子參數(shù)段c_data, s_data, c_mask, s_mask atomic_seg struct.pack(IIII, c_data, s_data, c_mask, s_mask) return ctrl addr_seg atomic_seg # 示例在偏移 2 的位置做 1B CS比較 0xAB交換 0xCD wqe build_atomic_cs_wqe( raddr0x7F000000, rkey0x12345678, compare_val0xAB, swap_val0xCD, byte_offset2 ) print(wqe.hex())這段代碼的邏輯說(shuō)明byte_offset 決定掩碼選擇shift 計(jì)算把 1 字節(jié)值放到 32 位窗口的正確位置。c_mask 和 s_mask 在 1B CS 場(chǎng)景下相同但 2B 場(chǎng)景下 CS 的掩碼是 0xFFFF0000 或 0x0000FFFF只有兩個(gè)有效位置。參數(shù)說(shuō)明raddr 必須是 4 字節(jié)對(duì)齊rkey 由遠(yuǎn)端 QP 在內(nèi)存注冊(cè)時(shí)生成compare_val 和 swap_val 只取低 8 位有效。常見(jiàn)錯(cuò)誤是直接把 compare_val 當(dāng) 32 位傳進(jìn)去而不做移位響應(yīng)端會(huì)讀到錯(cuò)誤的字節(jié)位置。2.3 RDMA Write 的原子性邊界max_atomic_size 怎么卡PRM 第 20.5 節(jié)講了一個(gè)容易被忽略的特性設(shè)備支持 RDMA WRITE 操作與原子操作之間的原子性。這個(gè)特性的實(shí)際用途是允許用 write 操作來(lái)釋放 semaphore——寫(xiě)操作本身可以按原子方式處理。但要讓 write 被當(dāng)作 atomic write 處理必須滿足幾個(gè)條件。接收端 QP 必須使能 atomic-writes。這個(gè)在 QP 創(chuàng)建時(shí)通過(guò) qp_context 里的標(biāo)志位設(shè)置不是運(yùn)行時(shí)能改的。write 操作的大小不能超過(guò) HCA 配置的 max_atomic_size。這個(gè)值在設(shè)備初始化時(shí)從固件讀取通常在 8 到 64 字節(jié)之間具體看卡型和固件版本。write 操作不能跨越 max_atomic_size 的自然對(duì)齊邊界。比如 max_atomic_size 是 8 字節(jié)那么一個(gè) 8 字節(jié)的 write 必須落在 8 字節(jié)對(duì)齊的地址上不能從偏移 4 開(kāi)始跨到下一個(gè) 8 字節(jié)塊。提示max_atomic_size 不是軟件可配的它由固件在初始化段里報(bào)告。如果你的 write 操作偶爾被拆成非原子執(zhí)行先查這個(gè)值再查地址對(duì)齊。實(shí)際調(diào)試時(shí)我一般會(huì)在驅(qū)動(dòng)初始化階段把 max_atomic_size 打印出來(lái)然后在 WQE 構(gòu)造層加一個(gè)斷言如果 opcode 是 WRITE 且長(zhǎng)度小于等于 max_atomic_size強(qiáng)制檢查地址對(duì)齊。這個(gè)斷言在壓力測(cè)試階段能攔下大部分原子性相關(guān)的玄學(xué)問(wèn)題。3. Health Buffer 與 Tracer固件健康監(jiān)控和 trace 解析的實(shí)操路徑3.1 Health Buffer 的字段布局與讀取時(shí)機(jī)Health Buffer 是固件在初始化段里暴露給軟件的一塊調(diào)試信息區(qū)Table 676 給了完整的 32 位布局。關(guān)鍵字段包括 assert_existptr、assert_callra、fw_version、hw_id、irisc_index、synd、ext_synd。這些字段的訪問(wèn)權(quán)限都是 RO軟件只能讀不能寫(xiě)。讀取時(shí)機(jī)很講究。PRM 明確說(shuō)health counter 由固件每 10 毫秒遞增一次軟件應(yīng)該用一個(gè)獨(dú)立線程監(jiān)控這個(gè)計(jì)數(shù)器這個(gè)線程不能被命令完成等待阻塞。如果計(jì)數(shù)器停止遞增說(shuō)明系統(tǒng)健康狀態(tài)異常。這時(shí)候分兩種情況health_syndrome 為 0x0說(shuō)明固件已經(jīng)無(wú)法響應(yīng)初始化段讀取health buffer 也不應(yīng)該再讀health_syndrome 大于 0x0才去讀 health buffer 里的高級(jí)調(diào)試信息。import mmap import struct import time class HealthMonitor: def __init__(self, bar_addr, bar_size): # 映射 BAR 空間health buffer 在初始化段偏移 0x14h 開(kāi)始 self.bar mmap.mmap(-1, bar_size) self.base bar_addr self.last_counter None self.stale_count 0 def read_health_counter(self): # health counter 在初始化段里的偏移需要查具體卡型的 PRM # 這里假設(shè)偏移為 0x1000實(shí)際以文檔為準(zhǔn) offset 0x1000 data struct.unpack(I, self.bar[offset:offset4])[0] return data def read_health_buffer(self): # health buffer 起始偏移 0x14h buf self.bar[0x14:0x140x30] fields {} fields[assert_existptr] struct.unpack(I, buf[0x0C:0x10])[0] fields[assert_callra] struct.unpack(I, buf[0x10:0x14])[0] fields[fw_version] struct.unpack(I, buf[0x14:0x18])[0] fields[hw_id] struct.unpack(I, buf[0x18:0x1C])[0] fields[rfr] (buf[0x1C] 7) 0x1 fields[irisc_index] buf[0x1D] fields[synd] buf[0x1E] fields[ext_synd] struct.unpack(H, buf[0x1E:0x20])[0] return fields def poll(self): counter self.read_health_counter() if self.last_counter is not None and counter self.last_counter: self.stale_count 1 if self.stale_count 3: hb self.read_health_buffer() if hb[synd] 0: print(FW unresponsive, health buffer not readable) else: print(fFW error: synd0x{hb[synd]:02x} fext_synd0x{hb[ext_synd]:04x} firisc{hb[irisc_index]}) else: self.stale_count 0 self.last_counter counter邏輯說(shuō)明poll 方法每次讀 health counter如果連續(xù)三次沒(méi)變化就觸發(fā)告警。read_health_buffer 按 Table 677 的偏移解析字段。參數(shù)說(shuō)明bar_addr 和 bar_size 從 PCI 資源配置里拿health counter 的具體偏移因卡型而異ConnectX-5 和 ConnectX-6 不一樣必須查對(duì)應(yīng)版本的 PRM。ext_synd 的含義隨 synd 變化0xB 是 HW_FATAL0x1 是 DPS_BUFFER_OVERRUN0x2 是 ICM fetch page not present0x3 是 EQ invalid。3.2 Tracer 所有權(quán)獲取與 trace_to_memory 配置Tracer 是設(shè)備級(jí)的日志機(jī)制記錄整個(gè)設(shè)備的行為不針對(duì)特定端口或功能所以只有特權(quán)實(shí)體能用。多個(gè)驅(qū)動(dòng)可能都有權(quán)限配置 tracer但同一時(shí)間只能有一個(gè) owner。獲取所有權(quán)的方式是設(shè)置 MTRC_CAP 寄存器里的 trace_owner 字段。如果沒(méi)拿到驅(qū)動(dòng)可以周期性重試或者注冊(cè) Driver Tracer Event 來(lái)接收所有權(quán)變更通知。Tracing to memory 模式把 trace 寫(xiě)到主機(jī)內(nèi)存的循環(huán)緩沖區(qū)。這個(gè)緩沖區(qū)必須映射并注冊(cè)到設(shè)備而且有一堆限制大小不能超過(guò) MTRC_CAP 里 log_max_trace_buffer_size 字段的值不能用 Indirect MKeys不能有 signature 操作不能是 UMR capable不能被 invalidate必須有 Local Write 權(quán)限起始地址和長(zhǎng)度必須 4KB 對(duì)齊。配置流程分三步先在 MTRC_CAP 里確認(rèn) trace_to_memory 位被置起然后在 MTRC_CONF 里設(shè)置 trace_mode、log_trace_buffer_size 和 trace_mkey最后在 MTRC_CTRL 里 arm_event 或者啟動(dòng)輪詢。def configure_tracer(dev, buf_addr, buf_size, mkey): 配置 tracer 寫(xiě)入主機(jī)內(nèi)存。 dev: 設(shè)備文件描述符 buf_addr: 4KB 對(duì)齊的緩沖區(qū)地址 buf_size: 不超過(guò) log_max_trace_buffer_size mkey: 注冊(cè)好的 MKey # 讀 MTRC_CAP 確認(rèn)能力 cap read_reg(dev, MTRC_CAP) if not (cap TRACE_TO_MEMORY_BIT): raise RuntimeError(trace_to_memory not supported) max_size (cap LOG_MAX_TRACE_BUFFER_SIZE_SHIFT) 0xFFFF if buf_size max_size: raise ValueError(fbuf_size {buf_size} exceeds max {max_size}) # 配置 MTRC_CONF conf 0 conf | (TRACE_MODE_MEMORY TRACE_MODE_SHIFT) conf | (buf_size LOG_TRACE_BUFFER_SIZE_SHIFT) conf | (mkey TRACE_MKEY_SHIFT) write_reg(dev, MTRC_CONF, conf) # 啟動(dòng) tracer ctrl read_reg(dev, MTRC_CTRL) ctrl | TRACER_ENABLE write_reg(dev, MTRC_CTRL, ctrl)邏輯說(shuō)明先讀能力寄存器確認(rèn)支持再檢查緩沖區(qū)大小然后一次性寫(xiě)入配置寄存器。參數(shù)說(shuō)明buf_addr 和 buf_size 必須 4KB 對(duì)齊mkey 對(duì)應(yīng)的內(nèi)存區(qū)域必須有 Local Write 權(quán)限且不能被 invalidate。常見(jiàn)錯(cuò)誤是用了 Indirect MKey 或者 UMR capable 的 MR配置能寫(xiě)進(jìn)去但 trace 寫(xiě)不出來(lái)查的時(shí)候要看 MTRC_CONF 的 trace_mkey 字段是否被硬件接受。3.3 Trace 解析時(shí)間戳重建與 256B 塊處理設(shè)備按 256B 塊寫(xiě) trace每塊最后 8 字節(jié)是一個(gè) Timestamp Event Trace。讀當(dāng)前塊的末尾時(shí)間戳和上一塊的時(shí)間戳比較就能判斷新塊是否完整寫(xiě)入。一個(gè)有效的塊要按 Traces Chronology 和 Parsing Traces 兩節(jié)的方法處理。時(shí)間戳重建的公式在 PRM 里給了偽代碼如果 trace.timestamp 小于 next_timestamp_event_trace.timestamp[6:0]那么 trace_timestamp {next_timestamp_event_trace.timestamp[52:7], trace.timestamp}否則 trace_timestamp {next_timestamp_event_trace.timestamp[52:7] - 1, trace.timestamp}。這個(gè)邏輯處理的是 7 位部分時(shí)間戳回繞的情況。def parse_trace_block(block): 解析一個(gè) 256B 的 trace 塊。 block: 256 字節(jié)的 bytes 對(duì)象 返回: (traces, timestamp_event) traces [] # 前 248 字節(jié)是 trace 記錄每條 8 字節(jié) for i in range(0, 248, 8): entry block[i:i8] lost (entry[0] 7) 0x1 timestamp entry[0] 0x7F event_id entry[1] event_data_hi struct.unpack(H, entry[2:4])[0] event_data_lo struct.unpack(I, entry[4:8])[0] event_data (event_data_hi 32) | event_data_lo traces.append({ lost: lost, timestamp: timestamp, event_id: event_id, event_data: event_data }) # 最后 8 字節(jié)是 Timestamp Event Trace ts_entry block[248:256] ts_event { lost: (ts_entry[0] 7) 0x1, timestamp: ts_entry[0] 0x7F, event_id: ts_entry[1], event_data: struct.unpack(Q, ts_entry[2:8] b\x00\x00)[0] } return traces, ts_event def reconstruct_timestamps(traces, next_ts_event): 用下一個(gè) Timestamp Event Trace 重建每條 trace 的完整時(shí)間戳。 full_ts [] base (next_ts_event[event_data] 7) 0x7FFFFFFFFFFFF for t in traces: if t[timestamp] (next_ts_event[timestamp] 0x7F): ts (base 7) | t[timestamp] else: ts ((base - 1) 7) | t[timestamp] full_ts.append(ts) return full_ts邏輯說(shuō)明parse_trace_block 按 Table 678 的布局拆解每條 8 字節(jié) tracelost 位表示是否有事件被丟棄。reconstruct_timestamps 用下一個(gè) Timestamp Event Trace 的 52 位高位和當(dāng)前 trace 的 7 位低位拼出完整時(shí)間戳。參數(shù)說(shuō)明event_id 決定 event_data 的解析方式不同 event_id 對(duì)應(yīng)不同的數(shù)據(jù)結(jié)構(gòu)需要查 PRM 后續(xù)章節(jié)。注意所有時(shí)間戳比較都要用循環(huán)算術(shù)因?yàn)樵O(shè)備時(shí)間是按 cycle 計(jì)數(shù)的會(huì)回繞。注意當(dāng)設(shè)備無(wú)法保證 Timestamp Event Trace 和之前 Event Trace 的時(shí)間距離足夠短時(shí)Timestamp Event Trace 會(huì)被標(biāo)記為不可靠。這個(gè)標(biāo)記由 MTRC_CAP 里的 urts_ver 字段指示是 urts_0 還是 urts_1。遇到不可靠標(biāo)記時(shí)之前所有 Event Trace 都無(wú)法構(gòu)造完整時(shí)間戳只能丟棄。4. 避坑與排查原子操作和 Tracer 的五個(gè)血淚教訓(xùn)4.1 1B CS 在偏移 1 和偏移 3 上行為不一致現(xiàn)象同樣的代碼semaphore 放在偏移 1 能正常工作放到偏移 3 就偶發(fā)比較失敗。原因偏移 1 對(duì)應(yīng) C-mask0x00FF0000偏移 3 對(duì)應(yīng) C-mask0x000000FF。如果 compare_val 沒(méi)有按 shift 左移偏移 3 時(shí)低 8 位直接落在 bit[7:0]但硬件期望的是 bit[7:0] 作為有效比較位而偏移 1 時(shí)低 8 位落在 bit[23:16]硬件讀的是 bit[23:16]。解決構(gòu)造 WQE 時(shí)統(tǒng)一用(val 0xFF) ((3 - offset) * 8)做移位不要依賴隱式對(duì)齊。4.2 max_atomic_size 邊界跨越導(dǎo)致 write 被拆成非原子現(xiàn)象用 RDMA WRITE 釋放 semaphore壓力測(cè)試下偶爾出現(xiàn)兩個(gè) semaphore 同時(shí)被釋放。原因write 操作跨越了 max_atomic_size 的自然對(duì)齊邊界硬件把它拆成兩次非原子寫(xiě)。解決在 WQE 構(gòu)造層加檢查如果 opcode 是 WRITE 且長(zhǎng)度小于等于 max_atomic_size強(qiáng)制要求(addr % max_atomic_size) len max_atomic_size。這個(gè)檢查在初始化時(shí)從固件讀 max_atomic_size 后動(dòng)態(tài)生成。4.3 Health Buffer 讀取時(shí)機(jī)不對(duì)導(dǎo)致讀到 stale 數(shù)據(jù)現(xiàn)象復(fù)位后讀 health buffer拿到的還是上一次復(fù)位前的錯(cuò)誤信息。原因PRM 明確說(shuō) health buffer 在復(fù)位后應(yīng)該先清除再讀否則會(huì)讀到 stale 數(shù)據(jù)。解決在復(fù)位流程里加一步復(fù)位完成后先寫(xiě)清除 health buffer如果硬件支持或者至少記錄一個(gè)標(biāo)志位第一次讀到的數(shù)據(jù)只用于確認(rèn)清除狀態(tài)不作為診斷依據(jù)。4.4 Tracer 所有權(quán)丟失后沒(méi)有重新獲取現(xiàn)象trace 日志跑著跑著就斷了MTRC_CAP 里 trace_owner 變成 0。原因Tracer 所有權(quán)可能被意外丟失比如另一個(gè)特權(quán)驅(qū)動(dòng)搶占了。PRM 說(shuō)驅(qū)動(dòng)可以嘗試重新獲取但很多人沒(méi)實(shí)現(xiàn)這個(gè)重試邏輯。解決注冊(cè) Driver Tracer Event在事件觸發(fā)時(shí)檢查 trace_owner如果為 0 就重新走獲取流程。注意釋放所有權(quán)后不應(yīng)該再嘗試重新獲取這是 PRM 明確說(shuō)的。4.5 Trace 塊處理時(shí)被設(shè)備覆寫(xiě)導(dǎo)致數(shù)據(jù)錯(cuò)亂現(xiàn)象解析 trace 時(shí)偶爾出現(xiàn) event_data 亂碼時(shí)間戳跳變。原因設(shè)備在驅(qū)動(dòng)處理當(dāng)前塊的同時(shí)覆寫(xiě)了緩沖區(qū)。PRM 建議把塊拷貝到另一個(gè)緩沖區(qū)然后驗(yàn)證上一塊末尾的時(shí)間戳是否和之前處理時(shí)一致。如果塊被懷疑覆寫(xiě)驅(qū)動(dòng)可以選擇丟棄其中的 trace。解決實(shí)現(xiàn)雙緩沖處理前先 memcpy 到本地緩沖再校驗(yàn)時(shí)間戳連續(xù)性。如果時(shí)間戳不連續(xù)整塊丟棄不要嘗試部分解析。5. 進(jìn)階技巧用 Tracer 時(shí)間戳反推固件內(nèi)部時(shí)序Tracer 的時(shí)間戳重建做完之后真正的價(jià)值在于把 event trace 按時(shí)間軸排開(kāi)反推固件內(nèi)部的狀態(tài)遷移。我一般會(huì)寫(xiě)一個(gè)后處理腳本把 trace 按 event_id 分類然后畫(huà)時(shí)間線。下面這個(gè)腳本把解析出的 trace 按 event_id 聚合輸出每個(gè)事件的頻率和平均間隔。from collections import defaultdict def analyze_traces(traces_with_ts): 分析 trace 時(shí)間線。 traces_with_ts: [(timestamp, event_id, event_data), ...] by_event defaultdict(list) for ts, eid, data in traces_with_ts: by_event[eid].append((ts, data)) report {} for eid, entries in by_event.items(): entries.sort(keylambda x: x[0]) intervals [] for i in range(1, len(entries)): intervals.append(entries[i][0] - entries[i-1][0]) avg_interval sum(intervals) / len(intervals) if intervals else 0 report[eid] { count: len(entries), avg_interval_cycles: avg_interval, first_ts: entries[0][0], last_ts: entries[-1][0] } return report # 假設(shè) traces 已經(jīng)解析并重建了時(shí)間戳 # report analyze_traces(traces) # for eid, info in sorted(report.items()): # print(fevent 0x{eid:02x}: count{info[count]} # favg_interval{info[avg_interval_cycles]:.0f} cycles)邏輯說(shuō)明按 event_id 分組后計(jì)算事件間隔間隔異常大或異常小都值得關(guān)注。參數(shù)說(shuō)明時(shí)間戳單位是 cycle轉(zhuǎn)換成真實(shí)時(shí)間需要知道設(shè)備時(shí)鐘頻率這個(gè)在 PRM 的 Section 8.18.12 有說(shuō)明。常見(jiàn)做法是先用一個(gè)已知頻率的 Timestamp Event Trace 校準(zhǔn)再換算其他事件。檢查項(xiàng)正常表現(xiàn)異常表現(xiàn)排查方向health counter每 10ms 遞增停止遞增查 synd 和 ext_syndtrace_owner穩(wěn)定為 1變?yōu)?0檢查是否有其他驅(qū)動(dòng)搶占trace 塊時(shí)間戳連續(xù)遞增跳變或回繞異常檢查緩沖區(qū)是否被覆寫(xiě)event_id 頻率穩(wěn)定突增或突降對(duì)應(yīng)固件模塊可能異常最后說(shuō)一個(gè)我自己的習(xí)慣每次拿到新的卡型或固件版本第一件事是把 PRM 里 Table 675 的掩碼矩陣和 Table 677 的 health buffer 字段抄到一張紙上貼在工位。原子操作的掩碼和 health buffer 的偏移是兩處最容易因?yàn)榘姹静町惙?chē)的地方抄一遍比查 PDF 快得多。從那以后我每次調(diào)原子操作或 tracer都強(qiáng)制先跑一遍掩碼對(duì)齊檢查和 health counter 監(jiān)控這兩個(gè)檢查攔下的問(wèn)題比調(diào)試器還多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜天堂一区人妻| 婷婷丁香六月激情综合| 国模狼狼| 欧美激情综合色综合啪啪五月| 日日想日日夜日日操| 婷婷激情综合色五月久久91| 五月综合激情婷婷六月色窝| 五月丁香综合激情| 新精品99| 免费观看的AV| 色狠狠999综合网| 97搞在线| 国产精品扒开腿做爽爽爽A片唱戏| 天天做天天爱天天综合网| 狠狠综合| 久久女人天堂| av无码电影| 成人无码精品1区2区3区免费看| 婷婷五月天堂一本在线| 狠狠爱综合网| 亚韩在线视频| 日日干天天| 99热精品网| 亚洲视频在线网| 亚洲九九视频| 99热91| www.色擼擼.com| 超碰人人射| 一区=区操屄高清大全av| 日本三级日本三级99| 天天爽天天摸人妻综合网| 99这里有精品免费| 开心久久xxx色| 亚洲色图五月丁香| 色婷婷情片| 五月丁香婷婷伊人| 伊人九九68| 天天综合精品| 色五月综合网| www.色五月| 玖玖在线| 99热.com| 天天操天天插| 国产又粗又大又爽又黄| 欧美槡BBBB槡BBB少妇| 婷婷色九月| 综合色五月| 99热这里只有精品50| www.激情五月天.com| 大香蕉久热| 亚洲AV永久无码影院黑人| 久久精品国产精品| 亚洲AV电影av| 久久99看免费| 日韩一级A片黄色| 综合色网站| 大香蕉婷婷婷| 99er热精品视频| aaaa久久| 久久婷婷草| 97婷婷久久丁香| 久久六月婷婷| 婷婷色偷拍| 婷婷五月天大香蕉在线视频观看| 加勒比久热| 人妻Av在线| 久9综合| 少妇高潮呻吟A片免费看软件| AV操操操| 国产精品久久久久9999小说| 婷婷综合国产| 狼人婷婷综合| 欧美欧盟性爱网| 五月丁香啪啪网| 激情四射五月天| 99色色爰| 五月婷深深爱激情网| 最新精品视频99| 天天噪夜夜爽| 色激情五月天| 伊人久久婷婷| www99精品日韩| 婷婷丁香红五月91C| www.99色在线| 成人五月天丁香| 九九热99视频| 丁香六月婷婷| cao视频,现在观看| 国产成人网址| 五月丁香婷婷俺| 国产午夜精品久久久观看| 久久久这里有精品| 久久女婷| 性爱技巧五月| 综合激情伊人影视在线| VfJxEwPH| 激情五月小说婷婷| 就爱日五月天| 五月激情啪啪| 亚洲视频伍月婷婷| 狠狠穞A片一區二區三區| 超碰在线看| 久婷狼色诱惑在线| www.yw尤物| 亚洲性图一区二区三区| 色爱综合网| 79精品视频在线观看,| 这里有精品| 七七久久综合| A√天堂网在线| 79色色色色| 婷婷综合97| 婷婷五月花| 九九Y精品热播| 在线观看免费狠狠色丁香香综合| 久久五月天激情视频| 激情深爱五月| 国产肥白大熟妇BBBB视频| 婷婷丁香精品视频在线观看| 久久婷婷六月| 最新va在线播放| 亚洲va综合va国产va中文| 成人无码精品1区2区3区免费看 | 无码激情AAAAA片-区区| 超碰91人人操| 国产婷婷五月色情综合| 99日韩| 热婷婷av| 欧美婷婷五月激情| 九九99久久| 丁香五月色激情| 五月婷婷www| 色婷婷婷av | 蜜乳中文字| 玖玖色综合| 美国少妇性做爰| 丁香色综合| 五月综合在线婷婷图片| 婷婷五月天电影网| 五月丁香婷婷色色| 日本久久精品18| 国产毛多水多女人A片| 五月天婷婷色色网| 五月婷婷在线免费| 久久天堂女人| 久久99热精品a片在线观看| 99自拍网| 色九月欧美| 人人做天天爱| 亚洲综合网在线| 久久99综合| 很很干天天干| 亚洲av成人电影在线观看| 狠狠色丁婷婷日日,伊人激情综合网| 综合XX网| 日韩欧美一道四区中文字幕| 天天婷婷| 色婷婷五月影视| 五月天婷婷开心| www.99在线| 99热精品网| 麻豆123区| 九九热在线99| 中文字幕av久久爽一区| 97碰在线| 日本一级一级一级一级| 色色色99| 99re99在线看| 亚洲色网址| 亚洲国产色婷婷| 欧美色色色| 日本天天操| 婷婷色激情网| 五月婷婷色| 玖玖资源站国产| 天天综合网91| 九色自拍| 狠狠干综合| 婷婷综合色色| 婷婷五月成人| 五月天全国最大成人网| 日日夜夜九九| 五月丁香六月婷婷网| 久久九九99.www| 色综色五月天婷婷| 91av视频在线观看最新网址| 五月天色丁香| 情色婷婷五月天| 日本三久久| 国内一级精品| 欧美日韩成人| 夜夜做夜夜愛| 成人版视频在线观看| 九九热最新| 五月婷婷色色网址| 99热这里只有精品1025| 婷五月丁香俺| 丁香六月成人| 天天综合网站| 99热欧美| 大香蕉在九| 五月天婷婷导航| 在线超碰免费| 91人人操人人爱| 97人人操人人| 日本不卡一区二区三区| 开心激情播播五月天| 色婷婷影音| 九九大香视频| 婷婷深爱五月天在线| 深爱激情五月天色婷婷| 青青久久五月| 99色在线视频| 成人免费高清在线播放| 日韩av干| 激情五婷精品网在线观看网址| 在线中文AV| 伊人玖玖婷婷| 久久色五月天综合网| 欧美色色色色色色色| 六月婷婷综合| 婷婷五月天影院| 天天狠狠色噜噜| 97热精品| 丁香婷婷五月人体| www.金莲av| 91久久久久久久久| 国产精品美女| 五月丁香综合| 久久六月天| 亚洲欧洲国产精品| 五月丁香婷庭在线| 成人短视频在线| 婷婷激情六月| 色婷婷五月天激情在线观看| 97色色色色色色色| 国产小网站| 日韩成人av在线| 天天干天天干天天干天天干天天干天天 | 99视频这里有精品| 五月婷婷69| 婷婷五月天综合网| 97超级碰碰碰久久久| AV色婷婷| 国产,欧美,日韩,性爱| 热久久这里只有三级视频| 五月综合激情| 情涩婷婷五月天| 99a级片| 99热 精品在线| 色狠狠999综合| 五月天免费色| 大香蕉人妻| 1级欧美日韩| 成人av免费观看| 伍月婷婷六月丁香| 草美女在线观看视频在线播放 | 狼友视频在线观看18| 五月天成人伊人| 婷婷丁香五月天熟女丝袜| 玖玖婷婷五月天| 久久久精品色色色| 99热综合在线观看| 国产亚洲精品人人| 丁香五月影视| 天堂爱啪啪| 久久久一级AAA| 丁香婷婷久久 | 九九综合| 深爱五月婷婷| PORNY九色9l自拍视频成人| 色视五月天婷婷| 久久99久久99精品免观看粉| 91久久久久久久91| 久久精品五月| 五月激情久久| 色婷婷亚洲综合天堂| 依人大香蕉| 综合婷婷久久| 天天噜| 日本女天天爽| 日本精品在线噜噜噜| 大香蕉伊在| 成人草榴视频| 丁香五月综合网| 一起草av| 99热综合| 国外亚洲成AV人片在线观看 | 91精品久久久久久77777| 五他月天啪啪啪| 无码少妇高潮喷水A片免费| 99九九在线视频| 亚洲色亚洲精品| 9热网站| 亚洲激情网| 日韩在线观看亚洲| 欧美色99| 激情五月天色色| 六月婷婷综合激情| 337p大胆噜噜噜噜噜91Av| 五月婷婷激情综合av| 午夜色丁香| 五月婷婷开心六月激情小说| 婷婷激情五月天视频在线| 六月天六月婷| 天天射综合网夜夜操| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 丁香六月 婷婷六月| 婷婷久草| 色婷婷精品小视频| 亚洲五月天婷婷综合| 色婷婷五月网| 情趣视频66| 人妻操逼视频| 97狠狠色| 99视频只有精品| 婷婷五月影院| 色涩视频久久| www.99热这里精品| 超碰成人电影| 伊人六月无码视频| 欧美色五月天| 五月婷婷色播| 激情99| 成人做爰A片免费看视频| 欧美成人精品A片免费一区99| 99热久久这里只有精品| 日韩有码一区| 亚洲成人网在线观看| 色播丁香| 色婷婷先锋| 国产资源91在线| 欧洲区自拍| 综合 蜜月 婷婷| 色色色在线观看| 超碰人人操在线| 思思热国产视频| 五月丁香婷婷综合激情基地| 色五月激情五月| 任你爽免费视频| 草草视频91| 久草婷婷| CAoub青青超碰| 在线另类视频| 天天操,天天插| 麻豆五月丁香婷婷| 久久婷婷亚洲| 精品热青草| 99精品国产在热久久婷婷| 97人人操人人爽| 99er免费在线观看| 六月色婷婷| 丁香五月激情综合| 成人va在线| 996热re视频精品视频| 日日操夜夜爽白洁| 99综合| 婷婷天堂综合| 日本色超碰| 丁香花五月天激情| 婷婷激情五月天小说| 看全色黄大色大片| 亚洲免费综合一区| 97在线精品| se色99| 婷香五月激情视频| 国产精产国品一二三在观看| 国产免费一区二区三州老师F1F1| 婷婷五月婷婷五月天| 天堂网啪啪| 久久色情| 五月婷婷天堂| 99热这里只有精品2| WWW.17C亚洲精品| 九九热精品在线| 99在线综合视频| 亚洲婷婷丁香五月在线| 激情五月婷黄版| 日日干五月天婷婷| 五月婷婷色播| 国产精品 的国产| 色五月婷婷激情综合网| 五月天成人在线视频网站| 丁香婷婷色五月| 91日韩美女被插视频| 六月丁香婷婷色综合| 久久99久久99精品免观看粉嫩| 狠狠爱青青草| 天天免费成年人视频| 色婷婷久久综合中文久久一本| 综合五月天| 久久婷婷影院| 久久女婷| AV电影在线播放| WWW.桔色成人.COM| 超级97碰碰| 国产在线6| 丁香九月婷婷综合| 亚洲婷婷久久综合| 丁香五月人妻| 色约约视频一区二区三区四区五区 | 玖玖午夜视频| 色婷婷色| 精品无吗va视频免费观看| 免费看欧美成人A片无码| 婷婷色操| 五月精品| 五月丁香激情综合啪啪| 丁香五月六月综合激情| 激情五月婷婷色色| 狠狠色综合网站久久久久| 天天干天天拍| 五月丁香婷婷在线综合蜜桃| 五月丁香影视| 五月色婷婷亚洲 | 大天天伊人| 深爱激情69热| 69人人操人人爽| 激情九九综合网| 少妇性按摩无码中文A片| 九九视频免费| 五月婷婷综合网| 亚洲AV成人精品日韩在线播放| 久久总和99| 99re在线免费视频| www.婷婷六月天| 大大香蕉综合在线| 5月丁香婷婷激情网| 婷婷干| 天天爽综合| 亚洲操女| 婷婷大乡焦噜噜| 九九操操| AA片在线观看视频在线播放| 涩涩涩.com| 日本97在线看片| 日日噜噜夜夜狠狠久久丁香六月| 99热在线观看精品| 疯狂做受XXXX高潮A片| 狠狠色丁香婷婷基地| 99热个人在线| 啪啪色区| 色婷丁香五月| 丁香五月亚洲综合| 99热在线精品播放| 五月婷婷伊人网| 久久看九九90| 色五月成人| 夜夜骑操AV| 丁香婷婷五月色综合| 99热首页| sS丁香五月婷婷| 日本视频不卡123区| 国产色五月| 1024成人在线观看| 欧美人与性动交CCOO| jiqingliuyuetian| 激情文学 综合 色| 超碰成人在线免费观看| 综合激情五月丁香| 开心五月婷| 久久婷婷丁香五月宗合| 少妇熟女视频一区二区三区| 人人草人人看| 五月天婷婷丁香花| 色三级色三级| 国产精女同一区二区三区久 | 91精品久| 五月天大香蕉| 精品久久人妻| 五月丁香六月婷婷综合伊人| 日本久久人人| 亚洲精品第一国产综合亚AV| 人妻精品一区二区三区| 久久人妻乱| 色五月婷婷久久爱| 琪琪色热色色| 91av成人| 日本欧美成人片AAAA | 97色在线视频| 亚洲视色| 九九热99精品| 天天射影| 五月婷婷偷拍| 久热久re| 色婷婷性爱网| 九九色热| 人妻人人操| 天天日天天干天天插天天射| 五月色视频| 日韩无码人妻一区二区| 五月丁香婷婷钟和色图| 天天日,天天插| 丁香六月五月婷婷| 99热这里只有精品98| 久久免费试看120秒| 成人丁香| 九九婷婷五月天| www.激情五月天.com| 丁香狠狠操| 无码激情AAAAA片-区区| 色婷婷九月| 草逼大片| 情五月亚洲婷婷| 久久久久久99精品无码| 四色五月婷婷| 熟女人妻一区二区三区免费看| 99在线免费观看| 99精彩视频在线观看| 99热资源在线| 光棍影院日韩精品| 国内久久婷婷| 北京熟妇搡BBBB搡BBBB| 日韩另类| 大香蕉520| 婷婷五月免费视频| 日本色色视频| av性爱在线| 亚洲AAAA网| 久鲁鲁色网 | 色噜噜狠狠色综合无码久久欧美| 久久久久久99精品无码| 沈娜娜av| 色碰97| 久久AAAA片一区二区| 久久99激情| 久久婷婷五月| 色丁香五月| 色五月天综合| 极品人妻videosss人妻| 日本www五月婷婷| 亚洲精品无码久久| 99热爱爱干干日| 色五月婷婷伊人| 久re在线| 婷婷激情五月天激情小说| 婷婷色五月综合| www.91av.com| 久久婷婷五月丁香蜜桃网| 亚洲人妻av伦理| 99re6在线视频精品免费| 五月婷婷片| av网址在线| 超碰精品在线| 综合激情视频| 99热综合| 久久ri精品| 午夜无码熟熟妇丰满人妻| 精品一区二区三区四区五区六区| 九九婷婷五月天| 欧美成人一区二区三区在线视频| 中字幕视频在线永久在线观看免费| 狠狠综合| 婷婷五月激情黄色| av超碰在线| 久久国产高清| 久久丝袜婷婷| 狠狠综合| 色五月五月天| 99热这里全是精品| 少妇人妻人伦A片| 人人97碰| 丁香婷婷色五月激情综合| 性无码专区无码| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲激情无码久久| 色婷婷五月天天天做| 99精品视频在线| 欧美激情-区二区三区| 五月婷综合| 五月婷婷丁香大陆免费| 可以免费观看的AV| www.夜夜爱.com| 婷色视频| 色五月天.con| 久久99性爱视频| 五月婷婷啪啪| 婷婷开心激情| 婷婷5月久久综合网站| 五月丁香日逼| 久久九色| 五月丁香六月婷婷a v| 激情小说视频图片网| 99碰碰视频| 激情五月天色色| 日碰日| 亚洲黄色精品| 婷婷伊人激情婷婷| 天天爽天天摸天天爱| 五月丁香六月婷综合成人综合 | 2025超碰| 久大香蕉| 91dy.av| 99色在线视频| 成人看片网站| 大鸡巴伊人网| 99色精品视频| 高清无码视频网址| 丰满人妻妇伦又伦精品国产 | 色婷婷很很十八禁| 午夜丁香婷婷| 激情五月天激情综合网| 婷婷综合五月| 色色色色色五月| 午夜丁香丁香婷婷| 色婷婷亚洲六月婷婷中文字幕| 成人短视频在线| 日本黄色一级| 激情网站五月| 婷婷五月av| 亚洲精品久久久久AV无码| 婷久久综合| WWW·天天操·视频?| 久久久久久人妻| 五月天激情小说| 毛v一区二区视频| 欧美色综合天天久久综合精品| 久热精彩视频98| 亚洲婷婷视频| 婷婷情色五月天| 香蕉久久国产AV一区二区| 伊人玖玖精品| 色欲AV导航| 能看的av| 九热精品| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 人人看人人摸人人| 超碰在线91| 五月丁香五月丁香五月丁香五月丁香91| 99丁香五月婷| 夜夜骑夜夜操| 99久在线观看| 综合久久五月天| 超级碰碰97在线| 另类天堂| 91操操| 亚洲AV无码影院| 久久婷婷一级片| 亚洲精品又粗又大又爽A片 | www.99热这里精品| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | www.久久99| 秋霞AV淫| 丁香五月激情网| 五月停停激情网| 婷婷五月天基地| 婷婷五月天综合激情| 激情亚洲婷婷| 久99久在线观看| 婷婷五月天免费视频| 久久五月婷婷综合网| 99热久久这里只有精品| 思思热在线视频精品| www.91色| 伊人干综合| 欧美三级黄色片久久| 五月婷婷丁香| 99久久精彩视频| 九九热思思热| 色婷婷五月天av在线| 五月婷婷丁香大陆免费| 色婷婷成人做爰A片免费看网站| 婷婷丁香69精华| 婷婷伊人久久| 99精品久久| 综合婷婷| 夜夜躁狠狠 | 操逼六区| 深爱激情六月天| 超碰在线99| 日日干夜夜干| 成人婷婷五月天| 全部老头和老太XXXXX| 国产又黄又爽又激情不遮挡视频在线观看| 国自产拍偷拍精品啪啪一区二区| 99色在线观看| 99在线看片| 五月婷天天搞视频| 狠狠爱五月婷婷| 九九人人精品| 婷五月天天| 99色色网| 五月天婷婷永久免费视频| 久久久.www| 美女五月天| 99超级碰碰| 日本人妻A片成人免费看片| 亚洲激情在线| 成人亚洲精品久久久久| 午夜婷婷五月天| 成人AV播放| 色播五月| 99色天堂| 中文字幕婷婷9月天| 色欲AV导航| 91chinese 在线| 97精品自拍| 婷婷五月丁香影院| 97操女视频| 五月丁香婷婷综合视频| 深情六月婷婷综合久久| 色五月综合激情网| 能看的AV| 日日色五月天| 色吊丝av中文字幕| 开心激情网五月天| Jh7Uf088VHafNm| 日本在线观看91| www.狠狠| 丁香久久久| 67194成I人在线观看线路1| 色五月婷婷中文字幕| 人人爽欧美婷婷久久久五月丁香| 日本啪啪网| 国产欧美精品AAAAAA片| www.jiujiujiu| 狠狠 婷婷| 久久综合五月婷婷| 综合五月天| 天天做 天天爱| 五月天色色网站| 狠狠干五月| 日韩综合久久| 一本综合丁香日日狠狠色| 成人av在线网址| 亚洲亚洲人成综合网络| 99在线视频资源| 婷婷五月丁香狠狠| 另类少妇人与禽zOZZ0性伦| 99噜噜噜| 亚洲欧洲另类| 夜夜撸日日操| 五月丁香久久呀| 色久影院| 9l视频自拍九色9l黑人| 亚洲六月婷婷| 丁香婷婷视频| 六月综和久久| 日韩高清成人| 国产色香蕉精品五夜婷| 丁香婷婷综合激情五月色| 激情 婷婷| 天天综合五月| 99免费综合网| 婷婷中文字幕网| 久久小说网| 97操操| 99色性爰网络| 欧美视频在线观看噜噜| 亚洲小视频免费播放| 光棍影院日韩精品| 欧美五月停| 无码任你操| 五月天婷婷伊人| 婷婷丁香色五月久久88| 日本狠狠爽| 91天天操天天干天天射| 91碰超| 1024久婷| 亚洲精品白浆高清久久久久久| 久操无码| 九九热最新| 天天爽天天爽视频| 婷婷色丁香五月| 99极品视频| 人妻熟妇国产精品| 五月婷婷狠狠干| 免费啪啪啪网站| 2050人人操免费工开爱| 欧美顶级少妇做爰HD| 天天日天天色| 日日夜夜狠狠| 99色在线视频| 久热这里只有精品6| 超碰com| 99热主页日本| 久久婷婷五月综合色奶水99啪| 五月天啪啪| 久久婷婷综合五月趴| 五月天激情无码高清| 天天日夜夜夜操操操操| 久久精品在线| 少妇久久诱惑视频| 五月社区丁香| 综合五月天天天天天五月| 在线,国产,色,热视频| 五月丁香激情五月天| 亚洲日日操| 婷婷激情综合| 久久九九色| 日韩成人精品中文字幕| 丁香五月av| www婷婷| 欧美精品999| 日日夜夜干| 99∨VTV| 亚洲精品无码一区二区| 色五月婷婷基地| 婷婷伊人网| 玖玖色综合| 中文字幕网伦射乱中文| 东京热五月婷婷| 五月天婷婷Av| 黄色毛片精品| 影音先锋一区| 婷婷五月色播网| 妻久久久久| 99精品在| 欧美日韩AAA| 99热成人| 五月婷婷啪啪啪| 激情伊人五月天| 超碰av在线| 曰韩五月丁香色婷婷无码| 一级韩国产精品毛| 日韩 中文 欧美| 丁香五月激情六月欧亚激情综合导航 | 丁香六月天婷婷| 99爱爱网| 99热99ai| 天天色天天噜| 五月婷婷六月激情| 六月婷婷开心| 99久久综合网| 人妻在线观看视频| 九九色之九九色之88| 91精品综合久久久久久五月丁香| 五月天激情站| 亚洲狠狠干| 99热亚洲| 国产精品久久久爽爽爽麻豆色哟哟| 亚洲99热| 超碰在线成人| 怡红院院久久| 九九综合色综合| 狠狠综合网| Www.se.久久| 亚洲在线综合| 丁香婷婷五月六月天| 夜夜谢天天干| 99热精品中文字幕| 日本97人人| 久久久8| 丁香五月六月欧美| 日本婷久久| 先锋影音av色五月天资源站| 九九这里是免费的视频5| 婷婷丁香六月天| 九九久久9 9在线观看| 色综合大香蕉| 99色色最新视频| 亚洲不卡| 啪啪日本欧美| 五月丁香久久| 蜜桃五月天| 天天插天天干| 天啪色| 五月婷婷六月丁香激情综合网| 久久久久er热| 日日做A爰片久久毛片A片英语| 99色.com| 狠狠干青青草| 色色色99| 九9九9无码| 五月天播播综合| 中文资源在线a| 桃色成人网| 日本69日人视频| 色色COm| 天天综合色| 99精品久久久久| 午夜电影网VA内射| 狠狠搞狠狠操| 97超碰在线免费观看| 99热大片| 色色国产| 97久久人人操| www.日本91| 婷婷丁香成人色综合| 色色色精品无码区| 在线成人网址| 一区二区三区XXXXXX| 婷婷六月丁香色| 99这里只有精品|v| 影音先锋 一区| 久久机热这里只有| 99久久久| cao视频,现在观看| 婷婷日日天天| 久久婷婷五月| av网址在线| 五月天狠狠干| 欧洲电影在线观看免费版英语版 | 久久婷婷伊人| 国产欧美日韩性爱| 欧美视频五区| 成人免费在线电影| 五月婷婷之美女图片| 国产人妻777人伦精品HD| 99精品在线播放| 久婷| 4399在线观看免费毛片| 欧美色色色色色| 五月丁香久久久| 日韩精品色| 五月婷婷深深爱| 久久五月六月| 超碰成人免费| 日韩成人无码人妻| 亚洲婷婷丁香| 久久99精品久久久久久噜噜| 成人在线视频男人的天堂4399| 79色色| 五月四色激情| 丁香六月无码| 丁香婷婷综合激情五月色| 色色色视频免费无码 | 色五月天天| 久热免费视频| 色婷婷综合中心| 日日日日日| 婷婷色播综合五月| 91人妻PORNY九色大屁股| 天天日天天做天天舔| 97操碰| 开心五月婷婷五月| 五月丁香啪啪啪| 色婷婷深爱五月| 三级片AAA久久久AAA久久久AAA| 婷婷丁香水多多视频| 天天射天天插天天干| 五月婷婷丁香大陆免费| 日韩人妻AV在线| 丁香六月婷婷色XXXX| 九九精品9| 综合九九| 九九热99熟女| 色综合com| 99r久久这里只有精品| 国产精产国品一二三在观看| 天天干天天色天天干| 这里只有精品久久| 人人做天天爱| 婷婷五月欧美| 热99免费在线| 亚洲色色色色色| 日欧一片内射VA在线影院| 骚货艹网站视频| 免费成人网在线观看| 在线婷婷| 狠狠狠婷婷五月综合| 婷婷六月天国产综合| 欧美VA在线| 91操熟女| 国产精品18久久久| 久久人妻伦理| 性爱激情小说AV五月丁香花| 99婷婷| 丁香五月人妻熟女| www网站在线观看| 丁香五月首页| 久热这里有精品视频| 日本色超碰| 91人操人人人操人| 丁香五月成人论坛| 99热九九九九| 26uuu精品国产| 久久五月天黄色五月天色网址| 丁香五月天激情四射网络不好| 欧美色色色色色| 9.1综合网| 五月天婷婷无码| 26uuu丁香婷婷五月| 婷婷激情综合无月| 亚洲图色五月天| 夜夜谢天天干| 五月开行婷婷色五月| 狠狠爱综合网| 最新精品视频99| 91视频五月丁香| 丁香啪啪| 狠狠操狠狠插| 干婷婷五月天| 欧美色碰| 538在线精品| 思思99热| 2w在线视频| 另类精品视频在线观看| 色色欧美色色色| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 丁香综合伊人| 日本乱论99| 激情五月天婷婷| 99九九在线视频| 五月丁香婷婷五月色| 五月婷婷色播| 五月丁香六月片| 久久婷婷五月综合| 日韩十国产极品久久| 五月丁香六月婷婷综合在线| 色噜噜五月丁香婷婷| 午夜色婷婷| 色婷另类| 欧美性爱5月天天天看| 丁香婷婷激情综合五月激情 | 久久综合播放| 性做爰A片免费视频A片直播| 91超碰在线观看| 色五婷婷| 丁香五月婷婷亚洲综合精品在线| 五月激情啪啪啪| 亚洲图色五月天| 性av| 丁香五月成人| 97亚洲婷婷| 中文国产五月天| 婷婷五月 丁香六月| 在线婷婷| 99偷拍视频在线日本| 久久涩视频| 99这里只有精品| 天堂A∨在线| 无码人妻一区| 婷婷六月天亚州| 婷婷区日本| 色婷婷色99国产综合精品| 亚洲自拍天堂| 91碰人人| 免费看欧美成人A片无码| 婷婷婷婷婷婷婷五月丁香| 五月婷婷激情日本| 五月婷婷综合丁香视频| 丁香五月久久综合| 热99视频| 激情婷婷色小说| 无码地址| 99热在线爱| 影院久久久| 一本到不卡高清DVD| 国产亚洲精品AAAAAAA片| 色九区| 色啪网| 99色免费观看全部| 亚洲天堂99| 欧美精品啪啪| 久久女人天堂| 国产日韩亚洲欧美在线观看| 丁香五月综合福利视频导航| 天天色综和网| 久99久99精品免| 精品热九九| 乱乱av| 精品一二三区久久AAA片| 亚洲精品99| 日欧一片内射VA在线影院| 超碰av在线| 3p日韩网站视频| 这里只有精品,日韩视频| 综合激情开心五月| 五月天激情站| 日韩一区二区在线播放| 婷婷热婷婷色| 人人干天天操五月丁香| 天天射天天射一道本日本社区 | 久热爱大香蕉在线蜜臀悦色| 99在线小视频| 99精品国产在热久久婷婷| 午夜日韩久久久网站| 亚洲xx网| 人人干99| 亚洲欧美成人在线| 丁香五月天激情婷婷丁香六月| 涩五月婷婷| 日韩成人五月天| 天天婷婷操| 玖久精品视频9| 亚洲精品激情| 狠狠草狠狠草| 日本不卡中文字幕| 91久久婷婷| 被强行糟蹋的女人A片| av婷婷六月丁香社区在线观看| 狠狠噪| g00d人体西西| 狠狠色狠狠| 天天日,天天射,天天插| 99久久精品网| 丁香六月在线| 色色五月天网站| 婷婷色网站| 欧洲色| 亚洲狠狠终合停停终合| 九九色插| 精品牛仔裤超碰| 日韩抽插操逼| 欧美激情综合色综合色| 久碰婷婷视频| 久久九九热视频| 成人无码髙潮喷水A片| 中文在线视频久9| 91人操| 六月丁香婷婷亚洲中文玖玖| 色婷婷裸体色性在线| 五月婷婷激情日本| 天天干一干| 婷婷色五月大香蕉在线| 九九99香蕉在线视频播放| 五月色情婷婷| 五月婷婷之激情五月| 综合伊人久久| 亚洲精品一区中文字幕乱码| 第九色区AV在线| 激情综合九月| 久久狠色噜噜狠狠狠狠97| 天天天干夜夜夜操| 99精品综合视频| 久久44| 99 热国产在| 久久婷婷五月综合伊人| 亚洲黄色精品| 日韩在线观看网址| 日韩黄色电影| 五月丁香999| 久久最新色| 色一情一乱一伦一区二区三区| 久久九九九九| 激情五月天之六月婷婷| 五月天婷婷7米| 欧美搡BBBBB摔BBBBB| 991自拍视频| 色九九综合| 五月婷婷亚洲| 91一起操| 色综合香蕉| 亚洲激情区| 色五月天激情| 色婷婷另类| 99re这里只有精品免费| 免费五月婷婷网| 亚洲黄色影视| 九热免费视频| 色情激情五月| 99爱在线免费视频| 9久热在线视频| 亚洲乱码精品久久久久..| 九九青草热| 婷婷色五月婷婷姐妹| 天天射影院| 亚洲中文AV| 99热这里只有精品26| 免费观看大片视频 丁香婷婷 六月欧美| 香蕉久久国产AV一区二区| 天天操加勒比| 婷婷六月丁香五月| 九九九九精品精| 五月色网| 激情综合五月天| 婷婷丁香色女人| 亚洲丁香五月综合| 色婷婷大香蕉| 海外网站专业操老外| 99视频在线观看欧| 日本va欧美va国产激情| 婷婷激情六月综合| 日日噜狠狠色| 天天日天天肏天天奸| 中文久久久人妻| 久激情网| 五月天激情久久| 亚洲精品99| 丁香花综合永久入口| 激情综合婷婷| 九九综合| 另类在线| 婷婷导航| 9 1超碰九色| 色五月丁香婷婷久草| 五月婷婷丁香五月| 五月 婷婷 成人| 国产精产国品一二三在观看| 日韩一区二区在线播放| 色婷婷狠狠| 丁香五月首页| 91avse| 国产9色在线/日韩| 丁香五月天视频| 激情五月天99色| 操一操干一干| 色九九九综合| 五月成人天| 婷婷五月欧美AA片免费| 日本VA视频| 99热欧美| 色婷婷综合久久久久| 激情伊人| 操操自拍| 国产精品日日躁夜夜躁| 91丨九色丨熟女|老版| 人人操五月天| 97婷婷狠狠久久综合9色| 国产毛片精品一区二区色欲黄A片| 五月婷婷久久爱| 拳交大逼| 日韩操女| 天天操天天操天天操天天操天天操| 九九Y精品热播| 天天操天天曰| 亚洲乱码日产精品BD| 天天综合天天玩夜夜玩天天玩夜夜玩 | 久久狠婷婷| 激情婷婷丁香| 亚洲在线综合| 9久久久久久久久久久| 亚洲av综合网| 天天插天天日| 五月天婷婷基地丁香| www.夜夜操| 五月丁香成人版| 97色 五月天丁香| 深爱激情综合网| 啪啪婷婷五月天激情| 开心五月综合激情网| 激情五月,色五月| 亚洲精品字幕| 99热日| 婷婷丁香婷婷97| WWW,五月| 亚洲激情亚洲激情 | 99ri在线观看视频| 婷婷久久综合| 婷婷五月丁香高清无码| 99九九精品视频推荐| 亚洲五月婷婷| 秋霞免费三级片| 丁香五月天啪啪| 亚洲va在线| 铁牛TV人妻| 伊人久久婷婷| www.日韩艹| 色色影院黄大片| 九九色影院| 青青操avbb| 欧美日韩一区二区三区四区| 亚洲人人操| 久久婷婷五月天激情四射| 伊人五月天在线| 婷婷色色狠狠| 666555。COm毛片| 99久在线精品99re8热| 色婷| 国产精品久久久爽爽爽麻豆色哟哟| 亚州AV超碰人人操| 99久久婷婷五月综合| 五月天激情小说| 久久这里都是精品| 9l视频自拍九色9l视频自拍九色9l社区 | 青青草原亚洲天堂| 开心婷婷五月花| 婷婷五月丁香A∨| av色婷婷| 蜜臀九九九九| 9l视频自拍9l视频自拍九色学生| 99精品热| 噜噜色噜噜网| 五月在线婷色| 久久思思99|