欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

DETR文獻(xiàn)匯報(bào)指南:端到端目標(biāo)檢測(cè)原理與PPT講解策略

DETR文獻(xiàn)匯報(bào)指南:端到端目標(biāo)檢測(cè)原理與PPT講解策略 簡(jiǎn)介針對(duì)《End-to-End Object Detection with Transformers》DETR論文的文獻(xiàn)匯報(bào)PPT面向機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)方向的研究生或開(kāi)發(fā)者旨在幫助快速理解DETR如何將目標(biāo)檢測(cè)重構(gòu)為直接集預(yù)測(cè)問(wèn)題從而替代RCNN、YOLO等依賴Anchor與NMS的傳統(tǒng)流程。內(nèi)容涵蓋研究背景、研究目的、研究過(guò)程與結(jié)論重點(diǎn)拆解CNN骨干特征提取、Transformer編碼-解碼結(jié)構(gòu)、二分圖匹配損失以及前饋網(wǎng)絡(luò)預(yù)測(cè)框與類別的完整鏈路同時(shí)附有模型結(jié)構(gòu)圖和實(shí)驗(yàn)對(duì)比說(shuō)明適合組會(huì)匯報(bào)或論文精讀前的框架梳理。資源包共1個(gè)文件為pptx演示文稿壓縮包大小3.44MB輕量便攜便于直接放映講解。目前已有1089人學(xué)習(xí)下載。通過(guò)這份PPT讀者可快速掌握DETR的核心創(chuàng)新點(diǎn)、訓(xùn)練機(jī)制及其向全景分割推廣的思路節(jié)省自行查閱原論文和整理PPT的時(shí)間也可作為二次講解或修改的底稿。1. 文獻(xiàn)匯報(bào)選 DETR一篇論文把目標(biāo)檢測(cè)從“手工成分”變成“端到端”組會(huì)輪到你做文獻(xiàn)匯報(bào)題目是 End-to-End Object Detection with Transformers從這時(shí)候開(kāi)始你需要準(zhǔn)備一份能講三十分鐘以上的 PPT。真正難的地方不是看懂論文而是怎么把它講成一次高質(zhì)量的技術(shù)評(píng)審而不是把摘要念一遍。DETR 是 Transformer 第一次在目標(biāo)檢測(cè)上做到真正端到端沒(méi)有錨框、沒(méi)有 NMS、沒(méi)有手工設(shè)計(jì)的先驗(yàn)所有輸出都來(lái)自一個(gè) encoder-decoder 模型直接預(yù)測(cè)的集合損失函數(shù)用二分匹配把預(yù)測(cè)和真實(shí)框?qū)?yīng)起來(lái)。對(duì)研究生來(lái)說(shuō)這是一次展示原理理解深度的選題對(duì)工程師來(lái)說(shuō)也能通過(guò)它看清檢測(cè)任務(wù)從“調(diào)參”走向“建?!钡淖兓?。我在這篇筆記里不按論文摘要順序復(fù)述而是按做文獻(xiàn)匯報(bào)的落地路徑展開(kāi)先把 DETR 的技術(shù)核心拆成 PPT 上能講清楚的三件套再給一套六段式的 PPT 結(jié)構(gòu)然后寫清 object queries、二分匹配和收斂慢這幾個(gè)最容易卡殼的地方最后列一份避坑清單。你不用再?gòu)牧忝鹘Y(jié)構(gòu)照著搭骨架再把自己對(duì)實(shí)驗(yàn)的理解填進(jìn)去就能提防導(dǎo)師和同學(xué)的追問(wèn)。2. DETR 核心原理講清楚三件套PPT 才能立得住DETR 全稱是 end-to-end object detection with transformers字面看是“用 Transformer 做檢測(cè)”但它的核心突破點(diǎn)是端到端。準(zhǔn)備匯報(bào)時(shí)我會(huì)建議第一層講標(biāo)題里的三個(gè)關(guān)鍵詞第二層講檢測(cè)任務(wù)里的傳統(tǒng)瓶頸。如果聽(tīng)眾里有不太關(guān)注檢測(cè)的人你需要先用一分鐘解釋清楚“為什么以前不是端到端”后面所有內(nèi)容才有意義。2.1 為什么“端到端”是賣點(diǎn)從 anchor 到集合預(yù)測(cè)的躍遷傳統(tǒng)檢測(cè)器通常把檢測(cè)建模成“先找候選再分類和回歸”的流程。兩階段方法先由區(qū)域候選模塊生成上千個(gè)候選框再由分類器篩選和框回歸單階段方法在特征圖的每個(gè)格點(diǎn)放置多個(gè)具有不同長(zhǎng)寬比的錨框然后預(yù)測(cè)錨框的相對(duì)偏移。無(wú)論哪種后處理里都離不開(kāi) NMS用來(lái)去重和抑制重復(fù)框。錨框的尺寸、數(shù)量、NMS 閾值都是訓(xùn)練之外需要手工調(diào)整的成分。DETR 換了一個(gè)思路把檢測(cè)輸出看作一個(gè)“集合”。無(wú)論圖像里有多少真實(shí)物體模型始終輸出一個(gè)固定大小的預(yù)測(cè)集合例如 100 個(gè)預(yù)測(cè)。訓(xùn)練時(shí)不再用 IoU 匹配錨框而是用二分匹配在預(yù)測(cè)集合與真實(shí)標(biāo)注集合之間建立一一對(duì)應(yīng)然后對(duì)整個(gè)集合計(jì)算分類和回歸損失。推理時(shí)模型直接輸出已經(jīng)過(guò)匹配訓(xùn)練的框不再需要 NMS。這才是“端到端”的準(zhǔn)確定義從輸入圖像到最終檢測(cè)結(jié)果所有模塊都可微中間沒(méi)有不可導(dǎo)的離散后處理步驟。在 PPT 的背景頁(yè)里我會(huì)放一張對(duì)比表把傳統(tǒng)檢測(cè)器和 DETR 的核心差異列清楚這樣聽(tīng)眾一眼就能抓住“端到端”到底省掉了哪些東西。維度傳統(tǒng)檢測(cè)器DETR先驗(yàn)框anchor需手工設(shè)計(jì)尺寸和比例無(wú) anchorobject queries 是從數(shù)據(jù)中學(xué)習(xí)后處理NMS 和 IoU 閾值需要調(diào)不需要集合預(yù)測(cè)天然去重輸出順序每個(gè)格點(diǎn)對(duì)應(yīng)固定位置的框輸出是無(wú)序集合用二分匹配排序損失分類損失 錨框匹配損失 回歸損失匹配損失 分類損失 框回歸損失核心學(xué)習(xí)目標(biāo)從錨框/候選框到真實(shí)框的映射學(xué)習(xí)“從全局特征到集合”的映射這張表放到 PPT 上時(shí)不要一頁(yè)塞滿我會(huì)拆成左右兩側(cè)左側(cè)傳統(tǒng)流程右側(cè) DETR 流程對(duì)比表放在最后一行作為總結(jié)。講解時(shí)用一句話收住“之前的問(wèn)題在于先驗(yàn)框和 NMS 是手工成分DETR 用一組可學(xué)習(xí)的查詢向量和集合匹配把它們整體替換掉了。”這一句話是背景頁(yè)的講解核心能避免后面的細(xì)節(jié)被誤讀。2.2 三件套拆解backbone、Transformer 與二分匹配各自寫進(jìn) PPT 的哪一頁(yè)DETR 的網(wǎng)絡(luò)結(jié)構(gòu)直觀上由三塊組成CNN backbone、Transformer encoder-decoder、預(yù)測(cè)頭。但我想強(qiáng)調(diào)一個(gè)容易被忽略的點(diǎn)它實(shí)際上還有第四個(gè)關(guān)鍵部分就是訓(xùn)練時(shí)的二分匹配損失它可以看作把網(wǎng)絡(luò)輸出和標(biāo)注連接起來(lái)的“配對(duì)器”。前三塊決定了模型能看多遠(yuǎn)匹配器決定了模型怎么學(xué)。CNN backbone 負(fù)責(zé)把尺寸為 H×W×3 的輸入圖像變成 H/32 × W/32 的 2048 維特征圖這部分和常見(jiàn)檢測(cè)器的骨干網(wǎng)絡(luò)一致。做匯報(bào)時(shí)我會(huì)在第 3 頁(yè)放一張?zhí)卣鲌D可視化強(qiáng)調(diào)“encoder 拿到的不是原始像素而是高語(yǔ)義的特征網(wǎng)格”。緊接著是 Transformer encoder它的輸入是拍平后的特征圖加上空間位置編碼在全局范圍內(nèi)做 self-attention用來(lái)建立物體之間以及物體與背景的關(guān)系。這一步對(duì) DETR 特別重要因?yàn)楹竺鏇](méi)有 anchor 這種局部約束檢測(cè)依賴的是全局上下文。Decoder 部分是最容易講亂的。它接收兩類輸入一類來(lái)自 encoder 輸出的編碼特征另一類是 N 個(gè)可學(xué)習(xí)的 object queries每個(gè) query 的維度與模型隱層維度一致通常設(shè)為 256。decoder 通過(guò) cross-attention 讓每個(gè) query 去特征圖上“找自己負(fù)責(zé)的物體”然后從 query 所在位置同時(shí)預(yù)測(cè)一個(gè)分類結(jié)果和一個(gè)框坐標(biāo)。N 通常取 100意味著無(wú)論圖里有多少物體模型都輸出 100 個(gè)預(yù)測(cè)多余的預(yù)測(cè)會(huì)被匹配到“背景”類。預(yù)測(cè)頭是一個(gè)簡(jiǎn)單的 FFN輸出類別向量和相對(duì)整張圖的框坐標(biāo)。在 PPT 的方法部分我習(xí)慣把網(wǎng)絡(luò)結(jié)構(gòu)拆成 5 頁(yè)第 1 頁(yè)畫整體數(shù)據(jù)流第 2 頁(yè)畫 encoder 輸入和位置編碼第 3 頁(yè)畫 decoder 和 object queries第 4 頁(yè)畫匹配與損失第 5 頁(yè)畫端到端訓(xùn)練流程框圖。這樣做的好處是每一頁(yè)只解釋一個(gè)信息點(diǎn)被追問(wèn)時(shí)你能快速定位。下面這張表可以作為設(shè)計(jì)頁(yè)面時(shí)的檢查清單PPT 頁(yè)碼頁(yè)面內(nèi)容講解要點(diǎn)可配圖3backbone 與特征圖輸入尺寸如何換算成特征網(wǎng)格特征圖熱力圖4encoder 與位置編碼self-attention 建立全局依賴attention map5decoder 與 object queries每個(gè) query 并行輸出一個(gè)預(yù)測(cè)query 可視化6二分匹配與損失匹配和損失是兩步匹配連線圖7整體流程一次前向 一次匹配 反向傳播數(shù)據(jù)流圖位置編碼在 DETR 里不是錦上添花。Transformer 的 self-attention 本身不具備空間順序概念特征圖展平成序列后兩個(gè)位置即使距離很遠(yuǎn)在 attention 計(jì)算里也只是不同 token。DETR 在 encoder 輸入處加入固定或可學(xué)習(xí)的位置編碼decoder 里的 cross-attention 也借助它讓 query 知道去哪里找物體。做匯報(bào)時(shí)用一句話解釋“位置編碼提供了坐標(biāo)參考系query 的注意力才知道去哪里找物體?!辈灰归_(kāi)傅里葉特征等細(xì)節(jié)除非導(dǎo)師追問(wèn)。另外object queries 在 decoder 里是并行輸入的一次性輸出所有預(yù)測(cè)這和翻譯模型那種自回歸逐詞輸出完全不同講解時(shí)要強(qiáng)調(diào)“并行”。3. 文獻(xiàn)匯報(bào) PPT 的六段式結(jié)構(gòu)每頁(yè)放什么、講多久我做了多次 DETR 相關(guān)匯報(bào)后固定下來(lái)一套六段式結(jié)構(gòu)背景與動(dòng)機(jī)、方法模型、匹配與損失、實(shí)驗(yàn)與結(jié)果、分析與討論、延伸與總結(jié)。這套結(jié)構(gòu)適用于大多數(shù)論文匯報(bào)但 DETR 有一處特殊匹配與損失必須單獨(dú)成段因?yàn)樗鼪Q定了“端到端”怎么落地。如果你把它混在方法模型里聽(tīng)眾很難跟上。3.1 六段式結(jié)構(gòu)表從背景到提問(wèn)的頁(yè)面劃分下面這張表是我設(shè)定 30 到 40 分鐘匯報(bào)時(shí)的頁(yè)面分配。你可以根據(jù)組會(huì)時(shí)間壓縮或擴(kuò)展但比例不要變。段落建議頁(yè)數(shù)建議時(shí)長(zhǎng)必須包含的內(nèi)容背景與動(dòng)機(jī)35 分鐘目標(biāo)檢測(cè)任務(wù)定義、anchor/NMS 的痛點(diǎn)、DETR 的貢獻(xiàn)方法模型510 分鐘backbone、encoder、decoder、object queries、位置編碼匹配與損失38 分鐘二分匹配定義、代價(jià)矩陣、L1 GIoU 損失實(shí)驗(yàn)與結(jié)果47 分鐘數(shù)據(jù)集指標(biāo)、與經(jīng)典檢測(cè)器對(duì)比、消融實(shí)驗(yàn)分析與討論35 分鐘decoder self-attention 可視化、泛化能力實(shí)驗(yàn)延伸與總結(jié)2剩余模型局限、后續(xù)改進(jìn)方向、三個(gè)延伸問(wèn)題這一段按實(shí)際匯報(bào)流程展開(kāi)是這樣的。背景與動(dòng)機(jī)的三頁(yè)第一頁(yè)放一張日常場(chǎng)景圖問(wèn)“圖中每個(gè)物體在哪”引出檢測(cè)任務(wù)第二頁(yè)放傳統(tǒng)檢測(cè)流程和 anchor 示例點(diǎn)出手工設(shè)計(jì)成本高第三頁(yè)直接放 DETR 的三大貢獻(xiàn)端到端、無(wú) NMS、一個(gè)通用框架。方法模型的五頁(yè)按“總—分—總”排第一頁(yè)整體結(jié)構(gòu)第二頁(yè) backbone 和特征圖第三頁(yè) encoder 和位置編碼第四頁(yè) decoder 和 object queries第五頁(yè)再回到整體數(shù)據(jù)流把前面幾頁(yè)串起來(lái)。匹配與損失單獨(dú)成段后第一頁(yè)講“為什么需要匹配”第二頁(yè)講匈牙利算法怎么選組合第三頁(yè)講損失函數(shù)的具體形式。實(shí)驗(yàn)與結(jié)果部分先放數(shù)據(jù)設(shè)置再放主對(duì)比表、消融最后放可視化順序不要倒。3.2 用 python-pptx 生成初始骨架腳本與參數(shù)說(shuō)明雖然你最后可能還是手動(dòng)排版但用代碼生成骨架能極大節(jié)省時(shí)間尤其當(dāng)你需要反復(fù)調(diào)整章節(jié)順序時(shí)。我用 python-pptx 生成模板后再在界面里替換內(nèi)容。下面的腳本會(huì)創(chuàng)建一個(gè) 16:9 的演示文稿生成標(biāo)題頁(yè)、六個(gè)章節(jié)頁(yè)和每個(gè)章節(jié)下的內(nèi)容占位頁(yè)它不會(huì)幫你畫結(jié)構(gòu)圖但能讓你在還沒(méi)寫具體內(nèi)容時(shí)先把匯報(bào)的章節(jié)骨架定下來(lái)。from pptx import Presentation from pptx.util import Inches # 創(chuàng)建空白演示文稿設(shè)置為 16:9 prs Presentation() prs.slide_width Inches(13.333) prs.slide_height Inches(7.5) # 使用“標(biāo)題和內(nèi)容”版式 slide_layout prs.slide_layouts[1] # 定義六段式章節(jié)名和對(duì)應(yīng)頁(yè)數(shù) sections [ (背景與動(dòng)機(jī), 3), (方法模型, 5), (匹配與損失, 3), (實(shí)驗(yàn)與結(jié)果, 4), (分析與討論, 3), (延伸與總結(jié), 2), ] # 第一頁(yè)標(biāo)題頁(yè) title_slide prs.slides.add_slide(slide_layout) title_slide.shapes.title.text End-to-End Object Detection with Transformers title_slide.placeholders[1].text 文獻(xiàn)匯報(bào)DETR 原理與討論 for section_name, page_count in sections: # 生成章節(jié)頁(yè) sec_slide prs.slides.add_slide(slide_layout) sec_slide.shapes.title.text section_name sec_slide.placeholders[1].text f本節(jié)預(yù)計(jì) {page_count} 頁(yè)\n要點(diǎn)見(jiàn)演講者備注 # 為每個(gè)章節(jié)生成對(duì)應(yīng)數(shù)量的內(nèi)容占位頁(yè) for i in range(page_count): content_slide prs.slides.add_slide(slide_layout) content_slide.shapes.title.text f{section_name} - 頁(yè)面 {i 1} content_slide.placeholders[1].text ( 圖\n 講解主線\n 可被追問(wèn)的鉤子 ) prs.save(detr_presentation_skeleton.pptx) print(f已生成 {len(prs.slides)} 頁(yè)骨架)腳本邏輯說(shuō)明Presentation()是操作入口設(shè)置 16:9 寬高保證投影不拉伸。slide_layouts[1]是“標(biāo)題和內(nèi)容”版式絕大多數(shù)匯報(bào)適合從這種版式開(kāi)始。每個(gè)章節(jié)先用一個(gè)章節(jié)頁(yè)標(biāo)識(shí)開(kāi)始再生成若干個(gè)內(nèi)容占位頁(yè)。占位頁(yè)里寫的是我常固定的三段圖、講解主線、可被追問(wèn)的鉤子。這能防止你在寫 PPT 時(shí)只貼圖而忘了準(zhǔn)備講解鏈路。參數(shù)說(shuō)明sections里的頁(yè)數(shù)是根據(jù) 30 到 40 分鐘匯報(bào)預(yù)估的。如果你只有 20 分鐘把數(shù)字改為每節(jié)減 1 或 2。page_count決定生成多少內(nèi)容頁(yè)生成后你可以直接在 PPT 里補(bǔ)充真實(shí)內(nèi)容不用重新布局。腳本最后打印頁(yè)數(shù)時(shí)直接用len(prs.slides)新版 python-pptx 不需要訪問(wèn)內(nèi)部對(duì)象。這樣你就有一個(gè)干凈的骨架文件接下來(lái)在演講者備注里寫上每頁(yè)的時(shí)間計(jì)劃和提問(wèn)預(yù)案就可以開(kāi)始填充內(nèi)容了。4. 把最難的部分講順query、二分匹配和收斂慢的講解話術(shù)4.1 object queries給聽(tīng)眾一個(gè)“探測(cè)器菜單”的直覺(jué)很多人在匯報(bào) DETR 時(shí)會(huì)把 object queries 解釋成“一組可學(xué)習(xí)的參數(shù)”這句話雖然準(zhǔn)確但沒(méi)有解決聽(tīng)眾的疑問(wèn)它憑什么能檢測(cè)物體我一般先用“探測(cè)器菜單”來(lái)類比想象你手里有 100 張空白檢查單每張單子在訓(xùn)練中被分配到一類任務(wù)有的負(fù)責(zé)找大物體有的負(fù)責(zé)找小物體有的專門找特定外觀的物體。這些檢查單不是隨機(jī)初始化的而是經(jīng)過(guò)訓(xùn)練變成對(duì)某種視覺(jué)模式敏感的探測(cè)器。decoder 的 cross-attention 會(huì)讀取圖像內(nèi)容讓每張檢查單決定“自己負(fù)責(zé)的目標(biāo)是否出現(xiàn)在圖像里”。在 PPT 上我會(huì)畫兩列左邊是 object queries 輸入右邊是 100 個(gè)預(yù)測(cè)輸出中間用注意力線連接。圖中可以高亮三個(gè) query 示例分別對(duì)應(yīng)某個(gè)物體。講解時(shí)否認(rèn)“每個(gè) query 固定檢測(cè)某個(gè)位置”的錯(cuò)誤說(shuō)法強(qiáng)調(diào) query 是“語(yǔ)義角色”不是“空間錨點(diǎn)”。這和 anchor 的區(qū)別就在于此anchor 是固定位置和尺寸的先驗(yàn)框object queries 是數(shù)據(jù)驅(qū)動(dòng)的語(yǔ)義向量它在注意力機(jī)制里能夠關(guān)注到圖像中的任意位置。這里還要順帶區(qū)分一點(diǎn)object queries 并行輸入、并行輸出不是像機(jī)器翻譯那樣逐個(gè)解碼。聽(tīng)眾如果之前看過(guò) Transformer 翻譯模型很容易把 decoder 想成自回歸所以要在同一頁(yè)補(bǔ)一句“所有預(yù)測(cè)是一次性產(chǎn)生的這也是端到端框架能充分利用并行計(jì)算的原因?!?.2 二分匹配用一個(gè)最小例子演示匈牙利算法二分匹配是 DETR 里最值得花時(shí)間講的部分。聽(tīng)眾問(wèn)得最多的兩個(gè)問(wèn)題是匹配和損失是一回事嗎以及匹配會(huì)不會(huì)導(dǎo)致梯度無(wú)法傳播答案分別是匹配是在所有可能配對(duì)里找到一個(gè)最優(yōu)組合損失是針對(duì)這一最優(yōu)組合計(jì)算的匹配過(guò)程和損失計(jì)算是兩個(gè)步驟匈牙利算法只負(fù)責(zé)找組合這個(gè)組合不依賴預(yù)測(cè)框的絕對(duì)數(shù)值參與梯度回傳后續(xù)損失回傳時(shí)才產(chǎn)生梯度。我通常會(huì)準(zhǔn)備一個(gè) 2 個(gè)真實(shí)框、3 個(gè)預(yù)測(cè)的案例。假設(shè)真實(shí)框是人和車預(yù)測(cè)是從 N100 里篩出的三個(gè)候選。構(gòu)造一個(gè) 2×3 的代價(jià)矩陣代價(jià)包括分類不匹配的代價(jià)和邊界框 L1 距離再加上 GIoU 距離。然后演示匈牙利算法逐步找出最優(yōu)匹配把預(yù)測(cè) A 給真實(shí)框 1預(yù)測(cè) B 給真實(shí)框 2預(yù)測(cè) C 留給背景。表格可以是預(yù)測(cè)/真實(shí)真實(shí)框1真實(shí)框2背景預(yù)測(cè)A0.30.80.6預(yù)測(cè)B0.70.20.5預(yù)測(cè)C0.50.90.4講解時(shí)先手動(dòng)選一遍A 給真實(shí)框 1B 給真實(shí)框 2C 給背景總代價(jià) 0.30.20.40.9。再演示匈牙利算法能找到一個(gè)總代價(jià)更小的組合。這個(gè)例子能讓聽(tīng)眾直觀看到“最優(yōu)匹配”不是簡(jiǎn)單的貪心配對(duì)。注意背景列的代價(jià)不能設(shè)為零否則所有預(yù)測(cè)都會(huì)被分到背景模型就不會(huì)學(xué)檢測(cè)了同時(shí)也不該設(shè)為無(wú)限大否則匹配不到物體的預(yù)測(cè)就沒(méi)有出路。4.3 收斂慢從 FCN 視角和 attention 視角給兩套講法DETR 相比傳統(tǒng)檢測(cè)器需要更長(zhǎng)的訓(xùn)練時(shí)間才能收斂這是它的主要缺點(diǎn)。做匯報(bào)時(shí)建議根據(jù)聽(tīng)眾背景選擇解釋角度。如果聽(tīng)眾熟悉卷積網(wǎng)絡(luò)我從特征對(duì)齊的角度講沒(méi)有 anchor模型從零學(xué)習(xí)把 query 映射到空間位置早期注意力分布不穩(wěn)定需要更多輪次來(lái)穩(wěn)定位置編碼與特征網(wǎng)格之間的匹配。這個(gè)視角很直接DETR 中每個(gè) query 必須“學(xué)會(huì)”去特征圖的哪個(gè)地方獲取信息這是一種隱式的空間對(duì)齊比錨框顯式指定位置更難訓(xùn)練。如果聽(tīng)眾對(duì)注意力機(jī)制更敏感我從注意力密度的角度講encoder 對(duì)每個(gè)位置做全局 self-attention復(fù)雜度與特征圖位置數(shù)的平方成正比訓(xùn)練初期注意力幾乎均勻分布需要模型在大量樣本中逐漸“銳化”注意力這一過(guò)程比局部卷積慢得多。另外encoder 部分容易出現(xiàn)注意力渙散導(dǎo)致梯度信息分散所以原論文里用了較長(zhǎng)的學(xué)習(xí)率 warmup 和輔助損失來(lái)緩解。給不同聽(tīng)眾講的時(shí)候兩套話術(shù)可以搭配使用先用直覺(jué)說(shuō)“沒(méi)有錨框就少了先驗(yàn)約束模型要從零學(xué)位置”再用復(fù)雜度公式說(shuō)明為什么注意力迭代慢。不建議在正篇里列一大堆數(shù)學(xué)公式等被追問(wèn)時(shí)再展開(kāi)這樣正篇節(jié)奏更穩(wěn)。5. DETR 文獻(xiàn)匯報(bào)避坑指南五個(gè)高頻追問(wèn)與排查思路這一章寫給要在組會(huì)現(xiàn)場(chǎng)硬扛提問(wèn)的人。以下五條都是我在聽(tīng)別人匯報(bào)和自己被追問(wèn)時(shí)見(jiàn)到的真實(shí)場(chǎng)景每一條按現(xiàn)象、原因、解決三個(gè)層次記錄。5.1 把 DETR 講成“ViT 做檢測(cè)”兩個(gè)任務(wù)被混為一談現(xiàn)象聽(tīng)眾里的同學(xué)問(wèn)“DETR 不就是 ViT 把分類頭換成檢測(cè)頭嗎”匯報(bào)人點(diǎn)頭結(jié)果被導(dǎo)師糾正現(xiàn)場(chǎng)氣氛立刻尷尬。原因ViT 是對(duì)整張圖做分類的 Transformer而 DETR 是對(duì)特征圖做全局建模后輸出集合預(yù)測(cè)。DETR 仍依賴 CNN backbone 提取基礎(chǔ)特征并且在 decoder 使用 object queries 生成多個(gè)輸出而 ViT 的輸出類別數(shù)與輸入圖像內(nèi)容方式完全不同。二者共享 Transformer 作為特征提取器但任務(wù)建模邏輯不一樣。解決在方法模型的第一頁(yè)放一個(gè)“任務(wù)對(duì)比”小表列明輸入輸出、是否依賴 CNN、輸出維度類型。強(qiáng)調(diào) DETR 的 encoder 輸入是 CNN 特征加位置編碼不是原始像素 token。這個(gè)對(duì)比頁(yè)可以放在“背景與動(dòng)機(jī)”的最后一頁(yè)提前和當(dāng)前流行視覺(jué)模型劃清邊界被追問(wèn)時(shí)就能直接引用這一頁(yè)。5.2 講不清 object queries 和 anchor 的分工現(xiàn)象有人問(wèn)“object queries 是不是就是 anchor 總數(shù)的替代品”匯報(bào)人說(shuō)“差不多”結(jié)果被追問(wèn)“那查詢向量里的長(zhǎng)寬比存在哪”原因anchor 是空間網(wǎng)格上的一組固定框每個(gè)框有具體的坐標(biāo)和長(zhǎng)寬比object queries 是長(zhǎng)度為模型隱層維度的向量不代表任何空間坐標(biāo)必須在 attention 機(jī)制中掃描特征圖后才能確定框的位置?!安畈欢唷边@個(gè)回答掩蓋了兩者本質(zhì)區(qū)別。解決用對(duì)比圖說(shuō)明左邊是 anchor 在特征圖上密集分布右邊是 object queries 先進(jìn)入 decoder再由 cross-attention 在特征圖上“選擇”位置。關(guān)鍵句是“query 本身沒(méi)有框它是一張?zhí)綔y(cè)卡激活后才讀出框”。這句話放在講解話術(shù)里被追問(wèn)時(shí)直接復(fù)述。5.3 二分匹配與損失函數(shù)被當(dāng)成一步現(xiàn)象講解時(shí)直接說(shuō)“用匈牙利算法計(jì)算 loss”導(dǎo)致聽(tīng)眾誤以為匹配算法本身可微提問(wèn)環(huán)節(jié)有人問(wèn)“匈牙利算法需要二值匹配梯度怎么穿過(guò)二值矩陣”原因匹配是為了建立預(yù)測(cè)與真實(shí)之間的索引這一步?jīng)]有梯度匹配完成后損失才在匹配對(duì)之間計(jì)算梯度從這里回傳。把兩步揉成一步造成概念混亂。解決PPT 上畫兩條鏈路一條“匹配路徑”用虛線一條“損失路徑”用實(shí)線。虛線永遠(yuǎn)不可導(dǎo)實(shí)線參與反向傳播。并明確說(shuō)三遍“匈牙利算法只負(fù)責(zé)挑組合挑完之后損失才參與梯度回傳”第一次在匹配頁(yè)說(shuō)第二次在損失頁(yè)說(shuō)第三次在訓(xùn)練流程總覽頁(yè)說(shuō)。5.4 復(fù)現(xiàn)指標(biāo)差被問(wèn)訓(xùn)練細(xì)節(jié)現(xiàn)象有同學(xué)拿著預(yù)訓(xùn)練模型在單卡上跑了幾百輪mAP 比論文低不少在提問(wèn)時(shí)緊張解釋不清只說(shuō)“可能是環(huán)境問(wèn)題”。原因DETR 收斂慢對(duì)總訓(xùn)練輪次、學(xué)習(xí)率調(diào)度、batch size、權(quán)重衰減都很敏感。單卡和小 batch 下得到的是未完全收斂的模型直接和論文數(shù)字對(duì)比當(dāng)然不公平。解決如果你在匯報(bào)里帶實(shí)驗(yàn)結(jié)果必須在實(shí)驗(yàn)頁(yè)注明訓(xùn)練環(huán)境、總輪次、batch size、學(xué)習(xí)率調(diào)度或者在“實(shí)驗(yàn)與結(jié)果”之后加一頁(yè)“實(shí)驗(yàn)條件”。提前說(shuō)明“我的環(huán)境使模型只收斂到某個(gè)階段所以不直接和論文絕對(duì)值比”。提問(wèn)者想看到的是你理解訓(xùn)練曲線和超參數(shù)的關(guān)系而不是一個(gè)更高的數(shù)字。5.5 結(jié)構(gòu)圖原樣貼出沒(méi)解釋框從哪里來(lái)現(xiàn)象直接把論文里的原理圖貼到 PPT圖中各種 query、key、value 擠在一起聽(tīng)眾只看到一堆箭頭。提問(wèn)環(huán)節(jié)有人問(wèn)“你圖里這個(gè)框是哪來(lái)的”匯報(bào)人說(shuō)不清楚。原因原始結(jié)構(gòu)圖信息密度高沒(méi)有分解步驟聽(tīng)眾無(wú)法從圖上分辨 encoder 輸出和 decoder 查詢之間的數(shù)據(jù)流向更看不出框是在哪一層生成的。解決不要貼原圖把它拆成三步。第一步 encoder 輸出特征第二步 object queries 與特征做 cross-attention第三步 FFN 同時(shí)預(yù)測(cè)類別和框。每一步用一個(gè)簡(jiǎn)圖按順序擺放。這樣圖不僅說(shuō)明“有什么”還說(shuō)明“框在哪一步生成”。如果組會(huì)要求保留原圖就把原圖放附錄正文里用簡(jiǎn)化圖。6. 從 DETR 往前走在匯報(bào)末尾留下三個(gè)延伸問(wèn)題文獻(xiàn)匯報(bào)最怕的收尾是“我的匯報(bào)到此結(jié)束”因?yàn)闆](méi)有留下討論空間。我習(xí)慣在最后一頁(yè)放三個(gè)延伸問(wèn)題既展示自己看懂了論文又引導(dǎo)聽(tīng)眾進(jìn)入更深的討論。對(duì) DETR我通常準(zhǔn)備這三個(gè)第一encoder 的全局自注意力是平方級(jí)復(fù)雜度當(dāng)輸入特征圖分辨率變大時(shí)計(jì)算量劇增如何在不失全局建模能力的前提下降低復(fù)雜度第二DETR 在小物體檢測(cè)上明顯弱于傳統(tǒng)檢測(cè)器這主要由特征圖分辨率、匹配策略還是 query 數(shù)量造成第三去掉 CNN backbone把原始像素作為 Transformer 輸入是否可行會(huì)損失什么。這三個(gè)問(wèn)題并不是讓人現(xiàn)場(chǎng)回答而是讓聽(tīng)眾意識(shí)到 DETR 的最大價(jià)值不是模型本身而是“端到端檢測(cè)”這個(gè)概念。如果你手頭有算力我會(huì)建議在匯報(bào)前一天做一個(gè)最小驗(yàn)證用預(yù)訓(xùn)練模型跑一張圖輸出預(yù)測(cè)框和每個(gè) query 的注意力權(quán)重把注意力可視化放在 PPT 的附錄。下面的代碼片段是我常用的做法直接展示 query 如何找到物體。import torch import matplotlib.pyplot as plt # 假設(shè) model 是已加載預(yù)訓(xùn)練權(quán)重的 DETR 模型 # input_tensor 是預(yù)處理后的圖像張量shape(1, 3, H, W) # H_orig, W_orig 是原始圖像像素尺寸用于把歸一化坐標(biāo)還原 model.eval() with torch.no_grad(): outputs model(input_tensor) pred_boxes outputs[pred_boxes] # (N, 4)歸一化框坐標(biāo) pred_logits outputs[pred_logits] # (N, num_classes) # 取非背景類別的最大 softmax 分?jǐn)?shù)作為置信度 pred_scores pred_logits.softmax(-1)[..., :-1].max(-1).values # 只保留置信度大于 0.5 的預(yù)測(cè)框 keep pred_scores 0.5 boxes pred_boxes[keep] plt.imshow(input_tensor.squeeze(0).permute(1, 2, 0).cpu().numpy()) for (x, y, w, h) in boxes.cpu().numpy(): # 歸一化坐標(biāo)還原到像素坐標(biāo) x1, y1 x * W_orig, y * H_orig w_px, h_px w * W_orig, h * H_orig plt.gca().add_patch(plt.Rectangle((x1, y1), w_px, h_px, fillFalse, edgecolorred, linewidth2)) plt.axis(off) plt.show()這段代碼里的關(guān)鍵參數(shù)是pred_boxes和pred_logits不同模型包的輸出字典鍵名可能略有差異你需要在代碼里打印outputs.keys()確認(rèn)。pred_scores用的是非背景類別的最大 softmax 值作為置信度只保留明顯物體能避免 100 個(gè)預(yù)測(cè)全部畫滿畫面。可視化結(jié)果放附錄不占用正文頁(yè)數(shù)卻能在提問(wèn)環(huán)節(jié)證明你真的跑通模型而不是只讀了摘要。我第一次匯報(bào) DETR 時(shí)沒(méi)放這個(gè)附錄結(jié)果被導(dǎo)師追問(wèn) query 是否真的能對(duì)應(yīng)到具體物體當(dāng)時(shí)只能憑空回答。后來(lái)我習(xí)慣在匯報(bào)前一天花十分鐘跑出可視化再把它做成附錄從此再也沒(méi)在這個(gè)問(wèn)題上翻車。希望這套 PPT 思路和避坑清單能幫到你讓你把 DETR 講清楚也把“端到端”這個(gè)趨勢(shì)真正講透。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷成人网| 涩五月婷婷| 婷婷五月丁香国产| 91九色精品| 婷婷激情五月视频| 97色婷婷| 草综合14| 色婷婷成人丁香| 丁香六月啪| 婷婷操婷婷干婷婷射| Www99热| 国产又色又爽又黄又免费| 婷婷六月视频| 99操逼| 亚洲无AV在线中文字幕| 亚洲精品国产成人AV在线| 婷婷九月激情| 啪啪色区| 色欲AVV| 色色色地址| 99热这里只有精品69| 99久久这里只有精品| 人妻中文在线| 日本三级中文字幕| 人人人操97| 91五月天| 69精品人人人人| 1024AV视频| 韩国久久少妇视屏| 国产精品久久久海的味道| 美日韩成人| 大香蕉久久视频久久视频 | 国产免费AV网站| 91碰碰视频在线观看| 成人版视频在线观看| 天天日天天添| 六月丁香深深爱综合网| 91干| aa久久| 欧美日本免费一道免费视频| www五月| 五月丁花六月丁香综合| 五月丁香婷婷综合| 99久久玖玖| 激情九九这里只有精品| 五月激情婷婷女| 欧美色99| 玖玖99婷婷| 六月丁丁香| 99热这里只有精品9| 五月天综合网| 少妇人妻偷人精品无码视频新浪| av中文字幕免费观看| 激情网五月| 很很干天天干| av在线免费网站 | 亚洲熟妇AV综合网五月丁香伊人 | 成人啪啪色婷婷久| av中文字幕免费观看| 91九九九九九九| 人妻有码乱操| www五月天com| 大香蕉久| 色噜噜,噜噜色| 丁香五月大香蕉在线99| 久9久9热久热| 另类的婷婷| 极品少妇高潮啪啪AV无码| 伊人激情AV一区二区三区| 1024欧美看片| www,久久久| 色情婷| 丁香六月啪啪啪| 色区久久| 欧美爆乳一区二区三区| WWW.99热| 色色色999| 天天日天天爱天天噪| 人妻啪啪啪| 五月色丁香| 五月天综合在线| www.zbzhongsen.com| 丁香五月AV| 国产成人精品亚洲线观看| 天天色粽合合合合合合合| 色色激情| 超级碰碰97在线| 丁香五月先锋| 久久婷婷五月草视频| 久久aaaa片一区二区| 婷婷五月天亚洲综合| 久久中国毛毛片爱久久| 高清不卡一区| 可以看的AV| 99色婷婷视频| 亚洲精品字幕| 综合超碰熟| 欧美乱码国产一级A片| wWW九九在线播放| 色吧网综合| 人与禽A片啪啪| 九月婷婷在线视频| 在线超碰91| 六月丁香停| 超碰色色综合| 激情www.98com| 欧美va| 五月天久久www| 色五月在线播放| 婷婷五月免费视频| 色婷婷视频| 麻豆AV一区二区三区| 婷婷丁香成人色综合| 亚韩精品视频1区| 丁香五月成人丝袜| 99热这里只有在线播放| 天天透天天爱| 亚洲精品V天堂中文字幕| 亚洲精品又粗又大又爽A片 | 婷婷五月天丁香久久| 久久狼人天堂| 日韩99色99| 人妻精品久久久久久久| 激情五月天婷婷| 中文字幕按摩做爰| 琪琪色热色色| 热久久国产视频| 日本五月天婷婷丁香| 91日本在线观看| 欧美性猛交99久久久久99按摩| 超碰人人妻| 97久久久久| 色五月丁香五月婷婷五月成人网 | 精品夜夜澡人妻无码AV| 色老久久| 99热国产这里只有精品| 裸体做A爰片毛片A片免费| 国产亚洲99久久精品熟女| 日本色色图| 欧美成人精品一区二区| 97色干| 五月综合激情图片| 手机激情网| 久久丁香五月| 婷婷久久18| 人人草成人视频| 五月天婷婷成人资源站| www久久久| 美女91一起草| 99热这里只是精品| 欧美性猛交 XXXX 乱大交| 激情AV中文| Av性爱网站| 色5月丁香婷婷| 五月丁香婷婷色色色| 婷婷欠久少妇| 99 频99热国里只有精品| 久久怕怕视频| 色情五月天导航| 日韩狠狠色婷婷| 九色七七| 国产4P视频精品五区| 丁香五月老师| 精品久久99| 91色吧网| 九九视屏| 91婷婷五月丁香碰| 婷婷综合激情| 视频1区2区| www,五月天激情| 开心五月激情网| 性热视频99精品| 99热网站| 丁香五月天啪啪| 色综合色综合色综合色综合| 热久久这里只有三级视频| 操操操av| 欧美人与性动交CCOO| 狠狠综合久久| 国产成人网址| 色综合网上班开心婷婷久久| 色偷偷综合| 婷婷丁香花五月天| 婷婷六月激情| 狠狠色色| 日本高清久久| 26uuu激情五月天| 色婷婷色99国产综合精品| 99热热这里只精品996小说| 激情五月丁香综合网站| 欧美交换配乱吟粗大25P| 97干在线| 九九色热| 五月天色婷婷基地| 九月丁香欧美综合| 91九色丨国产丨爆乳| 久热99热| 99色性爰网络| 桃色五月婷婷| 五月叮香啪| 久久人人九九| 99综合| VA婷婷| 女人天堂AV| 激情婷婷五月女| 亚州激情在线视频| 97色吧| Av性爱网| 热久综合| 色狠狠999综合| 九九十99视频| 成片免费播放| 日本AAAAAAAAAAAAAA片| 丁香五月婷婷偷拍| 色五月婷婷久久| 丁香五月激情天AV无码| 蜜桃婷婷丁香综合久久开心亚洲| 久久免费精彩视频| 日本精品在线噜噜噜| 亚洲婷婷基地| 人妻在线中文字幕久久| 色欲色香,www,com| 色噜噜婷婷| 热的五码久久精品| 超碰免费人人肏| 五月婷婷在线播放| 热中文字幕| 亚洲1区| 有码人妻久久| 五月天堂色色| 情色婷婷五月天| 色婷婷六月性| 狠狠色中色| 九九在线精点品| 欧美色图天堂网| 久久激情五月| 色爱亚洲| 五月婷婷色播视频| 激情综合另类| 婷婷五月天视频| 91大屁股| 啊v视频在线观看| 丁香婷婷色五月| 婷婷五月天日本无码| 五月间天堂综合| 99精品性爱| 夜夜爽日日躁| 婷婷五月天丁香社区| 九九热精品视频| 丁香六月毛片| 99色这里| 丁香久月| 婷婷五月综合国产精品| 99碰碰| 亚洲精| av线电影| 色综合久久久综合久久网| www.五月天婷婷| 欧美美女国产日韩一区二区久| 婷婷免费视频| 国产偷人爽久久久久久老妇APP| 丁香五月伊人| 激情色情五月天| 色婷婷综合久久久久| 丁香五月激情综合| 激情丁香五月| 五月开行婷婷色五月| 久久亚洲婷婷| 精品爆操| 超级97碰碰| 人妻丰满精品一区二区A片| 色爱亚洲| 五月WWW| 热99精品视频在线观看| 99啪| 五月丁香激| 亚洲av另类在线观看| 网站免费一站二站| 99精彩视频| 丁香六月爱综合| 欧美精品999| 97婷婷五月激情六月丁香伊人| 少妇做爰免费视看片| 97超碰在线免费观看| 激情6月| 99热6这里只有精品| 思思国产99| 成人小说 五月天 婷婷| 久久久久婷婷五月热综合| 任你搞网站| 香蕉曰比| 大香焦啪啪啪| 久久精品A片777777| 六月天婷婷| 六月久久婷婷| 色色色婷| 欧美五月婷婷| 国产avapp 网| 狼人婷婷综合| 97干在线观看视频| 丁香婷婷九月| 激情AV| 亚洲综合另类| 99A级片| 九九激情| 激情五月婷| 亚洲丁香网| 啪啪激情网站| 99久久99热这里只有精品| 美女丁香五月天| 日本99久久| 97香蕉人人在线观看| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 欧美一级操逼视频| 五月丁香婷婷激情澎湃四射| 99视频一区| 五月婷婷黄色| 五月婷婷另类| 婷婷激情五月天激情在线| 天天日天天舔天天摸| 丁香六月激情综合| 欧洲亚洲免费视频9| 久久久久久久综合狠狠综合| 五月激情综合五月| 丁香五月五婷| 久久99热这里只频精品6学生| 天天综合精品| 婷婷激情四射| 婷婷五月天色| 色婷婷91激情小说| 熟妇高潮一区av| 婷婷久久婷婷色五月| 激情国产五月| 欧美日韩成人高清在线| 99操碰| 日日干五月天婷婷| 天天久久综合| 黄色一级影片| 色色五月天婷婷| 国产午夜精品一区二区三区四区 | 狠狠色大香蕉| 久婷| 欧美综合激情五月| 五月婷婷丁香| 99激情视频| 婷婷综合仓库中文| 无码yw| 亚洲啪啪视频| 一级黄色影片| 色婷婷四色| 日本三级日本三级三级人妇四虎| 激情综合青草| 色色综合网络| www.99色| 另类婷婷五月天啪帕帕| 九九色逼| 日日噜噜久久婷婷五月天 | 先锋资源 996| 成人网站免费在线播放| 少妇出轨做爰高潮A片| 人妻Av在线| 国产97色在线| A色色| 97操碰在线视频| 色播播五月天| 综合玖玖偷拍| 色亚洲婷婷| 深爱五月激情| 亚洲欧洲中文日韩久久AV乱码| 微拍92| 色欲久久久久久综合网综合网| 久久色频| 激情综合色婷婷啪啪六月天| 国产精品涩涩涩视频网站| 97香蕉人人在线观看| 天天久久人人| 日日干日日| 九九热精品视频在线观看| 天天操天天国产三级片处女学生妹| 性欧美日本| 激情五月婷婷伊人| 日韩成人电影AV| 90色免费视频| 天天做天天视天天谢| 六月天六月婷| 操骚货在线| 色情五月综合婷婷| 国产乱妇乱子在线播视频播放网站| 丁香视频| 婷婷爱婷婷| 日本综合色色| 伊人久久大香线蕉AV最新午夜| 蜜臀A∨在线水帘洞| 婷婷天天婷婷天天澡| 久久xx| 超碰国产在线观看| 天天爽日日爽夜夜爽| 婷婷激情人妻| 色99久草在线| 久热这里精品免费| 99综合| 亚洲乱码w在线观看| 五月婷婷免费视频| 极品人妻XXXXOOOO| 99热综合在线| 大香蕉av在线| 97干欧美| 美国十月色婷婷在线观看| 少妇人妻丰满做爰XXX| 婷婷五月成人| WWW久久久| 婷婷黄色网| 五月综亚洲| 亭亭五月色男人| 久热91精品| 夜夜谢天天干| 大香蕉伊在| 精品51XX| OYIWbGcPu8H| 丁香六月色香蕉视频| 日韩久久视频| 日本一毛片| 六月婷婷开心| 激情五月婷婷丁香| 激情综合丁香六| 伊人成人宗合网| 五月激情综合网| 丁香五月天在线观看视频| 亚洲性爱电影| 色九月婷婷综合| 99啪啪网| 五月婷亚洲精品AV天堂| 91chinese在线| 五月丁香六月综合基地| 久久新地址| 久草丁香婷婷五月天婷| 91无码高清| 中文字幕综合色| 亚洲va欧美va国产综合久久久| 人妻丰满精品一区二区A片| 99视频久久免费视频| 日日日日日| 秋霞电影一级黄| 天天影院色| 九九色中文| 99这里只有精品|v| 亚州欧美国产久精国产99综合视频| 亚洲操b| 无码九九| 中文成人在线| 综合五月天婷婷色| 国产无人区大片| 91超碰在线观看| 99热免费精品| 五月婷婷六月色| 久久综合伊人综合在线| 沈娜娜av| 久久五月天色婷婷| 丁香婷婷六月婷婷六月婷婷六月婷婷| 欧美性猛交AAAA片黑人 | 色五月天成人在线| 葵花AV在线| 狠狠爱婷婷丁香| 五月婷婷色色色| 九九色影院| 久久精彩视频| 亚洲久久婷婷丁香五月天| 人人人操 超碰| 五月六月伦理| 天天情天天狠天天透| EEUSS鲁片一区二区三区| 亚洲女婷婷五月基地综合久久久| 玖玖热99| 播播网色播播| 婷婷五月天香蕉| 一级七香蕉| 日本久久婷婷| 国产日日夜夜操| 五月天激情日色在线| 五月天色婷婷综合| VA国产在线综合网站| 2025超碰| 外国碰视频网站97| 五月开心婷婷| 九九狠狠干| 大香蕉人妻| 这里只有精品9| 外国碰视频网站97| 久久丁香综合香蕉| 久久曰曰| 婷婷丁香色情| 东京热免费视频| 婷婷狠狠干| 先锋资源91| 夜夜天天久久婷婷| 影视av久久久噜噜噜噜噜三级| 99re在线播放| 五月在线| 丁香五月激情六月| www.五月婷婷| 日本wwww在线| 久热9| 婷婷久久色| 777久久综合视频| 久久这里都是精品| 婷婷五日b| 丁香久月婷| 国产又爽又猛又粗的视频A片| 丁香五月婷婷五月| 五月婷婷久久网| 九九AV在线| 色五月综合网站| 激情综合五月婷婷| 黄网在线播放| 夜夜爱伊人| 丁香五月色色婷| 狠狠九九婷婷韩| 91色涩| 26uuu国产| 小视频久久久aaa| 天天草天天日| 人人干人人干骚美女| 香蕉五月婷婷| 激情内射人妻1区2区3区| 婷婷永久在线| 99色丁香婷婷综合网| 久久66er久久| 五月色婷婷影院| 超碰免费观看| aV直接看| 99精品偷自拍| 激情五月天婷婷丁香| 色欲婷婷五月天丁香| 九九热精品视频九九| bbwcuckold精品熟妇| 九九这里是免费的视频5| 在线sebiav精品视频| 狠狠CAO日日穞夜夜穞AV| 婷婷丁香五月天激情| 五月丁香六月成人| 91se在线观看| 色99色| 亚城区在线| 丁香五月激情六月综合| 五月丁香六月欧美综合| 精品九九在线观看| 激情五月激情综合网一级丸片| 日本美女上人| 色级婷婷| 久久月天堂| 国产激情综合五月久久| 99久热| 亚洲成人影视在线观看| 9|无码久久久久久| 欧美99| 五月婷久久| 五月婷中文字幕| 婷婷丁香色情| 超碰9| 九九九色综合| 激情五月丁香五月| 五月天婷婷综合| 日日.c| 丁香五月婷久久| 涩综合网| 五月天com| 日日操夜夜撸| 中文毛片无遮挡高潮免费| 欧美成人精品A片免费一区99| 99热这里只有精品青草| 色婷婷综合网| 欧美97超碰| 色都都狠狠色都都色综合色| 男人的天堂97| 婷婷五月电影| 亚洲精品色色| 精品成人无码A片观看香草视频| 五月综合六月婷婷| 婷婷成人视频| 日本色色图| 亚洲成人综合在线| 超碰色热| 色色婷婷婷丁香五月天| 久操福利| 99高级会所久久| WWW激情五月天| 婷婷六月丁香欧美视频在线| 超碰99久久| 丁香五月婷婷五月| 色涩视频久久| 99日逼视频| 亚洲天堂久久| 亚洲、热| 9l视频自拍9l九色9l成人| 九九色逼| 丁香五月婷婷久久久| 国产97色在线 | 日韩| 丁香六月久久| 亚洲 小说 欧美 激情 另类| 天天操天天操天天操天天操天天操| 亚洲AV成人片无码网站| EEUSS鲁片一区二区三区| 碰碰碰97国产| 性爱网五月天| 色婷五月| 亚洲中文字幕AV| 日欧一片内射VA在线影院| 不卡成人免费| 久久九九99| 丁香五月激情视频在线| 99热综合在线| 99精品视频免费观看近期发布| 激情五月综合久久| 亚洲射激情| 99热碰碰| 欧美三级巜人妻互换| 踪合专区啪啪| 五月天日日操夜夜操 | 丁香五月婷婷AV| 五月丁香久久综合| 91九九九色在| 激情文学天天| 停停五月色宗合| 日本不卡高字幕在线2019| 97色色综合| VA婷婷亚洲| 久久久97| 91亚洲天堂| 五月深爱婷婷| 丁香六月婷婷开心| 亚洲婷婷丁香五月| 久久这里只有精品16| 婷婷色网站| 91人人人人人人人| 色国产五月| 免费婷婷| 六月婷婷最新网址| 久久五月婷天天干| 人人摸人人干| 久久婷婷网站| 五月丁香六月婷婷久久久综合| 99九九久久| 日本专区久久| 99re最新地址| 人人爽网| 五月天婷婷色紫薇阁| 99热综合在线| 91操在线观看| 九九热这里只有精品在线观看| 丁香六月天| 激情丁香社区| 狠狠爱五月婷婷| 黄色99热| 五月丁香婷婷成人综合网| 伊人综合网站| 六月五月丁香五月欧美| 五月丁香大香蕉| 五月天婷婷社区久久综合| 17.c黄色| 色婷婷香蕉在线| 热久久66| 97丨九色丨国产丨PORNY| 人人色性网| 99热这里只有精品4| 六月丁香婷婷综合狠狠爱夜夜爱| 97热这里只有精品| 狠狠 久久| 日日插日日干| 五月色丁香婷婷综合| 婷婷五月丁香伊人网| 精品一二三区久久AAA片| 婷婷五月丁香综合亚洲 | 精品九九九久| 婷婷五月天堂一本在线| 激情超碰网| 思思热国产在线| 国产麻豆视频| 噜噜噜噜噜色| 一区二区三区四区牛| 99爱视频在线观看这里只有精品| 激情婷婷黄色五月| 99视频| 色玖玖玖| 六月丁香综合| 婷婷丁香五月亚洲欧美| 欧美色婷婷| WWW夜夜| 国产乱子轮XXX农村| 九月婷婷综合八月丁香在线观看 | 97影院一级片| 99热这| 成人五月天在线视频在线观看| 99热亚洲| 婷婷久久六月费| 97午夜一区二区| 免费不卡狠操美女视频网| 欧美碰碰碰| 久久五月婷婷丁香| 99操逼| 日本猛少妇色XXXXX猛叫| caopeng97日韩| 亚洲成人在线观看网址| 激情六月婷婷| 色婷婷丁香五月天| 久久99热这里只频精品6学生| 丁香六月婷婷综合麻豆| 色婷婷小视频| 黄色五月婷婷| 99 频99热国里只有精品| 久久无码成人| 免费看欧美成人A片无码| 亚洲综合网 665566| 激情综合久久| 丁香五月欧美激情| 91一起艹| 日本欧美成人片AAAA| 亚洲亚洲永久无码777777| 亚洲在线成人| 色欲天天综合网| 99热日韩这里只有精品| 999热这里只有美国精品| 天天爱综合网| 丁香五月综合久久八| 婷婷激情综合色五月久久91| 婷婷五月天影院| 天堂五月婷婷| 久久中国毛毛片爱久久| 五月天色五月| 国产精品色婷婷AV综合色色| 精品婷婷| 天天综合网~91| 久9久9久9久9久9久9| 六月丁香停| 少妇伦子伦精品无吗| 精品丁香五月天在线播放| 五月总合激情网| 色呦呦在线| 在线成人网站| 26UUU欧美| 五月天激情小说婷婷| www.1024久久| 天天拍天天操| 五月丁香婷婷免费视频| 亚洲丁香五月深爱五月| 丁香五月手机在线| 亚洲亚洲人成综合网络| 人人综合久| 99热这里只有精品最新网址| 99这里只有精品视频免费| 丁香五月伊人| 久久怡红院| 99综合一区| 亚洲欧洲99| 久xxxx| 中国女人做爰A片| 99热99色| 久久婷婷成人综合色怡春院| 在线五月色播| 精品在线网站| 久久国产高清| 狠狠色婷婷综合开心影视| 三级三久久线久久99久目本WW| 丁香五月天堂网| 26UUU欧美激情一区二区| 丁香六月啪啪啪| av超碰在线| 无码少妇高潮喷水A片免费| 色区久久| www.maotanji.com| 五月婷婷五月色| 欧美久久婷婷| 五月天婷婷在线啪啪视频| 五月婷在线影院| 激情综合色婷婷啪啪六月天| 婷婷五月丁香99| 亚洲精品久久久久久久久久吃药| 停停五月色宗合| 婷婷五月天成人网站| 丁香色播五月天| 五月天婷综合网站| 五月色综合网欧美网| 成人电影AV在线观看| 五月天伊人久久久久| 九 九九九AV| 久久这里只有精品视频15| 亚洲亚洲人成综合网络| 夜夜谢天天干| 91狠狠综合久久| 色五月丁香婷婷| 成人在线精品| 99re热在线视频| 大香蕉综合网| www.久久99| 久99久视频| 综合AV在线| 99热免费精品| www99在线观看视频| 天天插天天插| 亭亭色网| 五月天婷婷基地| 91久操| 婷婷精品视频| 欧美在线视频99| 天天干一干| 91久久久久久久| 开心激情婷婷| 亚洲欧洲中文日韩久久AV乱码| 另类图片五月天| 久久性爱视频| 艹B高清无码| 欧美色激情四射| 亚洲免费成人电影AV| 色都都狠狠色都都色综合色| 日韩成人电影Av| 色婷六月| 欧美欧盟性爱网| 日韩一66精品| 天天爽天天透天天爱| 九月丁香五月婷婷| 激情久久久久久久久久久| 99热老网站| 丁香啪啪| 五月久久综合| 婷婷五月天毛片| 日韩色五月| www.婷婷五月天.com| 婷婷五月天最新综合你懂的| 丰满人妻一区三区三区| 日韩在线aaa| 亚洲成人av在线播放| 丁香婷婷五月综合色情| 日韩成人无码| 9久热在线精品| www.maotanji.com| 婷五月丁香俺| 色情一区二区播放| 色情成人五月天| 五月丁香六月婷综合成人综合 | 色月丁| 99热爱爱干干日| 婷婷五月情色| 五月婷婷丁香俺日污视频| 99激情网| 无码AV久久久久久久久| 亚洲国产色婷婷| 五月婷婷综合激情网| 色色丁香五月婷婷| 爱婷婷都市激情| www.99热| 一级无码作爱片| 亚洲色久| 五月综合缴情网| 超碰色色综合| 爱久久小说下载网| 成人免费高清在线播放| 26uuu四色| 六月合五月婷| 色99色| 91久久人人操| 欧美在线视频99| 日日夜夜狠狠干| 五月婷婷综合久久| 无码激情AAAAA片-区区| w婷婷五月婷婷w| 99热这里精| www999日韩精品| 色色激情| 六月丁香婷婷大香蕉| 天天五月香欧美| 深爱激情综合网| 婷婷五月天成人| 91精品视频男人的天堂| 成人视频九九| 日韩精品一区二区亚洲AV观看 | 午夜色婷婷| 丁香五月停停av| 五月丁香六月激情综合网| 天天艹天天色| 六月丁香激情网| 丁香婷婷老司机久操| 天天搞夜夜叫| 色婷婷中文在线| 开心五月婷婷伊人| 天堂婷婷五月在线| 色色五月天丁香婷婷| 国内自拍97在线| 综合激情啪啪| 日韩 中文 欧美| 99精品综合在线| 色色色在线免费视频| 狼友超碰| 潮汕成人AV片在线| 日日噜狠狠色综合久久| 婷婷深爱五月| 国产精品人妻在线网址| 最新热中文字幕| 婷婷四色五月| 五月婷婷九九热| 米奇影视五月天| 精品国产乱码久久久久久免费| 欧美精品999| 日日操夜夜撸| 第1影院之五月婷婷| 狠狠色无码| 激情五月婷婷综合| www九九热| 99热99极品观看| 丁香9月婷婷| 五月综合激情视频| 久久久av久av久片一区二区| 婷婷五月花免费视频在线| 91婷婷色五月| 日韩在线观看亚洲| 五月婷婷婷| 久久久久久久久久久久久久久久久精典| 激情综合网五月天天| 九九热在线99| 97干欧美| 久色激情| 亚洲在线成人| 五月天四色房丁香亭亭| 一区无码| 亚洲亚洲亚洲AAAAAA| 精品九九久久| 乱色色色| 97超级碰碰碰久久久| 狠狠狠狠狠狠草| 内射爽无广熟女亚洲| 26uuu.| 九月婷婷综合| www.色婷婷。com| 久青草影院| 久久这里面只有精品视频| 欧美日韩欧美| 26uu| 婷婷中合| 婷婷五月天综合小说网| 亚洲成人综合网在线免费观看| 亚洲国产色色| 日本熟妇乱妇熟色A片蜜桃| 丁香五月狠狠综合欧美| 五月天色小说| 丁香婷婷五色月| www.久久久久久久久久.com| 女高怪谈在线观看| www.99热这里精品 | 五月开心色| 婷婷六月综合基地| 伊人婷婷大香蕉| 99精品久久久久久久婷婷| 操91| 亚洲九区| 黄色三级日本| 久久99最新| 日本黄色三级片内射| 99亚洲色| 中文字幕激情综合| 色五月首页| 成人深爱丁香五月| 五月婷婷电影院| 婷婷十月激情综合网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久九九综合| 六月婷婷狠狠做| 极品嫩草| 看片视频在线免费日产在线看| 超碰无码318604| 丁香婷婷激情| 国产人妻操逼| 久综合4| 五月婷婷五月天| 7777激情基地| 国产毛片精品一区二区色欲黄A片| 五月婷婷福利| 国产色网站| 欧美经典片免费观看大全| 丁香五月综合亚洲| WWW99视频| 九九热只有精品| 五月婷婷免费| 东京热免费视频网站| 五月成人天| www九九热| 色色色色色色综合网| 日本成人噜噜噜| 狠狠色婷婷7| 人妻Av在线| www超碰| 色五月婷婷五月丁香五月| 六月婷婷香蕉| 国产做A爰片毛片A片美国| 狠狠五月天| www.xtbsty.cn.com蜜乳AV| 97操在线| 婷婷丁香十月| 婷婷五月天狠狠| 大香蕉精品视频| 九九色黄色| 99在热线免费视频| 婷婷六月丁香在线| 婷婷五月天丁香激情| 9色在线| 中文AV网| 五月婷婷综合色拍| 亚洲综合视频网| 天天射天天插天天干| 99久久99九九99九九九| 婷婷五月天综合中文| 亚洲欧美综合7777色婷婷| 亚洲无码猫咪| 日本色色网| 丁香婷五月天开心六月| eeuus五月婷| av第一二区| 国产精品日本一区二区在线播放| 久久网日本| 久久免费婷婷视频| 九九综合久久丁香婷婷,开心激情综合网| 婷婷欧美激情| 蜜乳av一级av| 色播五月婷婷| 99久久99久久| 国产精品久久7777777精品无码| 色五月大香蕉| 91九色欧美| 天天干天天av天天射 | m色激情网| 婷婷五月天成人在线视频| 色原狠狠综合| 激情综合五月丁香六月婷婷| 六月婷婷综合| 亚洲黄色精品| 丁香五月婷婷AV在线| 99热这里只有精品热| 天天爽成人综合网站| 婷婷色丁香五月| 婷色视频| 日韩精品视频中文字幕| www.yw尤物| 色啪网| 九九99九九99| www.五月丁香| 婷婷色色播五月天| 丁香五月婷婷动漫| 丁香婷婷久久| 色色激情网| 久久视频婷婷| 亚洲第二AV| 99青青草99| 日本黄色三级片内射| 婷婷五月综合在线| 精品久久久人妻| 9热视频在线观看| 人人人va亚洲视频在线| 午夜青草资源| 婷婷免费精品视频| 国产五月丁香在线| 久久综合激情| 亚洲熟女色| 九九re精品视频在线观看| 99热欧美精品| 久久大香蕉伊人| 亚洲AV无码影院| 怡红院91a√| 久人人操| 99WWW免费视频| 久久综合影院| 综激情网| 97碰久久| 婷婷激情人妻| 天天久久狠狠色综合| 色五月激情综合| 亚洲成人在线综合| 九色七七| 色九月婷婷综合| 日韩欧美五月丁综合| 久热伊人| 五月久久五月激情| 五月情婷婷五月| 六月婷婷七月丁香| 久久婷婷丁香五月一二三| 激情五月六月婷婷综合啪啪| 色婷婷色五月丁香| 婷婷深爱五月丁香网| 爱射综合| 777精品久无码人妻蜜桃| 性一交一乱一交A片久| 国产精品人人做人人爽人人添| 色墦五月丁香| 精品一二三区久久AAA片| 亚洲成人无码专区| 四川操逼站| 4438成人电影| 五月丁香另类图片| 欧美色骚婷婷五月天| 思思99re这里只有| 五月丁香六月婷婷欧美综合| 日日干夜夜干| 色婷婷九月| 嫩草AV久久伊人妇女超级A| 婷婷不干网| 四川女人毛多水多A片| 九月丁香网婷婷| 亚洲99热| 久re热视频| 亚洲高清在线| 九九热中文| 九九热九九热精品| 色五月婷婷五月丁香五月| 91精品久久久久久久久| 九九热这里| 97碰碰叉| 99熟女啪啪视频| 久久这里只有精彩| 五月婷婷激情综合视频| 激情亭亭五月| 亚洲操操操| 激情四射亚洲| 99久久97久久欧美综合网| 大香蕉伊人久久| 少妇口诉沐足视频播放器网址| 国产精品VA在线| 色综合色色| 日韩成人中文| 五月天久久www| 伊人婷婷大香蕉| 丁香五月综合激情久久潮喷| 亚州精品久久久久AV无码| 五月婷婷激情| 色99色| 久久久九九视频精品18| 97干97色| 天天狠狠色| 久久人人超| 万月丁香狠狠爱| 久久艹99| 五月婷婷色吧!| 伊人久久大香线蕉av一区| 中文字幕AV网址| 丰满少妇猛烈A片免费看观看 | 中文字幕在线免费观看视频| 欧美日韩日韩成人| 草综合网| 亚洲性爱99| 久久草中文日韩欧美| AA片在线观看视频在线播放| 婷婷激情性爱| 五月天成人在线| 婷婷五月天堂| 亚洲av无码影院| 国产永久一二一起草| 激情六月色| 99re在线观看| 99精品一二三四视频| 婷婷娱乐丁香综合网| 丁香五月五月婷婷| 5五月综合网亚洲| 最新五月天婷婷影| 久久婷婷五月天懂色| 青青久在线视频免费观看| 婷婷黄色| 丁香六月激情网C0W| 伊人综合网站| 色婷婷六月天| www.99热这里精品| 夜精品无码A片一区二区蜜桃| 人操人| 丁香花五月天| 激情综合99| 欧美婷婷综合网| 激情婷婷五月色| 99久久99久久综合| 91久久精品无码一区二区三区| 久久婷五月综合| 国产精品电影| 色5月婷婷| 大香蕉啪啪啪| 午夜福利成人AV91| 日本熟女一区二区| 欧美激情综合色综合啪啪五月| 狼人狠狠操| 婷婷五月天激情网站| 丁香五月婷婷激情四射深爱激情| 婷婷色在线观看| 超碰在线中文字幕| 97碰 在线视频观看| 人妻AV在线观看| 欧美丁香婷婷五月| 伊人五月婷| 婷婷精品在线| 激情伊人| 天天射天天干天插色综合| 久久九九免费视频| 激情丁香五月| 天天开心AV色综合婷婷五月天| 狠狠色丁香| 97热视频| 91九色|疯狂|高潮|对白|| 婷综合六月| 五月婷婷福利| 色婷婷狠狠久久综合五月 | 91婷婷丁香五月| 天天爱综合网| 狠狠狠狠青草| 99热久久最新地址| 69精品人人人人人人人人人| 丁香六月AV| 色五月婷婷久久| 99久久精品国产色欲| 亭亭五月色男人| av在线免费播放观看| 色综合射婷婷| 99热草草| 五月丁香六月婷综合成人综合| 夜夜嗨一区二区三区直播内容 | 天天干夜夜想| 大香蕉懂9| 99热精品在线在线| 久久999久久999久久999久久| 成人丁香五月天Av| 色综合久久88| 91大神操美女| AV在线免费网站| 丁香五月成人社区| 亚洲午夜精品久久久久久人妖| 91日韩在线| 另类综合激情| 少妇人妻偷人精品无码视频新浪| 久久久婷丁香五月| 欧美成人AAA片一区国产精品| 天天色天天噜| 婷婷五月天A V| 午夜色丁香| 大香蕉人人网| 九九aV| 亚洲婷婷五月天在线激情综合网| 大香蕉啪啪啪| www.五月天婷婷姐姐| 婷婷日韩| 色五月成人| 九九九精品视频免费观看| www.99在线| 色操b| 丁香花婷婷五月天| 99久久九九| 五月天社区| 国产午夜成人免费看片无遮挡| 激情综合色| 天天操天天曰天天射| 狠狠香蕉| 天天爱天天做天天舔| 天天干天天日蜜臀av| 深爱五月婷婷| 久久9久| 能看的av| 成人电影丁香六月天| 香蕉视频91| 国产成人+综合亚洲+天堂| 五月丁香五月激情综合色综合| 日操熟女| 影音先锋噜一噜| oumeisesewang| 丁香五月婷婷婷桃花影院| 大香蕉人妻| 99er久久| 91精品婷婷国产综合久久|