欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

從VGG16看卷積網(wǎng)絡(luò)深度設(shè)計(jì):小卷積核堆疊與遷移學(xué)習(xí)價(jià)值

從VGG16看卷積網(wǎng)絡(luò)深度設(shè)計(jì):小卷積核堆疊與遷移學(xué)習(xí)價(jià)值 前兩天有個(gè)朋友發(fā)來一段代碼說他在某個(gè)小數(shù)據(jù)集上用VGG16做遷移學(xué)習(xí)效果比一些看起來“更新”的網(wǎng)絡(luò)還好就是跑得慢。我順手把2014年那篇《Very Deep Convolutional Networks for Large-Scale Image Recognition》翻出來又讀了一遍。這篇論文對我而言確實(shí)是“常讀常新”當(dāng)年它用最笨拙的方式把卷積網(wǎng)絡(luò)從8層直接推到16層、19層靠堆疊3×3小卷積核刷新了ImageNet上的識別記錄并且之后幾年里幾乎所有檢測、分割、風(fēng)格遷移項(xiàng)目都在用它的預(yù)訓(xùn)練權(quán)重做底座。如果你正在學(xué)卷積網(wǎng)絡(luò)結(jié)構(gòu)或者要復(fù)現(xiàn)一篇舊模型并做遷移學(xué)習(xí)這篇文章基本就是繞不開的教科書。接下來我會把這篇論文的動(dòng)機(jī)、結(jié)構(gòu)設(shè)計(jì)、小卷積核的數(shù)學(xué)直覺、論文里的消融實(shí)驗(yàn)、訓(xùn)練細(xì)節(jié)和工程遺產(chǎn)完整展開順便穿插一些我復(fù)現(xiàn)和調(diào)參時(shí)的真實(shí)體會。1. VGG解決的核心問題深度到底值多少精度1.1 2014年前后卷積網(wǎng)絡(luò)的“魔法時(shí)代”2012年的AlexNet一舉把ImageNet圖像分類的錯(cuò)誤率大幅壓低卷積網(wǎng)絡(luò)從此成為視覺任務(wù)的主角。但是當(dāng)時(shí)的普遍認(rèn)知是分散且模糊的有人覺得大卷積核性能好于是用7×7甚至11×11有人覺得網(wǎng)絡(luò)不能太深因?yàn)橛?xùn)練時(shí)會遇到梯度消失、收斂特別慢。沒有一篇工作能清楚地回答“網(wǎng)絡(luò)深度到底對精度有多大的影響”。VGG這篇論文本質(zhì)上做了一件很樸素但極有意義的事把“深度”作為可控變量用幾乎一致的結(jié)構(gòu)去增加卷積層數(shù)量從11層一路加到19層然后在同樣數(shù)據(jù)集、同樣訓(xùn)練流程下看精度的變化。結(jié)果證明了深度在當(dāng)時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)下是有效且必要的而且加深到16到19層時(shí)仍然能穩(wěn)定收益。這一點(diǎn)放在今天看似乎習(xí)以為常但在當(dāng)時(shí)需要很大的實(shí)驗(yàn)量來支撐。1.2 我理解的論文真實(shí)貢獻(xiàn)不只是VGG16結(jié)構(gòu)本身很多初學(xué)者會把VGG等同于“VGG16那個(gè)網(wǎng)絡(luò)結(jié)構(gòu)”這當(dāng)然沒錯(cuò)但論文更值錢的地方在三點(diǎn)系統(tǒng)驗(yàn)證了“小卷積核堆疊加深網(wǎng)絡(luò)”可以穩(wěn)定提高精度并把感受野、參數(shù)量、非線性三者之間的賬算得明明白白后來的很多網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)都從這個(gè)思想里延伸出來。給出了一組從淺到深、可復(fù)現(xiàn)的配置論文里叫A到E并且公開權(quán)重。當(dāng)時(shí)大家隨便下載一下就能用來做特征提取或遷移學(xué)習(xí)這種開源紅利對整個(gè)社區(qū)推進(jìn)作用巨大。提供了完整的訓(xùn)練和調(diào)參經(jīng)驗(yàn)比如先訓(xùn)淺層網(wǎng)絡(luò)再拿淺層權(quán)重初始化深層網(wǎng)絡(luò)這個(gè)操作后來成了很多深層網(wǎng)絡(luò)訓(xùn)練的救命稻草。1.3 這篇論文適合誰細(xì)讀如果你是剛接觸深度學(xué)習(xí)的初學(xué)者VGG是一個(gè)極好的“骨架模板”每條卷積層、每個(gè)池化層都規(guī)規(guī)矩矩通道數(shù)翻倍、尺寸減半的節(jié)奏一目了然比很多花哨的結(jié)構(gòu)容易理解得多。如果你是有幾年經(jīng)驗(yàn)的工程師重新讀一遍也會發(fā)現(xiàn)大量容易被忽略的細(xì)節(jié)比如LRN局部響應(yīng)歸一化為什么被放棄、測試時(shí)多尺度裁剪為什么有用、權(quán)重初始化對深層網(wǎng)絡(luò)有多重要。這篇文章接下來的內(nèi)容就是把這些關(guān)鍵細(xì)節(jié)一次拆開。2. 逐層拆解VGG16從224×224到分類輸出的全路徑2.1 五種配置的差異A、A-LRN、B、C、D、E論文里最讓人印象深刻的是那張配置總表。VGG團(tuán)隊(duì)用幾乎一樣的思路設(shè)計(jì)了一組網(wǎng)絡(luò)區(qū)別主要在總層數(shù)和少量結(jié)構(gòu)改動(dòng)。為了方便記憶我通常用每個(gè)卷積塊的通道數(shù)序列來區(qū)分配置代碼大概長這樣cfgs { A: [64, 64, M, 128, 128, M, 256, 256, M, 512, 512, M, 512, 512, M], B: [64, 64, M, 128, 128, M, 256, 256, M, 512, 512, M, 512, 512, M], C: [64, 64, M, 128, 128, M, 256, 256, 256, M, 512, 512, 512, M, 512, 512, 512, M], D: [64, 64, M, 128, 128, M, 256, 256, 256, M, 512, 512, 512, M, 512, 512, 512, M], E: [64, 64, M, 128, 128, M, 256, 256, 256, 256, M, 512, 512, 512, 512, M, 512, 512, 512, 512, M], }其中M代表尺寸減半的max-pooling。A是基準(zhǔn)的11層網(wǎng)絡(luò)A-LRN是在A的基礎(chǔ)上加局部響應(yīng)歸一化B在A的基礎(chǔ)上把某些位置的單層卷積變成了兩層C則在B的基礎(chǔ)上又加了一些1×1卷積D把C的1×1卷積換成了3×3E在D基礎(chǔ)上繼續(xù)加深到19層。最常用的VGG16對應(yīng)D配置VGG19對應(yīng)E配置。我當(dāng)時(shí)看到這個(gè)配置表的第一反應(yīng)是原來VGG16其實(shí)就是把一堆卷積層拼成五個(gè)塊每塊第一層之后池化一次最后接三個(gè)全連接層。搞清楚這個(gè)規(guī)律之后看很多后續(xù)網(wǎng)絡(luò)就非常輕松因?yàn)楹髞淼腞esNet、DenseNet基本也是“分階段設(shè)計(jì)”的套路只是內(nèi)部變換方式不同。2.2 VGG16逐層參數(shù)與特征圖尺寸變化以224×224×3的輸入為例VGG16的完整數(shù)據(jù)流是這樣走的第一階段兩組conv3-64輸出224×224×64然后max-pool尺寸變?yōu)?12×112×64。第二階段兩組conv3-128輸出112×112×128然后max-pool尺寸變?yōu)?6×56×128。第三階段三組conv3-256輸出56×56×256然后max-pool尺寸變?yōu)?8×28×256。第四階段三組conv3-512輸出28×28×512然后max-pool尺寸變?yōu)?4×14×512。第五階段三組conv3-512輸出14×14×512然后max-pool尺寸變?yōu)?×7×512。最后將7×7×512的特征圖展開成25088維向量依次經(jīng)過4096、4096、1000三個(gè)全連接層最后通過softmax輸出分類概率。整個(gè)過程最反直覺的地方是卷積層幾乎不改變特征圖長寬只增加通道數(shù)真正讓尺寸逐級減半的是那5個(gè)max-pool。一張224×224的圖片經(jīng)過5次池化之后變成7×7這里剛好是2的5次方關(guān)系224除以32等于7。所以后面換輸入大小時(shí)比如改成384×384那pool四次之后就會變成12×12結(jié)構(gòu)需要稍微調(diào)整一下。我在做目標(biāo)檢測項(xiàng)目時(shí)就經(jīng)常把VGG的輸入從224加大到384甚至512目的就是保留更多空間位置信息。2.3 參數(shù)量統(tǒng)計(jì)全連接層才是吃參數(shù)的“啞鈴”VGG16的參數(shù)量大約是1.38億這個(gè)數(shù)字驚人但更驚人的是它的分布。我把卷積層和一個(gè)全連接層的參數(shù)量拆開算過部分參數(shù)量占比全部卷積層約1472萬約10.6%fc67×7×512→4096約1.028億約74.2%fc74096→4096約1678萬約12.1%fc84096→1000約410萬約3.0%也就是說卷積層加起來只占十分之一多一點(diǎn)光一個(gè)fc6就吞掉了整個(gè)網(wǎng)絡(luò)七成以上的參數(shù)量。我第一次算完這個(gè)表之后立刻明白為什么后來全局平均池化會流行把最后的多維特征圖直接平均成一個(gè)向量既能保留語義信息又能省掉那個(gè)巨無霸的展開矩陣。VGG之所以慢和占用顯存很大一部分原因就是這三個(gè)全連接層在“拖后腿”。3. 3×3小卷積核VGG最精妙的兩筆賬3.1 等效感受野為什么兩個(gè)3×3等于一個(gè)5×5VGG全文的靈魂不是“深”而是“用什么樣的方式深”。它堅(jiān)持在整條網(wǎng)絡(luò)里只用3×3卷積核步長為1padding為1。這里有一個(gè)非常關(guān)鍵的計(jì)算兩個(gè)3×3卷積堆疊之后輸出特征圖上的一個(gè)像素在原圖上覆蓋的區(qū)域等于一個(gè)5×5卷積的感受野也就是25個(gè)像素范圍三個(gè)3×3卷積堆疊則等價(jià)于一個(gè)7×7卷積的感受野覆蓋49個(gè)像素范圍。當(dāng)時(shí)我看到這個(gè)結(jié)論的第一反應(yīng)是把公式推一遍。假設(shè)輸入是一個(gè)5×5的區(qū)域經(jīng)過第一次3×3卷積之后輸出圖的每個(gè)位置對應(yīng)原圖的3×3窗口再經(jīng)過第二次3×3卷積輸出圖的每個(gè)位置對應(yīng)前一層的3×3窗口而前一層的3×3窗口又對應(yīng)原圖5×5范圍這樣兩級映射疊加起來剛好等效于一次5×5卷積。如果把中間特征圖忽略掉只看輸入輸出關(guān)系兩個(gè)小卷積核確實(shí)“拼”成了一個(gè)大卷積核。這個(gè)等效關(guān)系就是小卷積核能撐起深度的底層邏輯網(wǎng)絡(luò)并沒有因?yàn)閾Q用3×3而丟失感受野反而因?yàn)槎嗔酥虚g層獲得了更豐富的非線性表達(dá)能力。3.2 參數(shù)賬與非線性賬49對比271對比3用7×7卷積替代三個(gè)3×3卷積從參數(shù)量上算一筆賬。假設(shè)輸入輸出通道數(shù)都為C一個(gè)7×7卷積的參數(shù)是7×7×C×C49C2三個(gè)3×3卷積的參數(shù)是3×(3×3×C×C)27C2。也就是說在感受野完全等價(jià)的前提下小卷積核堆疊能節(jié)省大約45%的參數(shù)。這個(gè)比例不依賴C的具體值是一個(gè)通用的結(jié)論。如果只看參數(shù)節(jié)省可能有人覺得“少一點(diǎn)又怎樣”但VGG真正贏在非線性層數(shù)。一個(gè)大7×7卷積只有一層卷積加一層ReLU而三個(gè)3×3卷積堆疊起來是三層卷積加三層ReLU。神經(jīng)網(wǎng)絡(luò)的深度意義就在于這些非線性層的堆疊更多非線性讓網(wǎng)絡(luò)能夠擬合更復(fù)雜的函數(shù)曲面。這就好比一個(gè)三人小組各自觀察一小片信息然后層層匯總比一個(gè)人拿大掃把看一大片區(qū)域要更細(xì)致中間多出來的“討論環(huán)節(jié)”很重要。我后來在看很多輕量化網(wǎng)絡(luò)的論文時(shí)發(fā)現(xiàn)它們都在反復(fù)使用這個(gè)思想用更小的卷積核疊加替代大卷積核換取參數(shù)效率和非線性能力VGG在這方面是祖師爺級別的存在。3.3 為什么1×1卷積不夠也不直接上大卷積核論文里有一個(gè)配置C是在部分層中用1×1卷積代替3×3卷積。1×1卷積可以在不改變特征圖空間尺寸的情況下做通道混合和增加非線性參數(shù)量也更低但實(shí)驗(yàn)結(jié)果顯示C配置的精度明顯不如D配置也就是同樣深度下3×3卷積比1×1卷積更有效。我當(dāng)時(shí)反復(fù)想這段實(shí)驗(yàn)結(jié)論是1×1卷積完全不會做空間信息交互每個(gè)輸出像素只看到輸入對應(yīng)位置那個(gè)像素的通道信息等于把畫面剪成無數(shù)個(gè)點(diǎn)再逐點(diǎn)處理缺少鄰域上下文。而3×3卷積每次都整合了周圍3×3鄰域的信息雖然網(wǎng)絡(luò)設(shè)計(jì)上“每一點(diǎn)只看到一小塊”但正是這些小塊的層層傳遞才讓感受野逐步擴(kuò)大。再看“為什么不直接用7×7卷積”參數(shù)多、非線性少是一個(gè)原因另一個(gè)原因是7×7大卷積核感受野過大時(shí)提取的特征相對粗糙而三個(gè)3×3卷積相當(dāng)于在同樣的視覺范圍內(nèi)做了三次逐步精煉的特征提取精度自然更穩(wěn)。VGG的核心思路其實(shí)是把“加大感受野”的動(dòng)作拆成三次小的移動(dòng)這讓網(wǎng)絡(luò)能夠以更細(xì)膩的方式理解圖像。4. 論文里的消融實(shí)驗(yàn)與訓(xùn)練細(xì)節(jié)那些被忽略的參考值4.1 深度對精度的影響從11層到19層的臺階論文里最直接的對比就是不同深度的網(wǎng)絡(luò)在ImageNet驗(yàn)證集上的表現(xiàn)。只增加深度、保持其他結(jié)構(gòu)基本不變時(shí)性能是隨著層數(shù)增加逐步提升的。比如A配置大概在11層B和C在13到16層之間D和E在16到19層整體趨勢是越深越好直到19層時(shí)收益邊際開始變小。這條曲線給了當(dāng)時(shí)整個(gè)領(lǐng)域一個(gè)非常明確的信號網(wǎng)絡(luò)深度還有很大挖掘空間。但這里有一個(gè)容易被人忽略的背景更深的網(wǎng)絡(luò)意味著訓(xùn)練困難。論文用“先訓(xùn)練淺層網(wǎng)絡(luò)再用淺層網(wǎng)絡(luò)的權(quán)重初始化深層網(wǎng)絡(luò)”來解決這個(gè)問題這個(gè)方法在今天很多任務(wù)上仍然好用。我自己在搭大規(guī)模分類模型時(shí)如果訓(xùn)練資源不足也會先跑一個(gè)淺層模型再用它的部分權(quán)重去初始化深層模型收斂速度和最終精度都有改善。4.2 LRN被否定1×1不如3×3消融實(shí)驗(yàn)的價(jià)值VGG論文里有一組很經(jīng)典的對照實(shí)驗(yàn)A-LRN。A-LRN在A的基礎(chǔ)上增加了局部響應(yīng)歸一化LRN這在AlexNet時(shí)代被很多人視為標(biāo)配。但實(shí)驗(yàn)結(jié)果非常打臉加了LRN的A-LRN精度反而比不加LRN的A略低。既然無益且增加計(jì)算量VGG后面的配置全部取消了LRN。這件事給我的啟發(fā)比結(jié)構(gòu)本身更大不要盲從既有的“經(jīng)驗(yàn)技巧”任何設(shè)計(jì)都應(yīng)該用消融實(shí)驗(yàn)去驗(yàn)證。很多后來出現(xiàn)的模塊比如各種歸一化層、注意力模塊、激活函數(shù)變體在一個(gè)新的網(wǎng)絡(luò)里到底有沒有效果只有通過嚴(yán)格的對比才能下結(jié)論。VGG當(dāng)年就是靠這種扎實(shí)的實(shí)驗(yàn)態(tài)度把LRN從主流網(wǎng)絡(luò)里清了出去。4.3 訓(xùn)練細(xì)節(jié)清單初始化、縮放、參數(shù)配置論文在訓(xùn)練細(xì)節(jié)上的信息量很大這部分對實(shí)際復(fù)現(xiàn)非常關(guān)鍵權(quán)重初始化先訓(xùn)練配置A獲得權(quán)重再用A的淺層權(quán)重初始化B、C、D、E的對應(yīng)層。這比從頭隨機(jī)初始化深層網(wǎng)絡(luò)穩(wěn)定得多收斂也更快。輸入尺寸訓(xùn)練時(shí)把圖片短邊隨機(jī)縮放到256到512之間的某個(gè)尺度再從中隨機(jī)裁剪224×224區(qū)域。這種多尺度訓(xùn)練相當(dāng)于免費(fèi)的數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)隨機(jī)水平翻轉(zhuǎn)、RGB顏色抖動(dòng)也是標(biāo)配。優(yōu)化配置SGDmini-batch為256momentum為0.9權(quán)重衰減設(shè)為5e-4前兩個(gè)全連接層使用dropout且概率為0.5。學(xué)習(xí)率策略初始學(xué)習(xí)率0.01當(dāng)驗(yàn)證集準(zhǔn)確率停止提升時(shí)將學(xué)習(xí)率除以10整個(gè)訓(xùn)練過程大約下降三次學(xué)習(xí)率。我復(fù)現(xiàn)時(shí)發(fā)現(xiàn)如果跳過淺層初始化這一步直接從深層隨機(jī)初始化開始訓(xùn)練模型其實(shí)也能收斂但需要更多的epoch和更小的學(xué)習(xí)率前期損失下降非常慢。論文里這個(gè)“從淺到深”的思路本質(zhì)上是給梯度傳播一個(gè)更平滑的起點(diǎn)。4.4 測試階段的多尺度技巧測試階段VGG團(tuán)隊(duì)也沒有只做一次中心裁剪。他們用了兩種策略疊加一個(gè)是對多尺度縮放的圖片做密集評估也就是讓卷積網(wǎng)絡(luò)在全圖上滑動(dòng)計(jì)算另一個(gè)是multi-crop從不同位置裁剪多塊區(qū)域分別預(yù)測最后平均所有結(jié)果。這些技巧疊加起來能帶來一到兩個(gè)百分點(diǎn)的提升。放在今天看這種多尺度測試思路已經(jīng)演化成了很多競賽和工業(yè)項(xiàng)目的“測試時(shí)增強(qiáng)”。不過也要提醒一句multi-crop會成倍增加推理時(shí)間實(shí)際部署時(shí)需要在精度和速度之間做取舍。我做在線推理時(shí)基本不用多尺度但離線評測和競賽時(shí)會開效果確實(shí)立竿見影。5. VGG的工程遺產(chǎn)與教訓(xùn)遷移價(jià)值、參數(shù)包袱與后輩改進(jìn)5.1 預(yù)訓(xùn)練模型的遷移帝國如果說VGG的論文是技術(shù)勝利那么它開源的預(yù)訓(xùn)練權(quán)重就是工程勝利。2014年之后很長一段時(shí)間目標(biāo)檢測網(wǎng)絡(luò)的骨干、語義分割網(wǎng)絡(luò)的編碼器、風(fēng)格遷移的特征提取器幾乎都能看到VGG16的影子和它的預(yù)訓(xùn)練權(quán)重。我自己的感覺是當(dāng)時(shí)用VGG16做backbone比后來用很多新穎網(wǎng)絡(luò)還要省心結(jié)構(gòu)簡單預(yù)訓(xùn)練模型好找上下采樣路徑清晰fine-tune時(shí)調(diào)整空間又大。就算到現(xiàn)在在某些中小規(guī)模數(shù)據(jù)集上VGG16的預(yù)訓(xùn)練特征依然非常能打。我做過一次對比把VGG16換成一個(gè)“更新”但更輕的網(wǎng)絡(luò)在小樣本遷移任務(wù)上反而是VGG16的表現(xiàn)更穩(wěn)。原因在于大參數(shù)量的模型在預(yù)訓(xùn)練階段已經(jīng)記住了大量通用視覺模式遷移到下游任務(wù)時(shí)只需要小幅度調(diào)整。5.2 VGG的不足之處顯存、參數(shù)與全連接層的“重稅”VGG的缺點(diǎn)也和它的成功一樣突出參數(shù)量大、計(jì)算量大、顯存占用高。從上面的參數(shù)分布就能看出來最后三個(gè)全連接層貢獻(xiàn)了絕大多數(shù)參數(shù)而全連接層的參數(shù)數(shù)量由輸入特征圖大小決定一旦輸入尺寸變大fc6的參數(shù)還會進(jìn)一步膨脹。這意味著VGG對輸入分辨率非常敏感想要高分辨率輸入幾乎等于把顯存花在矩陣展開上。在顯存只有幾個(gè)GB的年代訓(xùn)練VGG16的batch size不敢設(shè)太大。我的經(jīng)驗(yàn)是一張224×224的圖片在VGG16上做一次前向激活值占據(jù)的顯存比模型參數(shù)本身還大尤其最后幾個(gè)卷積層的特征圖通道數(shù)512、尺寸適中加起來非常吃內(nèi)存。后來很多網(wǎng)絡(luò)改用全局平均池化替代全連接層把參數(shù)減少到幾百萬級別正是針對這個(gè)痛點(diǎn)。殘差結(jié)構(gòu)的出現(xiàn)更是讓“更深”不再等同于“更難訓(xùn)練”。5.3 它對后續(xù)網(wǎng)絡(luò)設(shè)計(jì)留下的三條啟示讀完VGG再看后面的ResNet、DenseNet會發(fā)現(xiàn)很多思路都能溯源到這篇論文小卷積核是大勢所趨增大感受野不一定要增大卷積核用層數(shù)堆疊更劃算。網(wǎng)絡(luò)設(shè)計(jì)要有清晰的階段性通道數(shù)逐級翻倍、分辨率逐級減半這種瀑布結(jié)構(gòu)非常有利于梯度流動(dòng)和工程實(shí)現(xiàn)。每個(gè)設(shè)計(jì)選擇都必須經(jīng)過實(shí)驗(yàn)驗(yàn)證不管是LRN還是1×1卷積只有數(shù)據(jù)能說服人。VGG本身也像一個(gè)路標(biāo)它證明了深度有潛力但也暴露了單純加深網(wǎng)絡(luò)會出現(xiàn)收斂困難和高參數(shù)負(fù)擔(dān)這就直接催生了后續(xù)的殘差連接和批量歸一化。可以說沒有VGG踩出來的這些坑后面很多網(wǎng)絡(luò)不會走得那么順。6. 我復(fù)現(xiàn)VGG時(shí)踩過的幾個(gè)小坑6.1 顯存不夠時(shí)的處理順序我第一次在單卡上跑VGG16的時(shí)候batch size開到32直接顯存溢出。當(dāng)時(shí)急著把batch調(diào)小到8結(jié)果訓(xùn)練非常不穩(wěn)定。后來我養(yǎng)成一個(gè)習(xí)慣優(yōu)先保持batch size在16以上如果顯存不夠先把輸入圖片從224降到192或者關(guān)閉驗(yàn)證階段的數(shù)據(jù)增強(qiáng)而不是一味縮小batch。batch縮到很小會讓BatchNorm如果加了的話統(tǒng)計(jì)量不準(zhǔn)也會讓梯度的噪聲變大。VGG本身沒有BatchNorm但后來的變體加了這時(shí)候小batch問題會更明顯。6.2 遷移學(xué)習(xí)時(shí)忘了輸入歸一化VGG官方預(yù)訓(xùn)練權(quán)重在訓(xùn)練時(shí)有特定的輸入預(yù)處理方式大致是每個(gè)像素減去訓(xùn)練集的均值。很多人直接拿來fine-tune時(shí)不做這個(gè)歸一化結(jié)果準(zhǔn)確率總差一大截。我第一次犯這個(gè)錯(cuò)誤時(shí)反復(fù)調(diào)學(xué)習(xí)率都沒用最后檢查數(shù)據(jù)流才發(fā)現(xiàn)問題。如果你用任何一個(gè)現(xiàn)成模型庫加載VGG權(quán)重務(wù)必先確認(rèn)對方實(shí)現(xiàn)的預(yù)處理是否與你使用的數(shù)據(jù)加載代碼一致這一步出錯(cuò)非常隱蔽。6.3 用VGG做特征提取器時(shí)凍結(jié)層數(shù)要謹(jǐn)慎我的另一個(gè)教訓(xùn)是做小數(shù)據(jù)集的遷移學(xué)習(xí)時(shí)不要一開始就把所有層都解凍。比較穩(wěn)的做法是先把新任務(wù)的全連接層從頭訓(xùn)練卷積層暫時(shí)凍結(jié)等損失降到一個(gè)平臺之后再解凍最后一兩個(gè)卷積塊用小學(xué)習(xí)率微調(diào)。VGG的前半部分提取的是通用邊緣、紋理、形狀特征后面幾層更偏向任務(wù)相關(guān)的語義特征所以解凍順序應(yīng)該從最后往前逐漸放開。這樣訓(xùn)練速度更快也不容易把預(yù)訓(xùn)練學(xué)到的知識沖掉。6.4 關(guān)于訓(xùn)練VGG的一點(diǎn)心得體會很多人覺得VGG結(jié)構(gòu)老、參數(shù)多已經(jīng)不值得學(xué)了。我的看法恰恰相反正是因?yàn)樗慕Y(jié)構(gòu)規(guī)整、問題暴露得明顯它才是一個(gè)完美的“實(shí)驗(yàn)田”。你可以在VGG上驗(yàn)證數(shù)據(jù)增強(qiáng)的效果可以對比不同初始化的影響可以測試不同池化策略這些實(shí)驗(yàn)結(jié)論往往能推廣到更新的結(jié)構(gòu)上。如果讓我給剛?cè)腴T的人推薦第一個(gè)要反復(fù)精讀的卷積網(wǎng)絡(luò)我大概率還是會把這篇論文和VGG16的代碼一起丟過去讀懂了它再看后來的網(wǎng)絡(luò)會輕松很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热免费| 九九婷婷五月天影视| 九九这里是免费的视频5| 99丝袜精品视频网站| 无码色| 97超碰在线免费观看| 五月婷婷二月丁香| 久久网日本| 4399无码视频| 丁香婷婷啪啪| www.99成人视频| 日本黄色在线观看| 国产亚洲精品久久久久久郑州| 亚洲另类噜噜| 热99热9| 伊人久久丁香狠狠婷婷综合香蕉 | 无码se| 亚洲妇女熟BBW| 五月婷婷啪啪| 亚洲aV写真天天综合网久久| 色婷婷五月天天天做| 午夜大香蕉| 久久精品在线| 欧美色色日韩| www.久久色.com| 26UUU精品一区二区| 丁香五月婷婷成人色区| 久久国产高清| 国产欧美精品AAAAAA片| 337p大胆噜噜噜噜噜91Av| 亚洲性爱日韩无码| 精品三区影院| 操操操AV| 天天舔天天摸天天射| 99久久超级| www.夜夜| 另类图片五月天| 天天干天天干天天干天天干天天干天天| 五月丁香六月片| 99久久玖玖| 激情综合网亚洲色图| 婷婷五月综合中文字幕| 殴美97色| 色噜噜狠狠色综无码久久合欧美| 91久久久久久| 五月色综合| 亚洲激情婷婷| 亚洲综合色丁香五月天| 天天操天天爱天天日| 熟女91九色| 99操逼| 成人短视频在线观看| www.五月丁香| 亚洲综合九九| 久久丁香五月| 婷婷色婷婷| 亚洲精品大片| 91精品久久久久久综合五月天| 亚洲狠狠狠色婷婷综合激情久久久| 9久热在线精品| www.夜夜爱.com| 欧美精品18| 这里只有精品1| 婷婷五月天六月| 深爱激情五月天色婷婷| 综合婷婷五月丁香在线观看| 成人电影AV在线观看| 亚洲激情视频网| 粉嫩av懂色av蜜臀av熟妇| 九九99精品视品| 五月婷婷综合在线亚洲视频| 久久婷婷六月综合综合| 久久久久这里都是精品| 伊人狠狠操| 六月丁香深深爱综合网| 六月婷婷亚洲| 丁香五月婷婷啪| www.粉嫩av.com| 99热这里只有精品98| 色吊丝中文字幕| 二级黄色毛片| 逼逼AV| 丁香五月色五月婷婷宗合| 色婷婷小说| 婷婷五月色天| 日韩黄色影院| 在线不卡视频| 六月激情久久婷婷| 成片免费播放| www狠狠爱com| 婷婷五月色影视先锋| 最新色色五月天| 久热69| 97福利视频| 久久机热这里只有| 丁香六月婷婷久久综合| 国产小网站| 丁香五月激情五月| 大香蕉伊在| site:pzdcoin.com| 99视频精品全部免费 在线| 狠狠色婷婷在线| 天天爽综合| 伊人狠狠干| 1024操逼视频| 丁香五月天电影| 婷婷中文字幕| 激情AV| 香港九九六区八区99| 久re热视频| 婷婷综合五月| 国产3p露脸普通话对白| 欧美婷婷丁香五月| 天天搞夜夜爽夜夜爽| 亚洲网站在线鸭子av| 男女久久婷婷五月天| 久久玖玖综合| 婷婷丁香婷婷97| 香蕉久久六月| 六月丁香停| 99五月丁香丁| 欧美黑人巨大性生话| 色色五月天婷婷| 中文字幕在线免费| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 激情5月婷婷| 国产精品99久久久久久猫咪| 五月婷无码| 香蕉人在线香蕉人在线 | 狠狠99| www.色综合| 婷婷五月天性色| 久久66er久久| 丁香六月婷婷| 成人精品一区二区三区四区五区 | 中文成人在线| 久久婷婷综合五月天| 丁香六月综合激情| 色婷婷色综合激情91| 久久九精品| 成熟妇人A片免费看网站| 亚洲日韩操B| 天天天天天天天干| 亚洲啪啪自拍| 97干视频| 五月婷婷香| 天天射天天操天天干| 婷婷亚洲五| 五月丁香婷婷三级| 伊人激情影院| 日日色五月天| 超碰婷婷五月| 国产激情综合五月久久| 五月婷婷深深爱| 天天操婷婷| 97精品综合久久| 91ncom.色| 99热日韩| 五月天婷婷社区久久综合| 婷婷精品综合| 色欲九区| 色噜噜狠狠色综合网| 五夜丁香| 激情综合五月| 五月婷婷综合潮喷| 色婷婷久久综合久色综| 97热在线精品| 激情五月伊人婷婷| 这里只有精品免费视频| 激情网第四色| 天天碰夜夜操| 九九热在线精品视频| 色吊丝99| 色婷婷中文在线| 色色五月天 亚洲| 激情五月天激情综合网| www热久久yy9| www.天天色综合| 久久激情网| 日本的α片xxxwww| 人人草碰| 色情综合| 色婷婷五月天偷拍| 熟女激情网| 激情五月婷婷| 婷婷狠狠久久| 大香蕉520| 四色五月婷婷| 很很干夜夜干| 97在线视频观看| 99热国产| 日日夜夜综合| 激情五月婷婷丁香六月| 十二区无码| 五月亭亭网成人在线视频| 婷婷丁香97| 久久久天堂国产精品女人| 男人综合网| 欧美超碰亚洲| 超碰在线观看9| 97伦色婷婷| 91超碰在线播放| 六月丁香成人| 精品欧美性爱超级爽| www.狠狠色.com| 成人美女网| 久久丁香五月天| 婷婷99丁香| 久久九九色| 丁香五月花婷婷开心| 日韩在线观看网址| 激情综合网五月婷婷| 丁香五月六月激情久久| 狠狠狠狠狠| 成人在线网| 婷婷在线综合| 丁香五月 激情文学| www.激情在线| 五月丁香婷婷激情影院欧美| 深爱开心五月天| 男女啪啪做爰高潮无遮挡| 日日日日操| 在线天堂9| 人人操A| 深爱开心激情网| 亚洲超碰中文字幕| 激情伊人五月天| 激情亚洲色图片丁香综合| #NAME?| 五月天伊人综合| 97在线精品| 操老逼综合网| www.精品99| 久久日婷婷| 久久综合丁香激情五月| 婷婷久久亚洲| 99热费观看| 国产色婷婷亚洲| 琪琪狠狠干| 色99在线观看| 伊人六月无码视频| 综合久色五月| 人妻久久婷婷| 婷婷视频在线碰| 色色性爱视频| 九色婷婷| 久久精品99久久久久久| 思思精品久久艹| 天天做天天爱天天爽夜夜揉| 黄色大片又大粗又爽| 狠狠色五月| 五月激情久久| 婷婷国产欧美97| 天天久久九九| 99ER热精品视频| 亚洲视频99| 日日做天天操夜夜爽| 99热在线网站| 激情五月天婷婷| 99色视频| 国产成人精品一区二三区熟女在线| 婷婷成人视频| 最新高清无码专区| 五月丁香婷婷狠狠操| 男女99免费视频| 天天操天天日天天爽| 成人五月天在线观看| 色综合激情| 色欲丁香| 九九九九毛片| 色色色五月婷| 99热99色| 综合色色网| 婷综合六月| 欧美人与性动交CCOO| 91九色欧美| 五月婷婷影院| 天天插天天干| 亚洲丁香婷婷| 依人大香蕉在钱1| 中文字幕人妻一区二区| 嫩模草| 国产精品久久久久久久久久| 色拍九九九| 青青草婷婷久久| 色播婷婷大香蕉| 欧美成人日韩| 久久婷婷成人视频| 无码动漫av| 亚洲欧洲中文日韩久久AV乱码| caop视频| 99热精品在线观看| 色五月综合激情网| 欧美色五月| 五月丁香色停停啪啪啪| 九九99热| 噜噜噜色噜噜| 中文激情网| 极品人妻VIDEOSSS人妻 | 婷婷5月久久综合网站| 九九久久色| 色五月天丁香婷婷| 亚洲综合狠狠艹| 色色国产| 91 影音先锋| 91日视频| 五月天婷网| 超碰超碰在线| 久久激情五月| 亚洲性爱AV在线| 久婷婷色| 五月婷导航| 99热官网精品在线| 中文字幕无码人妻少妇免费视频| 人人操人人操919999| 爱草视频在线观看| 丁香六月婷婷综合在线| 久久99视频| 被强行糟蹋的女人A片| 色欲一区二区三区精品A片| 亚洲视频1区| 九九色大香蕉| 亚洲色情免费网| 五月丁香色六月激情干大屄| 操操操97| 天天综合插插| 丁香激情网| 少妇高潮A片无套内谢麻豆传| 99性视频| √天堂资源在线人妻熟女| 久久国产性爱A V| 26uuu国产精品| 国产avapp 网| 欧美久久久久久久久中文字幕| 97久久超级| 五月丁香 六月婷婷a| 五月天激情丁香| 中文中文在线| 性色播| 99免费在线视频| 亚洲乱码日产精品BD| 人人干99| 婷婷亚洲综合| 婷婷综合干| 1024成人在线观看| 五月婷婷婷丁香播| 五月婷综合| 亚州激情在线视频| 91欧美| 免费99色| 五月丁香自拍| 久久一级AV| 成人午夜无码视频| 99热精品中文字幕| enecarbon-materials.com污K127封锁请涟系@wip1688 | 日韩欧美四五区| 综合啪啪| 在线中文av| 超碰国产AV| 武汉美女啪啪视频免费一级片| 久Se视频在线观看| 丁香深五月婷婷| 无码日本精品XXXXXXXXX | 免费精品99| 一本色道久久综合狠狠躁一二三| 久久久www| 午夜性爱影视一区77| 玖玖@三月天天丁香婷婷| 9久精品视频| 丁香五月另类小说在线阅读| 九九熱最新視頻| 伊人在线视频| 久久久久8888| 99ri在线| 天天日狠狠| www.天天干| 黄色AAAAAAA| 色99热| 久久久.www| 五月丁香在线综合| 久久9热| 久热这里只有精品66| 久久精品99国产精品日本| 五月丁香亚洲综合网| 综合久| 99精品久久久久久久婷婷| 五月丁香婷婷综合网色欲| 亚洲精品a成人在线播放| 亚洲天天综合| www.henhenl| 欧美色五月| 婷婷五月激情的图片| 成人精品视频99在线观看免费| 狠狠99| 天天操天天爱天天玩| 亚洲性爱AV在线| 天天曰夜夜爽| 激情婷婷丁香| 热久久成人| 久久久婷婷婷| 99热只有国产在线精品| 日韩青青| 色中色综合| 天天日人人| 日韩av在线播放综合网| 久噜久噜| 97色婷婷| 欧在线一区| 久久久久亚洲AV无码网影音先锋| 国产综合婷婷| 99精品国产在热久久| 精品久久久人妻| 蜜臀av粉嫩av懂色av| 四色99久久| 91无码高清| 97热精品| 另类天堂| 五月婷婷激情网| 无码色色| 超碰在线看| ..真实国产乱子伦毛片| 思思热再线视频| 国产FREESEXVIDEOS性中国| 超碰色综合| 激情婷婷内射| 色婷婷在线影院| 九九人人精品| 天天插天天干天天舔| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 97在线观视频免费观看| 丁香婷婷91在线观看视频| 四川BBB搡BBB爽爽视频| 婷婷久久网| 日本三级黄色大片| 久热99久热| 婷色五月天| 天天综合色综合| 久久精品系列| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 婷婷天堂综合| 国产欧美日韩综合精品一区二区| 91在线日| 日日噜狠狠色| 免费久久这里只有精品99| 五月丁香香蕉| 丁香五月情| 丁香五月色色婷| 人人摸人人干| 丁香六月无码| 日本久久爽| 国产在线中文字幕| 久久久无码精品成人A片小说| 五月婷婷天堂| 99久久国产宗和精品1上映| 婷婷伊人五月| 新激情五月天色播| 色香五月天| 人人干人人操外国| 精品一二三区久久AAA片| 五月天综合激情网| 日本久久爱| 9这里只有精品| 99久久精彩视频。| 另类在线| 丁香五月在线视频| 91色在线 | 日韩| 思思热精品在线视频| 综合热无码| 人人舔人人色人人高潮| 开心深爱五月天| 人人97操| www久久久久| 丁香色五月AV在线| 熟女色色一区二区| 国模九区| 久久99国产综合精品免费 | 婷婷五月香蕉| 成人亚洲精品| 综合网天天| 五月色综合| 亭亭玉月丁香| 狼人狠狠操| 精品成人无码A片观看香草视频| 五月婷婷性爱| 俺来也综合网精品一区| 黄色一级影片| 免费观看高清无码| 农村熟妇高潮精品A片| 夜夜操狠狠操| 亚洲网在线观看| 艹B高清无码| 五月天另类小说久久小说网| 少妇大叫太大太粗太爽了A片| 成人美女网| 色综合激情图区| 97色碰| 另类综合激情| 99热在线播放| 激情五月天色网站| 五月婷婷丁香| 99热这里只有精品4| 九九色色| 99热只有| 超碰A V在线| 99热热热天天人人人超超碰| 久久天堂加勒比| 大香蕉天堂| 色五月丁香六月资源站| 成人色色综合| 亚洲第一第二网站| 欧美日韩99| 韩国真做片在线观看| 五月综合人妻| 最新无毒无码AV| 色噜久| 激情五月天色色| 久久综合爱| 婷婷丁香五月天色区| 婷婷深爱五月| 中文字幕日产A片在线看| 97综合视频在线| 超碰色天堂| 婷婷久久婷婷| 欧美图片丁香五月天| 猫咪伊人久久| 狠狠色无码| 成人 视频免费观看网站| 97人妻碰碰中文无码久热丝袜| 丁香五月狠狠在线观看| 在线视频你懂得| 五月婷婷网站| 激情开心五月天| 婷婷黄色网| 婷婷中文字幕| wwwxxx五月婷婷小说| 色丁香五月婷婷| 欧美私人家庭影院| 亚洲色9| 国产成人99久久亚洲综合精品| 国产在这里只有精品| 婷婷激情综合| 黄色AAAAAAA| 激情宗合哪里能看| 五月婷高清视频| 成人五月丁香社区| 国产做爰视频免费播放| 久久久久9| 五月伊人综合| 五月天另类图片| 热久精品| 99ER热精品视频| 色婷久九| 五月婷婷亚洲色视频| 五月丁香六月婷婷网| 99玖玖在线视频| 这里只精品热在线18| 久热这里只有精品6| 丁香五月婷婷社区| 婷婷五月天影院| 色色色综合色| 超碰久热| 9福利性视频欧美| 久热精品视频| www.婷婷.com| 另类精品视频在线观看| 久热AA| 狠狠色丁香久久综合婷婷亚洲成人福利| 91日韩美女被插视频| 色婷婷丁香香香蕉视频| 久碰视频| 九九av| 色九月婷婷综合| 日韩日比视频| 五月丁香六月婷婷亚洲| 婷婷久久大香蕉| 亚洲蜜桃精久久久久久久久久久久 | 97色永久免费视频| 色综合久久久综合久久网| 五月丁香黄色| 黄色激情网站在线观看| 国外亚洲成AV人片在线观看| 91a片爽| 99综合熟女| 只有精品在线观看| 激情五月图| 成年人99热| 婷婷五月在线观看| 超碰在线国产| 婷婷激情五月综合| 久婷婷久草| 热久91| 久久久久激情网| 天天五月丁香五月| 欧美成人性爱网| 另类视频综合| 六月丁花香啪啪激情欧美| Av免费网站在线| 婷婷日韩| 九九精品在线视频观看| 亚洲视频a| 丁香六月天之亚州热女| 99re热在线视频| 乱岳熟女50岁| 国产成人av在线| 夜夜爽日日躁| 欧美激情综合色综合| 亚洲激情.com| av色婷婷| 久久密臀婷婷| 丁香九月综合| 婷婷色六月| 噜噜噜久久| 色色色色色色色色综合网| 第四色婷婷丁香五月| 亚洲综合五月| 激情五月婷黄版| 少妇性按摩无码中文A片| 国产亚洲精品久久久久久豆腐| 亚洲无码九九九| 五月丁香少妇| 狠狠搞五月天| 色色五月天丁香婷婷| 综合五月婷婷| 中文字幕+中文在线| www.精品99| 色五月丁香六月婷婷| 天天干夜晚夜操| 丁香五月久久| 色色色色区| 操人91| 爆乳熟妇一区二区三区四区| 97操碰| av狠狠操| 色播五月天激情| 午夜日日| 婷婷5月九九| 婷婷五月天亚洲综合| 亚洲六月综合激情久久下卡| 五月天狠狠网站| 五月婷婷六月爱| 99久久婷婷| 日本一级大片| 五月婷婷丁香婷婷| 五六月婷婷久久| 天天插天天日天天爽| 高清无码入口| 操人久久| 九九热经典视频在线观看| 99热在线看| 伊人色综合久久久| 婷婷色成人| 超碰在线99热| 成人国产欧美大片一区| 久久九九中文字幕| 99久久综合网| 免费在线观看AV网站| 开心丁五月| 性综合网| 黄急一级视频| 97婷婷丁香五月天激情图片| 五月天精品视频| 亚洲激情网| 日韩999| 色五月天丁香婷婷| 五月丁香综合啪啪| 微拍92| 五月天无码视屏播放| 九九热精品| 久热这里这里有精品| 国产在这里只有精品| 日本99久久| 色5月婷婷| 狠狠se| 成人无码髙潮喷水A片| 亚洲六月色| 91大神操美女| 色五月播五月| 欧美日韩成人一区二区| 丁香六月色情| 日韩在线9| 成人婷99最新| 婷婷五月综合免费在线| 天天干天天干天天| 香蕉AV777XXX色综合一区| 激情六月婷婷| 丁香六月婷婷综合| 日本三级大片| 3www激情| 日本天天综合| 99er6热在线观看精品6| 五月天停停成人网| 色婷婷成人| 99色色| 久草天堂| 天天舔天天摸| 91狠狠色| 色婷婷五月天| 亚洲国产精品VA在线看黑人| 不卡成人免费| A片试看120分钟做受视频红杏| 91狠狠综合久久久久久| 狠狠色丁香乆乆| 殴美97色| 五月丁香六月婷婷久久肏| 99热97美女| 99九精品| 色五月自偷自拍婷婷婷婷| 伊人九热| 色五月婷婷操逼| www久| 人妻在线中文字幕久久| 99热在线成人网站| 91人人操人人爱| www99热| 人操综合| 69久久99精品久久久久| 情婷婷五月天在线| 久久这里只有国产视频| 2020日日干| 极品少妇XXXX精品少妇偷拍| 婷色综合| 97操女视频| 丁香六月啪| 丁香六月视频| www,色中色| 少妇人妻凹凸视频| 九九热re99re6在线精品| 六月丁香社区| 婷婷久久精品| 五月婷婷激情网| 丁香久久激情俄| 日日爱678| 97在线视频观看| 六月婷婷激情小说网| 天天摸色吧天天摸色吧| 丁香五月天激情| 亚洲综合色成丁香五月色| 狠狠丁香| 五月天六月婷| 五月婷婷真爱激情网| 色婷婷香蕉| www色综合亚洲92| 六月色色综合| 91avse| 婷婷综合性爱网| 91精品综合久久久久久五月丁香| 天天操狠狠操| 亚洲九区| ztEJj| 久久人操-久草婷婷-成人AV| 五月天婷综合网站| 五月天色视频| 亚洲色久| 五月天激情久久| 丁香五月激情在线| 精品久久久91久久影视网| 色欲婷婷五月天丁香| 99人人操人人摸| 色偷偷五月天| 热99.com婷婷| 色吧五月婷婷六月丁香| 丁香婷婷网| 人人摸人人操人人爱| 青青999| 五月人妻婷婷| 色五月超碰| 天天爱天天操| 91精品综合久久久久久五月天| 6080av| 99热精品免费| 色婷婷9| 超级碰碰碰97免费| 国产44页| 四色AVwww| 99视频久久| 金品在线视频99| 久久综合网免费视频| 91九色精品女同系列| 国外亚洲成AV人片在线观看| 综合激情五月四射婷婷| 99操逼| 99久久超级| 亚洲综合视频天天精品| 亚洲99精品欧美一区| 一级片操逼视频| 国产熟女日日骚五月丁香爱| 欧美性生交XXXXX无码小说| 亚洲性受XXXX五月丁香| 日韩在线五月天婷婷| 新激情婷婷| 亚洲色五月| 久热这里只有精品99re | 婷婷九月| 久婷婷五月激情| av大香蕉| 日韩人妻在线观看| WWW久久久| 丁香5月激情网| 538在线精品| 色色色综合网| 色婷婷五月天av在线| 久久五月综合| 色黑鬼导航| 亚洲妇女熟BBW| 5月婷婷激情6月| 色婷婷六月| 狠狠色丁香婷婷久久综合| 国产精品热搜丁香五月婷婷| 国内久久亭亭| 成人av在线电影| 丁香六月色婷婷欧美| 精品一二三区久久AAA片| 丁香五月婷婷动漫视频| 超碰免费观看| 人人干AV| 色综合色色色色| 丁香五月人妻| 婷婷六月综合基地| 开心五月深爱五月| 久久久91| 99男人的天堂| 婷婷六月丁香色| 六月婷婷天堂| 五月丁香六月婷婷亚洲综合| 亚洲成人在线在线| 久久99网| 天堂五月婷婷| 五月丁香六月婷婷姐| 成人一级片| 少妇AB又爽又紧无码网站| 视色综合| 色九九一二| 99爱在线观看视频| 99热青青草| 色www久视频| 五月天婷婷社区| 99re热| 在线超碰免费| 99成人在线观看| www.ppypp| 国产亚洲99| 中文av网| www,av好吊操| 五月婷婷色播视频| 婷婷综合在线视频| 棕合影院色色| 超碰人人超碰| www.婷婷五月| 天天爱天天做天天操| 操人精品| 色婷婷激情Av久久久| 91碰超| 九九综合| 综合久久伊人| 51精品国自产在线| AAA久久| 丁香五月开心婷婷| 综合九九久久| 桃色五月婷婷| 99热91| 亚洲这里只有精品| 啪啪干伊人婷婷| 99人碰碰碰| 99视频在线观看视频| 欧美肉大捧一进一出免费视频| 婷婷夜夜夜夜| 丁香五婷| 九九九激情网| 无码人妻精品一区二区蜜桃色欲| 久久久性爱视频| 99九九精品| 亚洲丁香五月天在线视频| 99热99思午夜精品| 99激情视频| 色五月婷婷五月天| 操人妻视频91| 婷婷激情五月综合丁| 日本色婷婷五月天成人电影| 91热在线| 狠狠爱夜夜| 久久五月情| 成人久碰| 五月天.com| 亚洲 无码 中文字幕 中出| 亚洲不卡123| 成人网在线视频| 五月激情天天干| 日批在线看| 久艹大香蕉| 久久婷婷六月综合综合| 色婷大香蕉| 91久女| 99热最新国内| 婷色天堂| 国产精品男人AV不卡| 色综合大香蕉| 激情五月婷婷在线观看| 亚洲色婷婷99一9|| 天天狠天天狠| 888精品福利地址| 九九aV| 99精品偷自拍| 激情图片久久| 天天爽天天透天天爱| AAA久久久| 日韩 中文 欧美| 久久人人九| 97超碰在线免费观看| 91婷婷五月丁香碰| 久久桃花网色婷婷| 99无码黄色视频| 99热资源在线| 久久婷婷国产| 色色色综合网| 五月婷婷五月天| 丁香五月天亚洲视频| 开心五月综合激情综合五月| 激情九月综合| 五月丁香色综合| 国产熟女大叫受不了| 99超碰在线免费| 久久久久亚洲AV无码网影音先锋| 色五月婷婷操逼| 99在线观看亚洲| 久久人人九| 99在线精品视频观看免费下载| 玖玖资源站国产| 深爱五月亚洲| 第二色AⅤ| 天天夜夜操| 天天插天天射| 激情深爱五月天| 天天爽综合网| 色五月天丁香| 激情网五月天| 激情五月婷婷| 亚洲丁香五冃97色| 婷婷五月a| 91九色国产| 激情网 五月天| 五月丁香六月激情视频| √天堂资源在线人妻熟女| 色五月综合| 人碰人人人玩91| 在线观看日韩12345区| 东北黄色一级| 亚洲精品国产成人AV在线| 激情纯色婷婷五月天在线不卡视频| www.热99热| 亚洲成人无码网站| 99操碰| 欧美成人AAA片一区国产精品| 婷婷色综合中心站| se99高清无码| av五月天婷婷丁香| 无码区婷婷五月花开| 久久九九99| 亚洲乱码日产精品BD| 91凹凸在线| 五月玖玖| 狠狠操婷婷| 久久激情五月| 天天做天天爱| 狠狠精品干练久久久无码中文字幕 | 久久99精品久久久久子伦| 综合九九久久| 五月婷婷五月天天| 欧美在线视频免费播放| 色色婷婷五月| 99色在线| 亚洲情综合五月天| 丁香花综合永久入口| 日日夜夜狠狠婷婷色| 欧美美女国产日韩一区二区久 | 丁香婷婷激情综合五月激情| 91色情播放| 亚洲免费婷婷| 色色丁香婷婷综合| 天天操天天干天天日| 日韩 mm 不卡| 婷婷九九| 九九久久五月天综合伊人| 深爱五月日韩| 婷婷色色五月天| 一起草aV| 亚洲色激情| 日本欧美成人片AAAA| 六月丁香激情| 色婷婷六月精品| www.色五月.com| 婷婷综合视频| 丁香大香蕉| 久久99这里只有精品视频| 久久婷五月天| 91丁香五月| 99在线精品在线视频| 亚洲 在线 另类| 婷婷五月天成人导航| 婷婷伊人综合中文字幕| 丁香五月激情五月| 九九av| 成人视频在线免费播放| 乱精品一区字幕二区| 99色综合网| 亚洲bt丁香五月天婷婷激情小说| 久热大香蕉| 月丁香久久久| 婷婷五六日| www.夜夜操.com| 开心五月六月婷婷| 国产操碰| 激情婷婷色色| 综合色五月| 婷婷97碰碰| 狠狠色五月天| 五月激情四射网站| 国产探花AV在线| 天天躁日日躁狠狠躁日日躁2022年5月9日 | 7月婷婷六月丁香| 五月丁香六月激情| 六月 丁香 视频| 精品无码人妻一区| www,99热| 婷婷五月丁香综合| 国产暴力强伦轩1区二区小说| 五月丁香六月婷婷无码| 这里只有在线精品| 都市激情亚洲| www.金莲av| 亚洲五月婷婷| 黄页大全十八禁| 欧美在线操| 欧美久久久久久久久中文字幕| 最近免费中文字幕大全高清大全1| AV在线免费播放| 国产在这里只有精品| 色五月综合婷婷| AV在线免费播放| 人妻aV在线| 免费啪啪啪网站| 一区二区传媒视频| 久久九九综合| 另类专区在线观看| 婷婷欧美| 去干网最新版本亚洲版| 婷婷午夜精品久久久| www.五月天婷婷| 久热婷婷| 色婷婷a三区麻| 激情婷婷丁香五月天| 操操自拍| 免费AV在线| 99热精品观看| av线电影| 七月丁香婷婷 色色| 亚州操人在线视频| 99久久99久久综合| 超碰1999| 五月丁香婷婷啪啪综合网| VA国产在线综合网站| 这里只有视频精品| 五月丁香婷中文| 狠狠爱婷婷色| 97超级操操| 婷婷丁香先锋资源网站| 久久婷婷亚洲无码一起| 99色视| 另类 在线| 色婷婷很很十八禁| 99久久国产宗和精品1上映| 五月婷婷成人| 99热综合色图| 色婷视频| 夜夜操狠狠操天天操| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 91九色PORNY肉丝在线| 9精品久久999| 丁香六月激情综合| 99精品在线| 欧美成人va| 国内外色色色色色成人视频| 超碰在线人人| 操操啪| 久久92| www.com五月天| 九九色大香蕉| 丁香六月五月天| 国产性爱一级| 一区二区三区视频| 第九色区av天堂| 五月天色婷婷综合| 五月天伊人| 久久久久久人妻| 亚洲欧美婷婷五月色综合| 丁香五月综合| 欧美激情综合| 97在线观视频免费观看| www超碰com| 人妻有码乱操| 丁香久月| 婷婷五月亚洲激情| 我爱婷婷五月天综合88| 亚洲国产精品VA在线看黑人| 久热网站| 欧美日朝成人| 激情综合99| 激情五月婷婷| 五月丁香六月成人| 亚洲在线操| 激情综合婷婷| 日韩无码成人电影| 综合aV在线| 色婷婷综合丁香五月天| 久久丝丝热| 五月激情啪啪| 婷婷五月欧美综合| 婷婷五月天激情综合| 日韩AAAAAAAAAAA片| 狠狠色综合网| 五月激香蕉网| 欧美激情-区二区三区| www超碰com| 色噜久| 国在线激情网| 颜射 精品性爱av| 26uuu日韩| 四虎国产精品永久在线国在线| 久久婷婷电影| 久久久久婷婷五月热综合| 九九热九九| 97五月天婷婷| 丁香六月婷婷一区二区三区| 久久久精品色色色| 精品久久久人妻| 91人妻九色大屁股| 国产人妻操逼| 99热在线观看精品免费| 五月婷婷影院| 久久99精品久久久| 婷婷六月丁香激情综合| 婷婷色欧美激情| 五月天 无码| 丰满老熟妇BBBBB搡BBB| 中文成人在线| 色五月首页| 婷婷中文字暮| 激情久久久久久| 天天看A片| 日本理论久久| www.人人操人人看人人想人人摸 人人人人操,COM | 国产黄大片在线观看画质优化| 久久九九re热| 亚洲色色精品| 五月婷婷亚洲色视频| 五月天婷婷黄色| 99综合激情久久精品久久| 丝袜大香蕉| www.色五月| 亚洲成人一区| 五月天婷婷在线视频| 26uuu亚洲| 91精品国产日韩91久久久久久国模| 亚洲国产成人裸舞| 色色色综合色| 婷婷色资源| 91精品婷婷国产综合| 婷婷激情五月天在线视频| 五月天丁香成人社| 婷婷欧美| 97人人草| 一级黄色操B| 丁香久久AV| 色五月视频,小说| 色99热| Av狠狠色丁香婷| 亚洲小电影在线观看黄999| 婷婷五月成人系列| 日本婷久久| 天天狠狠综合精区| 欧美超级视频97| 五月激情综| 久热精彩视频98| 91久热| 丁香六月情| 伊人热在线大香蕉| 色色日韩网| 79色色色色| 猫咪伊人AV| 九九视频在线免费视频| 国产精品大香蕉| 91人人超碰在线| 丁香婷婷五月天网站| 免费啪啪亚州视频| wuyuedingxiang| 激情五月天网页| 久99999热视频在线观看免费| 天天搞天天色综合| 亚洲乱码w在线观看| 99亚洲精美视频在线观看| 岛国AV网站| 噼里啪啦完整版中文在线观看| 丁香五月色情| www.天天日| 丁香婷婷五月激情综合| 久久丁香综合| 97黑人精品区| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 九九99热| 五月综合激情| 色青五月天| 久久性爱视频久久性爱视频| 视频一区二区在线| 亚洲精色| 激情久久综合网| 在线观看欧美| 久久激情五月婷婷| 五月婷婷,六月丁香| 日韩三级视频一区二区| 五月丁香六月综合激情| 97碰碰在线看视频免费| 播四月婷婷六月丁香| 中文字幕成| www狠狠| 全亚洲最大的婷婷五月天网站COM| 日本天天操| 日本天天色| 99婷婷五月天激情| 五月激情精品视频| 欧美搡BBBBB摔BBBBB| 五月丁香婷婷啪啪综合网| 亚洲无码 图片区| 激情五月天之六月婷婷| 成人无码髙潮喷水A片| 99色精品视频| 高清无码入口| 久久激情五月天| AV色婷婷| 99操| 丁香五月激情啪| 99在线免费视频| 婷婷开心激情| ay2区| 五月婷婷久久大片| 激情五婷网| 色九月婷婷综合| 另类少妇人与禽zOZZ0性伦| 亚洲AAAA网| 久久97久久99久久综合欧美| 丁香综合伊人| 97超碰免费超级在线观看| 99爱在线精品视频免费观看| 久久您您综合网| 丁香五月综合激情性爱| 六月婷婷之青青草| 99激情| www.激情在线| 久久小视频| 色丁香五月婷婷在线| 久久刺激网| 久久伊人大香蕉| 婷婷五月天.com| 激情婷婷视频在线| 日日噜噜夜夜狠狠久久丁香五月| 丁香六月婷婷激情综合| 狠狠色色| 五月天激情国产综合婷婷|