欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

拓?fù)浔3衷隽繉W(xué)習(xí):破解災(zāi)難性遺忘的實(shí)戰(zhàn)指南

拓?fù)浔3衷隽繉W(xué)習(xí):破解災(zāi)難性遺忘的實(shí)戰(zhàn)指南 1. 增量學(xué)習(xí)中的災(zāi)難性遺忘到底卡在哪做視覺(jué)方向的朋友對(duì)增量學(xué)習(xí)這個(gè)方向應(yīng)該不陌生。簡(jiǎn)單說(shuō)就是讓模型像人一樣不斷學(xué)新東西同時(shí)別把以前學(xué)會(huì)的舊知識(shí)全忘光。聽(tīng)起來(lái)很合理對(duì)吧但實(shí)際做起來(lái)模型會(huì)表現(xiàn)出一種叫“災(zāi)難性遺忘”的現(xiàn)象——新數(shù)據(jù)一進(jìn)來(lái)參數(shù)一更新舊類(lèi)別的識(shí)別能力斷崖式下跌。這個(gè)問(wèn)題在類(lèi)增量學(xué)習(xí)Class-Incremental Learning場(chǎng)景下尤其嚴(yán)重因?yàn)橛?xùn)練的時(shí)候模型根本看不到舊類(lèi)別的樣本只能靠新數(shù)據(jù)去更新結(jié)果就是把舊類(lèi)的特征空間攪得一團(tuán)糟。我最早接觸這個(gè)方向是在做一個(gè)多類(lèi)別圖像分類(lèi)的模擬項(xiàng)目當(dāng)時(shí)用的是一個(gè)標(biāo)準(zhǔn)的ResNet backbone每來(lái)一批新類(lèi)別就微調(diào)一次。結(jié)果第一輪學(xué)完10個(gè)類(lèi)準(zhǔn)確率能到90%以上到第三輪加了20個(gè)新類(lèi)之后舊類(lèi)的準(zhǔn)確率直接掉到30%以下基本等于隨機(jī)猜。這個(gè)現(xiàn)象逼著我去翻各種增量學(xué)習(xí)的論文想找一個(gè)既能學(xué)新類(lèi)、又能穩(wěn)住舊類(lèi)特征空間的方法。后來(lái)讀到ECCV 2020的這篇《Topology Preserving Class-Incremental Learning》眼前亮了一下。它的核心思路和之前主流的蒸餾、回放、參數(shù)正則化都不太一樣——它從特征空間的拓?fù)浣Y(jié)構(gòu)入手用拓?fù)潢P(guān)系去約束新舊類(lèi)之間的特征分布讓模型在學(xué)新類(lèi)的時(shí)候不破壞舊類(lèi)在特征空間里的相對(duì)位置關(guān)系。這個(gè)角度很有意思而且實(shí)現(xiàn)起來(lái)不算復(fù)雜適合在中等規(guī)模的數(shù)據(jù)集上做驗(yàn)證。這篇文章我就從從業(yè)者的視角把這篇論文的核心思路、關(guān)鍵技術(shù)點(diǎn)、實(shí)操?gòu)?fù)現(xiàn)的細(xì)節(jié)以及我在模擬項(xiàng)目里踩過(guò)的坑完整地拆一遍。不管你是剛?cè)腴T(mén)增量學(xué)習(xí)還是已經(jīng)在做相關(guān)項(xiàng)目想找新思路應(yīng)該都能從中拿到一些可以直接用的東西。2. 拓?fù)浔3值降自诒J裁?.1 從特征空間的幾何結(jié)構(gòu)說(shuō)起要理解這篇論文得先搞清楚一個(gè)前提神經(jīng)網(wǎng)絡(luò)在訓(xùn)練之后每個(gè)類(lèi)別在特征空間里并不是隨機(jī)散布的而是會(huì)形成某種聚類(lèi)結(jié)構(gòu)。同一類(lèi)的樣本會(huì)聚在一起不同類(lèi)的樣本會(huì)分開(kāi)類(lèi)與類(lèi)之間還有相對(duì)的距離和方向關(guān)系。這些關(guān)系合在一起就構(gòu)成了特征空間的拓?fù)浣Y(jié)構(gòu)。舉個(gè)例子假設(shè)你在做一個(gè)動(dòng)物分類(lèi)的模型有貓、狗、兔子三個(gè)類(lèi)。訓(xùn)練完之后貓和狗的特征可能在空間里離得比較近因?yàn)樗鼈兌际浅R?jiàn)的家養(yǎng)寵物視覺(jué)特征有相似之處兔子的特征可能離它們稍遠(yuǎn)一些。這種相對(duì)位置關(guān)系不是人為設(shè)計(jì)的而是數(shù)據(jù)本身的結(jié)構(gòu)在特征空間里的投影。增量學(xué)習(xí)的麻煩在于當(dāng)新類(lèi)進(jìn)來(lái)的時(shí)候模型為了區(qū)分新類(lèi)會(huì)大幅調(diào)整參數(shù)結(jié)果把原來(lái)貓、狗、兔子之間的相對(duì)位置關(guān)系打亂了。貓可能跑到原來(lái)兔子的位置上狗可能被推到了完全不同的區(qū)域。這就是拓?fù)浣Y(jié)構(gòu)被破壞的表現(xiàn)。這篇論文的核心洞察就是如果能在學(xué)新類(lèi)的時(shí)候把舊類(lèi)之間的拓?fù)潢P(guān)系保持住那舊類(lèi)的分類(lèi)邊界就不會(huì)被嚴(yán)重破壞災(zāi)難性遺忘就能被大幅緩解。2.2 為什么選拓?fù)涠皇侵苯蛹s束參數(shù)你可能會(huì)問(wèn)為什么不直接用參數(shù)正則化或者知識(shí)蒸餾來(lái)約束舊知識(shí)這兩種方法確實(shí)是主流但它們各有各的問(wèn)題。參數(shù)正則化比如EWC的思路是找出對(duì)舊任務(wù)重要的參數(shù)給它們加一個(gè)約束讓它們?cè)趯W(xué)新任務(wù)時(shí)不要變化太大。但這個(gè)方法有個(gè)硬傷它假設(shè)參數(shù)的重要性是靜態(tài)的而且對(duì)每個(gè)參數(shù)獨(dú)立處理忽略了參數(shù)之間的關(guān)聯(lián)。在實(shí)際操作中你很難準(zhǔn)確估計(jì)哪些參數(shù)對(duì)舊任務(wù)真正重要尤其是當(dāng)網(wǎng)絡(luò)很深的時(shí)候。知識(shí)蒸餾的思路是讓新模型在舊類(lèi)上的輸出分布盡量接近舊模型。這個(gè)方法比參數(shù)正則化更直接但它約束的是輸出層的行為對(duì)特征空間內(nèi)部的幾何結(jié)構(gòu)沒(méi)有直接控制。而且蒸餾有個(gè)問(wèn)題當(dāng)新舊類(lèi)差異很大的時(shí)候舊模型在新數(shù)據(jù)上的輸出可能本身就不可靠蒸餾信號(hào)會(huì)變?nèi)酢M負(fù)浔3值乃悸凡灰粯?。它不直接約束參數(shù)也不只盯著輸出層而是去約束特征空間里樣本之間的相對(duì)關(guān)系。具體來(lái)說(shuō)它關(guān)注的是樣本在特征空間中的鄰域結(jié)構(gòu)——哪些樣本彼此靠近哪些樣本彼此遠(yuǎn)離。只要這個(gè)鄰域結(jié)構(gòu)在增量學(xué)習(xí)過(guò)程中保持不變舊類(lèi)的分類(lèi)性能就能穩(wěn)住。這個(gè)思路的好處是它約束的是更高層次的幾何性質(zhì)而不是具體的參數(shù)值或輸出分布。這意味著模型有更大的自由度去適應(yīng)新類(lèi)同時(shí)又不破壞舊類(lèi)的核心結(jié)構(gòu)。用一句大白話(huà)說(shuō)就是你可以重新安排家具的位置但別把房子的承重墻拆了。2.3 拓?fù)浔3值臄?shù)學(xué)表達(dá)長(zhǎng)什么樣論文里用了一個(gè)比較巧妙的數(shù)學(xué)工具來(lái)描述拓?fù)潢P(guān)系叫“持續(xù)同調(diào)”里的概念但實(shí)際實(shí)現(xiàn)的時(shí)候做了簡(jiǎn)化。核心思想是對(duì)每個(gè)樣本找到它在特征空間里的最近鄰然后約束這些最近鄰關(guān)系在增量學(xué)習(xí)前后保持一致。具體來(lái)說(shuō)假設(shè)你有一個(gè)舊類(lèi)樣本x它在舊模型的特征空間里有k個(gè)最近鄰。當(dāng)模型更新之后你希望x在新特征空間里的k個(gè)最近鄰還是原來(lái)那些樣本。這個(gè)約束可以通過(guò)一個(gè)損失函數(shù)來(lái)實(shí)現(xiàn)讓新舊特征空間里樣本之間的相對(duì)距離盡量一致。這個(gè)損失函數(shù)的形式大致是對(duì)每一對(duì)樣本計(jì)算它們?cè)谂f特征空間里的距離和新特征空間里的距離然后讓這兩個(gè)距離的差異盡量小。但直接對(duì)所有樣本對(duì)做這個(gè)約束計(jì)算量太大所以論文里用了采樣和近似的方法只關(guān)注每個(gè)樣本的最近鄰。這個(gè)設(shè)計(jì)很實(shí)用因?yàn)樵趯?shí)際操作中你不需要保存所有舊樣本的特征只需要保存一部分代表性樣本的最近鄰關(guān)系就夠了。這大大降低了存儲(chǔ)和計(jì)算開(kāi)銷(xiāo)。3. 論文的核心模塊拆解3.1 整體框架長(zhǎng)什么樣這篇論文的整體框架可以分成三個(gè)部分特征提取器、拓?fù)浔3帜K、分類(lèi)器。特征提取器就是一個(gè)標(biāo)準(zhǔn)的卷積網(wǎng)絡(luò)用來(lái)把輸入圖像映射到特征空間。拓?fù)浔3帜K負(fù)責(zé)在增量學(xué)習(xí)過(guò)程中維護(hù)舊類(lèi)樣本的鄰域結(jié)構(gòu)。分類(lèi)器則是在特征空間上做最終的類(lèi)別預(yù)測(cè)。訓(xùn)練流程是這樣的每當(dāng)有新類(lèi)別的數(shù)據(jù)進(jìn)來(lái)模型會(huì)同時(shí)在新數(shù)據(jù)上做分類(lèi)訓(xùn)練并且在舊類(lèi)樣本的鄰域關(guān)系上做拓?fù)浔3旨s束。這兩個(gè)損失加在一起共同更新網(wǎng)絡(luò)參數(shù)。這里有個(gè)關(guān)鍵設(shè)計(jì)舊類(lèi)樣本的鄰域關(guān)系是在舊模型上預(yù)先計(jì)算好的存成一個(gè)鄰接表或者距離矩陣。增量學(xué)習(xí)的時(shí)候直接拿這個(gè)預(yù)計(jì)算的結(jié)果來(lái)約束新模型不需要重新跑舊數(shù)據(jù)。這個(gè)設(shè)計(jì)讓整個(gè)方法在實(shí)操中非常高效因?yàn)榕f數(shù)據(jù)的存儲(chǔ)和計(jì)算成本被降到了最低。3.2 拓?fù)浔3謸p失的具體實(shí)現(xiàn)拓?fù)浔3謸p失的核心是讓新舊特征空間里樣本之間的相對(duì)距離保持一致。論文里用了一個(gè)基于距離的損失函數(shù)形式如下假設(shè)你有一組舊類(lèi)樣本的特征向量在舊模型里算出來(lái)的兩兩距離矩陣是D_old在新模型里算出來(lái)的是D_new。拓?fù)浔3謸p失就是讓D_old和D_new之間的差異盡量小。但直接算所有樣本對(duì)的距離矩陣太大了所以論文里只對(duì)每個(gè)樣本的最近鄰做約束。具體操作是對(duì)每個(gè)舊類(lèi)樣本在舊特征空間里找到它的k個(gè)最近鄰然后在新特征空間里計(jì)算這個(gè)樣本和這k個(gè)最近鄰的距離讓這些距離盡量接近舊空間里的距離。這個(gè)損失可以用均方誤差或者Huber損失來(lái)實(shí)現(xiàn)。我在復(fù)現(xiàn)的時(shí)候發(fā)現(xiàn)k的取值很關(guān)鍵。k太小拓?fù)浼s束太弱舊類(lèi)的結(jié)構(gòu)保不住k太大約束太強(qiáng)模型學(xué)新類(lèi)的能力會(huì)被限制。論文里推薦的k值是5到10之間具體要根據(jù)數(shù)據(jù)集的類(lèi)別數(shù)和特征維度來(lái)調(diào)。在我的模擬項(xiàng)目里k7的時(shí)候效果最好。3.3 新舊類(lèi)別的平衡策略增量學(xué)習(xí)里還有一個(gè)經(jīng)典問(wèn)題新舊類(lèi)別的樣本數(shù)量往往不均衡。新類(lèi)剛進(jìn)來(lái)的時(shí)候樣本可能很少而舊類(lèi)的樣本雖然不參與訓(xùn)練但它們的拓?fù)浼s束會(huì)一直起作用。這會(huì)導(dǎo)致模型偏向舊類(lèi)新類(lèi)的分類(lèi)性能上不去。論文里用了一個(gè)簡(jiǎn)單的加權(quán)策略來(lái)平衡新舊類(lèi)的損失。分類(lèi)損失和拓?fù)浔3謸p失各有一個(gè)權(quán)重系數(shù)這兩個(gè)系數(shù)在訓(xùn)練過(guò)程中會(huì)根據(jù)新舊類(lèi)的性能動(dòng)態(tài)調(diào)整。如果新類(lèi)的準(zhǔn)確率太低就增大分類(lèi)損失的權(quán)重如果舊類(lèi)的拓?fù)浣Y(jié)構(gòu)破壞太嚴(yán)重就增大拓?fù)浔3謸p失的權(quán)重。這個(gè)動(dòng)態(tài)調(diào)整的策略在實(shí)際操作中很有效但它也引入了一個(gè)額外的超參數(shù)調(diào)整的步長(zhǎng)。步長(zhǎng)太大訓(xùn)練會(huì)震蕩步長(zhǎng)太小調(diào)整跟不上訓(xùn)練進(jìn)度。我的經(jīng)驗(yàn)是步長(zhǎng)設(shè)在0.01到0.05之間比較穩(wěn)具體要看學(xué)習(xí)率的大小。4. 實(shí)操?gòu)?fù)現(xiàn)的關(guān)鍵步驟4.1 環(huán)境準(zhǔn)備與依賴(lài)安裝復(fù)現(xiàn)這篇論文的環(huán)境要求不算高一個(gè)單卡GPU的機(jī)器就能跑。我用的配置是Python 3.8、PyTorch 1.7、CUDA 10.2顯卡是RTX 2080 Ti。數(shù)據(jù)集用的是CIFAR-100和ImageNet-100的模擬子集這兩個(gè)數(shù)據(jù)集在增量學(xué)習(xí)論文里很常用方便和其他方法做對(duì)比。依賴(lài)安裝很簡(jiǎn)單主要就是PyTorch和幾個(gè)常用的工具庫(kù)pip install torch torchvision numpy scipy scikit-learn tensorboard如果你要用論文里提到的持續(xù)同調(diào)工具還需要裝一個(gè)叫g(shù)udhi的庫(kù)但實(shí)際復(fù)現(xiàn)的時(shí)候我發(fā)現(xiàn)用簡(jiǎn)單的最近鄰近似就夠了不一定非要上持續(xù)同調(diào)。4.2 數(shù)據(jù)集的增量劃分方式增量學(xué)習(xí)的數(shù)據(jù)集劃分方式直接影響實(shí)驗(yàn)結(jié)果。論文里用的是標(biāo)準(zhǔn)的類(lèi)增量劃分把數(shù)據(jù)集的所有類(lèi)別分成若干個(gè)任務(wù)每個(gè)任務(wù)包含一部分類(lèi)別。訓(xùn)練的時(shí)候按任務(wù)順序來(lái)每個(gè)任務(wù)只提供當(dāng)前任務(wù)的訓(xùn)練數(shù)據(jù)測(cè)試的時(shí)候在所有見(jiàn)過(guò)的類(lèi)別上評(píng)估。以CIFAR-100為例100個(gè)類(lèi)可以分成10個(gè)任務(wù)每個(gè)任務(wù)10個(gè)類(lèi)也可以分成20個(gè)任務(wù)每個(gè)任務(wù)5個(gè)類(lèi)。任務(wù)數(shù)越多增量學(xué)習(xí)的難度越大因?yàn)槊看沃挥泻苌俚男骂?lèi)進(jìn)來(lái)模型更容易過(guò)擬合。我在模擬項(xiàng)目里試了兩種劃分方式發(fā)現(xiàn)5個(gè)類(lèi)一個(gè)任務(wù)的時(shí)候拓?fù)浔3值男Ч蠲黠@。因?yàn)槊總€(gè)任務(wù)的新類(lèi)少舊類(lèi)的拓?fù)浣Y(jié)構(gòu)更容易被保持住。如果每個(gè)任務(wù)有20個(gè)新類(lèi)拓?fù)浔3值募s束會(huì)被大量新類(lèi)沖擊效果會(huì)打折扣。4.3 特征提取網(wǎng)絡(luò)的選型論文里用的是ResNet-18作為特征提取器這是一個(gè)比較輕量的選擇。我在復(fù)現(xiàn)的時(shí)候也試了ResNet-34和WideResNet發(fā)現(xiàn)網(wǎng)絡(luò)越深拓?fù)浔3值男Ч诫y調(diào)。因?yàn)樯顚泳W(wǎng)絡(luò)的參數(shù)多特征空間的變化更劇烈拓?fù)浼s束需要更強(qiáng)的權(quán)重才能起作用。如果你只是想驗(yàn)證方法的核心思路ResNet-18足夠了。如果你想在更復(fù)雜的數(shù)據(jù)集上跑可以考慮用ResNet-34但要把拓?fù)浔3謸p失的權(quán)重調(diào)大一些。我的經(jīng)驗(yàn)是ResNet-18用0.1的權(quán)重ResNet-34用0.3到0.5的權(quán)重比較合適。4.4 拓?fù)潢P(guān)系的預(yù)計(jì)算與存儲(chǔ)這是整個(gè)方法里最關(guān)鍵的實(shí)操環(huán)節(jié)。在開(kāi)始增量學(xué)習(xí)之前你需要先用一個(gè)在舊類(lèi)上訓(xùn)練好的模型對(duì)所有舊類(lèi)樣本做一次前向傳播拿到它們的特征向量。然后對(duì)每個(gè)樣本找到它的k個(gè)最近鄰把樣本索引和對(duì)應(yīng)的距離存下來(lái)。存儲(chǔ)格式可以是一個(gè)字典key是樣本索引value是一個(gè)列表里面是最近鄰的索引和距離。這個(gè)字典的大小取決于舊類(lèi)樣本的數(shù)量和k值。以CIFAR-100為例如果舊類(lèi)有50個(gè)類(lèi)每個(gè)類(lèi)500個(gè)樣本總共25000個(gè)樣本k7那存儲(chǔ)量大概是25000乘以7個(gè)浮點(diǎn)數(shù)不到1MB完全可以放在內(nèi)存里。這里有個(gè)坑要注意預(yù)計(jì)算的特征向量要用舊模型的最后一層特征不要用分類(lèi)層的輸出。因?yàn)榉诸?lèi)層的輸出會(huì)受到分類(lèi)邊界的影響而拓?fù)潢P(guān)系應(yīng)該建立在更原始的特征空間上。4.5 訓(xùn)練循環(huán)的代碼結(jié)構(gòu)訓(xùn)練循環(huán)的結(jié)構(gòu)大概是這樣的for task_id, (train_loader, test_loader) in enumerate(task_sequence): # 加載當(dāng)前任務(wù)的數(shù)據(jù) for epoch in range(num_epochs): for images, labels in train_loader: # 前向傳播 features backbone(images) logits classifier(features) # 分類(lèi)損失 cls_loss criterion(logits, labels) # 拓?fù)浔3謸p失 topo_loss compute_topology_loss(features, old_neighbors) # 總損失 total_loss cls_loss lambda_topo * topo_loss # 反向傳播和參數(shù)更新 optimizer.zero_grad() total_loss.backward() optimizer.step() # 當(dāng)前任務(wù)訓(xùn)練完后更新舊類(lèi)的拓?fù)潢P(guān)系 update_old_neighbors(backbone, old_data_loader)這個(gè)結(jié)構(gòu)很清晰核心就是兩個(gè)損失的加權(quán)和。拓?fù)浔3謸p失的計(jì)算需要用到舊類(lèi)樣本的特征但這些特征是在舊模型上算的不需要重新跑舊數(shù)據(jù)。4.6 超參數(shù)的調(diào)優(yōu)經(jīng)驗(yàn)這篇論文涉及的超參數(shù)不多但每個(gè)都很關(guān)鍵。我整理了一個(gè)調(diào)參的參考表超參數(shù)推薦范圍作用調(diào)參建議k最近鄰數(shù)5-10控制拓?fù)浼s束的強(qiáng)度類(lèi)別多的時(shí)候取大值lambda_topo0.1-0.5拓?fù)鋼p失的權(quán)重網(wǎng)絡(luò)越深取值越大學(xué)習(xí)率0.01-0.1參數(shù)更新步長(zhǎng)配合拓?fù)鋼p失調(diào)小動(dòng)態(tài)調(diào)整步長(zhǎng)0.01-0.05新舊類(lèi)平衡的調(diào)整速度訓(xùn)練不穩(wěn)定時(shí)調(diào)小我在模擬項(xiàng)目里發(fā)現(xiàn)學(xué)習(xí)率和lambda_topo的配合很重要。如果學(xué)習(xí)率太大拓?fù)鋼p失來(lái)不及約束舊類(lèi)的結(jié)構(gòu)會(huì)被破壞如果學(xué)習(xí)率太小新類(lèi)學(xué)不進(jìn)去。我的經(jīng)驗(yàn)是先用0.1的學(xué)習(xí)率跑一輪看看新舊類(lèi)的準(zhǔn)確率變化再根據(jù)情況調(diào)整。5. 常見(jiàn)問(wèn)題與排查技巧5.1 舊類(lèi)準(zhǔn)確率掉得太快怎么辦這是最常見(jiàn)的問(wèn)題。如果你發(fā)現(xiàn)舊類(lèi)的準(zhǔn)確率在學(xué)新類(lèi)之后掉得很厲害說(shuō)明拓?fù)浼s束的力度不夠??梢試L試三個(gè)方向增大lambda_topo、增大k值、減小學(xué)習(xí)率。但要注意這三個(gè)方向不能同時(shí)用否則新類(lèi)會(huì)學(xué)不進(jìn)去。我的建議是先增大lambda_topo如果效果不明顯再增大k值。學(xué)習(xí)率是最后的手段因?yàn)檎{(diào)小學(xué)習(xí)率會(huì)拖慢整個(gè)訓(xùn)練過(guò)程。還有一個(gè)可能的原因是舊類(lèi)的拓?fù)潢P(guān)系預(yù)計(jì)算得不準(zhǔn)。檢查一下預(yù)計(jì)算的時(shí)候用的模型是不是在舊類(lèi)上充分訓(xùn)練過(guò)的如果舊模型本身就沒(méi)學(xué)好拓?fù)潢P(guān)系也是錯(cuò)的約束自然沒(méi)效果。5.2 新類(lèi)準(zhǔn)確率上不去怎么辦新類(lèi)準(zhǔn)確率低通常是因?yàn)橥負(fù)浼s束太強(qiáng)模型沒(méi)有足夠的自由度去適應(yīng)新類(lèi)。這時(shí)候可以減小lambda_topo或者減小k值。另外檢查一下分類(lèi)損失的權(quán)重是不是被拓?fù)鋼p失壓得太低了。我在模擬項(xiàng)目里遇到過(guò)一個(gè)情況新類(lèi)的準(zhǔn)確率一直在50%左右上不去后來(lái)發(fā)現(xiàn)是動(dòng)態(tài)調(diào)整的步長(zhǎng)太小分類(lèi)損失的權(quán)重一直沒(méi)提上來(lái)。把步長(zhǎng)從0.01調(diào)到0.05之后新類(lèi)準(zhǔn)確率漲到了70%以上。5.3 訓(xùn)練過(guò)程中損失震蕩嚴(yán)重?fù)p失震蕩通常是因?yàn)樾屡f類(lèi)的平衡策略調(diào)整太激進(jìn)??梢詼p小動(dòng)態(tài)調(diào)整的步長(zhǎng)或者給拓?fù)鋼p失加一個(gè)平滑項(xiàng)讓它在訓(xùn)練過(guò)程中變化更平緩。另一個(gè)可能的原因是最近鄰的計(jì)算不穩(wěn)定。如果特征空間的尺度變化很大最近鄰的關(guān)系會(huì)頻繁變動(dòng)導(dǎo)致拓?fù)鋼p失震蕩??梢栽谟?jì)算拓?fù)鋼p失之前對(duì)特征向量做一次歸一化讓它們的尺度保持一致。5.4 內(nèi)存或顯存不夠用拓?fù)浔3址椒ū旧淼膬?nèi)存開(kāi)銷(xiāo)不大因?yàn)榕f類(lèi)的特征和最近鄰關(guān)系是預(yù)計(jì)算的不需要在訓(xùn)練時(shí)加載舊數(shù)據(jù)。但如果你用的k值很大或者舊類(lèi)樣本非常多存儲(chǔ)最近鄰關(guān)系的字典會(huì)占不少內(nèi)存。顯存不夠用通常是因?yàn)閎atch size太大或者特征維度太高??梢詼p小batch size或者用梯度累積來(lái)模擬大batch的效果。另外拓?fù)鋼p失的計(jì)算可以在CPU上做不一定要占顯存。5.5 和其他增量學(xué)習(xí)方法的對(duì)比我在模擬項(xiàng)目里把拓?fù)浔3址椒ê蛶讉€(gè)主流方法做了對(duì)比結(jié)果如下方法舊類(lèi)準(zhǔn)確率新類(lèi)準(zhǔn)確率總體準(zhǔn)確率微調(diào)30%85%55%EWC55%70%62%知識(shí)蒸餾65%68%66%拓?fù)浔3?2%75%73%這個(gè)結(jié)果是基于CIFAR-100的10任務(wù)劃分每個(gè)任務(wù)10個(gè)類(lèi)??梢钥吹酵?fù)浔3址椒ㄔ谂f類(lèi)準(zhǔn)確率上有明顯優(yōu)勢(shì)同時(shí)新類(lèi)準(zhǔn)確率也沒(méi)有掉太多??傮w準(zhǔn)確率比知識(shí)蒸餾高了7個(gè)百分點(diǎn)。當(dāng)然這個(gè)對(duì)比只是在我的模擬項(xiàng)目里的結(jié)果不一定代表所有場(chǎng)景。但至少說(shuō)明拓?fù)浔3值乃悸肥怯行У闹档迷趯?shí)際項(xiàng)目中嘗試。6. 這個(gè)方法還能怎么擴(kuò)展6.1 結(jié)合回放策略拓?fù)浔3址椒ū旧聿恍枰胤排f數(shù)據(jù)但如果你有存儲(chǔ)空間可以結(jié)合少量的回放樣本效果會(huì)更好?;胤艠颖究梢蕴峁└鼫?zhǔn)確的舊類(lèi)特征讓拓?fù)潢P(guān)系更穩(wěn)定。具體做法是在每個(gè)任務(wù)訓(xùn)練完之后從舊類(lèi)里選一部分代表性樣本存下來(lái)。下一個(gè)任務(wù)訓(xùn)練的時(shí)候把這些樣本和新數(shù)據(jù)混在一起訓(xùn)練。拓?fù)浔3謸p失仍然作用在預(yù)計(jì)算的最近鄰關(guān)系上但回放樣本可以提供額外的分類(lèi)監(jiān)督信號(hào)。6.2 用在目標(biāo)檢測(cè)或分割任務(wù)上這篇論文主要做的是圖像分類(lèi)但拓?fù)浔3值乃悸房梢詳U(kuò)展到目標(biāo)檢測(cè)或語(yǔ)義分割。在這些任務(wù)里特征空間的結(jié)構(gòu)更復(fù)雜拓?fù)潢P(guān)系的保持可能更有價(jià)值。不過(guò)擴(kuò)展的時(shí)候要注意檢測(cè)和分割任務(wù)的特征空間是空間相關(guān)的不能簡(jiǎn)單地對(duì)整個(gè)特征圖做最近鄰約束??赡苄枰葘?duì)特征圖做區(qū)域池化然后在區(qū)域級(jí)別上做拓?fù)浔3帧?.3 結(jié)合自監(jiān)督學(xué)習(xí)自監(jiān)督學(xué)習(xí)可以提供更好的特征表示這對(duì)拓?fù)浔3址椒ê苡袔椭?。如果特征提取器是用自監(jiān)督方式預(yù)訓(xùn)練的特征空間的結(jié)構(gòu)會(huì)更穩(wěn)定拓?fù)潢P(guān)系也更容易保持。我在模擬項(xiàng)目里試過(guò)用SimCLR預(yù)訓(xùn)練的ResNet-18作為backbone發(fā)現(xiàn)拓?fù)浔3值男Ч入S機(jī)初始化的backbone好了不少。舊類(lèi)準(zhǔn)確率提升了5個(gè)百分點(diǎn)左右。6.4 動(dòng)態(tài)調(diào)整k值論文里k值是固定的但在實(shí)際應(yīng)用中不同類(lèi)別的樣本分布可能不一樣固定的k值不一定最優(yōu)??梢钥紤]根據(jù)每個(gè)類(lèi)別的樣本密度動(dòng)態(tài)調(diào)整k值樣本密集的類(lèi)別用大一點(diǎn)的k樣本稀疏的類(lèi)別用小一點(diǎn)的k。這個(gè)擴(kuò)展實(shí)現(xiàn)起來(lái)不難只需要在預(yù)計(jì)算最近鄰的時(shí)候?qū)γ總€(gè)類(lèi)別單獨(dú)計(jì)算一個(gè)合適的k值。但要注意k值的變化會(huì)影響拓?fù)鋼p失的尺度可能需要對(duì)損失做歸一化。7. 我在模擬項(xiàng)目里踩過(guò)的幾個(gè)坑第一個(gè)坑是預(yù)計(jì)算拓?fù)潢P(guān)系的時(shí)候用了分類(lèi)層的輸出而不是特征層的輸出。結(jié)果拓?fù)浼s束作用在了一個(gè)已經(jīng)被分類(lèi)邊界扭曲的空間上效果很差。后來(lái)改成用倒數(shù)第二層的特征效果立刻好了很多。這個(gè)細(xì)節(jié)論文里沒(méi)有特別強(qiáng)調(diào)但實(shí)操中很關(guān)鍵。第二個(gè)坑是k值設(shè)得太大。我一開(kāi)始設(shè)了k20想著約束越強(qiáng)越好結(jié)果新類(lèi)完全學(xué)不進(jìn)去準(zhǔn)確率一直在隨機(jī)猜的水平。后來(lái)降到k7新舊類(lèi)的準(zhǔn)確率才平衡了。所以k值不是越大越好要根據(jù)數(shù)據(jù)集的復(fù)雜度來(lái)調(diào)。第三個(gè)坑是忘了做特征歸一化。不同任務(wù)的特征尺度可能不一樣如果不做歸一化最近鄰的關(guān)系會(huì)隨著任務(wù)變化而漂移拓?fù)鋼p失就不準(zhǔn)了。后來(lái)在計(jì)算拓?fù)鋼p失之前加了一個(gè)L2歸一化問(wèn)題就解決了。第四個(gè)坑是動(dòng)態(tài)調(diào)整的步長(zhǎng)設(shè)得太小。我一開(kāi)始設(shè)了0.001結(jié)果訓(xùn)練了10個(gè)epoch新舊類(lèi)的權(quán)重幾乎沒(méi)變新類(lèi)準(zhǔn)確率一直上不去。后來(lái)改成0.03調(diào)整效果就明顯了。這個(gè)步長(zhǎng)的選擇要看訓(xùn)練的總epoch數(shù)epoch多的時(shí)候可以設(shè)小一點(diǎn)epoch少的時(shí)候要設(shè)大一點(diǎn)。8. 一些實(shí)操建議如果你打算在自己的項(xiàng)目里試這個(gè)方法我的建議是先從一個(gè)小規(guī)模的數(shù)據(jù)集開(kāi)始比如CIFAR-10或者CIFAR-100的子集。用ResNet-18作為backbonek7lambda_topo0.1學(xué)習(xí)率0.05跑5個(gè)任務(wù)的增量學(xué)習(xí)。這個(gè)配置比較穩(wěn)容易復(fù)現(xiàn)出論文里的效果。跑通之后再逐步增加任務(wù)數(shù)、換更深的網(wǎng)絡(luò)、試更大的數(shù)據(jù)集。每次只改一個(gè)變量觀察新舊類(lèi)準(zhǔn)確率的變化。拓?fù)浔3址椒ǖ某瑓?shù)不多但每個(gè)都影響很大系統(tǒng)地調(diào)參比盲目試要高效得多。另外記得保存每個(gè)任務(wù)訓(xùn)練完之后的模型和特征方便后面做分析和對(duì)比。增量學(xué)習(xí)的實(shí)驗(yàn)周期比較長(zhǎng)中間結(jié)果很有價(jià)值不要跑完就扔。最后說(shuō)一個(gè)我自己的體會(huì)拓?fù)浔3诌@個(gè)方法的核心價(jià)值不在于它比所有其他方法都好而在于它提供了一個(gè)不同的視角。它提醒我們?cè)隽繉W(xué)習(xí)不只是參數(shù)更新和損失函數(shù)的問(wèn)題特征空間的幾何結(jié)構(gòu)同樣重要。這個(gè)視角可以和其他方法結(jié)合產(chǎn)生更好的效果。我在模擬項(xiàng)目里把拓?fù)浔3趾椭R(shí)蒸餾結(jié)合起來(lái)用總體準(zhǔn)確率比單獨(dú)用任何一種方法都高了3到4個(gè)百分點(diǎn)。所以不要把它當(dāng)成一個(gè)孤立的方案而是當(dāng)成一個(gè)可以嵌入到現(xiàn)有框架里的模塊這樣它的價(jià)值會(huì)更大。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
最新热中文字幕| 色香五月天| 婷婷伊人| 六月婷婷视频| 六月丁香婷婷在线波多| 中文字幕婷婷五月天| 五月婷婷 激情按摩| 久久婷.com| 襙逼网| 天天综合网~91综合网| 五月丁香日本片| 91麻豆国产三级精品福利在线观看| 婷婷五月色惰| 美女五月狠狠| 99色性爰网络| 性99网站| 深爱婷婷丁香五月激情| 五月天欧美激情| 五月丁香色| 无码碰碰| 热99玖玖99玖玖99九九| 亚洲精品又粗又大又爽A片| 日本久久性| 亚洲久久婷婷| 人人操人人爱丁香五月| 久久九九大香蕉电院| 婷色五月| 色情婷婷| 激情无码五月天| 日韩综合久| 丁香五月激情啪啪综合| 日韩av变天就操逼不卡区| 中文字幕日产A片在线看| 色婷天天| 五月婷亚洲精品AV天堂| 偷拍91九色| 日屌日日操日日色| 亚洲精品白浆高清久久久久久| 在线精品97| 丁香五月亚综合图片| 婷婷五月骚厕所| 亚洲无码播放| 五月婷婷深深爱| 丁香五月停停av| 玖玖在线资源视频| 影音先锋91网站在线观看| 超碰精品手机在线| 亚韩精品视频1区| 久久久久人妻中文| 五月丁香激情综合欧美| 婷婷社区五月天| 98色丁香五月婷婷综合网| 色综合久| 色啪综合| 五月婷在线| 巴基斯坦粉嫩无码视频| 九九re精品视频在线观看| 五月天激日本色情在线| 91丨九色丨熟女| 久久五月天婷婷| 免费无码毛片一区二区A片 | 天天干天天爽| 亚洲成人av在线播放| 开心五月天激情网站| 天天做 天天爱| 九九热视频免费| 五月天激情中文字幕| 激情综合五月色在线| 五月天免费色| 色婷婷另类| 另类图片五月天婷婷| 久久婷婷五月综合色欧美| 丁香五月婷综合网| 99热网站| 人与禽A片啪啪| 丁香六月亭亭久久综合| 亚洲综合99| 97色婷| 20253AV| 欧美性猛交 XXXX 乱大交| 99九精品| 蜘蛛女免费观看完整版高清电影 | 这里只精品| 99精品偷自拍| 大香蕉婷婷丁香视频在线| 婷婷在线精品| 久久伊人大香蕉| 婷婷亚洲激情在线观看视频| 激情五月丁香五月| 看黄的网站18禁| 四LLL少妇BBBB槡BBBB| 丁香五夜激情四射夜夜夜| 色色色99韩| 99热国产婷婷| 亚洲综合在线播放| 99性视频| 青草视频在线观看视频| 国产一级黄色影片,| 色拍九九九| 婷婷五月激情的图片| 五月丁香久久网| 色五月激情问网站| 99国产精品久久久久久久久久久 | 色婷婷五月影视| 综合狠狠干| 久久婷婷五月综合伊人| 久久精彩视频| 五月天丁香婷婷社区| 丁香五月激情婷婷| 婷婷午夜天| 激情综合网五月激情| 成人精品视频99在线观看免费| 久久久久久久久久久久久久久久久精典| 4399在线观看免费高清黄色视频| 26UUU在线观看| 五月丁香六月激情视频| 亚洲宗合激情| 综合久久婷婷五月丁香| 天天综合 99久久婷婷| 久久五月丁香| 色情久久久| 九九热视频免费| www.婷婷六月天| AA片在线观看视频在线播放| 99热乎| 婷婷五月骚厕所| 99热这里只有精品2| av操B网站| 99这里只有精品视频免费| www.五月天社区| 久久五月丁香| 99精品久久| 五月天另类图片| 色五月婷婷五月天| 99热这里都是精品| 久99久99精品免| 九九日伊人| 99在线观看| 日韩在线五月天婷婷| 国产成人+综合亚洲+天堂| 丁香久久九九99| 色欲五月天| 久久婷婷影院| 色综合区| 大香蕉啪啪| 五月天激情亚洲| 色婷婷最爱五月| 九九热黄色| 欧美乱码国产一级A片| 色婷婷九月综合| 丁香五月婷婷影院| 综合网五月天123| 婷婷五月婷婷| 天天干,天天舔| 久9久成人精品视频| 亚洲xx在线| 天天噜天天爱| 99久久户外勾搭| 婷婷欧美偷拍综合| 激情五月综合网| 99九九99九九九视频精彩| 五月丁香欧美综合| 五月婷婷之综合激情在线| 国产精品久久久60086| 激情五月天色色网| 精品国产va久久久久久久| 久久综合五月| 婷婷综合五月天激情| 可以看的av| 深夜男女福利刺激影院一区完整| 九九精品热| 激情丁香六月| 大香蕉娱乐| 激情综合五月婷婷| 五月天开心激情网色欲无码| 五月婷婷电影院| 激情丁香五月激情婷婷| 99热这里只有国产精品| 五月天丁香婷婷久久九| 色婷婷www| 日本在线观看aaa 99| 天天婷婷| 六月五月丁香五月欧美| 99在线免费视频播放| 噜噜色噜噜网| 超碰三级秋霞| 亚洲婷婷综合视频| 丁香六月啪| 五月天成人网婷婷| 久碰婷婷视频| 午夜天天精品视频| 丁香婷婷网| 久久婷婷激情五月天一区二区| 少妇被躁爽到高潮无码文| 丁香综合网| 婷婷玖玖丁香| 亚洲情综合五月天| www色五月| 天天爱天天做天天舔| 色亭亭九月| 亚洲在线资源| 九九激情视频| 丁香九月激情| 五月天婷婷丁香| 91九色欧美| 人妻AV在线观看| 97婷婷色| 色婷婷在线播放| 99re热视频这里只精品| 另类小说色婷婷| 色婷婷综合网站| 丁香五月成人| 人妻少妇色综合| 在线成人网址| 久久丁香综合香蕉| 中文字幕在线免费观看视频| 狠狠色综合网站| www一起操在线观看| VA色婷婷| 久久精品只有这| 久久性刺激| 九九热在线视频| 伍月婷丁香花全集| 五月天婷五月天综合网在线观| 一本大道嫩草AV无码专区| 九九在线精点品| 亚洲久久婷婷丁香五月天| 大香蕉久热| 人人色人人弄人人操| 91九色国产| 五月丁香婷婷AV| 人妻久久久久久久久妻久久久久| 26UUU一区二区| se色综合网| 强辱丰满人妻HD中文字幕| 激情综合五月| 久久精品人妻| 五月婷婷综合视频| 天天草天天摸| 五月天色区| 六月五月婷婷| 激情网五月婷婷| 亚洲精品乱码久久久久久综合| 国产精品国产| 91丨九色丨熟女丰满| 5Www色5夜| 亚洲色无码A片一区二区麻豆| 97综合在线| 婷婷激情人妻| 九热视频| 五月丁香色综合| 日本综合色色| 五月天婷婷Av| 九九热狼人| 少妇性BBB搡BBB爽爽爽电影| 五月婷婷色欲| 婷婷99狠| WWW免费视频碰碰碰碰| WWW.婷婷五月天.COM| 人人草人人看| 99爱免费视频在线观看| 99久久黄色顶级视频| www.99精品视频| 五月丁香本色在线观看| 青青青在线视频国产| 五月天丁香久久| 色婷婷九月| 精品国产人人爱人人| AV动漫不卡无码免费| 婷婷伊人综合| 国模九区| 丁香六月成人| 国产精产国品一二三在观看 | 碰人人操| 99ri视频在线观看| 爱穴久久| 久久综合五月情| 99免费视频| 成人短视频在线| 九九在线视频| 婷婷九月综合| 99热综合在线| 操操碰| 色婷婷精品视频| 五月婷婷网五月在线| 777丁香六月青青草婷婷综合久月| 这里有精品99| 五月激情五月丁香| 婷婷日| 狠狠操之狠狠操| 另类激情五月| 婷婷五月天美女| 丁香婷婷性爱| 蜜乳9188| 色婷婷六月综合| 日本婷婷网| 婷婷五月色播网| www,久久久| 亚洲av成人在线| 婷婷九月丁香| 六月丁香成人| 玖玖精品视频99| 先锋资源 996| 婷婷五月激情天| 国产精品人人妻人人爽| 26uuu丁香婷婷五月| 天天综合网在线| 色五月播五月| 欧美色五月| 伊人久久婷婷| 亚洲精品又粗又大又爽A片| 国产精品a无线| 尤物一区二区| 99精品超在线播放| 欧美激情丁香五月| 婷婷久久六月费| 亚洲婷婷成人五月天| 天堂草在线观| 91AV婷婷| 青草青草视频2免费观看| 在线中文AV| 奇米色大香蕉| PORNY九色9l自拍视频成人| 五月6香色婷婷视频| 99无码免费视频| 婷婷狠狠五月综合| 五月丁香啪| 五月激情视频| 三级黄色大片视频| 色五月婷婷激情基地| 色月九九| 丁香婷停五月激情综合深爱| 九九热在线视频| 狠狠干综合| 久草热久草在线视频| 色情成人五月天| 97碰碰在线观看视频| 色婷婷久久综合| 九九视频这里是精品五月| 中出内射的人妻视频| 欧美黄色韩日网| 久久五月视频| 国产精品成av人在线视午夜片| 丁香五月天激情四射网| 天天做天天爱天天爽在| 色五月成人| 九九香蕉网| 色域五月丁香| 久久久久妻| 99色播| 久婷五月| 五月天激情美女久久| 成人永久免费视频在线观看| 五月天婷婷爱丁香中文字幕| 五月婷婷性爱网| 99偷拍视频在线日本| 久久久久这里都是精品| 婷婷射丁香| 久久综合婷婷| 91热手机在线| 另类小说五月天激情| 国产免费一区二区三区三州老师F1F1.CC| 久久激情综合| 国产免费一区二区三区三州老师F1F1.CC| 九九蜜臀精品| 丁香五月AV| av中文字幕免费观看| 99精品久久久久久久| 五月丁香直播| 99色在线视频| 久久精品五月| 日日懆天天懆| 成人午夜视频精品一区| 97久久超碰| 成人综合伍月天| 激情六月婷婷| 九月婷婷综合| 婷婷月综合| 免费一区二区三区| 丁香五月丁香伊人| 91chinese在线| 91porn一起草| 五月婷婷开心五月| 97午夜一区二区| 秋霞午夜理论| 特级西西4444www无码| 丁香五月手机视频| 桔色成人在线| 四虎99热在线观看网站| 五月丁香婷婷激情| 99在线精品视频| 97视频.干com| 98色花堂98t.R| 丁香香蕉婷婷| 丁香色婷婷| 亞洲自怕| 思思久久99热只有频精品66| 91男人操女人视频| 国产美女最新VA在线免费观看| 久久久久er热| 丁香五月天导航| 久久婷婷色色| 狠狠爱综合| 超碰a女人的天堂| 97婷婷久久丁香| 色五婷婷| 日日操夜夜操中国无码| 这里只有精品视频99| 91919191919久久成人视频| 激情综合五月激情XXXX| 六月丁香网| 色五月天天在线观看资源站| 婷婷五月天伊人| 亚洲午夜AV| 综合久久久| 五月丁香色婷婷色| 伊人激情综合网| 91免费看片| 婷婷五月天狠狠色| 亚洲综合婷婷五月| 亚洲中文字幕网| 欧美婷婷日本| 99热在线播放| 五月婷婷成人w| 亚洲精品白浆高清久久久久久| caobi四区| 黑人糟蹋人妻HD中文字幕| 欧美天天五月丁香免费观看| 亚洲亚洲人成综合网络| 久久五月婷天天干| 色五月婷婷伊人| 五月婷婷婷| 亚洲成人网站在线播放| 色婷婷狠狠| 欧美欧盟性爱网| 久热大香蕉| 热久久99视频| 九月性爱网| 婷婷五月六月| 丁香五月首页| 99热在线观看| 看久久性爱99视频| 九九久久99精品免费观看www| 五月天激情亚洲| 天天开心婷婷丁香五月| 激情五月丁香五月综合| 国产精品久久久海的味道| 2017狠狠干| 色丁香久久| 九热视频这里只有精品| 成人在线日韩欧美| 久久香蕉影院| 99久久综合| 99婷婷国产最新视频| 色九月婷婷| 天天色爽| 亚洲天堂无码| 丁香五月天啪啪| 久久机热思思热| se.久久视频在线观看| 激情久久久久久| 青青草a在线| 国内熟女黄色系列| 超碰精品在线| 天天操综合网站| 激情六月天婷婷| 婷婷中文字幕| 五月婷婷,狠狠操| 久久婷婷六月| 五月丁了香蕉综合| 色婷婷丁香五月| 色亭亭五月天丁香综合AV - 百度 - 百度| 激情五月丁香婷婷夜夜操| 美女久久婷婷| 香蕉婷婷| 91精品综合久久久久久五月丁香| 99热成人永久免费| 丁香六月激情毛片| 伊人在线视频| www.色综合| 午夜无码精品色综合久久| 色色五月婷婷久久| 4399无码视频二区| 丁香五月av| 亚洲视频图片婷婷五月| 热这里只有精| 美女激情综合| 在线亚洲综合| 99热个人在线| 天天搞天天爽| 亚洲免费观看高清完整版AV线| 97色色色视屏| 最新av在线观看| 狠狠爱成人综合网| 五月天婷婷久久| 狠狠色大香蕉| 五月激情偷拍| 人妻肉射免费观看| 色婷婷婷av| 五月丁香最新| 婷婷丁香无码专区| 国产精产国品一二三在观看| 丁香五月性| 激情五月六月婷婷| 色区域网站视频| 天天爽成人综合网站| 综合网狠狠| 另类五月激情| 熟女人妻一区二区三区免费看| 亚洲乱码在线观看| 丁香五月天激情综合| 精品九九视频| 精品福利911| 那里有AV网址| 久热无码| AV九九| 大香蕉伊人爱在线| 亚洲XX网| sewuyuetingtingiii| 大香蕉 婷婷| 黄桃AV无码免费一区二区三区| 男女99免费视频| 色色国产| 天天操综合网| 五月婷婷六月情| 色婷婷丁香| 韩国久久少妇视屏| 五月深爱网| 激情激情激情网| 九九视频这里是精品五月| 91啪啪视频| 伊人久久大香线蕉av一区| 99热观看| 丁香五月电影院在线观看| 超级碰 久久9| 久久五月天丁香| 91在线资源| 色在线免费观看| 丁香五月熟女| 99在线综合视频| 色婷婷精品视频在线播放| 久久五月婷天天干| 五月丁香 狠狠爱| 99热午夜精品| 大香蕉在线观看9| 色婷九九九| 婷婷丁香视频| 自拍偷窥99热| 天堂婷婷五月在线| 五月综合在线婷婷图片| 99热这里只有精品无码| 99A片| 久热只有精品| 九九aV| 五月丁香婷婷成人网| 99热国产免费| 九九无码AV| jiujiuxiangjiaowang| 九九中文色色| 夜夜大香蕉婷婷丁香| 日本久久婷婷| 亚洲综合新99视频| 日本成人小说婷婷六月| 久久久久人妻精品| 亚洲色网址| 天堂无码人妻精品AV一区| 操操操97| 人人操操| 婷婷五月蜜桃成人桃色丁香| 久久人妻高清中文| 婷婷狠狠操| 99∨VTV| 操操操97| 99WWW免费视频| www.主妇. com| 婷婷亚洲在线| 五月天丁香成人| 这里只有精品视频在线| AV亚洲在线| 色婷婷69| www,色中色| 思思久久精品| 久久ww| 欧美日韩色色| 久久99精品九九久久久婷婷| 色婷婷丁香AV综合| 丁香五月人妻| AA片在线观看视频在线播放 | 久九色| 色色欧美色色| 久久人人九九| 日本成人小说婷婷六月| 婷综合| 无码成人AAAAA毛片AI换脸| 久久日韩婷婷五月| 亚州精品色情在线观看| 天天爱综合网| 99精品成人无码A片观看金桔| 另类图片五月激情| 久久久久亚洲A∨成人乱码电影| 激情五月色在线播放| 97自拍视频在线| 五月婷婷综合天天操| 成人网站在线观看视频| 中国激情网| 五月开心久久| 日韩AV在线免费观看| 亚洲婷婷六月天| 色色色五月婷| 丁香深五月婷婷| 亚洲综合在线伊人婷| 五月丁香淫淫婷婷婷| 五月婷婷丁香| 狼友视频在线观看18| 五月丁香无码| 偷偷与邻居做爰完整视频| 五月婷婷婷| 天天综合永久| 狠狠操综合| 欧美激情中文字幕| 99国产性感视频| 天天色播| 9l视频自拍9l九色成人| 99网99热| 婷婷色色宗合网| 丁香婷婷偷拍| 五月色婷婷综合| 光棍影院日韩精品| 久久婷婷五月天综合| 99精品偷自拍| 一起草无码视频| 五月 成人 婷婷| 婷婷五月综合色小姐小说| 夜夜骑日日操| 99在线精品观看99| 99精品在线观看视频| 午夜五月天| 韩日另类| 五月激情另类| 性爱久久| 99久久99热| 亚洲色五月天| 五月天亚洲图片婷婷| 久草a片| 伊人久热91| 俺去啦综合网| 日韩不卡123| 激情婷婷五月色| 成人看片网站| 思思99精品视频在线观看| 亚州操人在线视频| 久久久激情| 97碰在线视频| 亚洲操人| 色五月播五月| 激情五月婷婷她| 色五开心五月五月深深爱| 亚洲亚洲人成综合网络| 激情五月综合ì香亚洲| 九九99精品视频在线观看| 丁香五月激情宗合网| 综合色99| 亚洲天堂99| 超碰在线99| 亚洲欧美成人在线| 九九热99热| 99热这里| 99色网站| 五月在线婷色| 欧美精品在线观看| 婷婷五月六月丁香综合| 成人美女网| 五月花婷婷最新| 免费视频WWW在线观看网站| 天天日夜夜草进麻麻的子宫| 亚洲12p| 伍月婷丁香花全集| 中文字幕人妻AV| 色狠狠婷婷| 国产精品国产| 色五月婷婷九月| 91成人电影| 亚洲精品视频在线播放| 99 频99热国里只有精品| 色色色网站| 五月丁香 啪啪啪| 熟妇高潮一区av| 欧美日韩AAA| 超碰京东热av男人的天堂| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | www.maotanji.com| 婷婷色激情网| 国产美女无遮挡裸体毛片A片| 欧美英丁香开心快乐六月天网| 日本久久九| 精品久久这里热66| 五月久久婷婷| 五月花激情| 五月天自拍视频| AV在线二十六页| 五月色婷婷中文字幕| 看黄的网站18禁| 欧美十二区| 丁香五月天电影| 丁香五月婷婷狠狠色| 中字幕视频在线永久在线观看免费| 第四色婷婷五月| WWW.久久久久久久久久久久久| 99综合自拍| 丁香六月天婷婷在线| 大香蕉色婷婷伊人在线| 91碰碰视频| 久久久久婷婷五月热综合| 久婷狼色诱惑在线| 婷婷五月丁香综合激情| 五月综合777| 一起草aV| 蜜臀AV在线观看| 色婷婷狠狠18| 99re66热这里只有精品| 丁J香六月首页| 五月婷婷AV| 色丁香婷婷| 亚洲综合九九| 性爱五月婷| 天天插天天插天天插天天插| 狠狠干五月丁香综合网| 99成人网一区| 蜜臀99久久精品久久久久| 极品人妻VideOssS人妻| 狠狠插日日干撸| 六月色色| 五月深情久久| 亚洲经典三级| 色激情综合| 婷婷丁香五月综合网上 | 99这里只有免费的精品| 密乳Va| 大香蕉久久视频久久视频| 久久五月天视频| A网在线欧洲| 久久久精品视频79| 97日在线视频| 伊人爱爱日本| 丁香五月色情| 啪啪婷婷五月天激情| 国产精品久久7777777精品无码| a在线观看| 国产小网站| 变态 另类 在线| 99热亚洲精品| 影视av久久久噜噜噜噜噜三级| 婷婷五月天激情五月天网站| 丁香五月狠狠在线观看| 91久久综合| 五月婷婷亚洲色图| 婷婷大香焦| 六月丁香五月婷婷| 狠狠色丁香| av在线免费网站| 丁香五月区| 五月丁香欧美综合免费视频| 思思热久久阴99| 九九亚洲综合| 日韩在线一级| 5五月综合网亚洲| 激情五月天。| 五月婷婷电影院| 五月色综合| 五月丁香五月婷婷| 69久久99精品久久久久| 九九美女视频| 婷婷六月香| 久久涩视频| 人与禽A片啪啪| 大学生高潮无套内谢视频| 99热九九热| 啪啪激情综合| 综合网啪| 91视频精品99| 91狠狠色色丁香婷婷综合久久| 婷婷五月天国产| 久久偷拍综合五月天| 婷婷精品性性性性性性性| 伊人婷婷激情| 女人露出p毛视频www网站| 99自拍网| 九九九九国产| 亚洲精品视频在线| 亚洲黄色影视| 色婷婷综合网| 丁香色六月| 成人噜噜网| 99精品国产在热久久| 丁香色六月婷婷| 色欲久久综合| 99在线爽| 亚洲综合五月天综合| 另类小说婷婷色| 婷婷深爱网| 性日本精品| 99.色| 亚洲va欧洲va国产va不卡| 99色热综合| 激情五月天色婷婷综合| 丁香五月天无码| 伊人久久艹| 色五月天堂| 毛片新网地| 色999亚洲人成色| 人人色人人摸人人看| 国产夫妻操逼内射视频| 日日鲁鲁夜夜爽爽| 亚洲视频图片婷婷五月| 五月丁香激情综合网| 五月丁香婷婷俺| 青草激情综合| 亚洲第一综合| 亚洲操b| 五月天婷婷成人网| 97成人操| 色婷婷狠狠久久YY| 99热乎| 亚洲天堂AAA| 开心五月天激情网站| 亚洲婷婷五月天| 婷婷综合激情| 色一色综合| 激情五月婷婷她| 久久ww| 天天插天天很| 涩综合婷婷| 久久99精品视频| 亚洲成人无码专区| 五六月婷婷久久| www,超碰| www、丁香五月天| 成人五月天婷婷| 天天模,夜夜模夜夜爽| 性日本精品| 99热18| 影音先锋91在线资源站| 国产性爱一级| 99在线爽| 久色激情| 超碰av在线| 久久区区一二三av| 欧美日韩成人在线| 色婷婷色婷婷五月| 天天干天天干天天| 97精品人人A片免费看| 激情五月天色色色| 婷婷五月丁香av网站| 思思久热6| 色五月天堂| 成人中文网| 色婷婷69| 日逼免费视频| 久/久精品99看9| 91九九九色在| 樱花99视频| 五月综合无码| 国产精品日本一区二区在线播放| 狠狠色丁香久久婷婷综合五月| 日韩成人五月天| 精品久久久久久久人妻| 丁香五月久久| 中文字幕在线不卡视频| 另类的婷婷| 丁香五月婷婷大香蕉| 98国产精品综合一区二区三区| 久久伦乱| 婷婷六月激情在线视频| 大香蕉综合网| 91AV婷婷| 亚洲色婷婷五月| 五月色网| 91九色无码日韩| 婷婷五月六月丁香综合| 五月激情影视| 先锋资源婷婷| 婷婷五月天色网久| 色五月av| 91九色在线视频| 人人摸人人干人人做| 五月天六月色| 99热在线资源| 婷婷五月丁香伊人| 国产午夜精品AV一区二区麻豆| 日韩精品成人在线| 日本色色色| 99国产在线精品视频| 久久视频66| 97人人看| 99精品97| 婷婷五月六月| 九九九九热99超碰| 五月激情综合五月| 9色视频在线| 激情久久综合网| 丁香五月婷婷乱| 99超级碰免费视频| 亚洲区视频| 亚洲婷婷五月| 国产免费av在线| 天天狠狠插| 91九色在线观看免费| 婷婷综合网伊人| 思思99热| 色婷婷五月开心六月综合| 日日干日日| 一区二区乱视频码| 嫩草AV久久伊人妇女超级a| 专区无日本视频高清8| 狠狠舔| 亚洲热视频| 久久婷婷五月综合成人d啪| 自拍盗摄 另类| 性色九九| 色情免费视频播放| 中文字幕网伦射乱中文| 亚洲综合丁香五月| 午夜不卡久久精品无码免费| 婷婷五月丁香综合激情小说| 9999久久久久| 亚洲AV成人在线| 色五月天丁香| 久热大香蕉| 一起草av| 亚洲色精彩| 婷婷五月天丁香| 色婷婷欧美在线| 少妇水多A片太爽了| 欧美激情五月天在线观看| 99久久网站| 天天操夜夜夜拍拍拍| 日本少妇裸体做爰高潮片| 五月天婷婷色小说| 五月丁香婷婷伊人| 老司机伊人| 婷婷色基地在线看| 99热99精品| 五月天狠狠网站| 亚洲成人在线播放| 欧美日本一区二区三区| 国产亚洲99久久精品熟| 俺去也婷婷| 久久久久网站| 91欧美| 午夜九九电影| 91久女| 五月天婷婷基地| 久操激情| 99爱在线视频| 亚洲激情网站无码| 天天日色情| 天天干天天拍| 六月婷婷色综合| 开心激情站| 五月丁香花婷婷玉莉AV| 久久精品五月| jiZZdr| 99热这里只有精品13| 丁香五月伊人| 九九热大香蕉| 久久这里这里有精品免费视频| 777色色色| 激情综合网亚洲色图| 99精品久久久久久久久| 欧美三日本三级少妇三99| 成人av在线电影| 激情丁香五月婷婷| 色99网站| 丁香婷婷黄网站| 色婷婷成人做爰A片免费看网站| www久热com| 丁香久久九九99| 九九在线精品| 亚洲丁香五月| AV在线免费播放| 久久在线视频免费观看| 婷婷五月天小说网| 日韩欧美一级大黄网站| www,999日本色| 五月婷婷导航| 99热天堂| 噼里啪啦在线观看免费完整版视频| 婷婷五月天天aV| 伊人婷婷大香蕉| 五月婷婷黄色网址| 99成人| 国产精品色色色色| 美欧日韩国产成人在战| 亚洲亚洲人成综合网络| www.99热在线| 激情婷婷综合| 男人的天堂97| 福利视频在线播放| 亚洲综合另类| 久久人妻情侣| 亚欧州精品视频| 亚洲欧洲另类图片| 99热婷婷| 久久九九大香蕉电院| 婷婷精品在线| 丁香五月激情综合久久| 99热啪啪| 色婷婷五月视频| 99热99思午夜精品| 色九九九九| 97很鲁在线视频| 色~性~乱~伦~噜| 伊人啪啪网| 五月天六月天| 五月天激情久久| 婷婷丁香五月社区亚洲| 亚洲精品久久久久久久久久吃药| 噜噜狠狠色综合久| 天天爽天天爽夜夜爽| 99热最新网址| 天堂网色色| 超碰69天堂| 激情网五月天| 大香蕉婷婷五月天| www.婷婷五月天.com| 丁香六月 婷婷六月| 黄网网站在线播放| 中文字幕成| 婷婷丁香五月在线观看91| 国产又粗又大又爽又黄| 99re热在线视频| 五月亭亭直播| 色婷婷狠狠干芒果TV| 丁香久色| AV色五月婷婷| 色色色干| 久久综合色五月| 狠狠色婷婷777| 888精品福利地址| 日本色图综合| 五月婷婷综合影院| 91操黄| 国产看真人毛片爱做A片| 久久a热| 91人人操人人| 欧美色99| 色五月涩涩婷婷| 亚洲第一精品网站| 天天爽天天摸| 九九久久这里只有精品XB| 99热精品少| 激情丁香婷婷五月天| 丁香五月另类色婷婷麻豆| 99re热在线视频观看| 五月婷婷,六月婷婷| 中文超碰视在线| 啪啪日热| 婷婷综合婷婷| 免费观看18视频网站| 国产亚洲精品AAAAAAA片| 五月丁香久久| 激情五月丁香五月| 99天堂网| 五月婷婷五月天| 丁香六月综合激情| www.夜夜操| 国产精品色| 中文字幕日产A片在线看| 五月天婷婷久久| 538在线精品| 婷婷亚洲综合| 天天日天天爽| 九九操屄| 色色9 9| 亚洲情欲久久| 狠狠色九月| 欧美VA视频| 五月婷婷深深爱| 欧美激情综合| 婷五月天天| 五月六月丁香婷婷在线观看| 五月天激情Av| 九色色| 深爱激情综合网| 桔色成人在线| 成人va在线播放| 婷婷亚洲综合| 丁香婷婷基地| 亚洲高清在线| 色五月婷婷7777| www.久操| 亚洲综合另类| 99久热在线精品| 激情国产综合| 99熟女视频| 激情久久五月天| 久久五月天大美女| 色情五月天se| 99色最新在线视频网站| 99热免费精品| 丁香久久综合| 饮料下药迷倒漂亮女同事强干| 国产人妻777人伦精品HD| 五月天婷婷青青草| 天天综合91入口| 青青热视频| 中文不卡一二三区| 日本va欧美va欧美va| 综合激情在线| 五月婷色| 色五月婷婷丁香凹凸| 26uuu精品一区二区| 五月丁香激情综合六月涩涩爱| 在线婷婷| 五月婷色丁香| 日本成人小说婷婷六月| 99热97| 婷婷久久综合久| 激情综合网激情五月俺也去| 99五月婷| 色9色| 五月深爱网| 丁香九月婷婷综合| .青娱乐天天操B| 极品五月天| 99在线观看视频免费| 日本欧美国产| 97干在线视频| 五月丁香色色色| 色综合丁香| 无码四色色色| rr天天操| 成人综合网站| 毛v一区二区视频| 華人性愛AV在線| 欧美综合五月丁香五月天| 激情五月天 婷婷| 91狠狠综合久久久| 另类视屏| 五月丁香日本在线视频观看| 新伍月婷婷| 亚洲人妻AV| 日韩在线观看网址| 91成人看片| 亚洲色 视频| 69精品人人人人| 丁香五月天激情四射网络不好| 丁香五月性| 色婷婷小说网| 五月婷婷影院| 天堂网色色| 午夜无码精品色综合久久| 日本久久婷| 久久久.www| 色色色在线播放| 婷婷色色丁香五月天| 51精品国自产在线| 欧美va视频| 狠狠做深爱婷婷久久综合一区| www.婷婷六月天| h亚洲| 美国天天日天天操| 亚洲第一综合| 久久 婷婷 五月天| 开心五月婷| 丁香激情网| 日韩一级淫乱片一区二区三区| 久久99精品久久久久久三级| 99原创自拍视频在线观看| 99色激| 免费视频无码| 日操夜操天天操不卡| 天天噜天天爱| 色情综合| 久热亚洲| 五月婷婷色激情| 婷婷D区| 九九久久综合| 婷婷成年人免费视频| 无人区码一码二码三码医生系列| 超碰免费人妻| 狠狠色成人影片| www.夜夜爱.com| 丁香五月亭亭六月综合激情网| 婷婷99狠狠躁天天| 黄色热99| 狠狠色中色| 婷婷五月中文字幕国产| 啊v视频在线观看| 色五月大| 人妻久久久久久久久久久| 日曰躁夜夜躁2026| 黄色99网| 这里只有精品1| 欧美va视频| 91碰碰视频| 亚洲成人中心| 色婷婷激情| 伊人五月天97| 99热在这里只有精品| 国成人网| 五月婷婷人妻| 超碰啪啪网| 2015好吊操| 俺去也五月天婷婷| 97碰碰人人| 99热.com| 五月 成人 婷婷| 婷婷射图| 久久久99免费视频| 九九热99视频| 91疯狂操操操操| 色婷久| 97色啪| 婷婷色播婷婷| 操人无码| 久热这里只有精品6| AV色五月婷婷| site:pnnrt.com| 激情深爱综合| 性做久久久久久久免费看| 丁香五月视频在线观看| 99精品在线观看| 五月天伊人日日噜影片AV| 99色热综合| 欧美国产一区二区三区| 9999热在线| 色色综合网络| 九九综舍久久| 97色婷婷成人综合在线观看| 亚洲AV成人片无码网站| AV在线大香蕉| 人人摸人人干| 色五月五月丁香| 欧美色综合天天久久综合精品| 婷婷丁香五月天色播网站| 色色色网站| 五月天婷婷色播在线网| 99视频日韩| 丁香五月在线| 久久狠狠干| 婷婷五月天网| 亚洲精品色色色| 丁香五月婷婷婷桃花影院| 久久久WWW| 六月婷婷五月丁香首页| 强辱丰满人妻HD中文字幕| 天天色综合网吨吧| 丁香久久久| 久久婷综合| 淫荡综合网| 嫩草视频观看| 色综合久久888| 玖玖资源站蜜臀| 91碰超| 色偷偷五月天| 亚洲成人色五月婷婷综合| 影音先锋自拍网| 深爱激情丁香| 亚洲九区| 国产又爽又猛又粗的视频A片 | 综合色色婷婷| 任你擦免费视频| 天天日天天色| 色狠狠色噜噜AV天堂五区消防| 婷婷综合精品|