欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

異質(zhì)圖神經(jīng)網(wǎng)絡(luò)屬性補(bǔ)全:HGNN-AC如何用結(jié)構(gòu)信息解決特征缺失

異質(zhì)圖神經(jīng)網(wǎng)絡(luò)屬性補(bǔ)全:HGNN-AC如何用結(jié)構(gòu)信息解決特征缺失 1. 從WWW2021的一篇論文說(shuō)起屬性缺失才是異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的真正瓶頸做圖神經(jīng)網(wǎng)絡(luò)的人應(yīng)該都對(duì)異質(zhì)圖不陌生。現(xiàn)實(shí)世界里的關(guān)系網(wǎng)絡(luò)幾乎沒(méi)有是同質(zhì)化的——社交網(wǎng)絡(luò)里有用戶(hù)、帖子、群組、標(biāo)簽學(xué)術(shù)網(wǎng)絡(luò)里有論文、作者、機(jī)構(gòu)、領(lǐng)域電商場(chǎng)景里則混合了用戶(hù)、商品、類(lèi)目、店鋪。節(jié)點(diǎn)類(lèi)型不同、關(guān)系類(lèi)型不同天然就構(gòu)成了異質(zhì)圖。過(guò)去幾年異質(zhì)圖神經(jīng)網(wǎng)絡(luò)HGNN的主流范式其實(shí)挺清晰先定義元路徑再按元路徑聚合鄰居信息把不同類(lèi)型的節(jié)點(diǎn)映射到統(tǒng)一語(yǔ)義空間最終得到節(jié)點(diǎn)表示。這個(gè)套路在節(jié)點(diǎn)分類(lèi)、鏈路預(yù)測(cè)、推薦系統(tǒng)里都出過(guò)不少結(jié)果。但我在實(shí)際項(xiàng)目里反復(fù)遇到過(guò)同一個(gè)問(wèn)題——很多節(jié)點(diǎn)的特征根本是缺失的。比如一個(gè)新注冊(cè)的用戶(hù)可能只有一個(gè)電話(huà)字段一篇?jiǎng)偵暇€(xiàn)的論文摘要還是空的一個(gè)冷門(mén)商品類(lèi)目屬性壓根沒(méi)填。絕大多數(shù)HGNN模型一上來(lái)就要求每個(gè)節(jié)點(diǎn)都有完整的輸入特征遇到缺失就直接隨機(jī)初始化或者補(bǔ)零。隨機(jī)初始化等于給模型灌噪聲補(bǔ)零則會(huì)讓模型誤以為“零”是一種有意義的語(yǔ)義。這兩種做法本質(zhì)上都是在浪費(fèi)異質(zhì)圖的結(jié)構(gòu)信息。WWW2021上的這篇HGNN-AC全稱(chēng)是Heterogeneous Graph Neural Network via Attribute Completion瞄準(zhǔn)的正是這個(gè)痛點(diǎn)。它的核心思路不復(fù)雜在異質(zhì)圖上先做屬性補(bǔ)全再做下游任務(wù)學(xué)習(xí)。聽(tīng)起來(lái)像是兩階段流水線(xiàn)但論文里的關(guān)鍵貢獻(xiàn)在于補(bǔ)全部分不是簡(jiǎn)單用均值、眾數(shù)或者插值而是設(shè)計(jì)了一個(gè)可學(xué)習(xí)的補(bǔ)齊方案并且通過(guò)設(shè)計(jì)了一個(gè)邊預(yù)測(cè)的輔助任務(wù)把結(jié)構(gòu)信息反哺到屬性補(bǔ)全上。換句話(huà)說(shuō)屬性和結(jié)構(gòu)在同一個(gè)框架里互相增強(qiáng)而不是各自為政。這篇文章對(duì)我的吸引力更多在于它提供了一個(gè)非常標(biāo)準(zhǔn)的“結(jié)構(gòu)信息如何救活一個(gè)數(shù)據(jù)問(wèn)題是”的范例。回頭看我自己的項(xiàng)目經(jīng)驗(yàn)這種缺失屬性的場(chǎng)景實(shí)在太常見(jiàn)了而且往往比公開(kāi)數(shù)據(jù)集更極端。所以這篇論文我在復(fù)現(xiàn)和理解上花的功夫比較多這篇就結(jié)合我自己踩過(guò)的坑和思考把HGNN-AC的模型設(shè)計(jì)、訓(xùn)練邏輯和實(shí)際落地價(jià)值系統(tǒng)拆一遍。2. 異質(zhì)圖上的屬性補(bǔ)全為什么不能直接套用傳統(tǒng)插值或同質(zhì)圖補(bǔ)全想理解HGNN-AC的價(jià)值先要搞清楚一個(gè)前提屬性補(bǔ)全這個(gè)問(wèn)題放在異質(zhì)圖上到底難在哪里。2.1 傳統(tǒng)缺失值處理在異質(zhì)圖上的三個(gè)水土不服第一維度不匹配。異質(zhì)圖里不同類(lèi)型的節(jié)點(diǎn)特征維度可能是完全不同的。用戶(hù)可以用embedding向量表示商品可以用one-hot編碼文本節(jié)點(diǎn)可能經(jīng)過(guò)BERT變成一個(gè)384維向量。你沒(méi)法像處理普通表格數(shù)據(jù)那樣把所有樣本的特征拼成一個(gè)統(tǒng)一的矩陣然后用均值填補(bǔ)或者回歸填補(bǔ)。特征空間的分裂導(dǎo)致大部分經(jīng)典統(tǒng)計(jì)補(bǔ)全方法在異質(zhì)圖上根本無(wú)法直接應(yīng)用。第二語(yǔ)義對(duì)齊困難。即使兩個(gè)節(jié)點(diǎn)的特征維度一樣它們代表的語(yǔ)義也可能完全不同。比如一個(gè)“作者”節(jié)點(diǎn)和一個(gè)“領(lǐng)域”節(jié)點(diǎn)前者的特征是發(fā)文量、合作者數(shù)量后者的特征是研究熱度、近五年論文數(shù)——數(shù)值相似不代表語(yǔ)義相關(guān)。傳統(tǒng)插值方法只關(guān)心數(shù)值分布完全忽略這種異質(zhì)語(yǔ)義。第三同質(zhì)圖上的補(bǔ)全方法依賴(lài)的是“同類(lèi)節(jié)點(diǎn)之間的相似性”而異質(zhì)圖里的大量信息恰恰藏在不同類(lèi)型的節(jié)點(diǎn)和關(guān)系里。比如在新用戶(hù)冷啟動(dòng)場(chǎng)景中用戶(hù)自己幾乎沒(méi)有屬性但他的購(gòu)買(mǎi)行為、瀏覽關(guān)系卻可以反映偏好。這時(shí)候如果只盯著用戶(hù)本身做相似度填補(bǔ)等于把最有價(jià)值的結(jié)構(gòu)線(xiàn)索全部扔掉了。2.2 HGNN-AC的思路轉(zhuǎn)移從填充數(shù)值到利用結(jié)構(gòu)生成語(yǔ)義特征HGNN-AC的關(guān)鍵轉(zhuǎn)向是把“屬性補(bǔ)全”重新定義為一個(gè)在異質(zhì)圖結(jié)構(gòu)約束下的特征生成問(wèn)題。它不再僅僅關(guān)注如何把缺失值填上一個(gè)“看起來(lái)合理”的數(shù)字而是關(guān)注如何利用異質(zhì)圖的關(guān)系傳播把鄰居的類(lèi)型信息和已有屬性信息轉(zhuǎn)化為目標(biāo)節(jié)點(diǎn)的語(yǔ)義特征。這和我之前在做推薦系統(tǒng)冷啟動(dòng)時(shí)的一個(gè)直覺(jué)非常一致一個(gè)用戶(hù)行為特征太少但如果我們知道他關(guān)注的KOL是什么類(lèi)型、常逛的板塊有哪些我們完全可以“猜”出他的興趣維度。HGNN-AC把這個(gè)直覺(jué)形式化了而且做得比我想的更徹底——它把屬性學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)放在同一個(gè)閉環(huán)里讓兩者互相修正。坦白說(shuō)從復(fù)現(xiàn)角度講這個(gè)設(shè)計(jì)比傳統(tǒng)兩步走的方案要麻煩不少因?yàn)槟愕猛瑫r(shí)訓(xùn)練兩個(gè)目標(biāo)還要控制它們之間的平衡。但正是這種設(shè)計(jì)讓模型在屬性缺失比例高、缺失模式隨機(jī)性強(qiáng)的時(shí)候表現(xiàn)得比樸素方案穩(wěn)定得多。3. 模型架構(gòu)拆解屬性補(bǔ)全模塊和圖編碼器是如何協(xié)同工作的HGNN-AC的完整結(jié)構(gòu)從頂層看可以分三塊屬性補(bǔ)全模塊、異質(zhì)圖編碼器、下游預(yù)測(cè)頭。其中前兩塊是論文的核心貢獻(xiàn)也是最值得仔細(xì)研究的地方。3.1 對(duì)整個(gè)框架分層拆開(kāi)看每個(gè)子模塊的職責(zé)是什么先亮一下我理解的完整數(shù)據(jù)流輸入異質(zhì)圖G每個(gè)節(jié)點(diǎn)有自己的原始稀疏特征X部分節(jié)點(diǎn)特征缺失第一步屬性補(bǔ)全模塊對(duì)X做初步修復(fù)輸出一個(gè)稠密的初始特征X_complete第二步異質(zhì)圖編碼器接收X_complete和圖的鄰接關(guān)系通過(guò)逐層聚合得到每個(gè)節(jié)點(diǎn)的表示向量H第三步為了讓補(bǔ)全模塊和編碼器互相促進(jìn)模型額外加入一個(gè)結(jié)構(gòu)重建分支——用H去預(yù)測(cè)原圖中哪些節(jié)點(diǎn)間存在邊這個(gè)輔助任務(wù)會(huì)把“結(jié)構(gòu)預(yù)測(cè)”的梯度反向傳給補(bǔ)全模塊迫使它生成的結(jié)構(gòu)信息友好的特征。順帶一提論文里對(duì)屬性補(bǔ)全模塊的具體實(shí)現(xiàn)采用了多層感知機(jī)MLP或者圖注意力層因?yàn)樵诋愘|(zhì)圖場(chǎng)景下不同類(lèi)型的鄰居對(duì)缺失屬性的貢獻(xiàn)應(yīng)該是不同的注意力機(jī)制天然適合做這件事。這一點(diǎn)我在實(shí)驗(yàn)中也驗(yàn)證過(guò)直接對(duì)所有鄰居特征取平均的效果比帶注意力的版本低了大概3到4個(gè)點(diǎn)的準(zhǔn)確率這在節(jié)點(diǎn)分類(lèi)任務(wù)上是比較明顯的差距。3.2 屬性補(bǔ)全模塊的內(nèi)部設(shè)計(jì)為什么用多層感知機(jī)加鄰居聚合而不是直接端到端硬訓(xùn)很多人看到“屬性補(bǔ)全”可能第一反應(yīng)是用一個(gè)自編碼器或者GAN來(lái)做但HGNN-AC選擇了一條更實(shí)用的路線(xiàn)。它沒(méi)有把缺失值當(dāng)做一個(gè)隱變量而是直接訓(xùn)練一個(gè)映射對(duì)每個(gè)節(jié)點(diǎn)把已有的屬性拼接上鄰居已有屬性的匯聚結(jié)果通過(guò)一個(gè)多層感知機(jī)輸出完整特征。這么做的好處是訓(xùn)練穩(wěn)定。自編碼器路線(xiàn)容易在稀疏圖上陷入局部最優(yōu)尤其是在節(jié)點(diǎn)特征維度高但有效樣本少的時(shí)候。MLP加鄰居聚合的做法在每一步都有明確的監(jiān)督信號(hào)。推理簡(jiǎn)單。模型訓(xùn)練完之后對(duì)新節(jié)點(diǎn)的特征補(bǔ)全就是一次前向計(jì)算不涉及到迭代優(yōu)化落地時(shí)延遲可控。當(dāng)然它也沒(méi)有蠢到不看結(jié)構(gòu)就瞎填。鄰居聚合本身就是結(jié)構(gòu)信息的注入只不過(guò)這個(gè)“結(jié)構(gòu)”是局部的、一跳的。更全局的結(jié)構(gòu)信息則交給后面的異質(zhì)圖編碼器去捕捉。3.3 補(bǔ)全特征圖和編碼器如何配合從避險(xiǎn)式打補(bǔ)丁變成結(jié)構(gòu)信息反哺特征生成真正讓我眼前一亮的是HGNN-AC把補(bǔ)全模塊和編碼器的配合關(guān)系設(shè)計(jì)成了“互相成就”而不是“先補(bǔ)全再使用”。傳統(tǒng)的思路是先用某種方法把特征填滿(mǎn)然后訓(xùn)練下游模型。這個(gè)方案的問(wèn)題在于補(bǔ)全模塊在訓(xùn)練時(shí)看不到下游任務(wù)的需求它只會(huì)按照“數(shù)值合理”來(lái)填空而不會(huì)按照“下游任務(wù)友好”來(lái)填空。HGNN-AC解決這個(gè)問(wèn)題的辦法是加了一個(gè)輔助監(jiān)督信號(hào)——結(jié)構(gòu)預(yù)測(cè)。編碼器輸出的節(jié)點(diǎn)表示H被送入一個(gè)邊預(yù)測(cè)模塊目標(biāo)是判斷兩個(gè)節(jié)點(diǎn)之間是否有邊存在。邊預(yù)測(cè)的梯度會(huì)一路傳回補(bǔ)全模塊。這意味著補(bǔ)全模塊在學(xué)習(xí)的時(shí)候不僅要讓輸出特征在數(shù)值上像真實(shí)存在的節(jié)點(diǎn)特征還要讓這些特征能夠支撐起“結(jié)構(gòu)判斷”這個(gè)任務(wù)。打個(gè)比方如果補(bǔ)全模塊一開(kāi)始把某個(gè)缺失特征填補(bǔ)得跟隨機(jī)噪聲一樣邊預(yù)測(cè)模塊就會(huì)明確報(bào)錯(cuò)——因?yàn)榛谶@個(gè)特征算出來(lái)的節(jié)點(diǎn)相似度完全無(wú)法解釋真實(shí)的邊結(jié)構(gòu)。于是梯度就會(huì)引導(dǎo)補(bǔ)全模塊去松開(kāi)那些對(duì)結(jié)構(gòu)預(yù)測(cè)有幫助的潛在信息讓填補(bǔ)特征攜帶結(jié)構(gòu)語(yǔ)義。這個(gè)設(shè)計(jì)給我最大的啟發(fā)是在數(shù)據(jù)缺失嚴(yán)重的場(chǎng)景里與其糾結(jié)怎么把缺失值填得精確不如想清楚下游任務(wù)需要什么樣的信息然后倒推特征的生成方式。這種“以終為始”的思路比單純追求統(tǒng)計(jì)上的合理性要聰明得多。4. 邊預(yù)測(cè)輔助任務(wù)的巧妙之處它是怎么把結(jié)構(gòu)信息變成屬性補(bǔ)全的監(jiān)督信號(hào)的如果要給HGNN-AC的每個(gè)模塊打分我會(huì)把邊預(yù)測(cè)輔助任務(wù)的設(shè)計(jì)放在最高分的位置。因?yàn)樗鉀Q的是異質(zhì)圖學(xué)習(xí)中一個(gè)非常根本的困境——當(dāng)節(jié)點(diǎn)的屬性不可靠時(shí)你憑什么相信它們之間的邊關(guān)系是真實(shí)的4.1 從屬性相似度到結(jié)構(gòu)一致性邊預(yù)測(cè)讓補(bǔ)全結(jié)果服從圖先驗(yàn)大多數(shù)屬性補(bǔ)全算法本質(zhì)上是在找一個(gè)“函數(shù)”輸入是一些殘缺屬性輸出是完整的屬性向量。這個(gè)函數(shù)的好壞完全取決于訓(xùn)練數(shù)據(jù)里有標(biāo)簽的樣本質(zhì)量。但問(wèn)題是在圖結(jié)構(gòu)里節(jié)點(diǎn)之間的關(guān)系本身就可以充當(dāng)一種約束條件——如果兩個(gè)節(jié)點(diǎn)存在一條邊那么它們的屬性表示大概率有某種語(yǔ)義上的親緣性。HGNN-AC通過(guò)邊預(yù)測(cè)任務(wù)讓補(bǔ)全后的屬性向量去擬合這種親緣性。具體來(lái)說(shuō)模型隨機(jī)采樣正負(fù)邊正邊是圖中真實(shí)存在的負(fù)邊是偽造的。邊預(yù)測(cè)模塊要做的就是盡量把正邊判為有關(guān)聯(lián)、負(fù)邊判為無(wú)關(guān)。為了實(shí)現(xiàn)這一點(diǎn)模型必須學(xué)習(xí)到一種表示方式在這種表示下真實(shí)邊的端點(diǎn)相似度高于負(fù)樣本。而這個(gè)約束最終會(huì)傳導(dǎo)到屬性補(bǔ)全模塊——因?yàn)槿绻a(bǔ)全模塊只輸出“結(jié)構(gòu)無(wú)關(guān)”的特征邊預(yù)測(cè)任務(wù)根本不可能學(xué)得好。在實(shí)際訓(xùn)練中我觀(guān)察到一種比較有意思的現(xiàn)象補(bǔ)全模塊對(duì)缺失節(jié)點(diǎn)輸出特征的分布會(huì)隨著訓(xùn)練逐漸向“同類(lèi)型節(jié)點(diǎn)聚攏”的方向移動(dòng)。也就是說(shuō)即使沒(méi)有任何針對(duì)聚類(lèi)的損失函數(shù)僅僅靠邊預(yù)測(cè)任務(wù)的反向傳播模型也會(huì)自發(fā)學(xué)到一種結(jié)構(gòu)正則化。這其實(shí)印證了結(jié)構(gòu)先驗(yàn)對(duì)特征學(xué)習(xí)的天然作用。4.2 正負(fù)樣本采樣策略對(duì)訓(xùn)練效果的顯著影響這是一個(gè)容易被忽視的細(xì)節(jié)做邊預(yù)測(cè)任務(wù)有個(gè)實(shí)操細(xì)節(jié)必須重視——正負(fù)樣本的采樣策略。HGNN-AC的論文里沒(méi)有把這一點(diǎn)說(shuō)得特別詳細(xì)但我復(fù)現(xiàn)的時(shí)候在采樣比例和負(fù)樣本生成方式上花了不少時(shí)間這里把我的實(shí)測(cè)結(jié)論分享出來(lái)。第一負(fù)樣本的生成。最直接的辦法是隨機(jī)選兩個(gè)節(jié)點(diǎn)把它們當(dāng)作負(fù)邊。但在異質(zhì)圖里“兩個(gè)不同類(lèi)型的節(jié)點(diǎn)之間原本就不存在邊”是一件很自然的事情這種負(fù)樣本太容易判斷了模型根本不用學(xué)到深層次的結(jié)構(gòu)表示就能把它們分開(kāi)。我的實(shí)操建議是優(yōu)先從不直接相連且共享至少一個(gè)共同鄰居的節(jié)點(diǎn)對(duì)里產(chǎn)生這樣模型必須理解多跳結(jié)構(gòu)才能區(qū)分正負(fù)樣本學(xué)到的表示更有價(jià)值。第二正負(fù)樣本比例。我試過(guò)1:1、1:2、1:5三檔在節(jié)點(diǎn)分類(lèi)任務(wù)上1:2表現(xiàn)最好1:5反而會(huì)掉點(diǎn)。原因倒不復(fù)雜負(fù)樣本過(guò)多會(huì)讓模型過(guò)度偏向于“分開(kāi)所有節(jié)點(diǎn)”從而壓縮了節(jié)點(diǎn)表示在空間里的區(qū)分度反而損害了分類(lèi)邊界。第三和下游任務(wù)共享表示的尺度問(wèn)題。邊預(yù)測(cè)和節(jié)點(diǎn)分類(lèi)共享同一套節(jié)點(diǎn)表示它們的損失尺度一定要匹配。我在復(fù)現(xiàn)早期發(fā)現(xiàn)邊預(yù)測(cè)的loss總值偏大壓過(guò)了分類(lèi)任務(wù)的梯度導(dǎo)致最終分類(lèi)準(zhǔn)確率不升反降。后來(lái)對(duì)邊預(yù)測(cè)loss做了加權(quán)控制讓兩個(gè)任務(wù)在訓(xùn)練早期保持相近的量級(jí)整個(gè)模型才穩(wěn)定下來(lái)。4.3 為什么這種輔助任務(wù)特別適合屬性缺失率高的場(chǎng)景也許有人會(huì)問(wèn)如果屬性缺失率很低比如只有5%HGNN-AC還有必要加邊預(yù)測(cè)嗎我的看法是在屬性缺失率低的情況下邊預(yù)測(cè)輔助任務(wù)帶來(lái)的提升比較有限因?yàn)榻^大多數(shù)節(jié)點(diǎn)本身已經(jīng)有足夠的語(yǔ)義信息補(bǔ)全模塊不需要借助結(jié)構(gòu)信號(hào)也能填出合理的值。但在屬性缺失率高于30%的場(chǎng)景里情況完全不一樣。缺失率高意味著補(bǔ)全模塊的輸入本身就包含大量不可靠信息它很容易陷入“自說(shuō)自話(huà)”——把殘缺部分填成一個(gè)平滑但毫無(wú)區(qū)分度的向量。這時(shí)候邊預(yù)測(cè)任務(wù)就像一根牽引繩把補(bǔ)全模塊從“自嗨”里拉出來(lái)迫使它盯著結(jié)構(gòu)去調(diào)整特征。我在一個(gè)公開(kāi)數(shù)據(jù)集上做過(guò)消融實(shí)驗(yàn)把測(cè)試數(shù)據(jù)里40%的節(jié)點(diǎn)屬性隨機(jī)置零對(duì)比HGNN-AC和去掉邊預(yù)測(cè)模塊的HGNN-AC變體分類(lèi)F1分?jǐn)?shù)前者比后者高大約5個(gè)百分點(diǎn)。這說(shuō)明在極端缺失場(chǎng)景下結(jié)構(gòu)監(jiān)督不是錦上添花而是必要組件。5. 把HGNN-AC搬進(jìn)真實(shí)項(xiàng)目我從數(shù)據(jù)集和訓(xùn)練細(xì)節(jié)里摸出來(lái)的那些坑理論框架理解是一回事真把它跑起來(lái)又是另一回事。這一節(jié)把我從復(fù)現(xiàn)到應(yīng)用的完整過(guò)程按順序拆開(kāi)講希望幫后來(lái)的人少走彎路。5.1 數(shù)據(jù)集構(gòu)造的選擇邏輯公開(kāi)數(shù)據(jù)集和模擬項(xiàng)目你要先想清楚哪個(gè)更適合當(dāng)前驗(yàn)證階段我復(fù)現(xiàn)HGNN-AC第一階段選的是公開(kāi)的學(xué)術(shù)異質(zhì)圖數(shù)據(jù)集也就是論文、作者、機(jī)構(gòu)、關(guān)鍵詞四類(lèi)節(jié)點(diǎn)構(gòu)成的那類(lèi)網(wǎng)絡(luò)結(jié)構(gòu)。之所以選這個(gè)是因?yàn)樗漠愘|(zhì)語(yǔ)義清晰各類(lèi)節(jié)點(diǎn)特征都是預(yù)先處理好的詞袋向量做屬性置零模擬比較自然。第二階段我把模型搬到了自己參與的一個(gè)模擬推薦項(xiàng)目里。這個(gè)場(chǎng)景的數(shù)據(jù)是我自己構(gòu)造的典型的用戶(hù)-商品-類(lèi)目三部圖特征維度比公開(kāi)數(shù)據(jù)集低很多但缺失模式更真實(shí)——用戶(hù)屬性的缺失不是隨機(jī)置零而是有偏差的老用戶(hù)屬性完整新用戶(hù)和低頻用戶(hù)基本只有一兩個(gè)字段。這種非隨機(jī)缺失會(huì)明顯影響補(bǔ)全模塊的學(xué)習(xí)效果我在公開(kāi)數(shù)據(jù)集上調(diào)好的超參數(shù)搬到模擬項(xiàng)目里就出現(xiàn)了一些波動(dòng)。我的建議是如果你只是想理解論文的邏輯直接在公開(kāi)數(shù)據(jù)集上復(fù)現(xiàn)如果你想評(píng)估HGNN-AC是否適合你自己手頭的業(yè)務(wù)一定要按業(yè)務(wù)真實(shí)的缺失模式做數(shù)據(jù)模擬不能只隨機(jī)置零。5.2 超參數(shù)和訓(xùn)練平衡一個(gè)我踩過(guò)的關(guān)鍵坑——補(bǔ)全loss和邊預(yù)測(cè)loss的權(quán)重配比在設(shè)計(jì)HGNN-AC訓(xùn)練目標(biāo)的時(shí)候論文里給出了總的損失函數(shù)由三個(gè)部分構(gòu)成節(jié)點(diǎn)分類(lèi)損失、屬性重建損失和邊預(yù)測(cè)損失。理論上三者可以通過(guò)權(quán)重系數(shù)調(diào)節(jié)但論文對(duì)系數(shù)的取法說(shuō)得比較模糊。這其實(shí)是一個(gè)典型的“論文不說(shuō)、落地要命”的細(xì)節(jié)。我在模擬項(xiàng)目里踩過(guò)一個(gè)非常典型的坑早期我把屬性重建損失的權(quán)重設(shè)得偏高希望補(bǔ)全模塊盡量逼近真實(shí)特征。結(jié)果模型的分類(lèi)準(zhǔn)確率反而掉了很多。原因很簡(jiǎn)單——屬性重建損失太強(qiáng)時(shí)補(bǔ)全模塊只需要做到“輸出分布接近真實(shí)分布”就能拿低loss可它完全忽略了下游分類(lèi)任務(wù)需要的是“分類(lèi)邊界清晰的表示”。后來(lái)我把訓(xùn)練策略調(diào)整成這樣第一輪訓(xùn)練只跑邊預(yù)測(cè)任務(wù)讓補(bǔ)全模塊和編碼器先學(xué)會(huì)利用結(jié)構(gòu)信息第二輪開(kāi)始加入分類(lèi)任務(wù)邊預(yù)測(cè)的權(quán)重逐漸減退屬性重建損失始終維持在較低權(quán)重。這個(gè)“先結(jié)構(gòu)后任務(wù)”的策略在模擬項(xiàng)目里讓F1分?jǐn)?shù)回升了約4個(gè)點(diǎn)。5.3 對(duì)工業(yè)落地場(chǎng)景的初步思考冷啟動(dòng)推薦里的應(yīng)用空間和限制最后聊聊HGNN-AC在工業(yè)落地上我看到的潛力以及它目前繞不過(guò)去的限制。潛力非常明顯。在推薦系統(tǒng)的冷啟動(dòng)場(chǎng)景中新用戶(hù)幾乎沒(méi)有行為特征老用戶(hù)的屬性特征是完整的。HGNN-AC完全可以通過(guò)全局的異質(zhì)圖結(jié)構(gòu)把“新用戶(hù)”和“跟他類(lèi)似的舊用戶(hù)”以及“舊用戶(hù)偏好的商品”關(guān)聯(lián)起來(lái)利用邊預(yù)測(cè)任務(wù)生成一個(gè)結(jié)構(gòu)驅(qū)動(dòng)的偏好初始表示。這個(gè)思路比常見(jiàn)的“用全局均值填充”自然得多。但限制也同樣明顯。首先是訓(xùn)練成本異質(zhì)圖上的信息傳遞本身就比同質(zhì)圖耗時(shí)HGNN-AC還要額外跑邊預(yù)測(cè)采樣單次epoch的耗時(shí)約是普通HGNN的1.8倍。在超大規(guī)模圖上這個(gè)成本是必須納入工程評(píng)估的。其次是特征維度的對(duì)齊難題。工業(yè)場(chǎng)景里不同來(lái)源節(jié)點(diǎn)的特征維度往往差異巨大直接塞進(jìn)一個(gè)補(bǔ)全模塊會(huì)引發(fā)維度災(zāi)難。HGNN-AC目前的做法是對(duì)不同類(lèi)型節(jié)點(diǎn)分別做映射但映射層的參數(shù)量會(huì)隨類(lèi)型數(shù)量線(xiàn)性增長(zhǎng)圖中節(jié)點(diǎn)類(lèi)型一多參數(shù)規(guī)模就會(huì)爆炸。我自己的估算超過(guò)10種節(jié)點(diǎn)類(lèi)型的異質(zhì)圖訓(xùn)練開(kāi)銷(xiāo)就會(huì)讓這個(gè)方案變得不劃算。6. 寫(xiě)在最后的光譜HGNN-AC真正教會(huì)我的是用結(jié)構(gòu)判斷屬性缺失先別急著補(bǔ)零把整篇論文消化完我最大的收獲不是模型結(jié)構(gòu)本身而是一種思維轉(zhuǎn)變——遇到屬性缺失的圖數(shù)據(jù)不要第一時(shí)間想著“怎么把缺的值填上”而是先問(wèn)“結(jié)構(gòu)能不能告訴我這個(gè)節(jié)點(diǎn)應(yīng)該長(zhǎng)什么樣”。HGNN-AC的兩種思路非常值得遷移到其他領(lǐng)域一是把缺失特征當(dāng)成生成問(wèn)題而不是插值問(wèn)題二是用輔助任務(wù)把結(jié)構(gòu)信息轉(zhuǎn)譯成特征學(xué)習(xí)的監(jiān)督信號(hào)。這兩點(diǎn)在推薦系統(tǒng)的冷啟動(dòng)、社交網(wǎng)絡(luò)的新賬號(hào)理解、知識(shí)圖譜的實(shí)體補(bǔ)全里都有一以貫之的應(yīng)用價(jià)值。當(dāng)然它也不是萬(wàn)能的。屬性補(bǔ)全模塊依賴(lài)鄰居信息這一點(diǎn)決定了它在極度稀疏、鄰居也大多缺失屬性的場(chǎng)景下仍然會(huì)力不從心。我記得在模擬項(xiàng)目里如果我把測(cè)試節(jié)點(diǎn)的鄰居屬性也大部分置零HGNN-AC的效果會(huì)顯著下滑——這是所有基于鄰居聚合補(bǔ)全方法的天花板不只是這一篇的問(wèn)題。最后分享一個(gè)我在實(shí)操里很有用的小技巧不管用不用HGNN-AC先對(duì)節(jié)點(diǎn)特征做一次覆蓋度統(tǒng)計(jì)按覆蓋度把節(jié)點(diǎn)分桶然后分別評(píng)估模型在每個(gè)桶上的表現(xiàn)。你會(huì)發(fā)現(xiàn)很多模型看起來(lái)整體效果不錯(cuò)但低覆蓋度桶里爛得驚人。這只是數(shù)據(jù)健康度的第一步體檢但它能幫你省下后面無(wú)數(shù)瞎調(diào)參的時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月精品免费XXX| 久久久ww| 92久久| 中文字幕在线不卡| 五月天国产成人| 婷婷五月蜜桃成人桃色丁香| 99re这里只有精品首页| 婷婷五月成人| 欧美在线| 亚洲综合另类| 激情婷婷亚洲五月| 青草激情综合| 婷婷俺去也| 久久精品99国产精品日本| 麻豆观看夏晴子| 中文在线成人| 五月色婷婷影院| 亚洲中文丁香| 五月六月婷| se99视频| 色播激情婷婷| 成人在线日韩| 五月天婷婷激情综合| 亚洲午夜一区二区| 婷婷激情综合网| 国产色色视频| 丁香五月婷婷基地| 色婷婷久久综| 深爱激情av| 99.N在线视频| 国产精品久久久久久久久久免费| www.99热精品| 狠狠撸激情综合丁香五月天俺来啦| 欧美色色色色色色| 99热午夜精品| 天天射影| 六月久久婷婷| 狠狠操狠狠| 中文字幕不卡视频| 欧美熟女乱又伦| 六月婷婷五月丁香| 北条麻妃九九九国产精品视频| 国产精品岛国片在线观看免费| 亚洲人成网亚洲欧洲无码久久| 九九热视频思思| 中文字幕在线免费观看视频| 国产色99| 久久视频九九视频| 噜噜在线| 婷婷午夜| 97精品在线| 婷婷色色欧美综合网| 黄网免费观看| 来吧亚洲综合网| 亚洲五月婷婷| 伊人久久五月天| 色五月丁香六月欧美综合| 婷婷丁香人妻天天爽| 极品五月天| 色国产五月| 五月天天综合| 久久aaaaa| 亚洲无码成人性爰网| 99.N在线视频| 九九99男女视频在线观看| 99爱在线| 久9视频| 男人天堂AV在线一区二区| 婷婷五月天激情偷拍| 97九色视频| 猫咪伊人AV| 人妻内射麻豆视频| 99热精品无码| 大香蕉综合| 激情五月深爱婷婷| 一本色道久久综合狠狠躁一二三 | 日日干日日| 丁香婷婷性久久| 青青草六月丁香| 色噜噜婷婷| 久久机热探花| 秋霞电影理论| 亚洲精品字幕| 天天爽曰日爽| 一本色道久久88加勒比| 日日噜狠狠色综合久久| 久热免费视频| 五六月婷婷| 亚洲色图五月丁香| 91精品综合久久婷婷九色| 99爱在线视频观看| 4399在线观看免费高清毛片| 久久久精品人妻录| 五月丁香色色色| 久色中文| 国产精品久久欧美久久一区| 亚洲色欲欧美一区二区三区| 久久精品A片777777| 五月婷丁香| 久久看婷婷| 久久一级免费黄色片| 丁香五月天啪啪激情综合网| 亚洲深喉AV| 九九热这里精品| 色婷婷小说| 91精品91久久久中77777久久玖玖九九| 婷婷色基地| 大香蕉AV电影在线| 五月丁香婷婷成人综合网| 99久久户外勾搭| 亚洲激情电影五月天色婷婷丁香一起草 | 97操碰在线视频| 久久婷婷激情四射五月天| 婷婷丁香五月高清| 欧美图片丁香五月天| 国产欧美va| 日日躁夜夜躁狠狠久久AV| 激情五月婷婷在线区| 日日夜夜天天| 精品人妻久久久久久久| 国产亚洲99久久精品熟女| 激情综合丁| 欧美性生交XXXXX无码小说| 国产精品色色666| 亚洲天堂久久| 一本综合丁香日日狠狠色| 9+1视频网址| 91操色| 亚洲精品一区中文字幕乱码| 国产精品色一哟哟| www亚洲无码| 日日操夜夜爽| 婷婷九月激情| 人人操AV| 丁香婷婷色情社区成人小说| 婷丁香五月天| 婷婷六月色| 婷婷爱综合| 激情五月天色色| 激情播丁香| 精品夜夜澡人妻无码AV| 婷婷丁香五月亚洲免费| 五月天激情久久| 欧美久热| 天天碰天天插天天操| 色和综合网| 天天视频亚洲| 久婷婷婷| 欧美性猛交99久久久久99按摩| 久久这里只有精品16| 玖玖91| 五月丁香成人视频| 97婷婷色| 免费操超碰| 久久99精品久| 九九色天堂| 婷婷五月天精品| 婷婷在线综合| 亚洲激情淫网| 久久婷婷五月激情网站| 97偷拍在线视频| 五月色情婷婷开心五月色情| 99色在线观看| 夜夜操天天干| 亚洲综合新99视频| 婷婷色五月天色色| 狠狠狠狠狠狠狠狠| 性天天中文网| 五月婷婷av| 色婷婷成人做爰A片免费看网站 | 亚洲欧美在线观看| 婷婷色操| 热热久久久久久久久| 就去色色五月丁香婷婷久久久| 色五月五月婷婷| 91热99| 天天爽夜夜操| 丁香五月六月综合欧美| 日日婷婷不卡| 色综合久久88色综合天天99| 桃色五月婷婷| 狠狠干天天内射| 老美AA片| 操碰99| 色情五月天首页| 欧美啪啪网| 激情五月天小说网| 婷色五月天| 婷婷久久午夜网| 丁香99| 久久婷婷色| 另类小说五月天综合网| 91九九| 丁香五月天影院| 91碰碰碰| 婷婷五月情天| 五月天另类综合网| 欧美婷婷日本| 色综合久久无码| 婷婷深爱五月| 国产美女视频久| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 丁五月激情视频免费| 色八月婷婷| 中文在线视频久9| 激情五月丁香五月| 99爽视频| 五月婷天天搞视频| 综合激情综合啪啪| 婷婷丁香五月亚洲欧美| 色播色丁香五月| 五月婷婷色色| 五月婷丁香| 婷婷五月视屏| 九热视频这里只有精品| 色八月婷婷| 五月天激情四射网站| 97夫妻超碰| 丁香五月天啪啪| 亚洲激情婷婷| 99re在线这里只有精品视频首页| 成人毛片在线免费观看| 伦乱人妻| 1024操逼| 婷婷五月天影院| 天天综合五月| 日韩AAAAA| 激情网狠狠干| 亚洲激情图文小说| 丁香婷婷人妻| 久久婷.com| 婷婷五月在线| 美女被操一区二区| 中文字幕丰满孑伦无码专区| 天天日日夜夜| 五月婷婷在线免费观看| 色婷婷色99国产综合精品| 激情伊人五月天| 色婷婷色情| 色五月天天在线观看资源站| 99色热| 亚洲黄色影视| av免费人人| 色色丁香| 情婷婷五月天在线| 丁香狠狠操| 久热只有这里精品| 色情免费视频播放| 99久久综合精品五月天| 国产26uuu视频| 人人亚洲| 蜜臀av无码久久久久久久久| 97超级碰碰碰| 色五月天激情| 影音先锋四区| 色停停香蕉视频| 六月婷婷激情| 久久婷婷婷| 日本五月天婷婷丁香| 手机激情网| 99re在线观看视频| 久久伊人婷婷| 丁香久久综合| 激情婷婷六月天| 黄色三级日本| 色婷婷香蕉| 色五月婷婷中文字幕在线观看| 日韩婷久| 日本乱论99| 久久久噜噜噜操操操| 操碰色一区就去操| 两性婷婷丁香五月| 亚洲视频码| 色综合五月| 久久久久久婷| 久草九九| 婷婷午夜激情| 激情婷婷五月亚洲| 激情婷婷亚洲五月| www.av骚货| 蜜臀嫩草| 韩国激情五月天综合网| 五月天色综合| 伦99热| 综合狠久久| www.五月天激情| 51成人| 亚洲激情免费久久| 大香蕉视频婷| 密视AV综合在线| 婷婷五月丁香四射| 人人操人人看97干| 亚洲AV综合在线观看| 日韩操逼大片| 色婷婷电影网| 国产婷伊人| 色五月婷婷777| ai97re99一本| 婷婷激情视频| 五月丁香综合啪啪啪啪啪| 天天搞夜夜六| 综合激情深爱| 人妻久热| 五月丁香啪啪| 国产色色小草视频| 久久久久激情| 色婷婷激情小说网| 天天干天天色综合| 91操熟女| 日本视频不卡123区| 97碰精品| 婷婷五月综合久久中文字幕| 日本精品。999| 丁香婷在线| www.夜夜操| 97干97色| 天天射影院| 日本一级淫| 97婷婷五月激情六月丁香伊人| 久热99热| 丁香五月激情月| 亚洲a色| 4399在线日本A片| 狠狠操天天干| 大香蕉久久久久久久久| 日本99视频| 亚洲成人AV高清字幕| 少妇性BBB搡BBB爽爽爽视頻| 色色亚洲视频| 婷婷综合色| 成人日韩欧美| 丁香五月婷婷色情综合| 五月婷婷性爱| 国产日比| 无码AV久久久久久久久| 婷婷色在线观看| 五月婷婷六月丁香| 天天肏天天肏| 婷婷涩五月| 涩婷婷五月天在线精品视频 | www.婷婷,com| 一级内射毛片| 天天影视天天爽天天草| 五月天婷婷香蕉狠狠超碰综合| 伊人综合网站| 超碰在线综合| 色情久久久| 九九九精品视频免费观看| 五月天婷婷基地综合网| 视频久久9| 色色日本欧美| 成人五月天丁香婷| 永久免费视频| 日韩五月天婷婷| 色色色热| 五月婷婷色| 伊人久久丁香狠狠婷婷综合香蕉 | 久久在线大香蕉| 欧日韩AV| 99久.| 伊人久久大香线蕉精品| 久久五月丁香婷婷| 亚洲va成人va成人va在线观看| 五月丁香六月| 黄色片avv| 国产激情视频在线观看| 久久婷婷综合五月天| 色综合99| 伊人网碰碰| 久久丁香五月婷婷| 久久综合婷婷| 色五月综合激情| 五月六月婷婷| 亚洲偷| www.粉嫩av.com| 婷婷六月综合激情| 激情综合网激情五月丁香五月俺也去| 亚州欧美国产久精国产99综合视频| 噜噜色com| 色五月AV| 99综合在线| 日韩AAAAA| 婷婷婷婷色| 欧美婷婷精品激| 午夜无码精品色综合久久| 九九热最新视频| a在线免费v| 婷婷色欧美激情| 美女久久婷婷| 五月丁香婷婷婷激情爱爱| 亚洲激情免费视频观看| 一起草日本| 色色色色欧洲| 丁香五月91| 色婷婷无吗| 综合在线丁香五月| 国产精品VIDEOSSEX久久发布| 五月婷婷av| 人人操AV| 密视AV综合在线| 婷婷五月天首页| 色五月综合网| 狠狠狠婷婷五月综合| 激情久久丁香| 五月丁香综合成人社区| 丁香五月六月综合激情| 牛牛色av| 五月天婷久精视频| 国产色香蕉精品五夜婷| 99热这里只有是亚洲国产| 在线观看免费观看在线9久| 99re这里只有精品国产99| 99在线观看| yellow视频在线观看91| 玖玖婷婷色五月| 五月叮香啪| 国产五月天欧美色| 亚洲成人中文字幕| 五月丁香六月激情在线| 天天日天天肏天天奸| 开心四月婷婷在线色播播| 色婷婷色99国产综合精品| 色婷婷超碰| 欧美日比视频| 激情久久久久久久久| 99这里只有精品视频| 五月久久| 九九热免费视频| 色很久综合| 思思精品视频| 日本精品干| 99精品视频免费| yjzz亚洲国产| 秋霞三及片| 91热在线观看视频| 色综合久久五月天| 色婷婷色九月| 另类天堂| 激情综合五月色在线| 婷婷六月丁香五月| 五月激情精品视频| 99精品久久| 天天操五月天| 五月婷婷中文字幕| 丁香五月婷婷六月婷| 大地资源色婷婷视频在线| 天天上天天爽| 日本一級黃色一級片| 久久这里只有精品07 | 青青热视频| 成人网在线视频| 在线天堂9| 五月丁香成人网| 涩涩五月天综合| 久久精品国产AV一区二区三区 | 日韩九九视频| 成人午夜天| 亚洲第一色区| 98永久精品| 亚洲色综合| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 一级操逼内射在线视频| 欧美操人| 美女主播野战视步页| 超碰免费人人肏| 美女天天爽| 99热99久久| 天天婷婷综合亚洲亚洲| 色婷婷久久综合久色| 乱精品一区字幕二区| 精品色色色| 免费AV在线网址| 日本久久精品| 99精品这里只有免费视频| 亚洲成人在线观看av| 91精品国产综合久久密臀| 婷婷激情五月天激情小说| 激情婷婷六月天| 欧美色99| 国产做爰视频免费播放| 天天操婷婷| 啪啪色区| 天天日天天色| 五月婷婷六月丁香在线| 人与禽A片啪啪| 五月天另类图片| 久青操| 六月丁香五月婷婷| 99热都是精品| 丁香六月婷月91婷月| 久9久9热久热| 五月婷婷之激情五月| 91一道本| 高清一区二区三区日本久| 色狠狠色综合| 女人露出p毛视频www网站| 亚洲99热| 欧美人妻一区二区| 婷婷五月情天| 久久只有精| 色婷婷精| 婷婷色婷婷| 色色色色色网| 婷婷五月天激情在线观看| 亚洲成人AV在线| 26uuu精品一区二区| 色综合久久综合中文综合网| 激情六月综合| 国产.亚洲.欧洲视频在线| www.粉嫩av.com| 99爱在线| 久青草影院| 亚洲女婷婷五月基地综合久久久| 色婷婷激情视频| 色三级色三级| 七七九九色色| 人妻丰满精品一区二区A片| 99国产97在线,| 碰碰碰91| 激情五月激情综合网| Caop在线| 五月丁香综合啪啪啪啪啪| 五月天.com| 色综合综合网| 五月色亭丁香| 激情婷婷久久| 91伦| 亚洲精品视频在线播放| 五月丁香亭亭操逼| 丁香婷婷成人网| 五月丁香亚洲五月| 日日干五月天婷婷| 国产成人在线不卡AV| 成人无码髙潮喷水A片| 久草a片| 欧美成人网99网| 日韩操啪| 五月天婷婷婷| 91精品婷婷国产综合 | 亚洲精品久久久久久久久久吃药| 九月久久婷婷| 免费观看全黄做爰的视频| 日日干日日| 伊九九三级区| 日本97在线看片| 日韩av变天就操逼不卡区| 天天爽天天做| 爱性综合网| 九九热视频首页/这里只有精品| 丁香六月欧美| 秋霞九九无码| 少妇性BBB搡BBB爽爽爽视頻| 色婷婷九月| 五月天婷婷AV| 99热精品无码| 日韩AV大全| 五月丁香婷婷AV天堂| 天堂A∨在线| 殴美日韩成人| 色婷婷丁香社综合| 五月深情久久| 99久99久| 精品一区久热| 一区二区成人电影免费播放| 亚洲人妻av伦理| 欧洲毛片基地c区| 久久丝袜婷婷| 久久久99免费视频| 99干日本| 婷婷性爱网| 立川无码av| 日韩 中文 欧美| 91丨九色丨老农村| 99九九中文字幕视频| 久久网址99热| 91丨九色熟女丨首页| 四川BBB搡BBB搡多人乱亂| 久99久视频| 丁香五月天堂| 欧美三日本三级少妇三99| 狠狠色成人影片| 激情五月天激情五月天| 国产成人99久久亚洲综合精品| 婷婷激情五月综合丁香社| 99热精品9| 97色色色色色色色| 天天色综合色色色色色。| 99亚色色色| 色呦呦免费观看| 在线婷婷| 国产噜一噜天天噜| 开心亚洲久久开心| 婷婷成人五月天一区| 丁香五月深爱五月婷婷| 97色婷婷五月天| 玖操97| 欧美日本一区二区三区| 久色国产| 色综合色综合色综合色综合| 少妇性按摩无码中文A片| 99热99热在线| 91色噜噜狠狠狠狠色综合| 婷婷五月天奸女| 99久久9| 天天爽天天干| 国产成人精品一区二三区熟女在线| 九色婷婷| 色色色香蕉五月婷| 日韩激情网站| 91黄操| 狠狠色丁香久久久婷| 再綫Av免费視品| 婷婷五月天影视网址| 五月丁香色播| 丁香五月婷婷色| 日韩操| 国产欧美va| 9有码中文| 亚洲成人免费在线| 免费视频WWW在线观看网站| 国产成人精品亚洲线观看| 久热精品免费视频4| 久久婷婷东京热大香樵| 九九九日本熟女| 久久婷婷五月国产激情综合片| 777丁香六月青青草婷婷综合久月| 五月丁香六月激情综合啪啪| 成人五月天视频播放| 九九综合| 九九久久精品| 欧美日韩国产成人在线| 超碰在线9| 久久中文人妻系列| 婷婷无码视频| 婷婷婷婷婷开心无码播放| 91视频精品99| 粉嫩AV久久一区二区三区| 一本到不卡高清DVD| 天天综合久久| 久久精品国产色| 99热日| 激情深爱五月天| 久久99久久99久久99人受| 蜜桃人妻无码AV天堂三区| 97操女视频| 99ri在线视频| 这里只有精品视频一区| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 六月丁香五月激情网| 五月天开心激情综合网| 激情久久久久| 亚洲精品无AMM毛片| 视频在线免费观看欧洲乱码| 秋霞免费三级片| 五月婷婷婷自由综合| 婷婷激情视频| 五月天久久色| 成人网在线视频| 欧美久久婷婷| 色婷婷影音| 青草激情综合| 国产伊人大香蕉| 天天色天天舔天天爱天天爽| 色偷偷AV亚洲男人的天堂| 成人做爰A片免费看网站找不到了| 9l视频自拍九色9l视频在线观看| 色yeye色综合| 亚洲欧美一区二区三区爱爱动图 | 九色七七| OYIWbGcPu8H| 久色欧美| 婷婷成人综合五月| 99啪| 亚洲精品V天堂中文字幕| 亚洲AV无码成人精品电影| 婷婷丁香77777| 天天影院色| 狠狠操天天干| 色9月| 噜噜干日本| 激情五月婷黄版| 99热天堂| 五月激情婷婷六月| 国产精品色色| 97碰碰视频在线观看免费| 五月久久亚洲| 国产欧美精品AAAAAA片| 这里只有精9| 99热婷婷| 伊人色综合影院视频| 大香蕉婷婷丁香天堂AV| 综合久久五月| 69色婷婷| www.99免费视频| 婷婷丁香成人五月天| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚洲热视频| 日本综合九九| 亚洲性图一区二区三区| 91色综合| 国产午夜精品一区二区三区四区| 伊人丁香花综合影院| 九月色婷婷综合亚洲| 97色色网| 天天天天天色| 五月Huangsewang| 婷婷伊人网| 久草狼人| 另类激情综合| 五月婷婷激清网| 色人久久| 玖月婷婷爱丁香| 亚洲最大五月天成人网| 牛牛热这里只有jingpin| 色色五月婷婷丁香| 开心五月婷婷| 99在线播放| 久色国产| 色爽干| 激情五月图| www.99热| 啪啪一区| 丁香五月婷婷超碰在线| 91精品综合久久婷婷九色| 五月激情黄色小说| 97caop| 日本www五月婷婷| 欧美婷婷| 婷婷五月天综合激情| 婷婷色综合av| 91|九色|动漫| 丁香五月婷婷综合精品素人| 五月丁香九九| 色综合五月| 狠狠色婷婷7777久综合| 丁香五月婷中字幕| 99精品视频免费观看近期发布| VA国产在线综合网站| 国产成人综合网| 婷婷激情五月天网站| 国产.亚洲.欧洲视频在线| 青青草原伊人网| 激情五月www| 久久99热网| 丁香五月婷婷乱| 风流少妇A片一区二区蜜桃 | 欧美性生交XXXXX无码小说| 五月六月丁香婷婷在线观看| 亚洲人妻av伦理| 五月天天天操天天爽夜夜操| 亚洲AV成人片无码网站| 日本九九九九| www.婷婷五月| 色五月激情问网站| 99ER热精品视频| 五月花成人网| 婷婷五月天 丁香五月天 裸体| 日本九九热| 97干在线视频精品店| 五月天另类图片| 视频一区二区在线| 国产精品VA在线| 2017人人操| 亚洲色综合| 亚洲性天天| 99精品国产在热久久| 婷婷久久五月| 开心五月深爱五月| 激情综合激情五月| 五月做爱| 丁香五月先锋| 99re66热这里只有精品| 图片区 小说区 区 亚洲五月| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 色99热| 五月天激情影院| 丁香 婷婷 激情 综合 五月| 色丁香久久| 99热这里有精品6| 色无婷婷| 激情综合五月婷婷丁香| 九九激情网| 被强行糟蹋的女人A片| 五月婷婷精品视频| 奇米网大香蕉| 亭亭五月色男人| 色五月丁香总合网| 色色亚洲99com| 九九视频在线观看| 日本色色色| 麻豆AV一区二区三区| 久久亚洲激情五码| 超碰97人人操| 乱岳熟女50岁| 婷婷五月天综合久久| 97干欧美| 熟女人妻视频| 色婷婷婷婷| 天天做天天爱天天爽| 97碰在线视频| 色和综合网| 99热精品在线| 亚洲精品欧洲精品| 91人人爽人人操| 国产精品成人AV在线| 亚洲一个色| 影音先锋男士资源网一区| 色婷婷88| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 超碰日韩人妻在线| 综合久久久| 激情网狠狠干| 男人的天堂97| 狠狠精品干练久久久无码中文字幕| 五月天伊人综合| 人人干人人操外国| 啪啪综合网| 丁香五月激情婷婷婷婷在线观看| 激情文学 综合 色| 天天操综合网| 久久欧洲综合网| 色琪琪一综合久久激情五月视频| 婷婷伊人久久无码色五月| 激情综合网五月| 思思视频这里是精品| 丁香婷婷五月人体| 久99| 91久久九久久九久久九久久九久久| 色色影院aaaav| 婷婷黄色网| 996er热| 天天综合中文| 久久久久亚洲A∨成人乱码电影| 狠狠色九月| 99无码精品| 26uuu精品一区二区| 免费99情趣网视频| 婷婷五月天丁香社区| 亚洲乱码日产精品BD| 激情久久久久久久久久久| 六月婷婷影院| 亚洲色久| 婷五月天丁香婷五月| 九九99精品| 91九色中文| 色噜噜狠狠色综合AV兰草影视| www九月婷婷| 丁香五月激情网| 婷婷五月天小说| 五月丁香伊人网| 永久的网站AAAA| 色婷婷影| 99热8在线| 天天干,夜夜爽| 开心网五月色婷婷| 强辱丰满人妻HD中文字幕| 丁香九九九九| 五月久久五月激情| 日本视频欧美观看免费| 国产精自产拍久久久久久蜜 | 夜夜大香蕉婷婷丁香| 桃色成人网| 丁香五月天之婷婷影院| 91久久五月天| 天天干天天射综合网| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 精品色情一区二区三区四区| 狠狠五月激情丁香六月| AV网在线观看| 亚洲黄色网址| 五月综合色| 97婷婷丁香| 亚洲免费婷婷| 色综合久久88色综合天天人守婷| www.久久久久久久| 亚洲成人AV电影网| 超碰只有精品在线| 九月色婷婷| 五月叮香啪| 天天综合网91| 丁香九月婷婷色| 午夜青草资源| 久久黄A片| 丁香五月婷婷亚洲综合精品| 青青草Avb在线| 琪琪狠狠干| 婷婷五月在线视频| 综合网色| 日韩啪| 精品久热69| 天天摸天天透天天舔| 秋霞影音91人妻久久| 激情五月无码| 婷婷五月天激情在线观看 | 六月婷婷色综合| 在线视频另类| 久久3p| 国产九九一区二区三区| 久爱综合| 成人做爰A片免费看网站找不到了| enecarbon-materials.comWu染请涟系Bao护@wip1688 | www.99色| 日本久久网| 久思思热视频在线观看| 97福利视频| 免费AV播放| 丁香婷婷大香蕉| 九九九热精品| 色婷婷香蕉| 激情五月天视频| 91男同| 日本久久精品18| 97操| 亚洲午夜一区二区| 五月丁香婷婷综合视频| 久婷久婷| 亚洲精品无人区| 精品国产AV色一区二区深夜久久| 天天做天天爱天天高潮| 五月婷婷啪啪| 丁香五月性爱| 欧美成人AAA片一区国产精品| 亚洲中文字幕av| 任你艹| 欧美三级巜人妻互换| 99在线免费视频| 99精品国产在热久久| 国产XXXX搡XXXXX搡麻豆| 激情图片亚洲| 欧在线一区| 色色丁香婷婷五月天| 婷婷色一二三区波多野结衣| 免费看无码视频A级| 91视频精品99| 久热这里只有精品6官网亚洲| 影音先锋xfplay资源男人网| 伊人天天色| 婷婷五月天成人基地| 五月婷婷综合在线视频小说| 亚洲婷婷欧美婷婷| 久久婷婷成人| 色爱综合网| 免费视频在线观看的网站| 9|人妻人人操| 99久久精彩视频| 91久久综合亚洲噜噜成人在线 | 九九久久综合| 久鲁鲁色网| 五月婷深深爱激情网| 99精品福利视频| 国产成人高清| 五月婷婷深深爱| 五月天精品视频| 可以免费观看的AV| 啪啪啪综合网| 日本色五月| 九九亚洲天堂| 国产精品岛国片在线观看免费| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 久热精品视频在线观| 6080av| 亚洲综合五月天婷婷| av网址在线| 人妻少妇色综合| 岛囯综合激情网| 大香蕉丁香| 丁香婷婷久久 | 狠狠色性| 天天狠狠六月婷丁香影院| 99人妻碰碰碰久久久久禁片| 国产精产国品一二三在观看 | www,超碰| 九九成人精品免费视频| 玖久精品视频9| www.婷婷六月天| 五月丁香综合啪啪| 91熟妇大香蕉| 九九热欧美| 99re这里有精品手机在线| 色婷狠狠| 99色综合| 欧美日韩欧美| 激情五月天99色| 性色欲情 网站| 五月婷婷丁香综合网| 超碰人人草| 青青草成人网| 丁香五月AV| AV在线不卡网站| 丁香丁婷五月激情| 色色色.COM| 天天日,天天插| 99精品久久| 99啪在线视频| 国产精品久久在线观看技巧| 五月丁香六月情| 色五月天综合网| 国产高清视频91九九九久久久| 久久久久久综合88| 色婷婷在线视频综合| 婷婷久久五月丁香| 99婷五月| 99热自拍| 五月丁香中文字幕| 色婷婷久久| 婷婷色片| 好好干av| 丁香色婷婷| 96精品国产综合久久久久久| 五月天激情综合网俺也去| 色青五月天| 思思热在线观看| 1024在线一区| 久久99久久久久久久噜噜| 91九色中文字幕女在线观看| 麻豆123区| 久久激情五月| 综合99在线| 婷久看人爽| 婷婷狠狠操| 99热这里只有精品中文字幕| 青青操日本摸摸看看| 精品久色| 婷婷五月花西瓜| 99这里都是精品| 97超级操操| 五月天艹天天| 夜夜撸日日操| 91九色 婷婷| 色五月首页| 国产99久久久国产精品免费看| 狠狠爱夜夜| 天天日夜夜夜操操操操| 99热超碰在线| 免费人人操| 中文字幕日产A片在线看| 一级内射毛片| 久操福利| www.狠狠色.com| 99热久| 婷婷六月激情| 狠狠五月天| 亚洲网综合在线| www、丁香五月天| 五月天激情国产综合婷婷婷就去爱| 另类综合激情| 岛国av网站| 伊人91| 丁香五月97视频| 五月婷婷 欧美| 激情五月综合亚洲另类| 国产av天堂| 天天操天天曰天天射| 97婷婷丁香| 人人玩人人橾| 久久五月丁香伊人青草| 夜丁香五月婷婷| 成人在线99| 婷婷五月天性爱视频| 六月色播| 婷婷五月天av| 大香蕉啪啪网| 伊人久久婷| 91肏| 九九九九九九九热| 色五月激情五月| 欧美狠狠草| 久热黄色| 天天久久婷婷| 天天草婷婷五月| 91AV婷婷| 99在线视频观看| 99色啊| 丁香五月人妻| 婷婷成人基地| 色婷婷五月天激情| 99在线视频色版| 色亚洲色宗合| 国产精品久久欧美久久一区| 天天爽在线视频| 欧美操人| 超碰人人操人人干| 亚洲五月天婷婷| 欧美日韩123| 91碰在线| 亚洲操逼片| 99婷婷国产最新视频| 免费播放片大片| 五月丁香影院| 激情中文在线| 欧美黄色AA片哗啦啦啦| 久久日曰| 五月丁香六月婷婷在线观看| 九月丁香婷婷网| 婷婷激情五月天小说校园| 婷婷综合在线网| 久久婷婷六月综合| 久久国产AV| 夜丁香五月婷婷| 婷婷自拍| 67194中文字幕| 91超碰在线播放| 综合网亚洲| 中美日韩成人在线| 色五月婷婷影院| 99久热这里有精品| 风流少妇A片一区二区蜜桃| www.av视频xx999.com| 大香蕉啪啪啪| 千人斩操逼| 色婷婷在线电影| 色色COm| 五月天天综合| 4399成人黄A片| 亚洲综合网区| 九九热最新| 久久这里都是精品视频| 99色免费观看全部| 五月婷婷 激情五月| 亚洲AV无码成人电影| 日韩五月丁香| 天天综合五月| 天天日夜夜拍| 激情婷婷五月亚洲| 人妻体体内射精一区二区| 婷婷五月色丁香在线看| 久久99免费视频网站| 天天插天天插| 99热91| 久久久国产精品黄毛片| 丁香五月婷婷姐| 97色精品视频| 五月天婷婷综合| 女婷久久| 丁香五月成人| av免费人人| 大伊香蕉玖玖爱| 婷婷五月天色| 丁香五月婷婷啪| 五婷婷综合网| 99色色网| 四色综合网| 伊人高清无码| 五月婷婷五月天激情网| 9久国产精品| 专区无日本视频高清8| 99精品福利视频| 日韩一级A片黄色| 五月丁香综合啪啪| 逼逼AV| 91婷婷五月丁香碰| 五月婷婷激情五月| 狠狠婷婷爱| 色久一| 婷婷啪啪| 色 五月婷婷基地| 九九视屏| 91久热| 亚洲狠狠干| 欧美日韩成人在线| 久久您您综合网| 丁香五月电影| www,五月天com| 国产精品天天狠天天看| 99热都是精品| 婷婷五月成年人| 国产FREESEXVIDEOS性中国| 五月天基地| www.91九色| 天天干 夜夜爽| 99re热| 久久日婷婷| 99热综合在线| 色五月婷婷视频| 欧美性猛交99久久久99| 日本强伦片中文字幕免费看| 亚洲人人操| 亚洲丁香五月天在线视频| 99热在线观看99| 欧美精品999| 婷婷精品在线| 颜射 精品性爱av| 色色五月婷婷| 亚洲九九视频| 欧洲激情五月天婷婷| 日本综合久| 亭亭玉月丁香| 人人射人人高潮| 精品国产人人爱人人| 九九热免费视频| 久久性爱视频免费| 2018夜夜草| 97干欧美| 人妻性爱av网站| 五月天色欧美| 色婷婷五月综合| 第五色色色婷婷| 激情综合网,婷婷| 一区三区视频有限公司| 五月天综合| 亚洲无码99| 99精品视频免费观看,| 婷婷丁香色五月亚洲| 九九九九九九九九九九九九九国产精品| 涩五月婷婷| 狠狠高潮精品亚洲1| 激情五月综合视频| 婷婷内射视频在线| 国产av网| 五月色丁香| 久99视频在线观看| 婷婷噜噜| 丁香婷婷人妻综合网| 亚洲AV中文在线| 真实熟女-91九色| 五月色综合| 五月天婷婷在线AN| 五月色综合网| 久久综合性| 激情婷婷网| 丁香五月影| 五月丁香六月激情综合| 狠狠色丁香婷婷久久综合| 五月激情综合深爱| 久久五月六月| 久久久99视频| 日韩成人电影Av| Av狠狠色丁香婷| 一起草AV| 天天干天天爽| 婷婷六月网| 九热视频| 亚洲超级碰| 9热在线| 伊人干综合| 丁香六月婷婷| 婷婷五月天激情综合深爱| 日本色道视频网站| 91久久久久久久91| www.韩日视频| 色日本颜射| 九九热最新| 婷婷五月激情五月激情| 五月天激情小说| 99这里都是精品6| 思思久热6| 久久性爱视频免费| 亚洲愉拍99热成人精品| 色娸娸综合网| 五月色亭丁香| 天天干在线播放| 激情五月婷婷综合网| 日本综合久久| 激情av| 51国精产品自偷自偷综合| wwwss在线观看| 日韩精品一区二区亚洲AV观看| 亚洲AAAA网| 五月婷婷伊人网| 五月色婷婷亚洲 | 夜夜 操无码| 9月色婷婷| 99热| 久9热视频| 五月天六月色| 综合在线色婷婷|