欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

HetSANN解讀:用類(lèi)型感知注意力替代元路徑的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)

HetSANN解讀:用類(lèi)型感知注意力替代元路徑的異構(gòu)圖神經(jīng)網(wǎng)絡(luò) 最近把這篇AAAI 2020收錄的《HetSANN: An Attention-based Graph Neural Network for Heterogeneous Structural Learning》翻出來(lái)重新精讀了一遍越看越覺(jué)得它在異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的發(fā)展里處于一個(gè)很有意思的卡位。既沒(méi)有走HAN那套依賴(lài)元路徑的路線(xiàn)也沒(méi)有像GTN那樣把元路徑搜索變成可微分的結(jié)構(gòu)學(xué)習(xí)而是直接用注意力機(jī)制去處理“鄰居類(lèi)型不同”這件事本身。如果你正在做異構(gòu)圖相關(guān)的研究或者對(duì)圖Transformer的演進(jìn)脈絡(luò)感興趣這篇文章值得花一晚上好好拆一遍。這篇解讀我會(huì)從問(wèn)題動(dòng)機(jī)、方法設(shè)計(jì)、實(shí)驗(yàn)結(jié)論一路講到復(fù)現(xiàn)時(shí)踩過(guò)的坑盡量把這個(gè)模型里里外外說(shuō)透。1. 論文背景與問(wèn)題動(dòng)機(jī)1.1 異構(gòu)圖里“類(lèi)型”這件事有多麻煩先聊一個(gè)很基礎(chǔ)但經(jīng)常被忽略的問(wèn)題異構(gòu)圖為什么比同構(gòu)圖難這么多。在同構(gòu)圖里所有節(jié)點(diǎn)和邊都是一種類(lèi)型你分不清一個(gè)節(jié)點(diǎn)是論文還是作者其實(shí)沒(méi)關(guān)系反正它們共享同一套特征空間和關(guān)系語(yǔ)義。但異構(gòu)圖不一樣比如學(xué)術(shù)網(wǎng)絡(luò)里有論文、作者、會(huì)議、學(xué)科方向這幾種節(jié)點(diǎn)邊也有“作者寫(xiě)了論文”“論文發(fā)表在會(huì)議上”“論文屬于某學(xué)科”等不同含義。如果直接把這些不同類(lèi)型的節(jié)點(diǎn)扔進(jìn)同一個(gè)GCN或者GAT里模型會(huì)默認(rèn)所有節(jié)點(diǎn)來(lái)自同一個(gè)分布這顯然不合理——因?yàn)椤皫灼撐摹焙汀耙晃粚W(xué)者”的特征維度、統(tǒng)計(jì)特性、語(yǔ)義角色都完全不同。早期處理方式也很樸素就是所謂“元路徑”。比如“作者-論文-會(huì)議”可以構(gòu)成一個(gè)元路徑通過(guò)這條路徑可以把作者節(jié)點(diǎn)和會(huì)議節(jié)點(diǎn)關(guān)聯(lián)起來(lái)再把這些異構(gòu)關(guān)系折疊成若干個(gè)同構(gòu)圖然后在折疊后的圖上跑標(biāo)準(zhǔn)GNN。這個(gè)思路看起來(lái)合理實(shí)際操作卻非常磨人。這種“折疊”其實(shí)是在損失信息一邊丟失了原始邊類(lèi)型一邊把整個(gè)圖的結(jié)構(gòu)壓成了幾條人工路徑路徑外面的交互關(guān)系完全進(jìn)不了模型。1.2 元路徑老路的一大堆問(wèn)題元路徑方法最頭疼的不是概念是定義過(guò)程。你拿到一個(gè)異構(gòu)圖第一件事是想清楚哪些路徑是有語(yǔ)義的。比如IMDB電影網(wǎng)絡(luò)里“電影-演員”是一條有效路徑“導(dǎo)演-電影-演員”也是一條路徑但“電影-導(dǎo)演-演員-導(dǎo)演-電影”呢語(yǔ)義就變得很奇怪。為了覆蓋主要語(yǔ)義關(guān)系你得不停嘗試不同的路徑組合每一組都要做一次數(shù)據(jù)預(yù)處理、跑一輪實(shí)驗(yàn)、調(diào)一輪超參。這個(gè)事在數(shù)據(jù)集小的時(shí)候還能忍一旦節(jié)點(diǎn)類(lèi)型和邊類(lèi)型多起來(lái)元路徑的搜索空間立刻爆炸人工枚舉基本變成不可能完成的任務(wù)。更麻煩的是同一個(gè)任務(wù)下不同的節(jié)點(diǎn)對(duì)最優(yōu)路徑可能完全不同。分類(lèi)一位研究者的領(lǐng)域用“作者-論文-會(huì)議”比“作者-論文-作者”更有區(qū)分力但在做作者間相似度計(jì)算時(shí)可能“作者-論文-作者”這種共著路徑又成了主力。沒(méi)有任何一條元路徑能在所有情況下通用。這也催生了GTN這類(lèi)嘗試用梯度搜索替代人工選路徑的工作但GTN的代價(jià)是額外的結(jié)構(gòu)學(xué)習(xí)參數(shù)模型變得復(fù)雜訓(xùn)練開(kāi)銷(xiāo)也大。還有一個(gè)常常被忽略的問(wèn)題是元路徑一旦定義好整個(gè)模型能看到的圖結(jié)構(gòu)就被人為切掉了。原始異構(gòu)圖里那種“多條邊、多種類(lèi)型”“一個(gè)節(jié)點(diǎn)通過(guò)不同關(guān)系連接不同類(lèi)別鄰居”的豐富度在轉(zhuǎn)換過(guò)程中已經(jīng)折損了一大半。論文里的實(shí)驗(yàn)也顯示基于元路徑的方法對(duì)比不依賴(lài)元路徑的方法在部分任務(wù)上表現(xiàn)更差這就是信息損失的直觀后果。1.3 這篇文章憑什么“不繞路”直接來(lái)HetSANN的核心姿態(tài)就是我不需要把異構(gòu)圖轉(zhuǎn)成同構(gòu)圖也不需要預(yù)定義任何元路徑直接從原始結(jié)構(gòu)出發(fā)讓注意力機(jī)制自己決定哪些鄰居值得學(xué)。它把“節(jié)點(diǎn)類(lèi)型不同”這件事編碼進(jìn)模型參數(shù)不同的邊類(lèi)型對(duì)應(yīng)不同的特征變換然后在這個(gè)基礎(chǔ)上計(jì)算注意力系數(shù)、做鄰居聚合。說(shuō)白了它把“類(lèi)型”這個(gè)離散信息變成了可學(xué)習(xí)的參數(shù)約束而不是靠路徑把類(lèi)型信息提前抹掉。我最初讀這個(gè)動(dòng)機(jī)時(shí)心里第一反應(yīng)是這不就是給每種關(guān)系配一個(gè)獨(dú)立的線(xiàn)性變換再接GAT嗎聽(tīng)起來(lái)沒(méi)有太大飛躍。但真正動(dòng)手復(fù)現(xiàn)之后才發(fā)現(xiàn)事情沒(méi)有表面這么簡(jiǎn)單。難點(diǎn)在于“邊類(lèi)型感知的注意力”與“多跳結(jié)構(gòu)信息”的配合以及訓(xùn)練時(shí)面對(duì)異構(gòu)子圖的那種不穩(wěn)定性。下文慢慢拆。2. 核心方法全景拆解2.1 類(lèi)型感知的投影變換給每種關(guān)系發(fā)一張專(zhuān)屬名片HetSANN的第一個(gè)關(guān)鍵組件是類(lèi)型感知的線(xiàn)性變換。傳統(tǒng)GAT對(duì)每個(gè)節(jié)點(diǎn)用同一個(gè)權(quán)重矩陣做特征映射這相當(dāng)于假定所有節(jié)點(diǎn)的特征空間是一致的。HetSANN的做法是對(duì)不同的節(jié)點(diǎn)類(lèi)型或邊類(lèi)型使用各自獨(dú)立的權(quán)重矩陣。比如“作者”節(jié)點(diǎn)用W_a“論文”節(jié)點(diǎn)用W_p或者更準(zhǔn)確地說(shuō)在聚合時(shí)根據(jù)當(dāng)前這組關(guān)系的類(lèi)型來(lái)決定用哪套參數(shù)去變換鄰居特征。這樣做的直覺(jué)可以拿“多語(yǔ)言交流”來(lái)類(lèi)比一群說(shuō)不同語(yǔ)言的人聚在一起討論問(wèn)題如果所有人都直接用母語(yǔ)發(fā)言誰(shuí)也不知道對(duì)方在說(shuō)什么但如果先把每種語(yǔ)言分別翻譯成英語(yǔ)再放到同一張會(huì)議桌上討論語(yǔ)義就對(duì)齊了。類(lèi)型感知投影做的就是“翻譯”這一步。它把不同類(lèi)型節(jié)點(diǎn)的高維原始特征映射到同一個(gè)公共表示空間同時(shí)保留“翻譯規(guī)則因語(yǔ)言而異”這一信息。實(shí)現(xiàn)時(shí)要特別注意不同類(lèi)型節(jié)點(diǎn)的輸入特征維度往往不一樣。論文節(jié)點(diǎn)可能有幾千維的詞袋向量作者節(jié)點(diǎn)可能是手工設(shè)計(jì)的ID特征甚至沒(méi)有原始特征。所以第一步通常是用一個(gè)線(xiàn)性層把每種類(lèi)型分別壓到同一個(gè)隱藏維度d。這正是“類(lèi)型感知投影”最實(shí)在的功能先把維度對(duì)齊再做后續(xù)注意力運(yùn)算否則拼接或相加時(shí)維度都碰不上。2.2 邊類(lèi)型約束的注意力打分與歸一化有了統(tǒng)一維度之后第二步是計(jì)算注意力。設(shè)當(dāng)前中心節(jié)點(diǎn)是i它通過(guò)某一條邊類(lèi)型為φ的關(guān)系連接到鄰居j那么模型先分別得到變換后的表示再拼接起來(lái)經(jīng)過(guò)一個(gè)由邊類(lèi)型參數(shù)化的權(quán)重向量做打分再過(guò)LeakyReLU激活。最后對(duì)所有鄰居的分?jǐn)?shù)做softmax歸一化得到每個(gè)鄰居對(duì)中心節(jié)點(diǎn)的貢獻(xiàn)權(quán)重。這個(gè)設(shè)計(jì)和通用GAT最大的區(qū)別在哪里在GAT里所有鄰居共享同一個(gè)注意力打分函數(shù)在HetSANN里打分函數(shù)的參數(shù)依賴(lài)邊類(lèi)型。同一對(duì)節(jié)點(diǎn)如果連接關(guān)系不同打出來(lái)的分就是不同套邏輯。你可能會(huì)想“這跟把每種關(guān)系子圖分別跑一個(gè)GAT再求和有什么區(qū)別”區(qū)別在于HetSANN的softmax歸一化是在中心節(jié)點(diǎn)的所有鄰居上統(tǒng)一進(jìn)行的不管這些鄰居屬于哪種類(lèi)型。也就是說(shuō)一個(gè)電影節(jié)點(diǎn)同時(shí)連接演員、導(dǎo)演、標(biāo)簽三類(lèi)鄰居它要一起分配注意力權(quán)重而不是在演員子圖里各歸各歸一化。這個(gè)“競(jìng)爭(zhēng)關(guān)系”是跨類(lèi)型的模型需要學(xué)會(huì)在不同類(lèi)型之間權(quán)衡該看誰(shuí)這正是它在異構(gòu)圖上比多個(gè)同構(gòu)GAT疊加更靈活的原因。同樣值得注意的還有自環(huán)的處理。GAT里通常會(huì)給每個(gè)節(jié)點(diǎn)加一條指向自身的邊用來(lái)保留原始特征。HetSANN在保留殘差連接的前提下自環(huán)加不加都會(huì)影響性能。我復(fù)現(xiàn)時(shí)把這個(gè)開(kāi)關(guān)單獨(dú)抽出來(lái)做了幾組對(duì)比發(fā)現(xiàn)配合原文的多跳結(jié)構(gòu)之后自環(huán)的增益并不明顯但殘差是剛需。2.3 殘差連接與多跳感受野既要深又要穩(wěn)注意力層解決了“同一條邊上怎么聚合”但沒(méi)有解決“信息怎么跨多跳流動(dòng)”的問(wèn)題。論文里明確提出只堆疊單跳注意力層還不夠需要把多跳鄰居的信息也帶進(jìn)最終表示。最樸素的做法是把網(wǎng)絡(luò)疊深但在異構(gòu)圖里層數(shù)加深的邊際收益很低過(guò)平滑現(xiàn)象來(lái)得比同構(gòu)圖更快——聚合幾次之后節(jié)點(diǎn)表示趨同類(lèi)別分界被磨平。論文的處理方式很巧妙使用殘差和稠密連接把每一層的輸出和之前若干層的輸出拼起來(lái)而不是只依賴(lài)最后一層。這樣一來(lái)第一層輸出代表1跳鄰居的語(yǔ)義第二層輸出代表2跳鄰居的語(yǔ)義把它們拼接后分類(lèi)器可以同時(shí)看到多個(gè)尺度的結(jié)構(gòu)信息。模型被迫在不同的“跳數(shù)視圖”下做權(quán)衡而不是靠單一深層表示硬扛。我用一個(gè)粗淺的類(lèi)比解釋一下你在一個(gè)小區(qū)里找某棟樓的位置只看隔壁鄰居1跳往往夠了但如果隔壁鄰居信息太少你還得問(wèn)隔壁的隔壁2跳。只問(wèn)一次可能錯(cuò)過(guò)關(guān)鍵線(xiàn)索把所有距離的答復(fù)都收集起來(lái)再綜合判斷找到的概率就大多了。HetSANN的多跳聚合干的就是這件事。2.4 聯(lián)合訓(xùn)練分類(lèi)和鏈路預(yù)測(cè)一起學(xué)文章里另一個(gè)容易被忽視的設(shè)計(jì)是多任務(wù)聯(lián)合訓(xùn)練。主任務(wù)是節(jié)點(diǎn)分類(lèi)但作者給模型加了輔助的鏈路預(yù)測(cè)目標(biāo)從圖中隨機(jī)采樣正邊再生成一批不存在的負(fù)邊把節(jié)點(diǎn)對(duì)表示拼接后經(jīng)一個(gè)MLP打分用二分類(lèi)損失約束整個(gè)模型。這個(gè)做法的意義在于分類(lèi)標(biāo)簽通常只覆蓋少數(shù)節(jié)點(diǎn)數(shù)據(jù)量不夠時(shí)模型很容易過(guò)擬合鏈路預(yù)測(cè)為模型提供了全圖結(jié)構(gòu)上的額外監(jiān)督讓表示空間不至于只被標(biāo)簽撐起來(lái)。這種半監(jiān)督無(wú)監(jiān)督組合的套路現(xiàn)在看已經(jīng)很常見(jiàn)但在2020年前后圖神經(jīng)網(wǎng)絡(luò)的主流做法還是直接在帶標(biāo)簽的一小撮節(jié)點(diǎn)上訓(xùn)練。HetSANN用鏈路預(yù)測(cè)做正則等于變相擴(kuò)大了訓(xùn)練信號(hào)來(lái)源。對(duì)復(fù)現(xiàn)者來(lái)說(shuō)難點(diǎn)在于負(fù)采樣比例負(fù)邊采太少模型學(xué)不到區(qū)分能力采太多正負(fù)樣本失衡訓(xùn)練會(huì)震蕩起來(lái)。論文實(shí)驗(yàn)里這條輔助損失的權(quán)重好像并不高但它確實(shí)讓最終表示更穩(wěn)。3. 實(shí)驗(yàn)設(shè)置與關(guān)鍵結(jié)論解讀3.1 數(shù)據(jù)集與對(duì)比方法挑對(duì)手挑得很有講究原文實(shí)驗(yàn)用到了幾個(gè)公開(kāi)基準(zhǔn)數(shù)據(jù)集覆蓋了論文網(wǎng)絡(luò)和電影網(wǎng)絡(luò)。DBLP學(xué)術(shù)網(wǎng)絡(luò)包含作者、論文、會(huì)議、研究方向等節(jié)點(diǎn)IMDB電影網(wǎng)絡(luò)則包含電影、演員、導(dǎo)演這樣的類(lèi)型組合。這兩種圖的規(guī)模不算特別大但類(lèi)型和邊關(guān)系足夠復(fù)雜很適合驗(yàn)證“不做元路徑”到底行不行。對(duì)比方法選得也比較全既有DeepWalk這類(lèi)無(wú)視類(lèi)型的網(wǎng)絡(luò)嵌入方法也有metapath2vec這樣經(jīng)典元路徑類(lèi)方法還有HAN、GTN、HetGNN這些異構(gòu)圖GNN代表。此外作者還放了GCN、GAT這種通用GNN作為參照。這個(gè)對(duì)比矩陣的好處是能區(qū)分“改進(jìn)來(lái)自異構(gòu)圖建?!边€是“改進(jìn)來(lái)自注意力機(jī)制本身”。如果對(duì)手全是沒(méi)有注意力的模型那贏下來(lái)也可能是GAT的功勞說(shuō)不清楚。3.2 主實(shí)驗(yàn)結(jié)果不靠元路徑也能贏主實(shí)驗(yàn)在節(jié)點(diǎn)分類(lèi)任務(wù)上比較Micro-F1和Macro-F1兩個(gè)指標(biāo)。整體結(jié)論非常明確HetSANN在大多數(shù)數(shù)據(jù)集和指標(biāo)上超過(guò)或者追平了當(dāng)時(shí)最好的異構(gòu)圖模型而且全程沒(méi)有使用任何預(yù)定義元路徑。尤其值得關(guān)注的是Macro-F1上的表現(xiàn)因?yàn)轭?lèi)別分布往往不均衡Macro-F1更看重少數(shù)類(lèi)的預(yù)測(cè)能力這說(shuō)明模型學(xué)到的不只是頭部類(lèi)別的模式。另一個(gè)讓我印象深刻的點(diǎn)是它對(duì)比基于元路徑的模型不落下風(fēng)訓(xùn)練效率還高。元路徑方法在預(yù)處理階段要花大量時(shí)間構(gòu)造路徑實(shí)例推理階段路徑選擇本身也影響結(jié)果。HetSANN省去了這個(gè)環(huán)節(jié)等于把“定義路徑”這件事徹底移出流程。這對(duì)實(shí)際工程場(chǎng)景非常友好也是論文在后來(lái)頻繁被引用的原因之一。3.3 消融與效率分析殘差到底幫了多少消融實(shí)驗(yàn)是這篇論文中最有價(jià)值的部分之一。作者驗(yàn)證了去掉類(lèi)型感知變換、去掉多跳殘差結(jié)構(gòu)后的性能變化。結(jié)論是這兩個(gè)組件都不是錦上添花而是缺一不可。特別是殘差/稠密連接去掉后多層注意力堆疊會(huì)出現(xiàn)明顯的性能回落印證了異構(gòu)圖中“疊深即退化”的現(xiàn)象。效率方面由于不依賴(lài)元路徑模型在訓(xùn)練時(shí)間上也有優(yōu)勢(shì)。我在復(fù)現(xiàn)時(shí)其實(shí)對(duì)這一點(diǎn)感觸更深處理元路徑的數(shù)據(jù)預(yù)處理比訓(xùn)練本身還耗時(shí)而且每次換數(shù)據(jù)集或者換路徑定義都要重新跑一遍預(yù)處理。HetSANN的預(yù)處理基本就是圖加載和類(lèi)型映射一個(gè)晚上就能把實(shí)驗(yàn)流程跑通。4. 從論文到代碼復(fù)現(xiàn)要點(diǎn)與踩坑記錄4.1 輸入特征與維度統(tǒng)一怎么做復(fù)現(xiàn)第一步是先處理數(shù)據(jù)類(lèi)型。異構(gòu)圖里每個(gè)節(jié)點(diǎn)類(lèi)型的特征維度不同比如論文節(jié)點(diǎn)有文本特征作者節(jié)點(diǎn)可能只有ID。這要求先為每個(gè)類(lèi)型訓(xùn)練一個(gè)專(zhuān)屬線(xiàn)性投影輸入原始維度輸出統(tǒng)一維度然后把這個(gè)投影放在GNN層之前。一個(gè)很容易踩的坑是有些節(jié)點(diǎn)類(lèi)型在原始數(shù)據(jù)里沒(méi)有特征所有節(jié)點(diǎn)都是同一維度的one-hot。此時(shí)類(lèi)型感知投影退化成每種類(lèi)型各學(xué)一個(gè)線(xiàn)性層這本身沒(méi)問(wèn)題但如果隱藏維度設(shè)得過(guò)大而訓(xùn)練樣本有限這部分投影很容易過(guò)擬合。我當(dāng)時(shí)把隱藏維度從64調(diào)成32發(fā)現(xiàn)Macro-F1反而漲了就是因?yàn)橥队皡?shù)量降下來(lái)之后模型把注意力集中在更有區(qū)分性的結(jié)構(gòu)信息上。4.2 類(lèi)型感知投影的工程實(shí)現(xiàn)工程上我建議把“類(lèi)型投影”和“注意力層”拆成兩個(gè)模塊分別實(shí)現(xiàn)方便調(diào)試。類(lèi)型投影的輸入是節(jié)點(diǎn)數(shù)量原始特征維度輸出是節(jié)點(diǎn)數(shù)量隱藏維度。按類(lèi)型編號(hào)分組做矩陣乘法然后把結(jié)果拼回一個(gè)張量。實(shí)現(xiàn)注意力的部分有個(gè)常見(jiàn)誤區(qū)不少人會(huì)直接調(diào)用現(xiàn)成GAT層再把不同邊類(lèi)型的鄰接矩陣挨個(gè)傳進(jìn)去。這樣確實(shí)能跑但softmax歸一化是分開(kāi)做的和論文里“跨類(lèi)型統(tǒng)一歸一化”的語(yǔ)義不一致。正確的做法是把所有邊類(lèi)型聚合在一個(gè)大鄰接矩陣上跑稀疏注意力或者在循環(huán)里分別算消息但共享一份對(duì)數(shù)賠率最后統(tǒng)一softmax。我第一次實(shí)現(xiàn)時(shí)貪省事分開(kāi)歸一化結(jié)果收斂慢且不穩(wěn)定改成統(tǒng)一歸一化之后才恢復(fù)論文里的表現(xiàn)。4.3 注意力歸一化的幾個(gè)坑另一個(gè)坑在數(shù)值層面。稀疏矩陣的softmax如果自己寫(xiě)需要按行減去最大值防止指數(shù)溢出。在異構(gòu)圖里行長(zhǎng)度差異很大有的中心節(jié)點(diǎn)有幾百個(gè)鄰居有的節(jié)點(diǎn)只有兩三個(gè)。把大度數(shù)節(jié)點(diǎn)和小度數(shù)節(jié)點(diǎn)放在同一批訓(xùn)練注意力分布天然不同。復(fù)現(xiàn)時(shí)如果出現(xiàn)某些節(jié)點(diǎn)梯度突變建議先檢查L(zhǎng)eakyReLU的斜率原文設(shè)置是0.2太低會(huì)讓注意力分?jǐn)?shù)趨于飽和。我還試過(guò)給注意力分?jǐn)?shù)加溫度系數(shù)來(lái)調(diào)節(jié)分布的陡峭程度在小數(shù)據(jù)集上有一點(diǎn)幫助但數(shù)據(jù)集大了以后作用變?nèi)酢_@類(lèi)技巧可以直接當(dāng)超參調(diào)不用太糾結(jié)。4.4 訓(xùn)練技巧與超參建議訓(xùn)練方面全圖訓(xùn)練最簡(jiǎn)單但顯存壓力大。如果圖規(guī)模被撐大建議用鄰居采樣或者按子圖切分訓(xùn)練但要注意切分時(shí)別把異構(gòu)邊類(lèi)型徹底打散每組子圖盡量保留各種關(guān)系類(lèi)型否則類(lèi)型感知投影會(huì)退化。超參上我復(fù)用下來(lái)比較穩(wěn)的組合是dropout在0.3左右學(xué)習(xí)率3e-3隱藏層維度64到128注意力頭數(shù)4。很多人習(xí)慣堆3層GNN但在這個(gè)模型里我覺(jué)得2層加多跳稠密連接更穩(wěn)。鏈路預(yù)測(cè)的負(fù)采樣比我試過(guò)1:1到1:5最終1:2附近效果不錯(cuò)負(fù)采樣太多會(huì)把模型注意力往假邊方向帶。還有一點(diǎn)是初始化。類(lèi)型感知投影的權(quán)重如果全用默認(rèn)正態(tài)初始化收斂會(huì)慢。我習(xí)慣給投影層做Xavier初始化并且為不同邊類(lèi)型設(shè)置不同seed擾動(dòng)避免多條關(guān)系類(lèi)型初始時(shí)過(guò)于對(duì)稱(chēng)導(dǎo)致注意力學(xué)到相同模式。5. 學(xué)術(shù)脈絡(luò)從GAT到HetSANN再到圖Transformer5.1 GAT、HAN和GTN在干什么要真正讀懂HetSANN的價(jià)值得把它放回2019-2020年的上下文里。GAT證明注意力機(jī)制在圖節(jié)點(diǎn)聚合上的有效性但它不區(qū)分邊類(lèi)型。HAN引入了兩層注意力一層學(xué)同類(lèi)型路徑內(nèi)部的節(jié)點(diǎn)權(quán)重一層學(xué)多條元路徑之間的權(quán)重但整體還是以元路徑為骨架。GTN嘗試動(dòng)態(tài)學(xué)習(xí)元路徑的組合理論上更自由但可控性和實(shí)現(xiàn)復(fù)雜度都是成本。這些工作放在一起看其實(shí)有一條清晰的升級(jí)曲線(xiàn)從“手工定義語(yǔ)義”到“半自動(dòng)化語(yǔ)義搜索”再到HetSANN的“邊類(lèi)型原生編碼”。HetSANN沒(méi)有在路徑空間里繞來(lái)繞去而是直接告訴模型“這里的鄰居有多種類(lèi)型請(qǐng)自己看著辦”算是一次簡(jiǎn)化也是一次轉(zhuǎn)向。5.2 HetSANN設(shè)計(jì)里的“Transformer影子”現(xiàn)在回看HetSANN的設(shè)計(jì)會(huì)發(fā)現(xiàn)它和圖Transformer的思路高度神似。Transformer本質(zhì)上是讓每個(gè)token對(duì)所有token做注意力位置編碼負(fù)責(zé)注入順序信息HetSANN讓中心節(jié)點(diǎn)對(duì)跨類(lèi)型鄰居做注意力邊類(lèi)型編碼負(fù)責(zé)注入關(guān)系信息。區(qū)別在于Transformer用位置編碼HetSANN用類(lèi)型感知投影。后來(lái)的異構(gòu)圖Transformer類(lèi)方法基本都是沿著“注意力 類(lèi)型編碼 相對(duì)結(jié)構(gòu)編碼”這個(gè)路線(xiàn)走。說(shuō)HetSANN是異構(gòu)圖上的早期Transformer雛形一點(diǎn)都不夸張。5.3 對(duì)后續(xù)工作的影響從引文網(wǎng)絡(luò)看HetSANN被不少后續(xù)工作當(dāng)作“無(wú)需元路徑的注意力基線(xiàn)”來(lái)對(duì)比同時(shí)它也啟發(fā)了不同類(lèi)型編碼方式在注意力模型里的應(yīng)用。它的一個(gè)隱含貢獻(xiàn)是提醒社區(qū)異構(gòu)圖里的“類(lèi)型”不一定非得通過(guò)路徑轉(zhuǎn)換來(lái)消化直接建模到注意力打分函數(shù)里是一種更干凈的做法。如果你現(xiàn)在要設(shè)計(jì)一個(gè)異構(gòu)圖模型面對(duì)“用不用元路徑”這個(gè)問(wèn)題時(shí)這篇論文的決策過(guò)程能給你提供一個(gè)很好的參考坐標(biāo)。元路徑不是不能用的工具但把它當(dāng)默認(rèn)選項(xiàng)可能在出發(fā)之前就已經(jīng)丟了一部分結(jié)構(gòu)信息。這篇論文我前前后后精讀加復(fù)現(xiàn)下來(lái)最大的收獲不是模型本身多強(qiáng)而是它讓我重新理解了“類(lèi)型感知”這四個(gè)字的重量。你不需要為每一種關(guān)系精心設(shè)計(jì)一條路徑來(lái)告訴模型“這很重要”只要給模型足夠的表達(dá)能力它自己能從數(shù)據(jù)里判斷什么時(shí)候該看演員什么時(shí)候該看導(dǎo)演。我們做模型的人很多時(shí)候過(guò)度依賴(lài)人工先驗(yàn)忘記了把決定權(quán)還給數(shù)據(jù)和訓(xùn)練過(guò)程。這個(gè)道理在異構(gòu)圖里成立在很多NLP任務(wù)里其實(shí)也成立。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷成人综合| 怡春院天天干| 五月天色不卡| 99re这里只有精品国产99| 激情五月天天| 国产亚洲99久久精品| 婷婷综合五月天亚洲综合| 欧美一级a | 欧美S码亚洲码精品M码| 97色片| 天天 日综合| 五月婷婷丁香五月| 丁香五月狠狠在线观看| 综合激情视频| 亚洲av成人在线| 大波美女VA网站| 日本天堂免费99| 99热精品在线播放| 啪啪91| 懂色AⅤ| 欧美色五月| 激情五月天天| 国产熟妇的荡欲午夜视频| 色九月婷婷丁香| 五月婷婷成人w| 丁香五月婷婷激情网| 久操乱| 91丨九色丨东北熟女| 色五月色五天免费视频| 99热精品免费在线观看| 五月天激情日色在线| 粉嫩av懂色av蜜臀av熟妇| 91人妻九色大屁股| 亚洲丁香花色| 91啪啪视频| 2017人人操| 日韩精品色| 久久精品4| 在线观看欧美3区| 久久97| 丁香九月婷婷综合| 91偷拍视频| 综合久久五月| 999影院成人在线影院| 99超在线| 五月丁香拍拍激情综合| 26uuu欧美亚洲日韩| 大香蕉婷婷五月天| 激情视频综合| 青青草轻轻操| av九九| 性生活视频98791| 五月丁香六月激情| 色久一| 啪啪啪丁香五月| 日本少妇裸体做爰高潮片 | 丁香五月情| 激情五月天激情小说| 亚洲十月婷婷综合| 99热这里只有精品2| 国产另类综合| 婷婷五月丁香五月综合网| 丁香五月激情图片| 很很干天天干| 五月婷婷色| 五月丁香综合伦理片| 热99精品视频在线观看| 爱草视频在线| 色婷婷六月精品| 久久婷五月综合色| 婷婷五月在线播放| 天堂中文国产| 婷婷伊人网| 五月天综合网| 欧美色图片88| 亚洲国产色婷婷| 丁香五月开心婷婷| 99性爱| 五月丁香激情综合啪啪| 久久这里只有精品8| 久久久久久综合88| 蜜桃人妻无码AV天堂三区| 色婷婷丁香五月| 涩五月婷婷| 午夜成人片400| 玩熟女五十AV一二三区| 日韩在线成人电影| 伊人丁香六月婷婷| 激情五月少妇| 操一区| 另类小说色婷婷| www.国产亚洲69ty.久久久久久久久久久久| 激情综合自拍五月婷婷色五月| 婷婷激情五月天激情在线| 五月婷婷co.m| 操操自拍| 大地资源色婷婷视频在线| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 丁香六月婷婷激情| 久久婷婷五月天懂色| 婷婷五月天美女| 同性gv国产精品一区二区| 9久热这里只有精品视频| WWW.99热| 色色色色色色网站| 九九综合网| 99丁香五月婷| 岛国av电影网站| 影音先锋91| www.丁香五月| av无码电影| www.五月婷婷久久.com| 99re在线这里只有精品视频首页| 狠狠爱激情网| 99热伊人综合| 五月婷婷色综图片| 五月丁香久久久久| 久在热99| 亚洲视频在线观看99| 欧美激情丁香五月天久久婷婷一区| 久久综合天天综合| 伊人婷婷五月天| 123日本不卡在线| 丁香五月最新地址| 婷婷综合精品视频97| 天天爽人人综合免费7799| 中文字幕日本最新乱码视频| 九月婷婷久久| 天天日天天干天天操| 激情五月婷婷综合| 九九色综合网| 久久久这里有精品| 99久久超级| 激情综合久久| 伊人玖玖婷婷| 久草婷婷| 99热.com| 俺去也五月| 99视频自拍| 婷婷五月天福利| 五月天婷婷成人网| www九九| 五月婷婷久久爱| xx久久| 9久久久久| 亚洲综合草草| 嫩草综合网| 手机在线日韩视频中文字幕| 99热这里只有精品 搜| 久久久久久激情| 丁香六月天| 中文AV在线播放| 五月婷婷婷婷| 这里只有精品99www| 久久婷婷五月综合色奶水99啪| 天堂久热| 丁香五月中文字幕久色| 波多婷婷久久| 色五月综合激情| 九九黄色网| 五月综合激情| 色爱综合网| 超碰精品国产首页| 五月婷婷久| 丁香六月婷婷久久综合| 天天色天天色天天色天天色天天色天天色 | 五月丁香六月综合基地| 五月婷婷综合在线视频| 五月丁香在线婷婷美女| 97日本操| 深情五月天| 亚洲天天操| 日本久久爽| 天天摸天天舔| 大香蕉婷婷五月| 综合网五月| 天天操天天国产三级片处女学生妹| 深爱激情小说五月婷婷| 综合色久| 久久亚洲色导航| 五月激情视频| 深爱五月综合网| 色色婷| 日韩在线99| 精品99在线观看| chaopeng在线人人| 五月婷婷啪啪| 超碰人人艹| 欧美日韩精品一区二区三区钱| 亚洲色综合性| 五月天丁香久久综合| 色婷婷五月综合在线| 老师的粉嫩小又紧水又多A片视频| 六月丁香五月激情亚洲AV| 婷婷四色五月| 五月色丁香国产在线视频| 久久精彩视频| 99青青草| 久99久热| 99色在线观看| 国产熟女日日骚五月丁香爱| 久久免费干| 五月丁香六月婷婷欧美综合| 国产97色在线| 久久性爱视频| 九九热99精品在线| 久久久久久久久久久44| 久久香蕉网| 伊人影音无码一区二区三区 | 综合伊人久久| 超碰人人操人人干| 色五月婷婷大| 激情啪啪五月| 国产精品久久久久久久久久| 九九热只有精品| 日韩日比视频| 久久激情综合| 十月色综合| 五月婷婷|欧美| 丁香婷婷五月天激情四射| 人妻射精AV| 亚州激情在线视频| 色爱爱综合网| 大香蕉啪啪啪| jiqingliuyuetian| 五月综合久久| 中国操逼99| 五月天六月色| 天天操夜夜夜拍拍拍| 五月天婷婷激情六月久久| 婷婷五月在线观看| 婷婷激情五月天色| 第1影院之五月婷婷| 日韩无码专区| 丁香五月亚洲天堂| 成人五月天婷婷| 国产精品91抖高| 综合成人小说婷婷| 色青青视频| 六月色激情| 91九九| 热久视频| 天堂婷婷五月在线| 五月丁香久久呀| 亚洲成av人影院| 天天搞天天爽| 免费试看小视频 99| 操97在线观看| 五月天com| 久久人妻在线| 色色色综合视频| 五月丁香婷婷啪啪网| 日本欧美成人片AAAA| 人人爱国产| 色吧五月婷婷| 丁香五月开心婷婷| 久久久18| 黑人熟妇一区二区三区| 在线观看视频1区| av狠狠操| 久草A片| 五月综合亚洲婷婷| 99热精品网| 五月丁香六月婷婷久久肏| 免费观看全黄做爰的视频| 丁香五月综合激情性爱| 日韩在线婷婷五月天综合| 思思热闹这里只有精品| 亲子乱AV一区二区三区下载| 婷婷五月丁香色综合| 国产美女无遮挡裸体毛片A片| 五月欧美丁香在线观看| 激情五月丁香六月| 天天爽夜夜爽夜夜爽精品| 淫视馆av三区| 国产AV影片| 色五月激情| 五月丁香六月欧美综合网站| 色丁香影院| 爱草视频在线| 色色色欧美| 久久狠婷婷| 国产毛片欧美毛片久久久| 综合久久影院| 99欧州偷拍视频| 狠狠草狠狠草| 五月婷婷香| site:publishdd.com| 97超喷视频在线观看| 久久 婷婷 五月天| 操逼电影免费看| 激情亚洲婷婷| 26uuu最新地址| 99久久亚洲国产| 玖久精品视频9| 国产一级片| 另类激情码| 少妇激情五月婷婷| 高清一区二区三区日本久| 久久九九玖玖| 婷婷色五月天在线| 91男人资源站| caop在线视频| 99热在线成人网站| 九九九九九九综合| 99热99热在线观看| 超碰不卡在线| 97色婷| www.五月瑟| 最近免费中文字幕大全高清大全1| 68热超碰在线| 五月婷婷综合色啪首页| 丁香深五月婷婷| 五月在在观看| 日本9区视频| 狠狠操狠狠操| 丁香五月天.com| 国产真实乱了老女人视频| 五月婷婷丁香五月亚洲色| 成人.在线日韩| 五月激情婷婷女| 欧美久人人| 天堂久久婷婷| 欧美在线视频9| 五月婷婷激情综合av| 九九黄色网| 激情五月丁香在线观看直播| 婷婷基地成人五月天| 狠狠爱五月婷婷| 五月天丁香啪啪综合| 亚洲色网络| 色吧五月| 禁片二区| 伊人啪啪网| 99热伊人| 婷婷五月天色| 亚洲熟妇AV综合网五月丁香伊人| 久久久8| 欧美大香蕉视频| 久久香蕉福利| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 九热视频| 四色五月婷婷| 丁香五月综合在线播放 | 婷婷亚洲五月丁香综合在线| 日韩黄色网络| 国产成人网站在线观看| 99热99思午夜精品| 婷婷香蕉精品| 久久人妻伊人| 久久综合影院| 婷婷国产五月天17c| 色五月激情网| 丁香五月电影| 国产在线黄色| 日韩免费视频| 九九热这里只有精品一| 婷婷五月激情四月综合| 亚洲成人AV在线播放| ztEJj| 搡BBBB搡BBB搡18| 99re热免费观看视频精品| 婷婷色色丁香| 五月丁香狠狠爱| 六月婷婷激情图片| 丁香五月成人社区| 激情五月综合久久| 色五月综合资源推荐| 伊人玖玖网| 婷婷五月综合免费在线| 五月开心播播网| 六月丁香五月婷婷| 二色av| 日日干日日| 亚洲另类噜噜| 中文字幕色色| 超碰在线综合| CHINESE熟女老女人HD视频| 午夜激情婷婷| 色婷婷电影| 小视频在线亚洲| 成人在线视频网| 五月丁香久久久久| 五月色丁香婷婷综合| AA片在线观看视频在线播放| 亚洲五月天婷婷| 这里只有精品久久| 九月丁香婷婷网| 男人天堂99| 久久久性爱视频| 久草性爱| 一级二级香港秋霞欧美欧美秋霞| 丁香九月综合在线| 亚洲婷婷丁香五月| 久久精品国产精品| 精品一二三区久久AAA片| 伊人婷婷五月天| 欧美日韩99| 夜夜操狠狠操| 激情综合网五月激情| 九九99久久| 超碰日韩人妻在线| 丁香婷色| 五月综合激情| 99惹精品视频| www夜夜操wwwcon| 久久人妻伊人| 五月婷婷网站| 五月丁香婷婷欧美| 影音先锋91视频| 大战熟女丰满人妻AV| 欧美内射AAAAAAXXXXX| 中文字幕欧美精品久久| 一本到不卡高清DVD| 久久九精品| 欧美五月婷婷| 激情小说 五月天| 丁香激情网| 97狠狠色| 久久精品国产一区二区三区四区| 久久一伦| 色五月婷婷、老熟女| 欧美日韩成人在线网站| 91麻豆国产三级精品福利在线观看| 五月激情婷婷国产精品久久久久久| 五月丁香婷婷免费视频| 亚洲网站在线鸭子av| 久久九九色| 婷婷 色 丁香 夜| 国产午夜成人免费看片无遮挡| 久久久久久久久久久-久五月天婷婷| 九九色天堂| 国产9色在线/日韩| 久久婷婷亚洲| 第四色大香蕉| 欧美日韩AAAA| 五月婷婷激情综合| 亚洲成人网站在线| 日日操夜夜爽| 91丨九色丨国产打屁股| 九色在线五月婷婷网址| 99热在线里有精品| 99热6精品| 亚洲五月天激情| 久久xx| 中文字幕av在线| 伊人玖玖网| 五月丁香六月婷婷中合网| 亚洲国产色婷婷| 久色中文| 五月婷婷丁香综合| 色优久久| 国产精品久久久久久久久久免费 | 欧美 日韩 成人| 婷婷色五月天色| 日本五月婷婷久久久六月丁香| 色色色色五月| 久99久在线| 欧美黄色一级| 六月色婷婷| 99日本在线| 播五月丁香三月婷婷| www激情网站| 狠狠干综合网| 九月色婷婷婷| 久久伊人婷婷| 99色综合| 五月天开心网| 午夜婷婷久久 | 嫩模aV在线| 色99热| 免费人人操| 久久婷丁香五月| 日本超碰在线| 五月丁香六月婷| 色婷婷色人人射| 人人爽欧美婷婷久久久五月丁香| 91肏| 开心激情色婷婷五月天| 97操碰人免费| www.久久久久久久| 色亭亭五月天网扯| 91在线观看www| 玖玖资源在线视频| 99综合视频在线| 色吧99| 日本一级一级一级一级| 中文不卡一二三区| 欧美色色色色色色| 9l视频自拍九色9l视频在线观看| 亚洲精99| 新激情综合| 亚洲第一综合| 九月丁香亭亭| 开心色播色五月婷婷| 99九九99九九九视频精彩| 777米奇影视第四色| 超碰99资源站| 五月成人网天天| 亚洲VA欧美VA| 天天综合五月| 日韩天堂久久| 丁香婷婷老熟女综合网| www.99热| 婷婷伊人综合中文字幕| AV操操操| 五月深爱网| 天天噜天天插| 婷婷五月69| 超碰97免费在线| 九九99视频精品| 国产精品人人做人人爽人人添| 欧洲亚洲午夜| 激情五月影院| 国产偷人妻精品一区| 综合五月激情网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 久久色六月| WWW.国产| 色婷婷综合视频| 另类小说色婷婷| 五月丁香六月婷婷综合| 日撸夜撸日操| 开心五月深爱激情| 综合深爱五月| 五月丁香六月婷婷亚洲综合| 婷婷五月天色综合翘| a网站免费观看| 久久婷婷色| 丁香婷婷黄网站| 婷婷99中文字幕| 中日韩狠狠色| 91丨九色丨丰满人妖| 91操屁股| 热久国产| 5月婷婷综合| 99在线观看精彩视频| 日本狠狠爽| 五六月丁香激情视频| 情婷婷五月天| 六月丁香网| 黄网在线播放| 天天日夜夜爽| 97久久婷婷色| 五月丁香网站| 色五月天成人在线| 亚洲色网络| 国产色色视频| 色婷婷很很十八禁| 一月婷婷色色| 中文字幕av久久爽一区| jiqingtaose五月天| 91婷婷丁香五月天免费视频网站| WWW,激情五月天,COM| 久热一本| 中文人妻主播久久| 丁香五月人妻| 天天综合精品| 9久久精品| 亚洲色频| 五月丁香色欲| 高清成人综合| 久久久com| 思思热久在线观看视频| 丁香婷婷色五月合集| 五月激情久久| 激情九月综合| 九洲一级A片| 五月丁香亚洲校园欧美| 99热这里只有精品在线| 日本熟女内射| 碰99在线| 91男同| 丁香五月婷婷在线观看| 久久99婷婷| 免费视频1区| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 三十熟女| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 五月天激情图片网| www99热| 欧美日综合| h在线看免费版在线看| AA片在线观看视频在线播放| 操逼视频网址| 日本一级黄色电影| 激情婷婷五月色| 丁香五月天在线| 91无码高清| 色婷婷六月| 玖玖色综合色| 午夜日日| 激情网 五月天| 婷婷丁香五月亚洲免费| 亚洲成人无码网站| 丁香婷婷综合精品六月初| 色高清无码视频| 激情深爱五月天| 免费观看18视频网站| 99热九九九九| 婷婷丁香色五月亚洲| 99色热综合| 国产97色在线 | 日韩| www久| 激情国产综合| 天天天天天天天干| 五月六月婷| 香蕉久久国产AV一区二区| 婷婷六久久| 五月婷婷无码| 99爱爱网| 99久久66综合| 久9视频| 日韩十国产极品久久| 9久视频| 99综合色色色| 激情涩涩网| 激情六月婷婷| 日B日潘金莲BB| 99热国产| 婷婷丁香五月婷婷| 日本啪啪视频HD| 在线日韩视频| 激情五月综合| 九九成人电影婷婷| 99在线观看视频免费| 99视频这里有精品免费观看| 色情五月综合婷婷| 五月丁香婷婷久久| 日日干天天爽| 婷婷综合婷婷| 五月伊人视频在线看| 五月丁香婷婷基地| 玖玖婷婷色| 五月婷婷色吧!| 丁香五月影院| 久久天堂色| 五月天停停成人网| 亚洲欧洲中文日韩久久AV乱码| 涩综合网| 久色视频| 热久久这里只有三级视频| wwwxxx五月婷婷小说| 久久五月丁香| 超碰人人射| 婷婷五月天美女21p| 91丁香色| 婷婷精品在线| 91人久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色婷婷五月成人网| 亚洲视频伍月婷婷| 六月婷婷色色网| 婷婷色五月天综合网| 狠狠干狠狠干| 九九这里只有精品在线视频| 影音先锋噜一噜| 69色婷婷| 色婷婷亚洲婷婷| 婷婷五月综合色中文字幕| 深夜A片| 激情五月四色| 人妻操操色| 久久9热好| 丁香婷婷五月天色播| 极品少妇XXXX精品少妇偷拍| 激情涩涩网| 综合网色| 成人色情五月天婷婷丁香| 色色五月婷婷| 婷婷五月天手机版视频| 日韩ww| 天天干天天色天天干| 久草丁香婷婷1024| 婷婷丁香在线播放| 玖玖@三月天天丁香婷婷| 欧洲第一久色| Aα在线免费观看| 五月天亚洲色| 射区导航| 丁香五月香蕉| 五月天综合久久| 99色热| 色综合久久888| 婷婷五月天777| 粉嫩AV久久一区二区三区| 色噜噜,噜噜色| 热99玖玖99玖玖99九九| 夜夜干 夜夜操| 亚洲无码yw| 91超碰人人操| 丁香六月婷婷缴情欧美| 久草x色在线观看99| 99视频这里只有精品10| 亚洲小电影在线观看黄999| 色色吧综合| 九九热免费观看视频| 成人做爰高潮A片免费视频| 天天 青草 丝袜制服 在线| 色天使久久综合| 色五月婷婷九月| 91AV视频| 六月丁香啪啪| 99视频只有这里精品| 人妻中文字幕网| 大香蕉婷婷色| 天色综合网站| 偷拍91九色| 99热精品在线观看| 2025年最新亚洲在线欧美| 极品色丁香| 99无码视频| 激情五月天伊人影院| 51成人| 在线观看免费视频| 六月丁香六月婷婷欧美| 99热福利| 色婷婷色| 一本大道嫩草AV无码专区| 婷婷干五月综合在线播放| 色色五月天丁香| 丰满人妻妇伦又伦精品国产 | 91 影音先锋| 人人摸人人干| 日韩精品色| 人妻久热| 99色人| 97资源碰碰| 激情婷婷人妻| 97视频久久| 伊人婷婷大香蕉在线| www久久艹| 五月色丁香国产在线视频| 九九久久免费视频44| 北京熟妇搡BBBB搡BBBB| 九九热视频在线观看| 丁香六月亚洲| XX久久| 草草夜夜操| 91婷婷色五月| 丁香婷婷色五月天| 婷婷99狠狠躁天天躁| 日本nghangse中文字幕| 久久小说网| 五月丁香久久综合| 五月丁香操亭亭网| 五月婷婷亚洲综合网| 大香蕉99热| 四川操逼站| 九九热青草| 99这里都是精品6| 日日操日日撸| 五月丁香六月婷婷久久久综合| 激情综合五月激情XXXX| 99riAV国产精品视频| 久久婷婷一级片| 婷色五月天| 色综合激情| 五月天婷婷社区| 嫩BBB槡BBBB搡BBBB视频| 激情五月天噢美| 黄色精品五月婷婷| 五月天婷婷色色网| 丁香五月婷婷高清| 91五月花丁香| 欧美婷婷色| 色色色网站| 亚洲另类在线观看| 亭亭色色五月天| 久热免费视频| 激情綜合W W W,激情五月天| 成年人99热| 深爱激情AV| 婷婷综合五月天激情| 亚洲色色色色色色色色色| 国产熟女大叫受不了| www. 五月. com| 日本少妇AA一级特黄大片| 丁香五月婷婷欧美性爱| 麻豆WWWCOM内射软件| 丁香六月婷婷| 五月丁香色色网| 色九九综合| 激情小说在线视频| 五月天社区| 91成人品| 激情五月天综合网| www.色婷婷| 狠狠色成人影片| 五月丁香婷婷六月| 色色色色综合| 777精品久无码人妻蜜桃| 99热亚洲| 天天天天操| 婷婷五月天伊人网| 天天影院色| 黄色五月婷婷| 色色色色色色网| 99热6精品| 亭亭玉月丁香| 色色色免费视频| 色五月婷婷久久| 久久人妻精品| 性生生活大片又黄又| 丁香五月成人| 九九艹女| 综合网色综合| 99久精品视频| 狼人久草| 中文字幕簧片| 伊人五月天婷婷| 成人丁香五月天| 狠狠爱婷婷丁香| 婷婷五月成人| 99精品久久| 香蕉久久国产AV一区二区| 色婷婷很很丝袜| 激情婷婷五月少妇| 九九综合| 最新激情五月天| 五月婷婷综合色啪首页| 精品人妻一区二区三区四区不卡在| 久久婷婷亚洲| 色色色色色色色色网站| 丁香六月天| 综合久| 亚洲va久久久噜噜噜久久天堂| 久热在线观看视频9| 久久大香蕉视频| 激情五月天婷婷| 五月婷婷开心六月激情小说| 五月婷婷 激情五月| 欧洲亚洲午夜| 激情久久久| 极品少妇婷婷五月| 久久亚洲婷婷| 玖玖资源网站最新站| 五月天综合视频| 色婷婷久久| 99色热综合| 99爱99操| 婷婷激情五月综合基地| 97超碰在线免费观看| 免费亚洲婷婷| 91婷婷丁香五月亚洲| av在线播放网址| 五月天婷婷久久综合| 激情综合五月开心狠狠| 五月丁香综合激情| 国产毛片精品一区二区色欲黄A片| 超碰国产AV| 激情影院内射| 激情文学五月丁香六月婷婷| 色999亚洲人成色| 996re热精品视频| 五月丁香综合激情| A网在线欧洲| 另类图片激情五月| 日本视频不卡123区| 色婷婷综合综合网| 熟女五月天久久综合| 婷婷久久五月丁香| 成人龟情网丁香五月| 9久热免费视频99| 99视频精品全部免费 在线| 狠狠爱综合| 丁香深五月婷婷| www。五月天激情| 天天日天天干天天天| 中字幕视频在线永久在线观看免费| 丁香五月婷婷亚洲天堂| 欧美天天五月丁香免费观看| 五月丁香综合激情| 九月丁香网婷婷| 久久激情五月| 婷婷丁香五月色| 亚洲亚洲人成综合网络| 色综合久久久久| 99免费热视频在线| 国产乱子轮XXX农村| 色色色地址| 激情五月六月婷婷| 国产小精品| 五月丁香啪啪激情| 五月开心深深爱激情综合| 综合色色网| 美女精品一级不卡视频| 天天操狠狠操| 色五月婷婷在线观看第一页舔| 色情婷婷| 久大香蕉| 久久99免费视频| www.色五月天.com| 亚洲人妻av| 999婷婷综合| 色丁香五月| 五月丁香狠狠爱婷婷综合| 精品一区二区三区四区五区六区介绍| 婷婷97碰碰| 99色在线免费观看视频| 美女妹子后射视频网站在线观看| 99精品成人无码A片观看金桔| 热久久91| 91九色网| 色婷婷久久久| 精品人妻在线| 日韩有码久久| 深爱激情五月网| 人人操婷婷| 天天拍久久| 天天久综合网永久入口18| 九九综合精品| 亚洲精品视频在线播放| 综合网色| 狠狠干在线| 综合激情婷婷| 亚洲色综合| 色婷婷影| AV在线大香蕉| 色色五月天网站| 久久538| 日本WWW九九九| 五月激情在线| 丁香五月网| 婷婷婷婷婷开心无码播放| www. 五月. com| 亚洲天天| 五月丁香激情啪啪网| EEUSS鲁片一区二区三区| 91综合在线观看| 精品色| 亚洲色图在线视频| 久久伊人9| 五月婷六月| 综合99综合久久久久久久| 高清不卡一区| 丁香五月天激情视频| 日日干五月天婷婷| 午夜五月天| 天天干天天日天天插| 亚洲亚洲人成综合网络| 91婷婷五月天综合视频| 亚洲韩国日产综合AV| 激情综合激情五月一起草| 日本三级色| 五月婷婷啪啪网| 色色综合热| 五月色综合| 色婷婷欧美| 日本欧美成人片AAAA| 色五月激情综合| 三日本无码| 六月丁香VA| 久超超碰| 丁香五月电影| 色婷五月| 97黑人精品区| 亚州色色色| 伊人丁香五月| 色原狠狠综合| 日韩成人AV在线| 婷色人人狠| 国产古装妇女野外A片| 天插天啪天啪天啪| 日韩伊人大香蕉| 九九色热| 99热骚货| 九九自拍网| www色色com| 天天干、天天日日| 久超超碰| 激情五月天网站| 深爱激情网综合| 色狠狠综合| 亚洲V国产V欧美V久久久久久| 日日操天天| 91人碰| 极品人妻VIDEOSSS人妻| 天天日,天天射,天天舔| 久久久99久久| 国产亚洲AV人片在线| 色色亚洲| 99这里只有精品8| 极品九九九九九九| 99无码| 综合五月天完整| 五月五婷婷网| 婷婷亚洲在线| 九月丁香亭亭| 99热这里只有精品在线播放| 婷婷色五月丁香六月欧美啪| 日韩黄色中文字幕| 久久激情综合| 我要射综合| 亚洲精品无码久久| 中文字幕免费高清电视剧| 亚洲AV中文在线| 精品福利911| 丁香 久久| 老司机视频lsj爱就色| 四虎成人精品永久免费AV九九| 我爱婷婷五月天综合88| 日韩黄黄| 五月色婷婷夜色| 99视频精品| 久久婷婷视频| 深爱丁香激情| 色婷婷丁香五月| 伊人婷婷91| 国产精品第一国产精品| 97超碰综合| 色久丁香五| 久久这里都是精品视频| 久9久9久9久9久9久9| 97AV人人插人人操| 搡BBBB搡BBB搡18 | 色综合色色| 九九热婷婷| 婷婷五月色亚洲| 国产色色在线| 国产成人AV在线| 日韩AV成人电影| 夜精品无码A片一区二区蜜桃| 婷婷九月色| 青青草五月天| 天天成人丁香美女AV| 情五月亚洲婷婷| 中文字幕成人| 久99久99精品免| 久久丁香社| 91人人爱| 这里只有精品视频| 天天爽人人综合免费7799| 毛片新网地| 五月天婷婷激情在线色图| 日日肏夜夜干| 色青青五月| 日本一道久久| 亚洲第一黄网| 婷婷五月丁香花综合| 丁香五月ⅤA久久久| 久草婷婷网| 国产伦亲子伦亲子视频观看| 激情婷婷五月| 亚洲av网站在线观看| 99精品综合| 婷婷五月色播| 五月天.com| 99久久大片| 综合久久人妻| 色婷婷丁香五月天| 丁香五月综合亚洲| 99久久精品视频女神1| 亚洲精| 中文aV网| 五月涩涩网| 米奇影视资源777狠狠色婷婷五月天激情网 | 亚洲AV成人在线| 91色色色18| 91色久| 五月激情综合网| 色天五月天在线观看视频| jiZZdr| 激情丁香五月婷婷| 色五月婷婷影院| www.com五月天| 女人天堂AV| 婷婷成人五月天| 成人在线视频一区| 欧美人人操| 丁香五月色色| 99re思思热久久| 日本片日本片祼观看网站在线看中文版网页在线看 | 亚洲精品色| 搡BBBB搡BBB搡18 | 综合色五月亭亭| AA片在线观看视频在线播放 | 色色色精品无码区| 天天摸夜夜爽天天做| 久久99热精品a片在线观看| 1995年关宝慧版蜘蛛女| 色女伊人| 五月丁香网站| jizzdr| 婷婷的99视频网站| 高清无码视频网址| 欧洲MV日韩MV国产| 色99久草在线| 日日噜噜久久婷婷五月天| 99毛片| 欧美色五月| 日韩久久色| 99亚洲综合| 狠狠色无码| 五月婷婷在线视频| 91视频一起草| 丁香婷婷激情| ZpRSw| 9999热在线免费观看| 五月婷婷干干干| 丁香五月婷婷88在线| 深爱激情网综合| 丁香五月色色| www99热| 久久久全国免费视频| 久艹大香蕉| 欧美va精品va老师va| 婷婷五月天电影在线| 91久久五月天| 五月婷婷深深爱| 黄色aa观看aaguochan| WWW色色色COm| 亚洲狠狠婷婷综合久久久| 婷婷射婷婷舔| 日本一毛片| 国色天香成人网| 人人97操| 99热这里只有精品10| 色婷婷裸体色性在线| 97热精品| 激情内射人妻1区2区3区| 婷婷色基地在线看| 伦乱美欧| 国产视频婷婷| 久久天天| 丁香五月婷婷少妇| 亚州精品色情无码A片| 婷婷丁香色五月| 色狠狠色| 99riAV成人在线视频| 婷婷亚洲天堂| 狠狠五月综合在线| 亚洲激情五月天| 91丁香色五月| 婷婷放心五日爱| 99精品性爱| 色色色综合网| 婷婷爱爱蜜臀天天操| 天天 日综合| 国产激情在线| www.第四色99| 91久久久久久久| 成人五月天视频| 婷婷久久久| 色约约视频一区二区三区四区五区 | 激情五月亚洲综合网| 综合激情在线视频| 人人操人人妻| 天天爽在线视频| 播四月婷婷六月丁香| 97色色色色色色色色色色色色色| 丁香五月色综合色播五月| 日本在线99| 香蕉久久国产AV一区二区| 激情五月天色婷婷综合| 日本性激情色播| 26UUU欧美| 97色女人在线| 国产成人va在线| 999热这里只有精品| 99人人干人人| 人妻精品久久久久久| 亚洲爆乳无码精品AAA片蜜桃| 99狠狠操一| 五月婷婷m| 婷婷五月丁香基地| 婷婷国产欧美97| www激情五月天| 免费无码毛片一区二区A片| 先锋五月婷婷丁香草草| AV性爱在线| 婷婷操无码| 翔田千里aV中文字幕| 久操综合| 亚洲99在线| 五月丁香在线看| 91九色超碰| 99视频久久免费视频| 五月丁香香蕉| 激情丁香六月| 五月丁香六月婷婷欧美综合| 丁香花狠狠婷婷亚洲中文字幕| 国内婷婷丁香社区在线播放| 婷婷五月天福利| 五月丁香久| 久久五月天色婷婷| 狠狠色九月| 5月婷婷五月天| 狠狠狠狠草草| 久久在线人妻| www.色多多婷| www·五月天| 97精品人人A片免费看| 国产色色在线| 五月色网| 久久五月视频| www.婷婷五月| 久久曰曰| 狠狠综合网| 丁香无月在线观看| 亚洲丁香花色| 第四色婷婷日本| 91精品久久久久久77777| 九九aV| AV在线大香蕉| 色婷婷影视| 久热九九| 性爱先锋AV| 五月婷婷丁香五月| 五月天婷婷xxx| 99热手机在线精品| www。五月天激情| 天天日夜夜| 激情伊人五月婷婷久久| 色青青电影色五月| 婷婷爱婷婷| 六月丁香啪| 久久五月丁香| 成人视屏在线观看| 婷婷五月天精品| 99热精品10| 成人无码髙潮喷水A片| 六月婷婷激情小说网| 婷婷福利影院| 婷婷六月色开 | 婷婷在线播放| WwW天天干| 欧美色激情四射| 五月婷六月婷婷| 91美女啪啪| 九九热大香蕉| 99操碰| 国外亚洲成AV人片在线观看| 国产精品色一哟哟| 大香蕉75线| 久久婷婷成人| 欧美丁香六月在线观看视频| 搡BBBB搡BBB搡18| 五月婷婷在线综合| 六月色激情| www久| 思思久久思思| se99热久久一本| 欧美六月| 五月青青草综合| 色五月婷婷丁香凹凸| 婷婷97碰碰| 日日操夜夜爽白洁| 五月 婷 久| 91色吧网| 天天日人人| 亚洲不卡123| 九九久久99| 六月香五月婷| 男人視頻站| wwwss在线观看| 五月丁香婷庭在线| 亚洲午夜一区二区| 99久热| 亚洲六月色| 欧韩性爱| 五月天操逼激情| 超碰色综合| 亚洲第一色网站| 大香蕉Av在线| 中文字幕成人|