欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

RoPE旋轉(zhuǎn)位置編碼深度解析:原理、PyTorch實(shí)現(xiàn)與長(zhǎng)上下文外推實(shí)踐

RoPE旋轉(zhuǎn)位置編碼深度解析:原理、PyTorch實(shí)現(xiàn)與長(zhǎng)上下文外推實(shí)踐 當(dāng)年調(diào)試兩層 Transformer 時(shí)我踩過(guò)一個(gè)非常典型的坑把輸入句子里幾個(gè)詞的順序打亂之后模型輸出竟然幾乎沒(méi)變。查了半天才意識(shí)到問(wèn)題不在實(shí)現(xiàn)而在位置信息。沒(méi)有位置編碼的注意力機(jī)制本質(zhì)上是對(duì)稱(chēng)的它不關(guān)心詞與詞之間隔了多遠(yuǎn)只關(guān)心內(nèi)容像不像。短句上這種毛病不明顯序列一長(zhǎng)就徹底露餡。后來(lái)我開(kāi)始逐個(gè)翻主流開(kāi)源語(yǔ)言模型的訓(xùn)練和推理代碼發(fā)現(xiàn)這幾年位置編碼幾乎都從“加法偏置”換成了旋轉(zhuǎn)位置嵌入Rotary Position EmbeddingRoPE。RePE 不再把位置當(dāng)成一個(gè)加在詞向量上的噪聲而是當(dāng)成一個(gè)作用在 Query 和 Key 上的旋轉(zhuǎn)變換。這個(gè)設(shè)計(jì)有個(gè)非常優(yōu)雅的結(jié)果注意力分?jǐn)?shù)天然只依賴(lài)兩個(gè) token 之間的相對(duì)距離而不依賴(lài)它們各自的絕對(duì)位置。這篇文章不談空泛結(jié)論只講幾件實(shí)際用得上的事為什么 Transformer 必須有位置編碼、RoPE 的旋轉(zhuǎn)矩陣到底做了什么、怎么從零手寫(xiě)一遍能跑的 PyTorch 實(shí)現(xiàn)以及在實(shí)際訓(xùn)練和推理里 RoPE 最常見(jiàn)的那幾個(gè)坑該怎么繞。1. 先講動(dòng)機(jī)沒(méi)有位置編碼的 Transformer 是什么樣子的1.1 自注意力的排列不變性Transformer 的核心是自注意力。給定一組輸入向量每一層的注意力輸出是“對(duì)整條序列做加權(quán)求和”權(quán)重由兩兩之間的點(diǎn)積決定Attention(Q, K, V) softmax(QK^T / sqrt(d)) · V這里面有一個(gè)容易被忽略的性質(zhì)如果把輸入序列的打亂順序再喂進(jìn)去輸出也會(huì)跟著打亂但每個(gè)位置的輸出值本身不變。用術(shù)語(yǔ)說(shuō)就是 permutation equivariant排列等變。也就是說(shuō)模型本身根本不知道“誰(shuí)在誰(shuí)后面”。把這個(gè)問(wèn)題類(lèi)比成語(yǔ)義理解就很好懂了。同樣一句話(huà)“張三打了李四”和“李四打了張三”用的詞一模一樣唯一的差別在詞序。如果模型沒(méi)有位置信息它看到的就是一個(gè)詞袋只能知道出現(xiàn)了張三、李四、打卻分不清誰(shuí)打了誰(shuí)。對(duì)短句來(lái)說(shuō)預(yù)訓(xùn)練數(shù)據(jù)里的大量語(yǔ)序先驗(yàn)還能補(bǔ)救但一旦句子變長(zhǎng)、結(jié)構(gòu)變得復(fù)雜位置信息的缺失就是致命的。1.2 為什么早期方案不徹底初代 Transformer 用的是正弦加法式位置編碼直接把一個(gè)隨位置變化的正弦波向量加到詞向量上。這種方式在當(dāng)時(shí)的機(jī)器翻譯任務(wù)上夠用但它有幾個(gè)明顯的先天問(wèn)題第一位置信息是被“加”進(jìn)去的和詞向量混在一起。模型必須自己從混合向量里把“內(nèi)容”和“位置”拆開(kāi)這增加了學(xué)習(xí)負(fù)擔(dān)。第二注意力分?jǐn)?shù)計(jì)算時(shí)兩個(gè) token 的點(diǎn)積里雖然包含了它們的絕對(duì)位置信號(hào)卻很難直接化簡(jiǎn)成只依賴(lài)相對(duì)位置的形式。換句話(huà)說(shuō)模型要學(xué)出“距離越近關(guān)系越強(qiáng)”這種歸納偏置需要靠大量數(shù)據(jù)硬學(xué)而不是由結(jié)構(gòu)天然保證。后來(lái)也有人用可學(xué)習(xí)位置編碼、相對(duì)位置偏置、T5 式相對(duì) bias、ALiBi 線(xiàn)性距離懲罰等方案。這些方案各有進(jìn)展但要么仍然是在加法層面打轉(zhuǎn)要么雖然顯式建模了相對(duì)位置卻沒(méi)有和 Q、K 的旋轉(zhuǎn)幾何結(jié)合起來(lái)無(wú)法同時(shí)滿(mǎn)足“形式簡(jiǎn)單”“可外推”“不增加推理狀態(tài)”這三個(gè)要求。這才輪到 RoPE 出場(chǎng)。1.3 我們到底想要怎樣一種位置編碼站在工程角度理想位置編碼應(yīng)該滿(mǎn)足四個(gè)條件。一是相對(duì)位置敏感兩個(gè) token 的注意力分?jǐn)?shù)最好只由它們的相對(duì)位移決定這和語(yǔ)言直覺(jué)一致。二是形式輕量不能給 KV Cache 或推理流程增加額外的復(fù)雜度。三是可外推訓(xùn)練時(shí)最長(zhǎng) 2048推理時(shí)最好能體面地跑到 4096 甚至更長(zhǎng)而不是直接斷崖式崩潰。四是向量范數(shù)穩(wěn)定對(duì)向量做變換時(shí)不要把向量的模長(zhǎng)也跟著改掉否則注意力在長(zhǎng)序列上的尺度會(huì)失控。RoPE 恰恰同時(shí)滿(mǎn)足這四點(diǎn)。它的核心思路是給每個(gè) Query 和 Key 單獨(dú)施加一個(gè)只和它自身位置相關(guān)的旋轉(zhuǎn)變換再計(jì)算兩者的點(diǎn)積。三角函數(shù)和旋轉(zhuǎn)矩陣恰好滿(mǎn)足“先旋轉(zhuǎn)再點(diǎn)積 旋轉(zhuǎn)一點(diǎn)的差后點(diǎn)積”于是相對(duì)位置就自動(dòng)浮現(xiàn)了。2. 旋轉(zhuǎn)矩陣如何把“位置”藏進(jìn)夾角2.1 從二維旋轉(zhuǎn)說(shuō)起回想二維平面上的旋轉(zhuǎn)矩陣。把一個(gè)向量逆時(shí)針旋轉(zhuǎn)角度m·θ可以得到R(mθ) [[cos(mθ), -sin(mθ)], [sin(mθ), cos(mθ)]]這里m是 token 在序列里的位置θ是一個(gè)基礎(chǔ)頻率。比如位置 1 旋轉(zhuǎn)θ位置 5 旋轉(zhuǎn)5θ位置差為 4 的兩個(gè)向量它們之間的相對(duì)角度就是4θ。如果把注意力計(jì)算里的二維 Query 和二維 Key 都各自旋轉(zhuǎn)再來(lái)做點(diǎn)積就會(huì)得到?R(mθ) q, R(nθ) k? q^T R(mθ)^T R(nθ) k q^T R((n-m)θ) k最終等式里只剩n-m跟 m 和 n 的絕對(duì)值無(wú)關(guān)。這就是 RoPE 的全部魔法只要 Q 和 K 用同一套旋轉(zhuǎn)體系點(diǎn)積天然只看相對(duì)位置。2.2 從二維推廣到高維語(yǔ)言模型的 head_dim 通常是偶數(shù)比如 64 或 128。RoPE 的做法是把高維向量拆成d/2個(gè)二維子向量每個(gè)子向量用各自獨(dú)立的頻率θ_i旋轉(zhuǎn)。這些頻率設(shè)計(jì)成從大到小的指數(shù)分布θ_i 10000^(-2i / d), i 0, 1, ..., d/2 - 1當(dāng)i0時(shí)頻率最高旋轉(zhuǎn)角度變化最快當(dāng)i接近d/2-1時(shí)頻率最低旋轉(zhuǎn)角度變化非常緩慢。高頻率通道負(fù)責(zé)捕捉相鄰詞的局部關(guān)系低頻率通道負(fù)責(zé)傳遞跨很長(zhǎng)的位置信息。這和小波分析里的多尺度分解思路類(lèi)似不同通道各司其職。完整的高維變換寫(xiě)成公式大概是f(q, m) [ [cos(mθ_0), -sin(mθ_0)], [sin(mθ_0), cos(mθ_0)], ... [cos(mθ_{d/2-1}), -sin(mθ_{d/2-1})], [sin(mθ_{d/2-1}), cos(mθ_{d/2-1})] ] · q這塊對(duì)角旋轉(zhuǎn)矩陣雖然龐大但實(shí)際運(yùn)算時(shí)完全不需要顯式構(gòu)建矩陣。我們可以借用復(fù)數(shù)觀點(diǎn)把相鄰的兩個(gè)維度看成一個(gè)復(fù)數(shù)旋轉(zhuǎn)就是乘上e^(i·m·θ_i)。這正是原始論文和很多開(kāi)源實(shí)現(xiàn)采用復(fù)數(shù)形式的原因。2.3 三個(gè)容易被忽略的幾何性質(zhì)第一個(gè)性質(zhì)是模長(zhǎng)不變。旋轉(zhuǎn)不改變向量的長(zhǎng)度所以|R(m)q| |q|。這一點(diǎn)很重要它保證了注意力分?jǐn)?shù)不會(huì)因?yàn)槲恢镁幋a的引入而出現(xiàn)尺度漂移。第二個(gè)性質(zhì)是相對(duì)位置分解。這一點(diǎn)前面已經(jīng)推導(dǎo)過(guò)是 RoPE 名稱(chēng)里“旋轉(zhuǎn)”的底氣。它讓模型在結(jié)構(gòu)上就具備相對(duì)位置建模能力而不是靠數(shù)據(jù)硬學(xué)。第三個(gè)性質(zhì)是遠(yuǎn)程衰減。由于用了多層不同頻率的旋轉(zhuǎn)當(dāng)位置差變大時(shí)高頻率分量之間的點(diǎn)積會(huì)快速震蕩抵消整體上會(huì)出現(xiàn)一個(gè)隨距離增加而衰減的包絡(luò)。這個(gè)衰減不是某個(gè)規(guī)則寫(xiě)死的而是由頻率分布自然形成的類(lèi)似于原始正弦編碼里的衰減行為但尺度更平滑。實(shí)際調(diào)試時(shí)我經(jīng)??吹接腥藛?wèn)“為什么 RoPE 不直接把位置加在 embedding 上”。答案是加法會(huì)改向量長(zhǎng)度旋轉(zhuǎn)不會(huì)加法無(wú)法化簡(jiǎn)成n-m旋轉(zhuǎn)可以。RoPE 是乘法式位置編碼里目前最優(yōu)雅的一種。3. 從公式到 PyTorch一份可直接運(yùn)行的實(shí)現(xiàn)3.1 先寫(xiě)旋轉(zhuǎn)函數(shù)高維旋轉(zhuǎn)的落地寫(xiě)法有兩種。論文原汁原味的寫(xiě)法是用復(fù)數(shù)每?jī)蓚€(gè)相鄰維度組成一個(gè)復(fù)數(shù)和預(yù)計(jì)算的復(fù)數(shù)頻率相乘。主流框架里更常見(jiàn)的是rotate_half寫(xiě)法它利用向量前后兩半的錯(cuò)位拼接省去復(fù)數(shù)操作。先看rotate_halfimport torch def rotate_half(x): 把向量的后半段取負(fù)接到前半段后面。 x1 x[..., : x.shape[-1] // 2] x2 x[..., x.shape[-1] // 2:] return torch.cat((-x2, x1), dim-1)再看應(yīng)用函數(shù)def apply_rotary_pos_emb(q, k, cos, sin): # 假設(shè) q/k 形狀都是 [batch, num_heads, seq_len, head_dim] # cos/sin 形狀為 [seq_len, head_dim] cos cos[: q.size(-2), :].unsqueeze(0).unsqueeze(0) sin sin[: q.size(-2), :].unsqueeze(0).unsqueeze(0) q_embed (q * cos) (rotate_half(q) * sin) k_embed (k * cos) (rotate_half(k) * sin) return q_embed, k_embed這里的關(guān)鍵是把向量x拆成前后兩半然后用(q * cos) rotate_half(q) * sin組合。它實(shí)際上把不同維度對(duì)按一定分組做了旋轉(zhuǎn)和復(fù)數(shù)乘法是同一族旋轉(zhuǎn)嵌入只是分組順序不同。在工程上這種寫(xiě)法更直觀也完全不用處理復(fù)數(shù)類(lèi)型。3.2 預(yù)計(jì)算 cos 和 sin 表位置編碼是確定的不需要學(xué)習(xí)所以可以預(yù)先算出一張表運(yùn)行時(shí)按位置取用。頻率公式里的10000是 base后面會(huì)講它怎么影響外推。def precompute_rope_cache(dim, max_seq_len, base10000.0): # 生成 [θ_0, θ_1, ..., θ_(dim/2-1)] inv_freq 1.0 / (base ** (torch.arange(0, dim, 2).float() / dim)) # 生成每個(gè)位置的角度 m * θ_i t torch.arange(max_seq_len).float().unsqueeze(1) angles t * inv_freq.unsqueeze(0) # [max_seq_len, dim // 2] angles torch.cat((angles, angles), dim-1) # [max_seq_len, dim] cos_cached angles.cos() sin_cached angles.sin() return cos_cached, sin_cached這里torch.cat((angles, angles), dim-1)是工程里很常見(jiàn)的加速技巧先算出dim // 2個(gè)角再?gòu)?fù)制一份拼到后面讓每個(gè)旋轉(zhuǎn)“配對(duì)”有兩個(gè)維度共享同一個(gè)頻率省去逐維度查表。3.3 復(fù)數(shù)寫(xiě)法更貼近論文原理解讀如果你從論文或某些復(fù)現(xiàn)代碼里見(jiàn)到復(fù)數(shù)實(shí)現(xiàn)也不奇怪。它的核心是把相鄰兩個(gè)維度讀成一個(gè)復(fù)數(shù)def apply_rotary_emb(xq, xk, freqs_cis): # xq: [batch, num_heads, seq_len, head_dim] xq_ xq.float().view(*xq.shape[:-1], -1, 2) xk_ xk.float().view(*xk.shape[:-1], -1, 2) xq_ torch.view_as_complex(xq_) # [batch, heads, seq, dim/2] xk_ torch.view_as_complex(xk_) freqs_cis freqs_cis[: xq_.size(-2)] # [seq, dim/2] freqs_cis freqs_cis.unsqueeze(0).unsqueeze(0) xq_out torch.view_as_real(xq_ * freqs_cis).flatten(-2) xk_out torch.view_as_real(xk_ * freqs_cis).flatten(-2) return xq_out.type_as(xq), xk_out.type_as(xk)復(fù)數(shù)寫(xiě)法對(duì)數(shù)學(xué)推導(dǎo)更友好xq_ * freqs_cis就是復(fù)平面上的一次旋轉(zhuǎn)。但復(fù)數(shù)在有些后端比如某些半精度推理腳本上會(huì)帶來(lái)額外的類(lèi)型兼容問(wèn)題所以在工程上rotate_half版本更常用。3.4 接入多頭注意力把上面的片段串進(jìn)一個(gè)常規(guī)多頭注意力模塊核心就三行cos, sin precompute_rope_cache(head_dim, max_seq_len) q_embed, k_embed apply_rotary_pos_emb(q, k, cos, sin) attn_weights torch.matmul(q_embed, k_embed.transpose(-2, -1)) / math.sqrt(head_dim)這里有一個(gè)很容易搞錯(cuò)的細(xì)節(jié)只旋轉(zhuǎn) Q 和 KV 完全不旋轉(zhuǎn)。V 只是被注意力分?jǐn)?shù)加權(quán)求和的對(duì)象位置關(guān)系已經(jīng)由權(quán)重表達(dá)了再給 V 加位置反而會(huì)造成信息重復(fù)。4. 和絕對(duì)位置、相對(duì)位置、ALiBi 的橫向?qū)Ρ?.1 一張表看清主流方案位置編碼方案作用位置相對(duì)位置依賴(lài)訓(xùn)練后外推能力KV Cache 負(fù)擔(dān)典型場(chǎng)景正弦絕對(duì)編碼加到詞嵌入上隱式需要模型自己學(xué)弱超出訓(xùn)練長(zhǎng)度迅速退化無(wú)早期 Transformer可學(xué)習(xí)絕對(duì)編碼加到詞嵌入上隱式很弱訓(xùn)練長(zhǎng)度是最硬上限無(wú)經(jīng)典雙向編碼器T5 相對(duì) bias加到注意力 logits 上顯式中等超出 bias 表范圍即失效需要緩存 bias 表T5 類(lèi)模型ALiBi對(duì)注意力 logits 做距離懲罰顯式較好但沒(méi)有旋轉(zhuǎn)幾何的深層性質(zhì)無(wú)長(zhǎng)文本推理類(lèi)模型RoPE作用于 Q、K 向量本身顯式由旋轉(zhuǎn)推導(dǎo)中等但配合 base 調(diào)整能顯著增強(qiáng)無(wú)額外狀態(tài)現(xiàn)代大模型默認(rèn)方案4.2 為什么加法式方案輸在了結(jié)構(gòu)上加法式位置編碼的問(wèn)題在于位置信息是“疊”在內(nèi)容上的。模型對(duì)同一個(gè)位置的向量施加的偏置會(huì)被投到所有下游計(jì)算里最后注意力分?jǐn)?shù)確實(shí)包含了位置信號(hào)但這個(gè)信號(hào)和內(nèi)容信號(hào)糾纏在一起無(wú)法分離。相對(duì)位置 bias 和 ALiBi 把位置直接疊加到注意力得分上已經(jīng)比加法式強(qiáng)很多但它們?nèi)匀皇且环N“修正項(xiàng)”沒(méi)有改變 Q、K 本身的幾何結(jié)構(gòu)。RoPE 則是在計(jì)算 Q、K 的點(diǎn)積之前先把它們做了旋轉(zhuǎn)。旋轉(zhuǎn)之后Q、K 的內(nèi)容信息一點(diǎn)沒(méi)丟但點(diǎn)積的表達(dá)式里自動(dòng)出現(xiàn)了相對(duì)位置。這就是“乘法式”和“加法式”的本質(zhì)區(qū)別RoPE 把位置信息變成了向量之間的夾角關(guān)系而不是一個(gè)附加數(shù)值。4.3 長(zhǎng)上下文場(chǎng)景下誰(shuí)更省心從工程角度看RoPE 在 KV Cache 上的優(yōu)勢(shì)也很明顯??蓪W(xué)習(xí)位置編碼在推理時(shí)需要為每個(gè)位置維護(hù)獨(dú)立的嵌入向量ALiBi 和 T5 bias 也要在運(yùn)行時(shí)查表或構(gòu)造偏置。RoPE 則只需要在加載 K、V 時(shí)把當(dāng)前增量位置的旋轉(zhuǎn)角算好緩存里無(wú)需額外存位置狀態(tài)。推理效率上RoPE 幾乎沒(méi)有額外開(kāi)銷(xiāo)這也是大模型普遍選擇它的一個(gè)重要原因。當(dāng)然 RoPE 不是萬(wàn)能藥。它放棄了對(duì)模型“某絕對(duì)位置有特殊含義”的顯式建模如果你做的是必須依賴(lài)絕對(duì)位置的合成任務(wù)比如“第 5 個(gè)位置一定是某種 token”RoPE 可能需要額外輸入特征來(lái)補(bǔ)。但對(duì)絕大多數(shù)自然語(yǔ)言序列建模來(lái)說(shuō)相對(duì)位置遠(yuǎn)比絕對(duì)位置重要。5. 工程落地避坑外推、base 和 KV Cache5.1 訓(xùn)練 2048推理 8192為什么直接崩很多人在自己的模型上把訓(xùn)練序列長(zhǎng)度定為 2048用了 RoPE 之后天真地以為“相對(duì)位置編碼應(yīng)該能外推”結(jié)果把輸入改成 8192 一跑困惑度直接飆升。原因是 RoPE 的頻率是按訓(xùn)練時(shí)見(jiàn)過(guò)的位置范圍設(shè)計(jì)的。位置 4096 對(duì)應(yīng)的最低頻通道角度可能是訓(xùn)練時(shí)從未出現(xiàn)過(guò)的值模型雖然在結(jié)構(gòu)上是相對(duì)位置的但訓(xùn)練到的統(tǒng)計(jì)特性并沒(méi)有覆蓋這么大的旋轉(zhuǎn)角度范圍。絕對(duì)位置雖然被旋轉(zhuǎn)“隱藏”了卻仍然會(huì)通過(guò)頻率范圍影響模型。5.2 調(diào) base 才是外推的真正入口長(zhǎng)度外推最常見(jiàn)的方案是修改頻率公式里的 base。NTK-aware 放縮是目前最通用的經(jīng)驗(yàn)法則假設(shè)你打算把上下文從訓(xùn)練長(zhǎng)度 L 擴(kuò)展到目標(biāo)長(zhǎng)度L令放縮比s L / L那么新的 base 大致取new_base base × s^(d / (d - 2))這里的d是 head_dim。為什么分母是d-2因?yàn)轭l率最低的那個(gè)通道i d/2-1對(duì)應(yīng)的角頻率是base^(-(d-2)/d)。要讓它在目標(biāo)長(zhǎng)度內(nèi)也至少能轉(zhuǎn)滿(mǎn)必要的圈數(shù)就必須按這個(gè)冪次抬高 base。這個(gè)公式本質(zhì)上是保證最高頻率不變、最低頻率按比例壓低讓整個(gè)頻譜能均勻覆蓋到更長(zhǎng)的序列。實(shí)際調(diào)參時(shí)我不會(huì)一次性把 base 從 10000 調(diào)到百萬(wàn)級(jí)。比如從 2048 擴(kuò)展到 8192s4head_dim64那么新的 base 大約是10000 × 4^(64/62) ≈ 10000 × 4.09 ≈ 40900這個(gè)量級(jí)是相對(duì)溫和的短序列上的表現(xiàn)也不會(huì)明顯退化。5.3 動(dòng)態(tài)插值和 YaRN 的思路NTK-aware 的 base 改法只針對(duì)“目標(biāo)長(zhǎng)度”單一值。如果推理時(shí)輸入長(zhǎng)度是 4096過(guò)一會(huì)兒變成 8192再變成 32768固定 base 就不太夠用了。動(dòng)態(tài) NTK 的思路是隨當(dāng)前序列長(zhǎng)度實(shí)時(shí)計(jì)算 base長(zhǎng)度越長(zhǎng) base 越大避免最壞情況出現(xiàn)。更精致的方案是 YaRN。它的思路是對(duì)不同頻率通道區(qū)別對(duì)待高頻通道波長(zhǎng)很短訓(xùn)練中已經(jīng)見(jiàn)過(guò)大量完整周期盡量保持不動(dòng)低頻通道波長(zhǎng)很長(zhǎng)訓(xùn)練中可能只見(jiàn)過(guò)不足一圈按放縮比線(xiàn)性拉伸中間頻段做平滑過(guò)渡。這樣做的物理直覺(jué)是高頻通道編碼的是局部精細(xì)關(guān)系微調(diào)它會(huì)破壞既有能力低頻通道編碼的是全局粗粒度關(guān)系拉伸它代價(jià)小、收益大。我實(shí)測(cè)下來(lái)YaRN 在 2 倍到 4 倍長(zhǎng)度擴(kuò)展時(shí)效果不錯(cuò)但每次換配置都必須跑一遍驗(yàn)證集對(duì)比困惑度沒(méi)有銀彈。5.4 KV Cache 上最容易犯的錯(cuò)RoPE 在自回歸推理時(shí)KV Cache 里緩存的 Key 必須是已經(jīng)做過(guò)旋轉(zhuǎn)的 Key。當(dāng)你生成第t1個(gè) token 時(shí)新 Query 要用位置t1的 cos/sin 旋轉(zhuǎn)新 Key 也要用位置t1的 cos/sin 旋轉(zhuǎn)但緩存里舊的 Key 絕不能再用當(dāng)前位置的 cos/sin 重新乘一遍。如果你忘記區(qū)分“位置索引”和“緩存序號(hào)”就會(huì)出現(xiàn)一個(gè)經(jīng)典 bug緩存里的 Key 被反復(fù)旋轉(zhuǎn)注意力分?jǐn)?shù)完全錯(cuò)亂。我在調(diào)試解耦注意力時(shí)遇到過(guò)類(lèi)似問(wèn)題最后是打印每個(gè)位置 Key 的 norm 和夾角才發(fā)現(xiàn)不對(duì)。正確做法是給 RoPE 模塊傳入position_offset讓新 token 的旋轉(zhuǎn)角從offset開(kāi)始取而緩存區(qū)只負(fù)責(zé)追加不做重復(fù)旋轉(zhuǎn)。5.5 推薦的外推流程我自己現(xiàn)在做長(zhǎng)上下文微調(diào)時(shí)一般先跑一輪短腳本把目標(biāo)長(zhǎng)度和訓(xùn)練長(zhǎng)度的困惑度差量測(cè)出來(lái)。如果差量不大直接微調(diào)少量 step 就能恢復(fù)如果差量大先按 NTK 公式改 base再評(píng)估。直白的經(jīng)驗(yàn)是base 改小了短序列受損base 改大了長(zhǎng)序列不平滑需要找一個(gè)在兩者之間平衡好的點(diǎn)并帶著目標(biāo)長(zhǎng)度一起做幾次短訓(xùn)練來(lái)校準(zhǔn)。6. 我實(shí)際調(diào)試 RoPE 時(shí)的一些經(jīng)驗(yàn)清單最后分享幾條零散的實(shí)操體會(huì)都是常規(guī)文檔里不太會(huì)寫(xiě)的東西。第一RoPE 的實(shí)現(xiàn)通常不需要學(xué)習(xí)參數(shù)但它極度依賴(lài) dtype。在 float16 下累計(jì)幾百個(gè)位置的 cos/sin 表精度損失會(huì)在長(zhǎng)序列上累積。如果發(fā)現(xiàn) 4096 長(zhǎng)度下中間層輸出有奇怪抖動(dòng)優(yōu)先把 RoPE 的緩存表用 float32 存儲(chǔ)計(jì)算時(shí)再轉(zhuǎn)換。第二head_dim 必須是偶數(shù)。如果你的注意力頭維度是奇數(shù)要么補(bǔ)一個(gè)維度要么用 padding 截?cái)?。?shí)際模型里 head_dim 幾乎都是 2 的冪但自己搭小實(shí)驗(yàn)時(shí)容易忽略。第三位置頻率的順序會(huì)影響訓(xùn)練效果。有的實(shí)現(xiàn)把高頻維度排在前面有的做交錯(cuò)排列。高頻在前、低頻在后的排列是最常見(jiàn)的但如果你從開(kāi)源代碼里抄實(shí)現(xiàn)一定要保持預(yù)計(jì)算表和rotate_half的分組方式一致。混用不同的分組會(huì)導(dǎo)致模型權(quán)重不匹配加載即失效。第四微調(diào)時(shí)如果只增加了上下文長(zhǎng)度但沒(méi)有增加數(shù)據(jù)多樣性外推效果仍然有限。RoPE 只負(fù)責(zé)“結(jié)構(gòu)上能支持更長(zhǎng)的相對(duì)距離”模型要真正學(xué)會(huì)利用這些長(zhǎng)距離信息數(shù)據(jù)里必須要有足夠的跨長(zhǎng)距離依賴(lài)樣本。否則你可以把位置編碼調(diào)得再完美模型也只是把注意力均勻攤開(kāi)并不會(huì)產(chǎn)出更智能的長(zhǎng)文能力。第五如果只是為了快速驗(yàn)證 RoPE 是否導(dǎo)致 bug最直接的方法是構(gòu)造一個(gè)固定權(quán)重的小模型分別輸入“位置 0 到 256”和“位置 1 到 257”對(duì)比兩組輸出的相對(duì)差異是否一致。因?yàn)?RoPE 是相對(duì)位置驅(qū)動(dòng)的好的實(shí)現(xiàn)應(yīng)當(dāng)保證這兩組結(jié)果幾乎只在絕對(duì)位置分量上有微小差別。這個(gè)小實(shí)驗(yàn)?zāi)軒湍惆褜?shí)現(xiàn)問(wèn)題和模型問(wèn)題快速分開(kāi)。RoPE 并不是什么復(fù)雜的高深理論它本質(zhì)上就是一個(gè)聰明的旋轉(zhuǎn)矩陣應(yīng)用只是把“位置”做進(jìn)了 Q、K 的夾角里。理解清楚旋轉(zhuǎn)的幾何含義之后不管是在自定義注意力里手寫(xiě)位置編碼還是在長(zhǎng)上下文模型里調(diào)外推你都會(huì)比只看文檔照抄的人多一層底氣和判斷力。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷影视| 精品9197碰| www.五月天婷婷| 天天色伊人| 久久激情五月天| 日本网站久久| 五月丁小婷婷激情四射| 欧美丰满熟妇BBB久久久| 日本久久婷婷| 婷婷色五月婷| 婷婷五月天六点丁香五月| 色在线五月天免费| 丁香五月六月久久综合 | 97人人干| 天天综合久久| 99热无码| 台湾佬天天日丁香婷婷五月天 | 婷婷五月天六月综合| 日本人妻A片成人免费看片| 92久操视频| 婷婷D区| 九九综合色| 网站免费一站二站| 色色色无码| 亚洲十月婷婷综合| 激情欧美婷五月| 另类亚洲2| 激情亭亭五月| 51精品国内探花| 国产偷人爽久久久久久老妇APP| 性爱视频99| 日本一级一片免费视频| 婷婷中文字幕| 天天爽夜爽| 亚洲一区二区无码蜜乳av| WWW丁香五月| 亚洲中文字幕av| 狠狠se| 丁香婷婷五月天成人| 中国女人内射6XXXXX| 99精品视频免费观看| 色五月色图| 日日噜噜夜夜狠狠久久丁香五月| 五月天婷婷色综合| 日婷婷| 激情婷婷五月基地| 26uuu另类| 天天狠狠色噜噜| 秋霞学生妹一二级| 国产 A片 自拍| 性爱先锋AV| 国产欧美第五十五页| 日本九九视频| 999精品乱码77777| 爱操人妻| 婷婷亚洲日本| 激情文学 综合 色| 色五月xxx| 精品乱码视频| 久久这里都是精品免费| 五月丁香成人网| 综合色色网| 亚洲欧洲国产精品| 久久久18| 精品久久二6| 天天日天天舔天天摸| 99啪| 欧美日韩成人在线| 色五月婷婷天天干| 五月丁香天天| 丁香五月激情澎湃一区| 色欲资源网| 99爱免费视频在线观看| http://www.sd-xiangsu.com/| 久久婷婷五月综合色和| 网站免费一站二站| 91人人操.COM| 五月丁香成人网| 99在线精品观看99| 激情五月综合网| 婷婷成人视频| 免费视频WWW在线观看网站| 成人短视频在线观看| 99精品无码| 天天日天天插| 99热只有| 人人干99| 99热这里只| 97色干| 久久婷婷啪啪视频| 五月丁香婷婷啪啪| 丁香久久| 少妇高潮呻吟A片免费看软件 | 激情综合五月| 九九热在线精品视频| 天天操天天操天天操天天操天天操| 人妻精品一区二区三区| 色婷婷AV在线| 婷婷色播婷婷| 婷婷五月天色色| 亚洲乱码日产精品BD| www久久久| 做爰丰满少妇1313| 亚洲狠狠爱婷婷| 99热香港| 婷婷色偷拍| 综合99久久天天综合| 五月丁香啪啪综合网| 中文无码婷婷| 思思热99er在线视频| 狠狠干激情五月| 日本在线噜噜| 五月婷婷香| 五月亭亭网成人在线视频| www.狠狠| 五月丁香啪啪啪综合网| 天天干天天干天天干| 麻豆AV一区二区三区| 黄色网址五月婷婷| 国内久久亭亭| 日韩一级片| 丁香五月综合激情久久潮喷| 色青青视频| 99热日韩| 97婷婷狠狠| 夜夜操天天干| 青青草青青草五月天| 第四色色六月色综合| 综合亚洲AV| 成人电影在线免费试看| 99久久99热| 五月丁香人人婷婷在线观看| 天天做夜夜爽| 99热这里只有精品3| 香蕉久久国产AV一区二区| 色色色com| 九九人人看| 99热播放| 五月丁香六月婷婷免费| 色日本五月天| 九九这里都是精品| 亚洲激情四射色| 五月丁香另类网| 婷婷大乡焦噜噜| 久久永久网址| 激情五月婷婷色| 激情图片久久| 丁香五月天激情综合| 久综合4| 激情婷婷网| 另类图片色五月| 色必久悠悠影院| 青草激情在线| 大香蕉婷婷色| 中文字幕无线久必| 停停五月色宗合| 激情婷婷| 色女伊人| 深夜男女福利刺激影院一区完整| 99热亚洲| 91九色在线观看免费| 99热偷拍| wwwC0maV五月花| 丁香五月天婷婷中文字幕| 99亚州综合精品成人网| 国产干逼片| 爆乳熟女一区二区三区爆乳| 人妻五月天激情开心网| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲国产精品VA在线看黑人| 99re热在线视频观看| 538午夜激情| 激情宗合网激情五月天| 婷婷九月丁香| 五月激情综合网婷婷| 97综合色片| 激情网站综合五月天| 天天爱天天吃狠天天透| AA丁香综合激情| 99精品网址| 1024人妻| 直接看的AV| 天天色综网| 婷婷色色欧美综合网| 26UUU欧美激情一区二区| 婷婷六月丁香1| 99热97| 天天日天天插| 激情国产综合| 婷婷AV丁香| 五月丁香六月婷婷国产视频| 亚洲操逼网| 无码一级片| 色狠狠五月天| 丁香婷婷六月男男| 99婷婷精品推荐在线视频| 99久久精品国产色欲| 久久网站观看免费欧洲国产| 天天综合色丁香| 被强行糟蹋的女人A片| 丁香久月婷| 日日想日日夜日日操| AV成人在线播放| 亚洲精品字幕| 97在线精品| 开心五月激情婷婷| 激情五月天婷婷| 操日本三片99| 天天日天天干天天插天天射| 色综合久久久久| 欧美69色| 国庆精品久久| 影音先锋一区| 丁香青青五月天| 久久这里只有精品5| 色婷婷亚洲精品天天综| 五月日韩中文字幕| 开心五月六月婷婷| 久久美女五月天| 高清一区二区三区日本久| 在线中文亚洲| 丁香色综合| 这里只有精彩视频| 欧美色图天堂网色| 亚洲视频伍月婷婷| 天天色情站| www..999热久| 开心网五月色婷婷| 久久久av久av久片一区二区| 蜜臀丁香黄色婷婷五月天| 人妻内射视频| WWW嗯嗯啊啊啊啊| 九月影院義母在线播放| 深爱五月婷婷| 67194中文在线| 99视频这里只有免费精品| 婷婷五月天国产| 久久久久久久11111111111| 久久曰曰| 五月天丁香婷| 热九九九九| 人妻熟妇六区| 色播五月| 97碰碰在线看视频免费| xxx.色婷婷| 色婷婷成人做爰A片免费看网站| www.jiujiujiu| 丁香六月婷婷综合啪啪| 国外亚洲成AV人片在线观看| 天天开心天天色| 99精品综合| 日本91在线播放| 丁香六月色香蕉视频| 婷婷五月激情的图片| 草榴视频黄色网| 3pAV| 丁香六月色婷婷| 黄桃AV无码免费一区二区三区| 另类精品视频在线观看| 久久玖玖综合| 热996精品在线观看| 99热这里有精品2| 色播五月婷婷| 99热永久在线观看| 九九99在线免费在线观看视频| 色婷婷最新域名| 3p日韩网站视频| 综合久久综合| 1024婷婷综合久久五月天| 五月播播| 婷婷丁香大香蕉| 天天日夜夜草进麻麻的子宫| 99无码视频| 大香蕉综合在线| 天天噜噜| 91综合色噜噜| 午夜丁香五月天综合| 国产免费一区二区三州老师F1F1| 欧美日本高清视频99| 激情九九综合网| 国产美女无遮挡裸体毛片A片| 色狠狠色| 丁香六月啪| 爆乳熟女一区二区三区爆乳| 五月天色综合| 久操97| 中文AV网站| www.久久久久久久久久.com| 96五月丁香熟女| 国产婷伊人| 99热99思午夜精品| 大香蕉五月| 日本人妻伦在线中文字幕| 99久久婷婷| 五月婷在线视频免费看| 亚洲综合网激情小说| 久久99久久久久久| 亚洲熟女乱色综合亚洲网站| 久久精品日| 92久久| 超碰99在线观看| 99热主页日本| caopeng97日韩| 99热高清在线| 国产亚洲99久久精品熟女| 美女婷婷六月色| 五月天播播| 人妻22p| 婷婷五月天综合网| 欧美日韩999| 99男人的天堂| 婷婷午夜综合| 中文字幕在线资源| 九热视频| 五月丁香综合激情| 亚洲欧美国产A片免费观看| 伊人狠狠综合| 欧美黄色一级| 成年人看Va免费视频| 亚洲中文字幕翔田千里| 五月综合缴情网| 狠狠爱深色婷婷综合| 激情综合网五月天天| 99精品视频在线观看| 99re热精品视频国| 亚洲色五月| 色VA| 国产乱妇无乱码大黄AA片| 亚洲avjiujiur91| 日本欧美成人片AAAA| 色狠狠伊人久久五月丁香| 亚洲熟妇AV乱码在线观看| 五月天欧美 另类小说| 欧美成人精品A片免费一区99| 五月网激情| 精品人妻伦一二三区久久| 五月激激网w'w'w| 99性爱| 管管補管管紱| 五月婷婷伊| 婷婷开心久久| 婷婷五月丁香花综合| 亚洲视频二区| 丁香婷婷人妻| 无码日本精品XXXXXXXXX | 热热久久久久久久久| 色色色色丁香| 天天干狠狠| a色婷婷| 九九99精品视频| 91精品久久久久| 色色婷婷五月| 婷婷五月天毛片| 日日夜夜干| 婷婷射图五月天| 亚洲六月色| 99在线观看这里都是精品| 成人做爰A片免费看视频| 婷婷激情网五月天| 狠狠色噜噜色狠狠狠综合色| 啪色综合| 9九热视频| 日本猛少妇色XXXXX猛叫| 丁香五月亚洲综合| 色九月综合网| 超碰操网| 天天日天天摸天天| 天天肏天天舔AV| 99久久玖玖| 国产无人区大片| 亚洲久热| 久久婷婷五月天激情| 国产超碰av| 超碰在线观看9| 综合玖玖性爱免费视频| 亚洲乱码日产精品BD| 久久午夜理论| 色婷婷亚洲在线观看| 五月天堂婷婷| 青草久久五月婷伊人| 婷婷丁香大香蕉| 婷婷五月天影院| 大香蕉五月天婷婷| 久久caop| 五月激情婷婷丁香天堂| 超碰99热| 日产精品一线二线三线芒果| 婷婷五月天狠狠搞干| 婷婷爱爱蜜臀天天操| 色五月婷婷亚洲| 夜夜躁狠狠 | 久久a热| 97精品在线| 开心五月激情网| 天天摸天天高潮天天爽| 九色七七| 色偷偷AV亚洲男人的天堂| 99久久性爱| 久久婷婷色情7777网站| 无码少妇高潮喷水A片免费| 亚洲小视频| 97超碰在线免费观看| 深爱激情综合| 丁香五月天天高清在线| 五月丁香色综合| 人妻22p| 色五月婷婷五月丁香五月| www.婷婷,com| 久久久久婷婷| 久久久网站| 99久久久久| 婷婷亚州综合| 国产精品久久久99视频| 99无码视频| 日本人妻A片成人免费看片| 九九热视频免费的| 婷婷人人操| 成人做爰A片免费看视频| 五月婷婷六月综合| 五月天国产成人| 31色区视频免费看| 五月天婷婷视频| 九九九九九九九热| 二色AV| 国产,欧美,学生妹,视频| Www.狠狠| 九九人妻福利| 青青草婷婷久久| 久久丁香五月天| 人妻VideOssS人妻高清| 九九無碼| 久久伊人婷| 五月综合久久| 婷婷五月天激情在线| 色999亚洲人成色| 丁香五月天91| 五月婷婷六月丁香综合在线| 这里精品| 激情五月天久久丁香| 91熟妇大香蕉| 五月天社区| 婷婷五月天美女视频| 亚洲AV人人操| 一区操| 五月激情综合网| 婷婷五月天大香蕉| 性av| 色丁香久久| 婷婷五月天成人网站| 在线播放人妻| 五夜婷婷| 亚州操人在线视频| 婷婷丁香六月影视| 国产老熟妇亲子乱对白| 日韩少妇内射免费播放| 色狠狠综合网| 丁香五月婷婷激情中文| 美女五月激情| 9久国产| 六月婷婷毛片| 激情五月影院| 亚洲人人操| 五月丁婷婷| 九色视频91| 五月天激情亚洲| 99综合| 五月激情六月丁香| 天天爽天天透天天爱| 日本片日本片祼观看网站在线看中文版网页在线看| 91综合网| 免费观看全黄做爰的视频| 超碰99久久| 丁香五月婷婷色| 99热最新精品| www.91在线观看| 97碰碰叉| 色婷婷亚洲婷婷| 色女人久久| 天天爽天天摸| 色综合色综合色综合高潮| 五月天丁香综合| 人人摸人人干| 成人无码精品1区2区3区免费看| 丁香五月手机在线| 99无码黄色视频| 夜夜操少妇| 九九Av| 91xxxx九色| Av狠狠色丁香婷| 激情婷婷丁香| 亚洲av成人在线| 99re8这里只有精品99re8热视频| 婷婷五月婷婷五月天| 色婷婷五月天激情| 日本三级中国三级99| 丁香五月婷婷老师网站| 国产无遮挡又黄又爽免费网站| 午夜婷婷| 综合网啪啪| 九九在线这里只有精品视频| 色婷婷丁香AV综合| 这里只有精品视频国产| 超碰av在线| 最新日韩久热免费视频看看| 久9热插入| 国产精产国品一二三在观看| 婷婷综合网| 亚洲男女激情| 婷婷丁香五月天色区| 91日韩在线| 97五月天婷婷综合激情网| 亚洲AV日韩在线观看| 色五月婷婷九月| 国产色五月婷婷| 五月天激情综合网俺也去| 婷婷五月天性爱视频| 青青草青青草五月天| 99这里有精品视频| 久久天天| 亚洲中文字幕av| 91日视频| 天天舔天天摸| 激情五月,色播五月| 五月婷婷丁香av| www.夜夜操.con| 五月天婷婷色在线视频免费观看| 中文字幕丰满人妻无码专区| 日韩无码性爱| 激情淫乱男女| 色婷婷色综合| 中文字幕综合色| 色色欧美色色| 97干在线| 丁香五月欧美成人| 97婷婷狠狠| 狠狠操狠狠操| 久久这里有精品| 五月天最新网| 综合激情视频| 这里只有精品在线视频在线观看| 色婷婷AV久久久久久久| 天天干com| 婷婷六月中文字幕| 五月天激情日色在线| 婷婷开心青青草| 五月婷婷激情四季| 只有精品视频在线观看| 99这里有精品视频3| 色优久久| 天天情天天狠天天透| 丁香六月综合激情| www.zbzhongsen.com| 丁香五月婷婷黑人妻黄色电影院| 五月婷婷欧美| 97操在线视频| 五月丁香色色网| 7777激情基地| 影音先锋按摩| 色五月开心婷婷| 色色色色热热| 天天激情5月天亚洲| 色 免费网站视频| 丁香五月影院| 丁香五月天激情婷婷丁香六月| 九九热这里有精品视频| 天天色天天爽| 天天爽天天弄| 91啪级电影| 五月色情网| 伊人狠狠综合| 亚洲丁香五月| 天天干天天干天天干天天干天| 色五月六月| 色五月中文网| 日本色久| 色婷婷AV在线| 91色综合| 天天狠天天叉| 亚洲第一综合| 亚洲超碰在线| 国产人妻777人伦精品HD| 成人在线观看精品| 综合久久十三| 丁香六月激情国产| 丁香久久激情俄| 美腿丝袜AV天堂网| 一本色道久久88加勒比—| 欧美99视频| 99热国内精品| 色噜噜狠狠色综合AV兰草影视| 色五月婷婷婷婷婷婷婷婷婷婷| 久久婷婷成人视频| 涩涩涩婷婷| 狠狠五月天婷婷激情网。| 精品亚洲VA网站| 五月天婷婷社区| 五月丁香婷婷色色色| 色婷婷久久| 99热在线观看| 婷婷丁香无码专区| 五月婷婷先锋| 色玖玖玖| 日韩亚洲视频| 妻久久久久| 欧美日本一区二区三区| 丁香五月婷婷香| 日日干日日| 久久总和99| 五月天啪啪啪| 亚洲国产精品VA在线看黑人| 婷婷丁香18| 久婷自拍视频| 五月丁香婷婷基地| 成人深爱丁香五月| 亚洲人人操BD| 九九无码| 少妇综合网| 99热这里只有精品中文字幕| 性欧美大战久久久久久久83| 色婷婷AV久久| 超碰色色综合| 99热欧| 色五月婷婷五月久久| 五月丁香六月激情啪| 五月亭亭狠狠| 狠狠做深爱婷婷久久综合一区| 最近韩国日本免费高清观看| 亚洲啪啪自拍| 超碰在线免费9| 99色色热| 99色最新在线视频网站| 97碰人人操| 色五月丁香五月| 国产一区二区三区影院| 97操男人的天堂| 人人操91| 五月丁香六月欧美综合| 激情伊人五月天| 日韩另类| 国产精品日本一区二区在线播放| 国产婷婷五月| 免费九九热| 99九九视屏| 色五月 五月婷婷| 少妇综合网| 99色在线观看视频者| 精品综合爱| 桃色Av色哟哟| www,婷婷| 狠狠爱五月婷婷| 大香蕉人妻| 日韩啪啪自拍| 91超碰在线观看| 五月丁香婷婷激情| 高清无码入口| 激情婷婷五月天| 丁香啪啪中文字幕| 色色丁香婷婷| xfplayav在线| 色综合久久中文| 日韩无码专区| 91热在线观看视频| 97操碰| 1995年关宝慧版蜘蛛女| 婷婷五月天成人| 久久久婷| 日本九九九九九九| 激情五月天婷婷图| 婷婷综合五月天亚洲综合| 亚洲中文字幕网| WW婷婷五月天com| 色婷婷激情| 无码激情精品色婷婷久久久久| 伊人五月天| 亚洲中文字幕在线观看| 久久日韩婷婷五月| 77799热| 婷婷深爱五月| 激情婷婷五月天| 狠狠综合色网| 五月婷婷久久综合| 九九这里有精品| 婷婷五月天av| 亚洲色综久久五月| 激情婷婷综合| 色吧婷婷| 丁香五月婷婷综合啪啪| 久草 天堂| 米奇影视五月天| 人人爱操| 五月丁香婷婷激情图片| 婷婷久久久| 在线可以看的av网址| 五月丁香啪| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 手机看片日日做夜夜| 99久久精品国产色欲| 少妇高潮A片无套内谢麻豆传| 国产精品人妻在线网址| 亚洲丁香五月美女| 97精品欧美91久久久久久久| 久草婷妨| 五月丁香综合啪啪啪啪啪| 色婷婷五月天视频网站| 亚洲精品久久久久久久久久吃药| 欧美99视频| 夜夜做天天爽| 婷婷综合五月| 日本97在线看片| 97丁香花五月天激情小说| 欧美性爱五月天| 成人免费黄色短视频| 四色永久成人网站| 狠狠草狠狠草| 欧洲MV日韩MV国产| 婷婷啪啪| 开心五月婷婷| 97日本在线播放| 九九精品在线视频观看| 婷婷六月丁香欧美视频在线| 亚洲V国产V欧美V久久久久久| 综合久久综合久久| 夜夜干夜夜操| 91紱請| 日韩色色色色色| AV操操操| 蜜臀久久99精品久久久久久酒店| 99人碰碰碰| 噜噜五月天综合| 91丨九色丨东北熟女| 99热亚洲| 六月丁香婷婷综合在线| 久久婷婷老| 玖玖综合色| www.五月.com| 精品一二三区久久AAA片| 亚州精品色情无码A片| 五月丁香网站| 婷婷五月丁香性爱| 秋霞学生妹一二级| 婷婷五月丁香啪啪| 91人人人人人人人| 天天插轮理| 天天日夜夜爽| 欧洲不卡视频| 开心激情婷婷| 五月天婷婷激情六月久久| 婷婷丁香久久五月综合| 久久丁香五月天| 大香蕉久久草| 五月婷婷在线视频观看| 五月丁香亭亭电影久久| 五月人人丁香婷婷五月人人丁香| 大香蕉啪啪网| 五月丁香婷草| 天天日天天草| 丁香五月天影院| 99热日| 五月天色丁香| 国产欧美第五十五页| 久久丁香综合| 九九热99久久99| 天天操天天操| 这里只有精品视频在线| 色婷婷五月综合| 在线另类视频| 久草a片| 天天插综合网| 欧洲综合一区| 先锋av性爱成人电影| 国产精品久久欧美久久一区| 久操热线| 婷婷激情在线| 色情婷| 五月婷婷丁香色吧网| 全部老头和老太XXXXX| 精品无码av丁香五月激情| 亚洲第一第二网站| 婷婷色网站| 五月天丁香综合| 91视频久久久| 婷婷色色婷婷| 亚洲第一影院高清无码网站| 99热在线观看精品免费| 婷婷9月天| 影音先锋 婷婷| 亚洲无AV在线中文字幕| 狠狠狠人妻| 国产做爰视频免费播放| 欧美丁香婷婷天天操| 久久色情| 另类视频一区| 亚洲色五月| 色情五月综合婷婷| 成人丁香五月| www.精品99| 97色天堂| 人碰91| 97色色色色色| 影音先锋五月天婷婷丁香在线观看| 欧美丁香六月激情视频| 超喷97免费在线视频| 夜夜天天天天天干天天爽| 一本大道熟女人妻中文字幕在线 | 天天狠狠插| 性av| 婷婷五月激情欧美大胆视频| 国产AV影片| 五月婷婷深爱六月| 精品欧美一区二区三区久久久| 六月婷婷之青青草| 亚洲热视频在线| 色婷婷丁香九月| 夜夜躁爽日日| www.激情com| 亚洲国产精品VA在线看黑人| 天天综合91入口| 人人爽天天爽| 激情婷婷护士激情| 狠狠狠狠狠狠狠狠| 欧美超碰亚洲| 中文av网| 久热超碰91| 秋霞成人毛片一级A片| 久天综合| 99热在线精品观看| 狠狠五月激情在线| 久久久五月天| 综合激情啪啪| 99热综合| 亚洲AAAA网| yw国产AV| 久色婷婷200| 日韩有码一区| 天天爽天天干| 99操免费视频| 久久精品婷婷| 丁香婷婷啪啪| 啪啪啪综合网| 婷婷欧美偷拍综合| 五月丁香影院| 99在线观看免费精品视频| AA片在线观看视频在线播放| se99在线| 人妻第九页| 就去涩涩丁香五月天| 亚洲123区高清入口| 色噜噜狠狠一区二区三区| 久久日韩婷婷五月| 久久激情五月婷婷| 亚洲精品无码久久| 91狠狠综合久久久久久| 夜夜爽日日躁| 日韩啪啪视品| 婷香五月激情视频| 五月久久婷婷丁香| 婷婷五月丁香六月| 色丁香综合影院| 亚洲成AV人片在线观看| 另类激情中文| 九九99九九99| 91色婷婷综合久久中文字幕二区| 久久精品在线| yw国产AV| 超碰爱爱爱| 色婷婷在线播放| 无码色| 色婷婷五月天堂资源| 九九精品re免费视频| 丁香激情四射| 五月婷五月婷伊人伊人五月婷| 人妻熟人中文字幕一区二区 | 婷婷精品免费久久| 新99思思视频| WWW、99热| 久久这里只有精品热在99| 日本一道久久| 狠狠干综合| 婷婷成人小说综合| 色九九九综合| 天天日天天插| 久久亚洲A| 日韩无码AV电影网站| 日日爽日日| 婷婷久久内射| 综合五月婷婷| 色 五月婷婷基地| 九九99在线视频| 97人人超| 狠狠色丁香婷婷基地| 国产精品91抖高| 97 A I色色| 99网址在线看| 夜精品无码A片一区二区蜜桃| 夜丁香五月婷婷| 99日精品视频| 91色久| 五月天影院| 青青草色在线视频观看| 亚洲人妻AV| 涩涩涩.com| 久久er99热精品一区二区| 五月丁香综合网| 五月熟妇婷婷久久| 欧亚中文A V| 色一情一乱一乱一区91| 丁香开心深爱| 久久九网| 婷婷丁香激情综合色情| 五月www| 免费操超碰| 99久在线精品99re8| 亚洲丁香网| 婷婷在线综合| 国产AV一区二区三区日韩| 亚洲美女网Va| 无码一区二区三区四区五区| AV变态另类一区二区| 99操逼| 婷婷娱乐丁香综合网| 92国产福利| 久久精品99国产精品日本| 狠狠干五月天| 伦乱美欧| 久久精品99久久久久久久久| 激情五月天网站| 五月天涩涩| 日韩欧美一区二区三区四区| 五月丁香久久激情综合| 久久婷婷精品| 五月天堂在线| 激情综合网址| 免费无码毛片一区二区A片| 色色日本| 色婷五月| 综合久久十| 婷婷午夜综合| 中文不卡一二三区| 自拍视频在线观看9| 丁香六月激情综合| 亚洲人人干| 九九这里是免费的视频5| 99热综合| 激情丁香五月| 白天AV月月| 91大屁股精品| 九月婷婷久久| 五月天激情婷婷| www.狠狠干| 26UUU欧美激情一区二区| 精品二区| 丁香啪啪| 婷婷五月激情视频| 五月天开心激情网色欲无码| 一区二区三区XXXXXX| 91要啪| 狠狠插狠狠| 九热精品| 国产精品成av人在线视午夜片| 五月丁香色综合| 色小说婷婷五月天天天| 亚洲综合在线播放| 人碰人人人玩91| 婷婷六月丁香五月| 精品无吗va视频免费观看| 婷丁五月| 丁香婷婷超碰 | 五月丁香久久呀| 日本99久久| 99ri视频在线观看| 成人做爰A片免费看视频| 色七七九九| xxx综合在线| 婷婷丁香97| 色八戒操婷婷| 图片区 小说区 区 亚洲五月 | 色亚洲婷婷| 久久婷婷激情四射五月天| 第九色区av天堂| 日韩在线9| 性日本精品| 激情婷婷色色| 俺去婷婷 丁香| 99热综合| 大香蕉啪啪| 99热这里只有精品最新网址| 国产99精品免费视频| 亚洲另类av| 影音 五月 婷婷 久久| 天天爽天天干| 九九在线视频| 操逼棍操逼| 狠狠夜夜五月丁香| 婷婷涩五月| 久热精彩视频98| 国产无套精品一区二区| 九九热这里| 色婷婷五月天激情综合| 高清成人综合| 亚洲综合五月天婷婷| www.久久久久| 99热这里都是精品| 天天干夜夜想| 日日做天天操夜夜爽| 99re这里只有精品9| 991精品在线视频| 亚洲色频| 丰满少妇乱A片无码| 欧美激情综合| 天天干一干| 五月天色婷婷网| 91视屏在线观看com.wwwvv| 久婷| www,com,五月色色| 8050一级网| 日日夜夜干| 无码人妻电影| 日本五月天网站| 99热青青草原| 亚洲另类在线观看| 欧类av怡春院| 激情五月天社区| 五月婷婷深深爱| 激情五月丁香六月综合AVXXXX| 久热这里只有精品99re,久热这里只有精品7| WWW.久久久久久久| 97香蕉人人在线观看| 91a片爽| 操操操97| 婷婷五月天影院| 九九热这里只有精品6| 五月天丁香成人| 丁香六月情| 欧美VA在线观看| 嫩BBB槡BBBB搡BBBB视频| WWW·天天操·视频?| 五月丁香婷婷色色色| 日韩精品一曲二曲三曲四曲五曲| 欧美精品中文字幕亚洲专区| 色五月激情综合网| 色婷婷亚洲精品天天综| 五月婷婷导航| 99视频在线精品| 天天草比天天爽| 色播婷婷五月天| 日本九九热| 米奇激情婷婷| 5月丁香婷婷| 激情综合自拍五月婷婷色五月| 日韩在线视频中文字幕| 色噜噜五月天| 黄色一极大片| 伊人超碰在线| 亚洲午夜成人av电影网| 中文字幕人妻熟女在线| 我爱大香蕉| 色婷婷五月在线| 五月天天爽| 五月天久久网站| 婷婷五月丁香伊人网| 中文字幕日韩无码制服诱或| 激情五月天在线观看色婷婷| 激情五月天在线观看婷婷| 久九色| 99日本在线| 激情综合网址| 桃色激情五月天| 五月天婷婷亚洲| 婷婷成人在线| 婷婷激情五月天小说| 久久九九经典| 色色网91| 亚洲AV成人一区二区在线观看| 淫五月停停| 国产婷婷色综合AV蜜臀AV| 国产精品久久久久久久久久| 免费无码毛片一区二区A片| 五月婷婷丁香在线| 深爱激情丁香| 婷婷导航| 五月综合无码| 色播播五月天| 色综合久久888| 人妻少妇色综合| 99九九久久| 伊人色综合网| 久久久久婷| 草五月| 伊人玖玖网| 玖玖婷婷色五月| 婷婷五月电影| 操久久网| 五月婷婷开心网| 天天干夜夜谢| 婷婷五月天开心网| 99热精品免费| 99视频九九热| 五月婷婷色情| 久久激情网| 99热综合| 无码人妻少妇色欲AV一区二区| 99久久国产宗和精品1上映| 欧美顶级少妇做爰HD | 综合 激情 婷婷| 日本女色人人| 69凹凸成人综合网| 任你干aa| 五月婷婷精品视频| 99精品网址| 色婷婷久久视屏| 91肏| 丁香六月激情综合| 丁香婷婷精品视频| 五月婷婷伦理| 成年人99热| 狠狠五月激情丁香六月| 婷婷精品性视频| 婷婷五月在线视频| 99ri精品视频在线观看| 五月丁香在线观看| 久久99综合| 99热热热99精品丁香| 久久男人网婷婷| 久久国产高清| 久大香蕉| 亚洲精品亚洲人成人网| www.激情在线| 538久久| 色欲资源网| 丁香婷婷影院| 熟女激情网| 激情丁香五月婷婷| 婷婷五月天久久久| 国产精品日本一区二区在线播放| 人碰人人人玩91| 狠狠综合色网| AV在线观看网站| 天天五月丁香五月| 丁香五月亚洲激情婷婷射| 天天爱天天做天天舔| 五月婷在线视频免费播放| 五月天深爱激情网| 亚洲色热| 亚洲永久四色| 五月天激情综合网| 2025超碰| 1234操逼网| 色人久夂| 婷婷五月在线免费| 色狠狠六月| 丁香五月激情澎湃一区| 另类激情中文| 99九九精品| 美日韩成人| 久操乱| 91chinese 在线| 欧美天天草人人草| 丁香五月天av| 欧美性丁香色色五月天干干| 久草视频一,二三四| 五月丁香综合激情| 99在线免费观看| 无人区码一码二码三码医生系列| 影院久久久| 婷婷99热| 26UUU一区二区| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 人妻久热| 婷婷色色综合激情| 99国产这里只有精品| 九九久久99精品免费观看www| 国产激情综合五月久久| 日韩一级一片内射视频4K| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 丁香五月欧美午夜视频| 中文不卡一二区| 思思精品视频| 婷婷伊人中文字幕| www.99热| 久久大国产香蕉| 亚洲免费观看高清完整版AV线| 激情综合网五月在线播放| 青青草日本亚洲| 婷婷色片| 在线另类| 亚洲影院婷婷色| 久久伦乱| 日日操夜夜爽天天天| 色色日本| 九九这里有精品| 九九爱精品网站| 婷婷九九| 深爱丁香激情| 五月天天视频| 色五月av| 色亭亭丁香五月天| 天天射综合网站| 俺五月| 婷婷激情五月综合| 大香蕉99热| AA片在线观看视频在线播放| 色婷婷在线视频观看| 另类图片激情五月| 婷婷永久在线| 丁香桃色网| 九九在线精品| 亚洲国产黄色电影| 五月色婷婷中文字幕| 五月婷婷免费视频| 五月丁香成人| 中文成人在线| 欧美色偷拍| 婷婷丁香五月天综合网| 五月天伊人| 五月婷婷性爱| 伊人9草在线观看| 乱女乱妇熟女熟妇综合网站| 五月天婷婷无码| 综合五月婷婷| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 国产JK精品白丝AV在线观看| 五月天色色色网| 特黄三级片| 99热这里只有在线| 97人人干| 九九中文色色| a色色片| 成 人 色 色| 99热在线精品观看| 色色97丁香婷婷五月天| 18av天堂| 99色精品| 国产人妻人伦精品一区二区| 久久青青日本视频| 广东99色在线| 天天日天天插| www.婷婷五月天| 男人天堂AV在线一区二区| 婷婷六月丁香在线| 欧美五月丁香| 丁香五月婷婷基地| 最新婷婷五月丁香| 丁香五月婷婷久久综合激情网 | 久草大| 久久视频这里99| 久综合网| 婷婷久久图片| 色噜噜,噜噜色| 五月天婷婷丁香导航| 97干干干丁香| 人妻人人操| 婷婷色播综合五月| 久久婷婷久久| 五月婷婷电影院| 日韩性视频| 这里只精品热在线18| 中文字幕在线日亚州9| www.色九月| 五月天婷婷黄色| 午夜免费试看| AV在线免费观看不卡| 五月婷婷xxx| 狠狠综合网| 影音先锋五月婷婷| 五月天天天综合|