欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

PyTorch JVP實(shí)戰(zhàn):torch.func.jvp原理、性能陷阱與工程取舍

PyTorch JVP實(shí)戰(zhàn):torch.func.jvp原理、性能陷阱與工程取舍 大多數(shù)用過 PyTorch 的人對loss.backward()這套反向傳播都很熟但一旦被問到雅可比向量積怎么算很多人第一反應(yīng)是打開torch.autograd.functional.jacobian把整個(gè)雅可比矩陣求出來再手動做一次矩陣乘法。這種做法在小模型上沒毛病一旦輸出維度上千顯存和耗時(shí)立刻教做人。雅可比向量積Jacobian-Vector Product簡稱 JVP存在的意義就是你根本不需要顯式構(gòu)造那個(gè) m×n 的雅可比矩陣也能拿到它和一個(gè)向量的乘積代價(jià)只有一次前向傳播的量級。這篇內(nèi)容圍繞 JVP 在 PyTorch 里的幾種實(shí)現(xiàn)路徑展開重點(diǎn)拆torch.func.jvp的用法、torch.autograd.functional.jvp的性能陷阱、以及踩過的坑。適合已經(jīng)會寫autograd.grad、想進(jìn)一步搞清楚前向模式自動微分、并且需要在二階優(yōu)化、雅可比正則、靈敏度分析這些場景里真正用起來的人。1. 把 JVP 從矩陣?yán)锊鸪鰜碚l乘在左邊誰乘在右邊1.1 一個(gè) 3×2 的例子先把概念釘死先不談自動微分回到線性代數(shù)本身。假設(shè)有一個(gè)函數(shù) f: R2 → R3在點(diǎn) x 處它的雅可比矩陣 J 是一個(gè) 3 行 2 列的矩陣。JVP 就是拿一個(gè) 2 維向量 v從右邊乘上去得到 J·v結(jié)果是一個(gè) 3 維向量。注意 v 的維度必須和輸入維度一致結(jié)果的維度必須和輸出維度一致。反過來VJPVector-Jacobian Product是拿一個(gè) 3 維向量 u 從左邊乘u?·J結(jié)果是一個(gè) 2 維向量維度跟著輸入走。這兩個(gè)操作的形狀規(guī)則完全不同這是后面所有坑的根源。拿一個(gè)具體例子import torch def f(x): return torch.stack([x[0] * x[1], x[1] ** 2, torch.sin(x[0])]) x torch.tensor([2.0, 3.0], dtypetorch.float64)手工求偏導(dǎo)J 應(yīng)該是J [[x1, x0 ], [0, 2*x1 ], [cos(x0), 0 ]]代入 x [2, 3]得到[[3, 2], [0, 6], [cos(2), 0]]其中 cos(2) ≈ -0.4161?,F(xiàn)在取 v [1, 0]J·v 就是 J 的第一列即[3, 0, -0.4161]。取 v [0, 1]得到第二列[2, 6, 0]。這兩個(gè)結(jié)果后面用來驗(yàn)證代碼是否正確。1.2 為什么 PyTorch 默認(rèn)只給你 VJPloss.backward()背后跑的是反向模式自動微分它天然產(chǎn)出的是 VJP不是 JVP。原因很實(shí)際深度學(xué)習(xí)里絕大多數(shù)函數(shù)是從一個(gè)巨大的參數(shù)向量映射到一個(gè)標(biāo)量損失也就是 f: R^N → R1。這種情況下輸出維度 m 1只需要一次反向傳播就能拿到完整的梯度向量代價(jià)極低。而如果換成 JVP 的思路你得做 N 次前向傳播才能拿全梯度完全不可行。所以框架的設(shè)計(jì)重心一直壓在 VJP 上前向模式自動微分在很長一段時(shí)間里屬于有但不太好用的狀態(tài)。這直接導(dǎo)致一個(gè)現(xiàn)象當(dāng)你遇到 f: R^n → R^m 且 n 很小、m 很大的場景時(shí)比如一個(gè)幾十維的控制參數(shù)映射到上千維的仿真輸出用反向模式硬算會非常虧而這恰恰是 JVP 的主場。用一個(gè)表把兩種模式的成本關(guān)系擺清楚這張表值得貼在顯示器邊上目標(biāo)操作需要調(diào)用幾次適合的形狀PyTorch 對應(yīng)接口完整雅可比逐列前向n 次前向n 小 m 大torch.func.jacfwd完整雅可比逐行反向m 次反向m 小 n 大torch.func.jacrev單次 JVPJ·v1 次前向量級輸入小torch.func.jvp單次 VJPu?·J1 次反向量級輸出小torch.func.vjp/autograd.grad1.3 前向模式到底在算什么dual number 的直覺前向模式自動微分的實(shí)現(xiàn)方式叫對偶數(shù)dual number。把每個(gè)標(biāo)量 a 擴(kuò)展成 a b·ε 的形式規(guī)定 ε ≠ 0 但 ε2 0。任何函數(shù)作用上去之后實(shí)部就是函數(shù)值ε 的系數(shù)就是方向?qū)?shù)。舉個(gè)手算的例子x 2 1·ε那么 x2 4 4ε ε2 4 4εε 的系數(shù) 4 正好是 2x 在 x2 處的導(dǎo)數(shù)乘上方向 1。這個(gè)機(jī)制的好處是一次前向傳播就能同時(shí)算出函數(shù)值和沿著某個(gè)方向 v 的方向?qū)?shù)而且天然支持任意深的網(wǎng)絡(luò)不需要保存中間激活。代價(jià)是每個(gè)標(biāo)量都要額外存一份 ε 系數(shù)顯存占用大約翻倍但和前向傳播同一量級。PyTorch 里這套機(jī)制的底層入口是torch.autograd.forward_adtorch.func.jvp是它的高層封裝。理解這一層很關(guān)鍵因?yàn)楹竺鏁吹絫orch.autograd.functional.jvp走的根本不是這條路。2. PyTorch 里算出 JVP 的四條路各自的真實(shí)代價(jià)2.1 torch.func.jvp目前最該用的那條PyTorch 2.0 之后torch.func命名空間下提供了一套函數(shù)式變換 APIjvp是其中之一。它的簽名是jvp(func, primals, tangents)primals是函數(shù)位置參數(shù)的元組tangents是切線方向的元組兩者結(jié)構(gòu)必須一致。返回值是一個(gè)二元組(output, jvp_out)output是函數(shù)原本的輸出jvp_out是 J·v 的結(jié)果。import torch from torch.func import jvp def f(x): return torch.stack([x[0] * x[1], x[1] ** 2, torch.sin(x[0])]) x torch.tensor([2.0, 3.0], dtypetorch.float64) v torch.tensor([1.0, 0.0], dtypetorch.float64) out, jvp_out jvp(f, (x,), (v,)) print(out) # tensor([ 6.0000, 9.0000, 0.9093], dtypetorch.float64) print(jvp_out) # tensor([ 3.0000, 0.0000, -0.4161], dtypetorch.float64)跑出來和手算的[3, 0, -0.4161]完全對上。注意兩個(gè)細(xì)節(jié)第一x本身不需要requires_gradTrue前向模式不依賴計(jì)算圖第二f內(nèi)部不允許有原地操作in-place比如x[0] 1這種寫法會直接報(bào)錯(cuò)因?yàn)?dual tensor 的 ε 分量不允許被就地覆蓋。2.2 torch.autograd.functional.jvp名字一樣實(shí)現(xiàn)完全不同很多人第一次搜到的是torch.autograd.functional.jvp。它確實(shí)能用簽名也幾乎一樣from torch.autograd.functional import jvp out, jvp_out jvp(f, (x,), (v,), create_graphFalse, strictFalse)但這里有個(gè)非常容易被忽略的事實(shí)這個(gè)函數(shù)內(nèi)部是用反向模式實(shí)現(xiàn)的。它的做法是先構(gòu)造出 VJP 的形式再對切向量 v 求一次導(dǎo)本質(zhì)上是 reverse-over-reverse也就是兩次反向傳播拼出來的 JVP。這意味著什么意味著當(dāng)你的函數(shù)是輸入維度小、輸出維度大時(shí)torch.autograd.functional.jvp反而會比真正的torch.func.jvp慢一大截因?yàn)樗刂敵鼍S度反向走一遍。我在一個(gè) 50 維輸入、2000 維輸出的仿真函數(shù)上做過對比torch.func.jvp耗時(shí)大約是functional.jvp的三分之一差距相當(dāng)明顯。提示torch.autograd.functional.jvp的create_graphTrue是它為數(shù)不多的優(yōu)勢場景——需要 JVP 結(jié)果本身再參與求導(dǎo)比如構(gòu)造二階以上的混合導(dǎo)數(shù)時(shí)它比函數(shù)式 API 更省事。日常只要一階 JVP優(yōu)先torch.func.jvp。2.3 手搓 double-backward 與有限差分第三條路是老派做法算兩次autograd.grad。這不是真正的 JVP而是構(gòu)造 VJP 再套一層def manual_jvp(f, x, v): x x.detach().requires_grad_(True) y f(x) # 先拿一個(gè)啞元的 VJP把 v 塞進(jìn) grad_outputs g torch.autograd.grad(y, x, grad_outputstorch.zeros_like(y), create_graphTrue) ...說實(shí)話這條路現(xiàn)在沒什么推薦價(jià)值了代碼繞、易錯(cuò)、還容易在create_graph上翻車除非你在維護(hù)一份必須兼容老版本 PyTorch 的代碼庫否則直接跳過。第四條路是有限差分(f(x h*v) - f(x)) / h。它的缺點(diǎn)寫在教科書里——截?cái)嗾`差和舍入誤差互相拉扯h 太小結(jié)果被噪聲吃掉h 太大非線性誤差明顯。不過它有個(gè)獨(dú)特價(jià)值作為數(shù)值校驗(yàn)的金標(biāo)準(zhǔn)。你寫完任何 JVP 實(shí)現(xiàn)拿有限差分對一遍能立刻發(fā)現(xiàn)是不是方向搞反了、是不是 v 的維度用錯(cuò)了。我習(xí)慣用h 1e-6配 float64 做對照誤差在 1e-6 量級就算通過。2.4 四條路的橫向?qū)Ρ嚷窂绞欠裾媲跋蚰J较鄬臅r(shí)需要 requires_grad支持二階推薦場景torch.func.jvp是1x基線否配合create_graph式組合首選尤其 n 小時(shí)的批量 JVPtorch.autograd.functional.jvp否反向兩次2~4x否strictFalse原生支持需要高階混合導(dǎo)手搓autograd.grad否3x 以上是麻煩老版本兼容有限差分近似2x否不支持?jǐn)?shù)值校驗(yàn)3. torch.func.jvp 的實(shí)戰(zhàn)用法從單方向到整塊雅可比3.1 參數(shù)結(jié)構(gòu)不匹配是最常見的報(bào)錯(cuò)來源jvp(func, primals, tangents)這三者的結(jié)構(gòu)約束很嚴(yán)格。primals和tangents必須是元組長度等于func的位置參數(shù)個(gè)數(shù)每個(gè)位置的張量形狀必須逐一對上。如果你的函數(shù)是def f(a, b)那就得寫jvp(f, (a, b), (va, vb))漏一個(gè)或者包錯(cuò)層級都會報(bào)形狀錯(cuò)誤。def g(a, b): return (a * b).sum() b.pow(2).sum() a torch.randn(3, dtypetorch.float64) b torch.randn(4, dtypetorch.float64) va torch.ones(3, dtypetorch.float64) vb torch.zeros(4, dtypetorch.float64) out, jvp_out jvp(g, (a, b), (va, vb)) # 輸出是標(biāo)量對 a 方向的偏導(dǎo)之和這里vb傳全零意思是只要 a 方向的導(dǎo)數(shù)。這是一個(gè)非常實(shí)用的技巧當(dāng)你只關(guān)心某一個(gè)輸入的分量時(shí)其余位置傳零張量即可前向模式會自動跳過它們對結(jié)果的貢獻(xiàn)嚴(yán)格說是它們的 ε 分量為零不影響計(jì)算但也不省時(shí)間只是省得你寫新函數(shù)。如果函數(shù)的輸出不是一個(gè)張量而是一個(gè)元組jvp的返回也會是同結(jié)構(gòu)的元組一一對應(yīng)。這一點(diǎn)比torch.autograd.grad友好得多后者在輸出為元組時(shí)經(jīng)常讓人抓狂。3.2 用 vmap 把逐方向的 JVP 拼成完整雅可比單次 JVP 只給一列。想拿完整雅可比把標(biāo)準(zhǔn)基向量逐個(gè)喂進(jìn)去就行但 Python 循環(huán)太慢正確做法是vmapfrom torch.func import jvp, vmap def full_jacobian_via_jvp(f, x): n x.numel() basis torch.eye(n, dtypex.dtype, devicex.device) # 每次調(diào)用返回 J e_i即雅可比的第 i 列 cols vmap(lambda v: jvp(f, (x,), (v,))[1])(basis) return cols.T # 轉(zhuǎn)置成標(biāo)準(zhǔn)的 (m, n) 形狀 J full_jacobian_via_jvp(f, x) print(J) # tensor([[ 3.0000, 2.0000], # [ 0.0000, 6.0000], # [-0.4161, 0.0000]], dtypetorch.float64)結(jié)果和手算完全一致。這里有個(gè)容易搞反的地方vmap出來后cols的形狀是(n, m)第 i 行是第 i 列所以必須轉(zhuǎn)置。我第一次寫的時(shí)候忘了轉(zhuǎn)后面所有矩陣乘法全錯(cuò)排查了半天才發(fā)現(xiàn)是形狀問題。實(shí)際上官方已經(jīng)把這個(gè)封裝好了torch.func.jacfwd干的就是這件事from torch.func import jacfwd J jacfwd(f)(x) # 直接得到 (m, n)jacfwd內(nèi)部就是 vmap jvp性能基本一致能直接用就用它少寫一堆膠水代碼。3.3 jacfwd 和 jacrev按形狀選方向別選反這一對函數(shù)經(jīng)常被混用但它們的成本差異可以到一個(gè)數(shù)量級。規(guī)則很簡單jacfwd前向模式需要 n 次前向量級的計(jì)算適合n m輸入維度小于輸出維度jacrev反向模式需要 m 次反向量級的計(jì)算適合m n輸出維度小于輸入維度import time x_small torch.randn(10, dtypetorch.float64) x_large torch.randn(2000, dtypetorch.float64) def f_wide(x): # 10 - 2000輸入小輸出大 return torch.sin(x).repeat(200).reshape(-1)[:2000] * 1.5 def f_tall(x): # 2000 - 10輸入大輸出小 return torch.sin(x).reshape(200, 10).sum(0)對f_widejacfwd只要 10 次前向jacrev要 2000 次反向差距懸殊。對f_tall正好相反。跑一下就能直觀感受到我這里實(shí)測f_wide上jacfwd比jacrev快兩個(gè)數(shù)量級還多f_tall上則反過來。注意不要無腦用jacrev也不要無腦用jacfwd。判斷依據(jù)只有一條——比較輸入元素總數(shù)和輸出元素總數(shù)誰小就用誰做方向。這是前向/反向模式選擇的唯一標(biāo)準(zhǔn)和函數(shù)長什么樣沒關(guān)系。還有一個(gè)隱蔽的點(diǎn)jacfwd在輸入維度超過幾千時(shí)因?yàn)橐淮涡?vmap 出幾千個(gè)方向的 dual tensor顯存會爆。這時(shí)候該用chunk_size分批或者干脆切回jacrev。3.4 手工構(gòu)造 dual tensor 的底層寫法有時(shí)候你需要繞開torch.func的封裝直接操作 dual level比如需要在自定義 autograd Function 內(nèi)部嵌一段前向模式邏輯。底層寫法是這樣from torch.autograd.forward_ad import make_dual, unpack_dual, dual_level x torch.tensor([2.0, 3.0], dtypetorch.float64) v torch.tensor([1.0, 0.0], dtypetorch.float64) with dual_level(): x_dual make_dual(x, v) y_dual f(x_dual) y, jvp_out unpack_dual(y_dual) print(jvp_out) # tensor([ 3.0000, 0.0000, -0.4161])dual_level()是必須的上下文管理器出了這個(gè) with 塊之后 dual tensor 就失效了再拿去做運(yùn)算是未定義行為。另外注意只有支持前向模式的算子才能在里面用像某些第三方擴(kuò)展的自定義算子如果沒注冊 forward AD 規(guī)則會拋RuntimeError。遇到這種要么退回torch.autograd.functional.jvp要么給算子補(bǔ)一份jvp規(guī)則。4. 踩過的坑讓 JVP 結(jié)果對不上的七個(gè)原因4.1 原地操作和 BatchNorm 的 training 狀態(tài)torch.func.jvp對原地操作零容忍。x 1、x.relu_()、x.masked_fill_()這類都會直接報(bào)錯(cuò)因?yàn)樵诮o dual tensor 覆寫 ε 分量時(shí)前向模式無法確定正確的語義。解決辦法是全局搜一遍下劃線結(jié)尾的算子改成非原地版本。更隱蔽的是 BatchNorm。model.train()狀態(tài)下 BN 會更新 running_mean/running_var這屬于副作用side effect函數(shù)式變換默認(rèn)禁止副作用。要么切model.eval()要么用torch.func提供的functional_call把 buffer 顯式傳進(jìn)去。我遇到過一次 JVP 結(jié)果每次調(diào)用都不一樣的詭異情況查了兩小時(shí)才發(fā)現(xiàn)是 BN 在偷偷更新統(tǒng)計(jì)量。4.2 create_graph 開著然后拿結(jié)果去 backward這是最高頻的翻車點(diǎn)。假設(shè)你這么寫_, jv jvp(f, (x,), (v,)) jv.sum().backward() # RuntimeError 或者結(jié)果全 None因?yàn)閖vp默認(rèn)不構(gòu)造可微圖jv是葉子張量backward 拿不到梯度。想對 JVP 的結(jié)果再求導(dǎo)得用torch.func的變換組合方式from torch.func import jvp, grad # 求 d/dx [J(x) v]即二階信息 def hvp_scalar(x, v): _, jv jvp(grad(lambda t: f(t).sum()), (x,), (v,)) return jv.sum()也就是說把jvp和高階變換組合起來而不是指望 autograd 的圖自動接上。這是函數(shù)式 API 和傳統(tǒng) autograd 在思維方式上最大的差別。4.3 隨機(jī)性、dropout 和數(shù)值精度模型里有 dropout 時(shí)jvp的兩次內(nèi)部調(diào)用一次算輸出、一次算切線如果各自采樣一份 mask結(jié)果就會莫名其妙。torch.func系列變換提供了randomness參數(shù)可以設(shè)成differentiate或error后者會在檢測到隨機(jī)算子時(shí)直接報(bào)錯(cuò)逼你顯式處理。我的習(xí)慣是調(diào)試階段一律設(shè)error把問題提前暴露出來。精度方面JVP 涉及大量累加float32 在方向?qū)?shù)上經(jīng)常只留 4 到 5 位有效數(shù)字。做數(shù)值校驗(yàn)時(shí)務(wù)必切到 float64否則有限差分和 JVP 的差異會被舍入噪聲蓋住你會誤以為代碼寫錯(cuò)了其實(shí)是精度不夠。4.4 一個(gè)完整的排查鏈路我把自己遇到的一次典型問題完整記錄下來這個(gè)排查思路可以復(fù)用?,F(xiàn)象一個(gè) 8 維輸入、512 維輸出的函數(shù)torch.func.jvp的結(jié)果和有限差分的差異穩(wěn)定在 3% 左右不是隨機(jī)噪聲而是系統(tǒng)性偏差。第一步把輸入換成 float64 重跑差異降到 0.1%說明有大半是精度問題但仍有殘差。第二步把函數(shù)拆到最簡只留一層線性變換此時(shí) JVP 和手算完全一致說明前向模式本身沒問題。第三步逐層加回發(fā)現(xiàn)加上某個(gè)歸一化層后偏差出現(xiàn)。第四步檢查那個(gè)層發(fā)現(xiàn)它在內(nèi)部對輸入做了clamp(min0)而測試點(diǎn) x 的分量有負(fù)數(shù)clamp 在 0 處不可導(dǎo)有限差分跨過了這個(gè)折點(diǎn)于是兩邊不一致。第五步把測試點(diǎn)挪到所有分量都為正的區(qū)域差異消失。結(jié)論是JVP 本身沒錯(cuò)是有限差分在不可導(dǎo)點(diǎn)附近失效。這個(gè)教訓(xùn)很值錢——做數(shù)值校驗(yàn)時(shí)先確認(rèn)測試點(diǎn)遠(yuǎn)離 ReLU、abs、clamp 這類折點(diǎn)否則校驗(yàn)工具本身就在說謊。5. JVP 真正常用的四個(gè)場景5.1 Hessian-vector product二階優(yōu)化的基石海森矩陣是 n×n參數(shù)量上億時(shí)根本存不下但你往往只需要 H·v 這個(gè)乘積。而 H·v 恰好等于梯度的 JVPimport torch from torch.func import jvp, grad def loss_fn(x): return (x ** 3).sum() x torch.tensor([1.0, 2.0, 3.0], dtypetorch.float64) v torch.tensor([1.0, 1.0, 1.0], dtypetorch.float64) _, hv jvp(grad(loss_fn), (x,), (v,)) print(hv) # tensor([ 6., 12., 18.])正好是 6x 逐元素乘 v手算驗(yàn)證loss Σx3梯度是 3x2海森是對角陣 diag(6x)H·v 6x·v [6, 12, 18]。完全對上。這條式子在整個(gè)二階優(yōu)化領(lǐng)域是基礎(chǔ)設(shè)施。共軛梯度法解 H·p -g 需要反復(fù)算 H·v信賴域方法、自然梯度、K-FAC 的近似版本全都建立在這個(gè)乘積上。用傳統(tǒng)寫法torch.autograd.grad(g, x, grad_outputsv)也能算但那個(gè)要求 g 必須由create_graphTrue得到顯存開銷大jvp(grad(f), ...)走前向模式顯存友好得多。5.2 雅可比正則與輸入梯度懲罰對抗訓(xùn)練和魯棒性研究里常加一項(xiàng)雅可比正則懲罰模型對輸入變化的敏感度形式是 ||?f/?x||2。直接算完整雅可比代價(jià)太高用 Hutchinson 估計(jì)def jacobian_frobenius_sq(model, x, num_samples4): 估計(jì) ||J||_F^2x 是單個(gè)樣本 def f_single(xi): return model(xi.unsqueeze(0)).squeeze(0) total 0.0 for _ in range(num_samples): v torch.randint(0, 2, x.shape, dtypex.dtype, devicex.device) * 2 - 1 _, jv jvp(f_single, (x,), (v,)) total total (jv ** 2).sum() return total / num_samples原理是 E[||J·v||2] ||J||_F2只要 v 的分量是零均值、單位方差的隨機(jī)向量Rademacher 分布 ±1 就夠。四次采樣的估計(jì)就足夠穩(wěn)定成本只有四次前向。這個(gè)技巧在很多需要控制 Lipschitz 常數(shù)的工作里都是標(biāo)配。5.3 靈敏度分析與參數(shù)掃描工程仿真里經(jīng)常有這種需求一個(gè)模型有 30 個(gè)可調(diào)參數(shù)輸出是 5000 個(gè)測點(diǎn)的響應(yīng)曲線想知道參數(shù)動一點(diǎn)點(diǎn)輸出怎么變。這就是標(biāo)準(zhǔn)的 JVP 場景輸入小輸出大反向模式完全使不上勁。def simulate(params): # params: (30,) 返回: (5000,) ... params torch.randn(30, dtypetorch.float64) direction torch.zeros(30, dtypetorch.float64) direction[3] 1.0 # 只看第 4 個(gè)參數(shù)的單獨(dú)影響 _, sensitivity jvp(simulate, (params,), (direction,))這里的sensitivity就是第 4 個(gè)參數(shù)單獨(dú)變動一個(gè)單位時(shí)5000 個(gè)測點(diǎn)各自的響應(yīng)。用 VJP 做同樣的事得對 5000 個(gè)輸出各反向一次成本差兩個(gè)數(shù)量級。神經(jīng) ODE 的伴隨方法里也大量依賴這類操作只不過那邊用的是 VJP因?yàn)槟繕?biāo)通常是標(biāo)量損失。方向選擇永遠(yuǎn)跟著形狀走這一條不會變。5.4 用 trace 估計(jì)代替完整雅可比有時(shí)候你只想要雅可比的跡trace比如在流模型里估算對數(shù)行列式的一階近似。跡可以用 Hutchinson 直接估def trace_hutchinson(f, x, num_samples8): n x.numel() total 0.0 for _ in range(num_samples): v torch.randint(0, 2, (n,), dtypex.dtype, devicex.device) * 2 - 1 _, jv jvp(f, (x,), (v,)) total total (v * jv).sum() return total / num_samples因?yàn)?E[v?Jv] tr(J)。對一個(gè) 100 維的對角函數(shù)八次采樣就能把跡估到 5% 以內(nèi)的相對誤差而完整雅可比要 100 次前向。這個(gè)差距在參數(shù)維度上千時(shí)會變得不可接受。6. 性能與工程取舍什么時(shí)候不該用 JVP6.1 批量化vmap 一次比循環(huán)一百次強(qiáng)torch.func.jvp真正的威力在于它能被vmap包裹把一百個(gè)方向變成一次核函數(shù)調(diào)用。手寫 for 循環(huán)的話每個(gè)方向都要重新走一遍算子調(diào)度Python 開銷直接吃掉所有收益。實(shí)測在一個(gè)中等規(guī)模的網(wǎng)絡(luò)上vmap 版本比 Python 循環(huán)快 20 倍以上。如果不想用vmapPyTorch 還提供了另一條路torch.autograd.grad的is_grads_batchedTrue參數(shù)把多個(gè) VJP 的 cotangent 堆成一個(gè) batch 一次算完。y f(x) u_batched torch.eye(y.numel(), dtypey.dtype).reshape(y.numel(), *y.shape) grads torch.autograd.grad(y, x, grad_outputsu_batched, is_grads_batchedTrue)[0] # grads 形狀 (y.numel(), *x.shape)每一片是一行雅可比這條路的優(yōu)點(diǎn)是底層實(shí)現(xiàn)更貼近 autograd 原語某些老算子上比 vmap 兼容性更好。缺點(diǎn)是它算的是 VJP 批量方向選擇依然受形狀限制。6.2 顯存前向模式不是免費(fèi)的前向模式的顯存開銷常常被低估。每個(gè)參與運(yùn)算的張量都要額外存一份 ε 分量理論上翻倍再疊加vmap的批維度實(shí)際可能是三到四倍。當(dāng)輸入維度 n 達(dá)到幾千、中間激活又很大的時(shí)候jacfwd直接 OOM 是常事。幾條降顯存的手段按有效性排序用chunk_size參數(shù)分批 vmap把 n 個(gè)方向拆成若干組一組一組算再拼起來在torch.no_grad()外層包一層只讓需要求導(dǎo)的部分進(jìn)計(jì)算圖換jacrev如果你的形狀允許的話反向模式的顯存模型完全不同有時(shí)候反而更省降低精度到 bf16前向模式對精度的容忍度比反向模式高一些因?yàn)闆]有梯度累積的鏈?zhǔn)椒糯蟮闰?yàn)證數(shù)值穩(wěn)定性。6.3 一條選擇決策線把這些經(jīng)驗(yàn)壓縮成一條可以照著走的判斷線如果你的目標(biāo)是一個(gè)方向上的方向?qū)?shù)且函數(shù)的輸入維度不大用torch.func.jvp一次完事。如果目標(biāo)是完整雅可比先看形狀輸入元素少于輸出元素走jacfwd反之走jacrev。如果目標(biāo)是海森矩陣乘向量用jvp(grad(f), ...)組合別去碰functional.hvp那個(gè)內(nèi)部是反向兩次慢。如果目標(biāo)是雅可比范數(shù)或跡這類標(biāo)量統(tǒng)計(jì)量別算完整雅可比用 Hutchinson 加隨機(jī)方向估計(jì)采樣四到八次就夠。我個(gè)人的體會是torch.func這套 API 剛上手時(shí)最大的障礙不是語法而是思維方式的切換——它不依賴全局的requires_grad狀態(tài)也不依賴.backward()一切都是顯式的函數(shù)變換。一旦適應(yīng)了這種寫法代碼反而比傳統(tǒng)的 autograd 更清晰因?yàn)閷κ裁辞髮?dǎo)、沿著什么方向全都寫在函數(shù)簽名里不用去猜計(jì)算圖長什么樣。真正需要警惕的只有兩點(diǎn)一是別在需要前向模式的場景里誤用torch.autograd.functional.jvp二是做數(shù)值校驗(yàn)時(shí)務(wù)必用 float64 并且避開折點(diǎn)這兩條踩過一次就夠記一輩子了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香六月婷婷不卡免费无码 | 青青草成人网| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 久热黄色| 欧美激情伊人| 激情五月婷婷色综合| 色色色欧美| 色在线99| 五月天婷婷乱论小说| 99热这里只有精品23| 丁香五月香蕉在线| 国产亚洲99久久精品| 激情宗合 激情宗合| 丁香综合日产精品久久| 欧美叉叉叉BBB网站| 丁香久久| 国产亚洲99久久精品| 九九热在线精品| 亚洲99视频| 99这里有精品久久97| 91超级碰在线视频| 99久久婷婷五月综合| 大香蕉久久久久久久久| 亚洲AV成人无码精品| 搡BBBB搡BBB搡18| 婷婷综合| 五月丁香婷婷啪啪| 成人在线网址| 大香蕉婷婷丁香视频在线| 狠狠色成人影片| 婷婷丁香成人五月天| http://www.lingjunshare.com/| 婷婷五月丁香在线观看| 婷婷亚洲激情在线观看视频| 综合激情开心五月| 亚洲另类婷婷五月丁香在线播放| 婷婷色激情网| 天天色天天搡| 丁香五月精品视频| 五月天色导航婷婷资源婷婷| 久久五月丁香婷婷| 六月丁香深深爱综合网| 5月激情天| 六月婷婷av| 97碰人人操| www.色情五月天.com| 色婷婷91激情小说| 狠狠色丁香乆乆| 国产又粗又大又爽又黄| 成人无码髙潮喷水A片| 久热免费| 九九热九九| 99久久9| www.99日本| 婷婷五月天久久久| 丁香五月在线观看| 婷婷色婷婷| 人人摸人人摸| www.狠狠操| 99热这里全都是精品| 色五月婷婷久久| 婷婷五月天免费视频在线观看| 天天成人五月天| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 日日夜夜天天爽| 69er小视频| 亚洲尤物在线| 五月天激情社区| 九九Av| 殴美激情综合网| 日本97在线| 精品久久婷婷| 欧美在线看| 99riAV国产精品视频| h亚洲| 99九九中文字幕视频| 免费看片操逼| 色五月天丁香婷婷| 婷婷五月综合在线| 五月天综合缴情网网站0| 激情深爱婷婷网| 免费AV黄在线播放| 婷婷色网| 77777亚洲午夜久久| 色狠久| 日韩抽插操逼| 亚洲第一综合| 色婷婷丁香网| 婷婷九月激情| 天天综合亚洲综合| 婷婷色爱| 在线观看婷婷5月| 亚洲激情综合| 亚洲精品电影| 99∨VTV| 99久久网站| 亚洲亚洲人成综合网络| 五月婷婷影视| 热热99爱爱| 99男人的天堂| 99热九九这里只有精品| 欧美色六月婷婷| 思思热热久久| 99热一区| 久久色情| 538在线精品| 久久婷婷七月丁香| Www.狠狠| 五月婷婷综合网| WWW色综合| 五月天婷婷六月| 狠狠色噜噜狠狠狠888了| www五月天激情com| 97碰碰在线观看视频| 丁香五月欧美激情| 99热这里只有精品99| 国产古装妇女野外A片| 人人妖人人97| 91|九色|动漫| WWW色五月天| 日本美女天天日天天爽| 九九性视频| 久久免片| 亚洲第一第二网站| 江苏少妇性BBB搡BBB爽爽爽| 人妻操日日| 一区视频网站| 婷婷五日b| 亚洲色婷婷视频| 狠狠色噜噜狠狠狠888| www..999热久| 少妇AB又爽又紧无码网站| 665566 无码| 亚洲视频码| 丁香五月婷婷激情四射| 亚州精品色情在线观看| 色五月婷婷激情| 丁香婷婷色九月| 色五月天在线观看| 日本色99网站| 色欲九区| 色婷綜合网| 常久最新免费的色吊丝| 天天操加勒比| 99热国品| 91se在线观看| 天天射夜夜爽| 五月六月婷婷| 日韩AV大全| 丁香五月天社区| 啪啪视频99| 久久伦乱| 午夜精品777| 亚洲热久久| 天天综合色丁香| 九九热精品视频| 婷婷丁香日韩五月| 九九99九九99九九99视频网| 热久久这里只有精品20| 天天噜| 99热久| 三级毛片视频| 91干视频| 色狠狠色噜噜噜a天堂一区| 久久婷丁香五月| 天天干天天拍| 97黑人精品区| 爱草视频在线观看| 精品人妻在线| 久草婷婷网| 激情綜合網址| 丁香五月宝贝激情网| 综合网五月| 丁香五月天社区| 嫩草视频。| 激情九月婷婷| 日韩在线aaa| 五月婷婷色色| 五月色丁香婷婷综合| 久久色情| 热99热9| 97碰超级人人看| 免费无码毛片一区二区A片| 久久大香蕉伊人| 五月天激情综合网站| www夜夜操comwww| 九月丁香| 国产女人十八水真多1| 久久婷婷六月综合| 天天插插天天| 婷婷综合| 欧美性爱一区| 五月天激情婷婷小说| 超碰com| 国产古装妇女野外A片| 97se视频在线| 伊人狠狠干| www.99婷婷| 思思久久99热只有频精品66| 91精品婷婷国产综合| 97色伦另类图片小说视频| 久青草影院| 亚洲乱码日产精品BD| 色色五月天婷婷丁香| 情欲综合网| WWW.17C亚洲精品| 八戒青柠影视剧在线观看| 丁香五月婷婷色偷偷| 熟女乱论网| 美国十月色婷婷在线观看| 国产午夜精品一区二区三区嫩草| 亚洲在线资源| 五月天天爱| 婷婷中文字幕| 国産精品| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 亚洲操逼网| 色色婷| 北条麻妃九九九国产精品视频| 亚洲在线操| 久久九九在线视频| 91五月天| 婷婷在线免费| 欧美婷婷综合| 99婷五月| 97丁香五月天| 国产免费一区二区三区三州老师F1F1.CC | A A色色| 丁香五月婷婷啪啪| 操逼巨乳91| 天天久久综合| 丁香激情五月| 九九99九九99| 五月亭亭狠狠| 狠狠精品干练久久久无码中文字幕| 99re热99| 婷婷五月天久久| 亚洲V国产V欧美V久久久久久 | 婷婷五月性感| 美女要搞搞天天搞搞搞网站| 久草五月天| 97超级操操| 五月丁香激情综合六月涩涩爱| 玖玖婷婷五月天| 中文在线视频久9| 亚洲射激情| 久久婷婷五月综合| 亚洲成片在线观看| 五月草影视| 国产99久久久国产精品免费看| 91九色熟女| 激情婷婷五月基地| 双性美人被调教到喷水A片| 色婷丁香| 色五月超碰| 六月丁香AV| 婷婷五月天日本国产| 99热偷拍| 91精品久久久久久久久| 婷婷激情五月综合| 日日操夜夜操不卡| 久久性爱网站| 99精品视频在线观看| 91狠狠综合久久久| 人人草人人舔| 丁香五月手机视频| 婷婷丁香五月亚洲免费| 人妻日日日| 丁香五月天天| 另类激情中文| 久久色情| 天堂久久精品| 久久伦乱| 婷婷激情人妻| 青青草Avb在线| 巴基斯坦粉嫩无码视频| 婷婷色五月91啪啪| 日本熟妇人妻在线| 狠狠操狠狠插| 六月丁香花婷婷| 欧美婷婷丁香五月社区| 久操福利| 婷婷五月天综合久久| 久久狠婷婷| 天天操综合网站| 五月婷婷丁香日韩在线| 99精品网站| 99ER热精品视频| 久久亚洲网| 九九碰九九爱97超碰| 久热超碰91| 99热这里只有精品在线观看| 激情综合网站| 五月婷婷婷| 欧美碰碰碰| 天天视频亚洲| 丁香五月天AV在线 | 色五月激情五月天| 一起操 91N.com| 久久免费婷婷视频| 一级韩国产精品毛| 亚洲视色| www.五月婷| 色婷婷狠狠干芒果TV| 久久综合婷婷激情| 亚洲国产精品综合色区| jiujiuxiangjiaowang| 综合五月激情| 色婷婷yy久| 色六月视频| 婷婷亚洲在线| 人人爱人人添| 狠狠色九月| 5月婷婷综合| 色五月播五月| 狠狠88综合久久久久噜噜噜| 亚洲亚洲人成综合网络| 五月婷婷中文网| 国产成人精品一区二三区熟女在线| 千人斩操逼| 99国产精品久久久久久久久久久| 丁香婷五月| 婷婷综合丁香| 色情五月天A片| 影音先锋五月婷婷| 色色色色色网站| 久久久色情| 色情五月婷婷| 丁香五月婷婷激情四射| 日本欧美在线| 天天搽天天射| 亚洲亚洲人成综合网络| 岛国av电影网站| 97超碰9久热婷婷热| 天天情色五月天| 淫视馆av三区| 激情婷婷五月| 2017狠狠干| 久久9视频| 色婷婷基地在线| 日本九九九九| 日本噜噜色网| 五月婷婷影视| 亚洲另类噜噜| 玖玖婷婷精品| 玖玖在线视频| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲激情五月婷婷日日| 国产精产国品一二三在观看| 久热网站| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 艾小青av| 成人人操| 色婷婷丁香| 亚洲中文字幕AV| 综合色播| 五月婷综合网| 婷婷五月丁香香蕉| 1024人妻| 伊人婷婷激情| 大香蕉在线观看9| 久久99热这里只频精品6学生| 99热在线观看精品| 九九热最新| 久热这里精品免费| www.五月婷| www.天天干| 亚洲av成人在线| 色婷婷五月天| 东北婷婷五月天| 天天视频精品9| 欧美色色色色色色| 激情综合5| 久久在线视频免费观看| 婷婷五月av| 亚洲旡码| 国产美女无遮挡裸体毛片A片| 久久99成人性爱高清视频| 97sese婷婷| 成人婷99最新| 婷婷六月激情啪啪| 日韩成人电影Av| 九九九色综合| 五月在在观看| 日本在线wwww| 99热免费精品| 婷婷五月丁综合| 婷婷狠狠干| 另类图片五月天| 婷婷亚洲日本| 一本婷婷丁香久久| 日本99在线视频| 六月婷婷成人| 五月刺激丁香月综合| 99热综合色图| ...婷婷国产成人亚洲日韩| 91九色 熟| 成人五月丁香社区| 色高清无码视频| 婷婷伊人五月丁香天堂网| 色色五月丁香| 深爱激情久久| 夜夜大香蕉婷婷丁香| 日日夜夜干| 丁香婷婷综合激情五月色| 婷婷丁香社区| 九九AV| 99热这里全是精品| 婷婷亚洲影院| 亚洲激情四射色| 成人免费在线电影| 久久免费精品小视频| 五月天综合在线网| 人妻久久婷婷| 五月婷婷激情色情网| 热996精品在线观看| 国产 码在线成人网站| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 五月天天综合网色婷婷| 色婷婷基地| 91人妻视频| 久久婷婷丁香| 亚洲春色奇米影视| 成人五月丁香社区| 婷婷五月天激情AV影院| 色五月婷婷av| 超碰人人摸AV| 天天干天天色综合| 五月天啪啪| 91狠狠色丁香婷婷综合久久精品| 婷婷综合久久综合| 日韩一级片| 五月婷亚洲精品| 亚洲综合激情五月天婷婷| 婷婷新网址| 日本色色图| 丁香婷婷色五月天| 轮奸综合网| 五月色婷丁香| 成人精品在线| 丁香婷婷激情| 538久久| 久久久精品99| 情欲禁地| 九九色播五月丁香| 激情五月婷婷中文字幕| 思思99热这里只有精品| 丁香六月av| 国产无套精品一区二区| 久久综合人妻| 呦呦v线| 日韩成人AV在线播放| 亚洲视频综合网| 婷婷永久在线| 亚洲视色| 五月激情久久综合| 五月天色色网站| 九九色婷婷五月天| 狠狠狠狠狠狠| 日本九九视频| 激情网婷婷婷| 丁香五月图片| 色五月婷婷在线| 久久小说| 99啪啪| 天天干夜夜想| 思思综合热| 91精品久久久久久77777| 久久婷婷一级片| ...婷婷国产成人亚洲日韩| 综合色五月| 五月婷网站| 婷婷第六色| 六月丁香婷婷色狠狠久久| 色五月激情五月| 欧美精品啪啪| 成人视频婷婷| 五月婷成人网| 香蕉综合在线| 99日视频在线| 五月天操逼激情| 色色色色综合网| 激情五月激情综合网一级丸片| 五月婷婷偷拍| 91人人爽人人操| 久草热久草在线视频| 九九99免费视频| 99性视频| 婷婷六月久久| 丁香五月综合久久八| 1024操逼视频| 久久九九一區| 综合狠久久| 五月天激情久久| 丁香久久久| 中国激情网| 情欲综合网| 婷婷午夜丁香| 婷婷五月天网址| 91狼友视频在线观看| 内射爽无广熟女亚洲| 91Chinese在线| 亚洲第一第二网站| 丁香九月婷婷色| henhencao国产在线| 三级三久久线久久99久目本WW| 五月婷婷色白丝| 婷婷五月丁香青青草在线| 99精品网| 日本色婷婷| 五月丁香成人| 思思99热| 婷婷亚洲五月| 激情五婷网| 五月婷婷六月激情网| 日本本土色网第一区| 九九色图| 超碰在线国产9| 亚洲成Av人片乱码色第1集| 丁香婷婷老熟女综合网| 免费无码毛片一区二区A片| 狠狠穞A片一區二區三區| 天堂久久精品| 色婷婷88| 婷婷成人AV| 五月天激情图片| 亚洲色婷婷五月| 第一区久久网站| 六月丁香深深爱| 第四色五月激情网| 99色在线视频观看| 亚洲国产婷婷色五月| 天天久综合网永久入口17v| 婷婷久久伊人| 97婷婷狠狠久久综合9色| www.九九婷婷| 超碰99成人在线| 情色五月天 网站| 久久婷婷综合五月| 超级碰碰97在线| 少妇人妻人伦A片| 欧洲色区| 99久久国产宗和精品1上映| 日韩另类| 丁香五月av| 夜夜爽天天爽| 日日日日日| 天天爽天天日| 婷婷五月情| 九九热只有精品| 久久久久久欧美精品se一二三四| 五月婷婷性爱| 丁香久久综合| 99日本黄站| 国产成人av在线播放| 91婷色| 久热黄色| 99激情网| 五月婷婷基地| 开心激情综合| 天天插天天插| 国产伦亲子伦亲子视频观看| ..真实国产乱子伦毛片| 99在线视频操999| 亚洲精品第一国产综合亚AV | 亚洲天堂aaaa| 狠狠色噜噜狠狠| 991国产精选视频在线播放下载| 人妻视频在线| 五月丁香啪啪啪综合网| 一起草性爱不卡视频| 婷婷五月激情图片| 天天日日夜夜| 精品少妇人妻AV无码专区偷人 | 久99久在线| 国产成人网| 99性视频| 中字幕视频在线永久在线观看免费| 丰满少妇猛烈A片免费看观看| 亚洲精品无码99热| 天天久久婷婷| 婷婷五月天精品| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 99碰网站| 91丨九色丨大屁股| 五月婷婷伦理| 99在线视频在线观看| 丁香五月激情图片| 婷婷狠狠干| 婷婷色五月婷| 色综合色综合网| 激情五月婷婷综合| WW婷婷五月天com| 婷久久久| 第四色在线观看| 六月五月天婷婷涩播在线| 黄色高清无码| 久久91久久91色欲精品| 99综合久久| 亚洲小说五月婷婷| 丁香五月婷婷成人网| 久久免费婷婷视频| 狠狠操天天干| 天天爽人人综合免费7799| 日本天天操| 麻豆AV一区二区三区| 五月天丁香婷婷久久九| www.色情五月天.com| 色综合大香蕉| 99re这里只有精品99| 激情开心五月婷婷| 婷婷五月天欧美图片在线播放电驴| 99精品热| 日韩成人中文字幕| 国产AV一区二区三区日韩| 久久44| 欧美网站视频4399| 色综合色五月| 欧美天天爽| 丁香六月爱综合| 丁香色五月天| 淫视馆aV二区一区| 成人中文网| 丁香五月婷婷www..com| 丁香婷婷五月激情| 激情五月六月婷婷综合啪啪| 丁香六月婷婷综合在线| 欧美性色视频| 亚洲综合五月天| 亚洲五月六月婷婷| 67194中文字幕| 精热在线综合网| 丁香五月丁香伊人| 五月丁香六月玩女人| 婷婷午夜| tingtingcaobi| 操碰久| 色五月婷婷婷婷婷婷婷婷婷婷| 99精品视频免费观看,| 99热这里只有精品在线观看| 俺去也五月| 婷婷综合性爱网| 大香蕉免费9| 人妻久久做| 5月丁香六月婷婷| 婷婷色色丁香五月天| 色99视频| 丁香五月婷婷久久久| 五月天啪啪视频| 人人性久久| 激情综合五月色在线| 亚洲婷婷激情五月天| 亚洲综合五月天婷婷丁香| 99热在线观看| www,超碰| oumeisesewang| 天天做天天爱天天爽综合网| 天天插天天爱| 亚洲成人综合网在线免费观看| 啪啪激情综合| 五月丁香拍拍激情综合| 荷兰av一级| 激情综合网激情五月天| 99热精品超碰| 久久久久久草黄色片AV在线观看| 五月丁香色| 亚洲五月婷婷| 91九色无码内射| site:hcxsz888.com| 五月激情久久综合网| 婷婷狠狠操| 4399精品一区二区| 国产乱码久久| 久久开心五月天激情| 人人摸人人干| 男人天堂 久久| 天天综合亚洲综合网天天αⅴ| 综合五月丁香六月婷婷| 精品久久艹| 一片AV片免费播放| 激情五月综合网| 婷婷开心久久| 99热99色| 色婷婷操逼网| www。五月天。com| 久久婷婷网| 成人丁香婷婷| 色五月大香蕉| 五月婷婷中文字幕| 白人荫道BBWBBB大荫道| 激情亚洲婷婷| 伊人9999| 九九热这里| 2021日韩无码| 天天做天天爱天天爽在| 五月天婷婷免费| 人五月天婷婷喷水| 五月天婷婷色在线视频免费观看 | 久久久.www| 九九RE视频在线精品| 毛片色五月| 亚洲五月天激情| 久久综合婷婷五月| 五月天黄色激情小说| 开心激情综合| 98永久精品| 五月婷丁香久久久| 色色五月丁香婷婷| 色yeye色综合| 色婷婷五月基地在线| 噜噜操操| 丁香五月婷婷老师网站| 这里只有精品99视频| 六月婷久久| 中文字幕91,综合| 五月婷婷天天色| 久热九九| 一起草av在线观看| 天天热夜夜操| 激情久久久| 91碰在线| 人妻内射视频| 中文字幕视频色婷婷| 激情综合五月婷| 色欲午夜无码久久久久久张津瑜| 99精品视频播放| 亚洲第一色色色| 99热国产精品| 高清成人综合| 亚洲色色香蕉| 成人午夜天| 婷婷激情五月综合| 亚洲碰碰碰| 日本偷拍九九九| 就爱操www com| 天天做夜夜爽| 久久久久8888| 婷婷五月情| 久操乱| 成人婷婷五月天| 色99网| 久久新| 狠狠草在线观看| 91丨九色丨首页| www.久久五月天.com| 色色性爱视频| 99精品视频偷拍| www.99热视频| 婷婷丁香色女人| 人人射av| 丁香色色网| 丁香婷婷五月综合色情| 婷婷六月激情丁香| 玖玖婷婷五月天| 97超碰综合| 9久国产| 久久精品噜噜噜成人A∨色欲| 日本熟女一区二区| 操B视频在线播放| 三区激情四射av| 中文av网站| 大香蕉婷婷色| 狠狠色丁香婷婷久久综合| 久热伊人在91| 99热久久这里只有精品2010| 九九操屄| 甈你aaaaa| 嫩草AV久久伊人妇女超级A| 天天做综合| 人人干av| 五月天婷婷基地| 亚洲啪啪视频| 综合久久五月天| 五月天开心网| 性爱网六月丁香| 99热这里只有精品86| 色99xx| 婷婷五月中文字幕国产| 久热一区| 亚洲久久婷婷丁香五月天| 日本欧美成人片AAAA| 99热这里只有在线播放| 色人久久| 五月天激情站| 9999久久久久| 综合激情啪啪| 综合久久婷婷| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 狠狠99| 五月婷婷七月丁香| 九九激情| 亚洲欧洲小视频9| 婷婷五月天在线观看免费| 天天干天天日蜜臀av| 五月天综合区| 人人人操 超碰| 日日噜狠狠色综合久久| 香蕉网婷婷| 99久久er| 日日操夜夜操不卡| 96五月丁香熟女| www.99操.com| 婷婷99狠狠躁| 婷婷色基地在线看| 国产激情婷婷| 天天综合色丁香| 狠狠爱五月婷婷| 久久久婷丁香五月天激情综合| 丁香五月影院| 99丁香五月婷| 丁香五月综合婷婷| 久久九九网| 五月丁香六月在线| 操人91| 色日本五月天| 五月丁香综合啪啪啪啪啪| 狠狠狠狠狠干| www.五月天性.com| a网站免费观看| 色国产五月| 精品香蕉99久久久久网站| 9999色色色色| 久久婷婷网址| 天天做天天爱天天爽综合网| 色婷婷影| 丁香婷婷六月天| 337p大胆噜噜噜噜噜91Av| 六月激情婷婷| 九九热在视频| 精品无码久久久久久久久| 99re思思热这里| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 桃色成人网| 午夜电影网VA内射| 九九精品re免费视频| 67194中文字幕| 超碰操网| 久久婷婷色| 婷婷五月天.com| 亚洲成人影视在线| 99精品22| 丁香激情五月少妇| 爽极品色| 99色6爱9热| 无码AV免费精品一区二区三区| 婷婷成人综合免费视频| 激情涩播| 人。妻久久| 国产成人在线不卡AV| 91操熟女| 天天插天天插天天日| 亚洲情综合五月天| 婷婷.com| 色婷另类| 人人摸人人干| 亚洲激情区| 一级无码作爱片| 丁香五月婷婷亚洲综合精品| 婷色人人狠| 日本人妻伦在线中文字幕| 天天干肏夜夜| 色婷婷久久7777| 婷婷中文字幕网| 99在线观看| 嫩草AV久久伊人妇女超级A| 美女妹子后射视频网站在线观看| 九九综舍久久| 六月婷婷色| 天天添天天摸天天天天做| 五月天婷婷丁香人人操91| 91色噜噜狠狠狠狠色综合| 国产精品久久久99视频| 九九九激情综合| 激情五月丁香五月| 超碰人人艹| 粉嫩AV久久一区二区三区| 夜夜操激情| 国产成人在线精品| 精品色色| 五月花综合视频| 97人人操| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 思思热在线视频精品| 激情二色月| 超碰在线观看成人视| 97干在线| 婷婷五月天免费| www.五月天色色色| 亚洲综合五月天婷婷丁香| 五月开行婷婷色五月| 中文AV在线观看| 91超级碰碰| 色情免费视频播放| 另类激情码| 色999亚洲人成色| 亚洲bt丁香五月天婷婷激情小说| 色婷婷www| 99久久国产宗和精品1上映| 亚洲色优| 性色播| 91丨九色丨老熟女激情| 五月色婷婷中文字幕| 亚洲天天免费| 久久一级免费黄色片| 九九热99热| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久久综合五月天| 玖玖资源网站最新站| 五月婷婷九九久久| 91精品久久久久久综合五月天| 五月婷色激情五月| 婷婷五月激情网| 色色欧美。| 人妻aV在线| 久er7久热| 婷婷五月丁香激情图片 | 九八Av| 9月色婷婷| 狠狠做五月婷婷| 99热超| 色婷婷五月天| 噜噜吧天天爱| 都市激情蜜桃婷婷五月天| 免费成片在线观看| 色色五月天激情| 玖玖热视频| 五月丁香婷婷无码中文| www.久久色.com| 99热这里只有精品55| 热思思| 六月丁香花婷婷| 五月综合激情图片| 天天干天天拍| 五月天婷婷在线播放| 婷婷丁香视频在线观看免费| 九九热91| 五月婷婷深深爱| 亚洲综合五月天| 婷婷六月丁香色| 99热超碰天堂网| 国产成人片| www久久艹| www,婷婷五月天777me,com| 色色激情五月| 99re资源在线视频导航| 99re8这里只有精品99re8热视频| 五月天五月天成人网亭亭成人色网站| 思思久久99热| 色月丁| 成人做爰A片免费看视频| 超碰资源在线| 五月丁香花伦理电影| 91视频精品99| 91黄色五月天视频| 99这里只有精| 丁香五月天成人网站| 婷婷丁香六月激情综合| 五月丁香久久久久| 久久涩视频| 婷婷久久大香蕉| 久久这里只有精品热在99| 99这里只有精品国产| 久久婷婷人人| 激情综合网激情五月婷婷| 啪啪一区| 婷婷色五月在线视频| 好好日激情五月天| 五月婷婷天堂| 97se在线视频| 国产精品第一国产精品| 久久新地址| 婷婷丁香激情综合色情| 性 色 婷婷| 人人97碰| 狠狠干狠狠操狠狠爱| 丁香网站| 色五月成人| 99乱视频| 精品人妻久久久| 丁香婷婷色五月| 亚洲成人av在线播放| 天天操天天干天天射| 大香蕉久| 久久性操| 丁香六月婷婷色XXXXX| 色播播之激情五月婷婷| 色色色99| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 综合色图区| 久久婷丁香五月| 婷婷五月天激情基地| 久热这里有精品视频| www.婷婷五月天| 97成人在线视频| 九九视频在线观看视频6 | 亚洲欧美成人在线| 婷婷五月天国产| 天天射综合网夜夜操| 99区视频| 久久婷婷五月天激情新地址| 成人免费120分钟啪啪| 欧美人人操| 五月天婷婷7米| 五月婷婷啪啪网| www.久久五月天.com| 成人噜噜网| xx久久| 久婷视频| www,99视频| 亚洲精品字幕在线观看| www.日日夜夜.com| 99热1| 婷婷五月天中文字幕| 青青草蜜臀| 高清无码.com| 色色色欧美| 丁香婷婷色九月| 婷婷五月天涩涩| 国产性av| 国产精自产拍久久久久久蜜| 天天色亚洲| 99久热在线精品| 久婷五月| 日本成人噜噜噜| 激情色视频| 互月天综合| 五月综亚洲| 第四色色六月色综合| 性一交一乱一交A片久久四色| 久久婷婷亚洲无码一起| 丁香五月久久社区| 99久久97| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月激情婷婷国产精品久久久久久| 五月婷婷综合精品| 色999;丁香五月| a69在线视频| 丁香五月天欧洲在线| 亚洲成人综合在线| 丁香九九九九| 国产精品色婷婷久久久精品| 亚洲免费电影2| 啪啪五月婷婷| 久久看九九90| 九九色婷婷五月天| 色日本颜射| 69精品人人人人| 少妇性按摩无码中文A片| www.五月天| 婷婷五月色播| 五月天伊人网| 婷婷六月色| 另类视频一区| 成人在线视频网| 婷婷五月丁香啪啪| 久久人人九| 夜夜久久综合网| 午夜九九九九九九九九九九九九九| 日本丁香五月| 天天插天天插| 久久婷婷五月天| 五月丁香在线观看| 五月综合婷婷五月| 这里只有精品免费| 五月婷婷真爱激情网| 天天婷婷| 激情五月天色婷婷| 丁香成人色情五月天| 五月天激情子轮| 伊人色欲五月天| 丁香五月网在线观看| 激情综合婷婷| 五月婷婷六月激情网| 婷婷激情五月综合基地| 亚洲无码成人性爰网| 青青草蜜臀| 狠狠肏综合网| 婷婷五月综合欧美在线播放| 日本婷婷网| 丁香五月色色色色| 激情婷婷色小说| 噜噜色天天开心| 亚洲日本激情| 婷婷五月综合婷婷| 精品一区二区三区四区五区六区介绍| wuyuedingxiang99| 天天综合网、天天综合色 | 婷婷五月天成人在线视频| 婷婷和五月天| 五月天无码| 5月色婷婷| 91艹人| 婷婷免费无视频| 中文国产五月天| 欧美激情综合五月色丁香| 亚洲综合激情五月久久| 色综合九九| 色五月av| 99热亚洲| 九九99九九精品免费| 99人人爽| 激情综合另类| 最新日韩久热免费视频看看| 丁香婷婷综合激情五月色| www.99精品日操伊人乱碰在线| 日韩99无码| 黄色毛片精品| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 色色婷婷色色| 97色色婷婷五月天| 少妇激情基地| 成年AAAA色情| 涩五月丁香| 色五月丁香在线| 激情五月婷婷丁香综合网| 99这里只有精品视频| 天天干天天拍| AV在线大香蕉| 99免费| 亚洲精品无码一区二区| 日日噜噜夜夜狠狠久久丁香五月| 丁香操逼| 在线视频激情网站| 丁香六月色婷婷| 综合欧美五月婷婷| 五月在在观看| 丁香五月综合在线观看| 色五月婷婷基地| 91九色国产在线| 五月天激情图片| 婷婷五月天综合网| www.maotanji.com| 欧美婷婷五月丁香| 在线观看免费视频| 五月久久丁香| 五月天停停日日| 综合激情五月天| 人人添人人| 亚洲天码视频www蛋播视频| 免费播放片大片| 思思久久精品| 婷婷中文字幕| 日本美女97在线视频| 99热全是精品| 原琪琪色影院| 五月丁了香蕉综合| 五月香六月婷| 超碰在线中文字幕| 五月婷婷激情网| 婷婷丁香五月综合网| 成人啪啪色婷婷久| 色五月综合激情| 五月婷成人网| 这里只有免费精品| 超碰9| 99这里有精品视频| 亚洲综合五月天婷婷| 久久婷婷五月综合啪| 九九成人精品免费视频| 热这里| 色五月五月天色婷婷色五月| 99热思思| 91色综合网站在线| 日本在线视频播放91| 九九99在线观看视频| 艹| 亚洲综合另类| 超碰99热| 啪啪操网| 久久伊人婷婷| 东北婷婷五月天| 色五月欧美| 日韩999| 久久丁香综合香蕉| 玖玖激情五月天| 国产色色网址网站| 99热免费看| 色综合色色| 丁香性爱在线视频| 综合色网站| 操人妻90p| 丁香婷婷视频| 这里只有精品视频免费在线观看| 激情 久久 婷婷| WWW色色色COm| 伊人丁香五月| 亚洲人成色A777777在线观看| 天天干,夜夜爽| 国产91在线视频| 婷婷五月天AV| 色五月视频,小说| 97在线视频人妻九色| 俺也去色| 精品九九网| 开心久久五月天| 五月天五月天成人网亭亭成人色网站| 色婷婷五月在线| 亚洲日本韩国| 激情五月,激情综合网| 久久五月天免费网站| 操操操www.com| 亚洲欧美另类在线23p| 在线色色| 91久久久久久久久久18| 丁香密臀AV激情网| 极品 少妇 内射| 国产性爱一级| 欧美日本免费一道免费视频| 成人AV网站在线| 丁香狠狠| 五月天婷婷视频小说| 99热色精品| 国产第99页| 激情文学天天| 99综合网| 丁香婷婷大香蕉| 亚洲第二AV| 丁香女人五月天| 五月婷婷天| 五月丁香六月婷| 99日在线观看视频| 国内裸舞二区| 91九色国产熟女| 色日本颜射| 色婷婷欧美| 这里只有精品9| 色99在线视频| 综久久久| 久久综合激情五月天| 婷婷五月六月丁香| 日本欧美成人片AAAA| 亚洲4区国产欧美| 天天 日综合| 五月婷六月| 97色 五月天丁香| 五月天色色网站| 久久婷婷综合五月趴| 日本色婷婷| 99啪啪网| 婷婷六月天精品| 97香蕉碰碰人妻国产欧美| 丁香狠狠干| 操99| 综合网五月| 亚洲日韩乱码一区二区三区四区| 综激情网| 天天色综合网吨吧| 天天天天干| 国内久久亭亭| 五月婷婷干| 激情伊人五月天| 色婷在线视频| www.五月婷婷久久.com| 99爱在线精品视频免费观看| 久久网婷婷| 国产综合激情五月久久| 婷婷久久五月| 91精品综合久久久久久五月天| 天天在线久久综合| 九九色99| 国产亚洲99久久精品熟女| 密臀久久| 久婷婷色| 人妻视频一区而且二区| 视色网在线播放| 色私五月婷婷|