欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI可復(fù)現(xiàn)性從“能跑”到“能復(fù)現(xiàn)”:環(huán)境、隨機(jī)性與數(shù)據(jù)全鎖定

AI可復(fù)現(xiàn)性從“能跑”到“能復(fù)現(xiàn)”:環(huán)境、隨機(jī)性與數(shù)據(jù)全鎖定 1. 可復(fù)現(xiàn)性到底是什么從“能跑”到“能復(fù)現(xiàn)”前陣子幫一個(gè)同學(xué)復(fù)現(xiàn)一篇圖像分類論文的結(jié)果代碼直接從對(duì)方倉(cāng)庫(kù)里 clone數(shù)據(jù)用的也是同一個(gè)公開(kāi)數(shù)據(jù)集理論上應(yīng)該是“跑一遍就出結(jié)果”的事。結(jié)果我連續(xù)折騰了兩天訓(xùn)練曲線怎么都對(duì)不上最終指標(biāo)比論文里寫(xiě)明的數(shù)字低了約 1.2 個(gè)百分點(diǎn)。后來(lái)定位到原因居然藏在三個(gè)不起眼的角落里PyTorch 版本不一致、DataLoader 的隨機(jī)順序沒(méi)固定、數(shù)據(jù)增強(qiáng)里隨機(jī)裁剪的參數(shù)范圍有出入。這就是“AI 可復(fù)現(xiàn)性”最常見(jiàn)的打開(kāi)方式——它往往不是那種高深到需要重新設(shè)計(jì)框架的問(wèn)題而是一堆看似“跑通就行”的具體細(xì)節(jié)在背后悄悄累積。干了幾年 AI 工程我對(duì)“復(fù)現(xiàn)”這件事一直保持敬畏。這篇文章想把我復(fù)現(xiàn)別人、以及被團(tuán)隊(duì)同事復(fù)現(xiàn)的過(guò)程中踩過(guò)的坑、總結(jié)出的方法完整講一遍。內(nèi)容既適合還在跑實(shí)驗(yàn)寫(xiě)論文的學(xué)生也適合要在團(tuán)隊(duì)里維護(hù)一份“別人能跑起來(lái)”代碼庫(kù)的算法研發(fā)更歡迎被各種沒(méi)頭沒(méi)尾的 README 折磨過(guò)的朋友來(lái)評(píng)論區(qū)一起吐槽。1.1 可復(fù)現(xiàn)性的三個(gè)層次很多人一提“可復(fù)現(xiàn)”第一反應(yīng)是“代碼能跑就行”。這其實(shí)是把概念理解得太窄了。我習(xí)慣把可復(fù)現(xiàn)性拆成三層一層比一層嚴(yán)格第一層是“代碼可運(yùn)行”。把倉(cāng)庫(kù)拉下來(lái)裝好依賴能跑出 loss 曲線不報(bào)錯(cuò)。這一層只證明代碼本身是完整的跟結(jié)果對(duì)不對(duì)完全沒(méi)關(guān)系。第二層是“環(huán)境可重建”。換一臺(tái)機(jī)器、換一個(gè)人、隔三個(gè)月后再跑依然能裝好同樣的環(huán)境跑出同樣的數(shù)值范圍。這層需要依賴鎖定、版本管理、硬件記錄。很多論文給的代碼卡在這一層就過(guò)不去。第三層是“結(jié)果可對(duì)齊”。同一份代碼、同一個(gè)環(huán)境、同一份數(shù)據(jù)跑出來(lái)的核心指標(biāo)差異控制在一個(gè)合理范圍內(nèi)比如精度差不超過(guò) 0.1 到 0.2 個(gè)百分點(diǎn)loss 曲線形態(tài)基本一致。這是工業(yè)級(jí)復(fù)現(xiàn)的要求也是論文審稿人真正想看到的“復(fù)現(xiàn)”。三層之間的差距就是不同團(tuán)隊(duì)對(duì)實(shí)驗(yàn)嚴(yán)謹(jǐn)性的要求差距。一個(gè)只在單機(jī)單卡上跑過(guò)、要求不高的項(xiàng)目能做到第一層就夠用但要支撐團(tuán)隊(duì)協(xié)作、模型迭代、甚至對(duì)外發(fā)布基準(zhǔn)結(jié)果至少要做到第二層并向第三層努力。1.2 “復(fù)現(xiàn)不出來(lái)”不等于“論文有問(wèn)題”這是我最想先糾正的一個(gè)心態(tài)。復(fù)現(xiàn)結(jié)果對(duì)不上時(shí)很多人第一反應(yīng)是“作者是不是造假了”但實(shí)際經(jīng)驗(yàn)里絕大多數(shù)情況不是這樣。我見(jiàn)過(guò)太多次人家論文沒(méi)問(wèn)題只是某些細(xì)節(jié)沒(méi)寫(xiě)清楚或者說(shuō)寫(xiě)清楚了但被忽略了。比如論文只說(shuō)“使用 SGD 優(yōu)化器初始學(xué)習(xí)率 0.01”但沒(méi)告訴你學(xué)習(xí)率在第幾個(gè) epoch 衰減、用什么衰減策略論文說(shuō)“用了數(shù)據(jù)增強(qiáng)”但沒(méi)說(shuō)隨機(jī)裁剪的 scale 范圍是多少論文說(shuō)“batch size 為 128”但沒(méi)提梯度積累步數(shù)——這些信息在原文里可能只是一句話甚至一個(gè)小括號(hào)但任何一個(gè)變了最終指標(biāo)都會(huì)飄。所以“復(fù)現(xiàn)不上”更像一個(gè)排查信號(hào)說(shuō)明還有某個(gè)關(guān)鍵變量沒(méi)對(duì)齊。把它當(dāng)成論文造假只會(huì)讓你錯(cuò)過(guò)真正的 bug。冷靜下來(lái)按環(huán)境、數(shù)據(jù)、代碼、超參四個(gè)維度去逐個(gè)排查通常都能找到答案。1.3 為什么 AI 在“復(fù)現(xiàn)”這件事上特別容易翻車傳統(tǒng)軟件工程里可復(fù)現(xiàn)性不是一個(gè)這么扎眼的話題。一段 C 排序代碼你在一臺(tái)機(jī)器上測(cè)出 100 萬(wàn)條數(shù)據(jù)排 0.2 秒換一臺(tái)配置高點(diǎn)的機(jī)器雖然時(shí)間變了但排序結(jié)果應(yīng)該完全一致。這是因?yàn)閭鹘y(tǒng)程序往往是確定性的同一個(gè)輸入對(duì)應(yīng)的就是同一個(gè)輸出。但 AI 訓(xùn)練過(guò)程天然帶著隨機(jī)性。模型初始化是隨機(jī)的數(shù)據(jù)加載的 shuffle 順序是隨機(jī)的Dropout 是隨機(jī)的多卡并行時(shí)梯度歸約的順序也會(huì)帶來(lái)浮點(diǎn)誤差。再加上訓(xùn)練本身就是一次次迭代優(yōu)化的過(guò)程一步順序不同后面的整個(gè)軌跡都可能不同。所以 AI 項(xiàng)目的復(fù)現(xiàn)本質(zhì)上是在“一條充滿隨機(jī)變量的時(shí)間線上”復(fù)現(xiàn)某一次軌跡難度自然比傳統(tǒng)程序高一個(gè)量級(jí)。這也解釋了為什么明明把 seed 固定了結(jié)果有時(shí)候還是不一樣。因?yàn)殡S機(jī)性的來(lái)源遠(yuǎn)不止一個(gè)np.random.seed()能管住的后面還能看到更多案例。2. 藏在訓(xùn)練細(xì)節(jié)里的“復(fù)現(xiàn)殺手”聊完定義進(jìn)入正題到底哪些東西在悄悄破壞可復(fù)現(xiàn)性我把幾年里踩過(guò)的坑歸成四類每一類都值得單獨(dú)拉出來(lái)講。2.1 隨機(jī)性從種子到并行先做個(gè)熱身題固定了random.seed(42)、np.random.seed(42)、torch.manual_seed(42)訓(xùn)練結(jié)果就一定完全一樣嗎答案是不一定。第一個(gè)問(wèn)題是隨機(jī)性來(lái)源太多。Python 自帶的 random、NumPy 的隨機(jī)、PyTorch 的 CPU/GPU 隨機(jī)、操作系統(tǒng)的隨機(jī)種子、還有給 DataLoader 單獨(dú)設(shè)置的 generator它們彼此獨(dú)立必須全部固定。任何一處漏掉后續(xù)的數(shù)據(jù)順序就可能不同。第二個(gè)問(wèn)題是硬件層面的不確定。GPU 上很多操作是并行計(jì)算的比如矩陣乘法里多個(gè)計(jì)算單元各自算一部分再按某種順序加總。浮點(diǎn)數(shù)的加法不滿足結(jié)合律元素加總順序不同最后一位小數(shù)就會(huì)不同。這種誤差會(huì)隨著訓(xùn)練步數(shù)放大導(dǎo)致曲線細(xì)微偏離。PyTorch 里torch.backends.cudnn.deterministic True能解決一部分算子的問(wèn)題但不是所有算子都支持確定性版本有些情況下只能接受“近似可復(fù)現(xiàn)”。第三個(gè)問(wèn)題是數(shù)據(jù)加載順序。很多代碼里 DataLoader 的 shuffle 用的隨機(jī)序列是在沒(méi)有設(shè)置固定 generator 的情況下隱式產(chǎn)生的。同樣的 seed如果把num_workers從 4 改成 8數(shù)據(jù)到達(dá) GPU 的順序都可能變化訓(xùn)練效果就跟著變。這算是復(fù)現(xiàn)排查里最容易忽略的環(huán)節(jié)。2.2 環(huán)境漂移同一個(gè)代碼換了石頭就跑偏我見(jiàn)過(guò)一個(gè)特別折磨人的場(chǎng)景同事在我的機(jī)器上復(fù)現(xiàn)一個(gè)模型代碼完全一樣數(shù)據(jù)完全一樣甚至 seed 都一樣但 loss 曲線就是差了一點(diǎn)。折騰了半天最后發(fā)現(xiàn)他的 PyTorch 版本比我的新了兩個(gè)大版本某些底層算子的實(shí)現(xiàn)邏輯已經(jīng)重構(gòu)過(guò)了。AI 項(xiàng)目對(duì)底層庫(kù)的敏感程度遠(yuǎn)超普通應(yīng)用。CUDA 驅(qū)動(dòng)、cuDNN 版本、PyTorch 版本、甚至 NumPy 版本一變浮點(diǎn)計(jì)算的順序和精度就可能跟著變。很多開(kāi)源項(xiàng)目寫(xiě)requirements.txt時(shí)習(xí)慣用torch1.9.0這種寫(xiě)法看起來(lái)沒(méi)問(wèn)題實(shí)際上一臺(tái)機(jī)器解析出來(lái)的依賴樹(shù)跟另一臺(tái)機(jī)器能差出一大截。環(huán)境漂移的隱蔽性在于它不像代碼報(bào)錯(cuò)那樣直接可見(jiàn)。代碼照樣能跑指標(biāo)偶爾也沒(méi)差多少但它足以讓“結(jié)果對(duì)齊”變得不穩(wěn)定。等到你要復(fù)現(xiàn)一個(gè)月前自己跑的實(shí)驗(yàn)時(shí)環(huán)境已經(jīng)悄悄更新過(guò)好幾輪當(dāng)時(shí)的曲線怎么都找不回來(lái)。2.3 論文沒(méi)寫(xiě)的“隱形超參”這是復(fù)現(xiàn)論文時(shí)最讓人頭疼的部分。公開(kāi)代碼里往往只能看到模型結(jié)構(gòu)和訓(xùn)練腳本而真正影響結(jié)果的細(xì)節(jié)常常散落在論文的實(shí)驗(yàn)部分、插圖標(biāo)題、甚至附錄的腳注里。我總結(jié)過(guò)幾類最容易被忽略的“隱形超參”學(xué)習(xí)率調(diào)度策略。論文說(shuō)“初始學(xué)習(xí)率 0.01”但實(shí)際是每 30 個(gè) epoch 乘以 0.1還是余弦退火還是帶 warmup 的三階段策略這三者的收斂結(jié)果差異可能接近一個(gè)百分點(diǎn)。數(shù)據(jù)增強(qiáng)參數(shù)。同一個(gè)“隨機(jī)裁剪”scale 范圍到底是(0.08, 1.0)還是(0.5, 1.0)有沒(méi)有用RandomResizedCrop的默認(rèn)值這些默認(rèn)值在不同版本框架里還可能被改動(dòng)。Batch Size 與梯度更新頻率。有的論文寫(xiě) batch size 512實(shí)際因?yàn)轱@存限制用了 128 加 4 步梯度積累但這跟真正的 512 批次在 BatchNorm 統(tǒng)計(jì)上是有差異的。EMA指數(shù)移動(dòng)平均權(quán)重。很多自監(jiān)督和半監(jiān)督模型依賴 EMA 來(lái)平滑模型參數(shù)但 EMA 的衰減系數(shù)往往只寫(xiě)在附錄里甚至只藏在代碼的默認(rèn)參數(shù)里。混合精度開(kāi)關(guān)?;炀扔?xùn)練會(huì)把前向和反向計(jì)算的精度降低到 FP16同時(shí)保留 FP32 的主權(quán)重。這個(gè)開(kāi)關(guān)是否開(kāi)啟、動(dòng)態(tài) loss scaling 的策略是什么都會(huì)影響數(shù)值軌跡。這些參數(shù)在論文里不顯眼但對(duì)結(jié)果的影響卻是實(shí)打?qū)嵉?。?fù)現(xiàn)時(shí)看到差異往這些方向排查的命中率很高。2.4 數(shù)據(jù)與預(yù)處理也是“代碼的一部分”我見(jiàn)過(guò)最“冤”的復(fù)現(xiàn)失敗是這樣一個(gè)人下載了訓(xùn)練集另一個(gè)人下載了訓(xùn)練集目錄結(jié)構(gòu)一樣文件也一樣但下載工具的校驗(yàn)邏輯不同圖片文件順序不同導(dǎo)致訓(xùn)練時(shí)數(shù)據(jù)讀取順序完全不同。另外數(shù)據(jù)預(yù)處理腳本也是復(fù)現(xiàn)鏈路的一部分。歸一化的均值/方差是(0.485, 0.456, 0.406)還是(0.5, 0.5, 0.5)圖像 resize 的方式是雙線性還是雙三次這些細(xì)節(jié)寫(xiě)在腳本里但腳本本身如果不放在版本控制里很容易在某次“順手改一下”之后徹底失憶再也找不回原始處理流程。把數(shù)據(jù)和預(yù)處理腳本納入版本管理跟鎖代碼同等重要。這一點(diǎn)在下一章會(huì)展開(kāi)講。3. 一套可落地的可復(fù)現(xiàn)方案鎖環(huán)境、鎖代碼、鎖數(shù)據(jù)復(fù)現(xiàn)問(wèn)題討論再多最終還是要落到行動(dòng)上。下面這套方法是這幾年實(shí)際驗(yàn)證過(guò)的每一步都不難難的是把它變成習(xí)慣。核心思路可以用一句話概括把影響實(shí)驗(yàn)結(jié)果的每一個(gè)變量都記錄下來(lái)并且鎖死。3.1 環(huán)境鎖定requirements 只是起點(diǎn)哈希鎖零很多項(xiàng)目會(huì)提供一個(gè)requirements.txt但這里有個(gè)常見(jiàn)誤區(qū)這個(gè)文件往往只寫(xiě)了頂層依賴沒(méi)有鎖定傳遞依賴的版本。也就是說(shuō)你在pip install -r requirements.txt的時(shí)候依賴解析器會(huì)在你當(dāng)前的機(jī)器上下載“當(dāng)時(shí)最新”的某個(gè)子依賴版本而這個(gè)版本可能跟上個(gè)星期已經(jīng)不一樣了。我更推薦的做法是在干凈的環(huán)境中做完所有代碼調(diào)試后用pip freeze生成一份完整的鎖定文件。# 在訓(xùn)練用的虛擬環(huán)境里執(zhí)行 python -m pip freeze requirements-lock.txt這份文件會(huì)把當(dāng)前環(huán)境下所有通過(guò) pip 安裝的包以及精確版本全部記錄下來(lái)?;謴?fù)環(huán)境時(shí)直接python -m pip install -r requirements-lock.txt這樣雖然不完美Python 生態(tài)里還有系統(tǒng)級(jí)依賴、編譯器版本、OpenBLAS 等細(xì)節(jié)沒(méi)法被 pip 管住但已經(jīng)能解決 80% 的版本漂移問(wèn)題。更進(jìn)一步可以把 lock 文件內(nèi)容生成一個(gè)哈希值跟實(shí)驗(yàn)結(jié)果一并記錄下來(lái)。sha256sum requirements-lock.txt記錄這個(gè)哈希值之后任何時(shí)候想確認(rèn)“當(dāng)前環(huán)境跟當(dāng)時(shí)是否一致”一條命令就能驗(yàn)證。每次環(huán)境改動(dòng)都要重新生成 lock 文件并且同步更新哈希記錄。3.2 種子管理一套“不打架”的種子方案種子管理看似簡(jiǎn)單但要做好需要把每個(gè)隨機(jī)源都照顧到。我平時(shí)用的工具函數(shù)長(zhǎng)這樣import os import random import numpy as np import torch def set_global_seed(seed: int 42): # 注意這個(gè) os.environ 設(shè)置必須在導(dǎo)入 numpy/torch 之前才完全生效 # 所以最好在腳本最開(kāi)頭調(diào)用或者單獨(dú)放在一個(gè)模塊里最先導(dǎo)入。 os.environ[PYTHONHASHSEED] str(seed) random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 讓 cuDNN 使用確定性算法并關(guān)閉 benchmark 自動(dòng)調(diào)優(yōu) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False有兩個(gè)細(xì)節(jié)值得提醒。第一PYTHONHASHSEED只影響 Python 字符串哈希的隨機(jī)化。如果你在代碼里用字典或者集合時(shí)依賴鍵的順序就要設(shè)這個(gè)變量而且必須在 Python 解釋器啟動(dòng)時(shí)生效。所以在import之前就設(shè)置os.environ是必要的靠函數(shù)內(nèi)部臨時(shí)設(shè)置已經(jīng)來(lái)不及了。第二torch.backends.cudnn.benchmark False很多人會(huì)忽略。benchmark 開(kāi)啟時(shí)cuDNN 會(huì)在一些算法之間做自動(dòng)調(diào)優(yōu)第一次跑的時(shí)候選擇的算法可能跟第二次不同導(dǎo)致不確定的結(jié)果。把它關(guān)掉才能讓卷積計(jì)算路徑相對(duì)固定。僅僅調(diào)用這個(gè)函數(shù)還不夠還必須確認(rèn) DataLoader 的 shuffle 也使用固定 generator。做法是在創(chuàng)建 DataLoader 時(shí)傳入一個(gè)獨(dú)立的 Generatorfrom torch.utils.data import DataLoader import torch g torch.Generator() g.manual_seed(42) loader DataLoader( dataset, batch_size128, shuffleTrue, generatorg, num_workers4, )注意num_workers的變化會(huì)影響數(shù)據(jù)到達(dá)順序所以鎖定時(shí)要連這個(gè)參數(shù)一起固定。多卡訓(xùn)練時(shí)DistributedSampler也要設(shè)置set_epoch(seed)否則每個(gè) epoch 的 shuffle 順序會(huì)隨系統(tǒng)時(shí)鐘變化。3.3 數(shù)據(jù)與預(yù)處理不可變固定好環(huán)境和隨機(jī)狀態(tài)之后下一步是確保數(shù)據(jù)本身不可變。我給自己定的規(guī)矩是原始數(shù)據(jù)集一旦下載完畢就把它放到只讀位置并記錄一個(gè) SHA-256 校驗(yàn)值。每次訓(xùn)練腳本啟動(dòng)時(shí)先驗(yàn)證數(shù)據(jù)目錄的哈希不一致就直接報(bào)錯(cuò)退出。# 計(jì)算訓(xùn)練數(shù)據(jù)目錄的校驗(yàn)值 find /path/to/train_data -type f -exec sha256sum {} \; | sort | sha256sum這行命令會(huì)把目錄下所有文件的哈希算出來(lái)再合并最終得到一個(gè)“目錄指紋”。雖然速度不快但在每次啟動(dòng)訓(xùn)練前做一次驗(yàn)證能徹底杜絕“數(shù)據(jù)被人不小心改了一個(gè)文件”這類事故。預(yù)處理腳本同樣要納入版本控制。我的習(xí)慣是把從“原始圖片”到“訓(xùn)練輸入 tensor”的全部變換封裝成一個(gè)獨(dú)立的 Python 模塊并把該模塊的 commit hash 寫(xiě)進(jìn)訓(xùn)練日志。這樣任何時(shí)候回看一次訓(xùn)練都能清楚知道這條數(shù)據(jù)流水線當(dāng)時(shí)的狀態(tài)。3.4 用實(shí)驗(yàn)管理工具記錄“誰(shuí)在什么上跑過(guò)”人腦的記憶是不可靠的。三個(gè)月前你調(diào)了一個(gè)實(shí)驗(yàn)當(dāng)時(shí)覺(jué)得肯定是記錄下來(lái)了但真的被人問(wèn)起“你這個(gè)模型的超參是什么”時(shí)很難從命令行歷史里準(zhǔn)確還原。實(shí)驗(yàn)管理工具能把這個(gè)問(wèn)題系統(tǒng)性解決。這類工具會(huì)自動(dòng)記錄每個(gè)實(shí)驗(yàn)的代碼版本、依賴環(huán)境、超參數(shù)、指標(biāo)曲線、模型權(quán)重和日志文件。我在團(tuán)隊(duì)里推動(dòng)過(guò)幾個(gè)項(xiàng)目使用開(kāi)源實(shí)驗(yàn)管理工具核心收益是兩個(gè)一是自動(dòng)記錄。不需要手動(dòng)維護(hù)一個(gè) Markdown 表格每個(gè)人跑訓(xùn)練時(shí)工具自動(dòng)把環(huán)境信息和參數(shù)抓走形成一條可檢索的實(shí)驗(yàn)記錄。二是方便對(duì)比。當(dāng)你連續(xù)跑了十幾個(gè)實(shí)驗(yàn)工具會(huì)自動(dòng)把每條曲線放在一起展示指標(biāo)優(yōu)劣一目了然。比自己在 Excel 里復(fù)制粘貼要靠譜得多。即使不想引入新工具至少也得建立一個(gè)“每個(gè)實(shí)驗(yàn)一條記錄”的習(xí)慣內(nèi)容包含git commit hash、seed、超參配置、環(huán)境 lock 文件哈希、GPU 型號(hào)、啟動(dòng)時(shí)間、結(jié)束時(shí)間、關(guān)鍵指標(biāo)。這份記錄就是以后你的“數(shù)字考古系統(tǒng)”。3.5 容器把整臺(tái)機(jī)器變成一枚“郵票”環(huán)境鎖定的終極形態(tài)是容器化。把 CUDA 驅(qū)動(dòng)的內(nèi)核模塊暴露給宿主機(jī)之外的所有依賴都封進(jìn)鏡像等于把“操作系統(tǒng)級(jí)別的環(huán)境”也固定下來(lái)。任何人拿到這個(gè)鏡像在同類 GPU 環(huán)境下運(yùn)行得到的環(huán)境就是同一套。容器的好處眾所周知可控的限制也同樣重要容器不解決硬件差異問(wèn)題。同一個(gè)鏡像在 A100 和 RTX 3090 上跑由于 GPU 架構(gòu)不同、并行調(diào)度策略不同結(jié)果依然可能出現(xiàn)微小偏差。所以容器里還要額外記錄 GPU 型號(hào)和驅(qū)動(dòng)版本。訓(xùn)練開(kāi)始時(shí)把以下信息寫(xiě)進(jìn)日志文件成本很低但價(jià)值很高nvidia-smi --query-gpuname,driver_version,memory.total --formatcsv容器不是銀彈但配合前面幾層措施已經(jīng)足以把可復(fù)現(xiàn)性從“概率性事件”變成“常規(guī)現(xiàn)象”。4. 實(shí)操?gòu)?fù)盤(pán)一個(gè)圖像分類模型從“對(duì)不上”到“完全鎖定”方法論講完拿一個(gè)真實(shí)踩過(guò)的坑做完整復(fù)盤(pán)。為了讓描述更通用我隱去具體數(shù)據(jù)和模型名稱但整個(gè)排查過(guò)程完全按實(shí)際經(jīng)歷來(lái)寫(xiě)。4.1 復(fù)現(xiàn)目標(biāo)與最初的現(xiàn)象當(dāng)時(shí)要在某復(fù)現(xiàn)項(xiàng)目中跑一個(gè)公開(kāi)骨干網(wǎng)絡(luò)結(jié)構(gòu)的圖像分類實(shí)驗(yàn)。論文給出的 Top-1 精度是 77.5%我用對(duì)方公開(kāi)的代碼和數(shù)據(jù)集第一次跑出來(lái)只有 76.3%差了 1.2 個(gè)百分點(diǎn)。這個(gè)差距不算特別大但足夠讓所有后續(xù)實(shí)驗(yàn)失去可信度。我做的第一件事不是調(diào)參而是先檢查硬環(huán)境。記錄下 PyTorch 版本、CUDA 版本、GPU 型號(hào)、Python 版本然后看對(duì)方倉(cāng)庫(kù)里有沒(méi)有環(huán)境鎖定文件。結(jié)果發(fā)現(xiàn)對(duì)方只提供了一個(gè)很粗的requirements.txt沒(méi)有哈希鎖定也沒(méi)有容器鏡像。這意味著環(huán)境變量完全處于“漂移”狀態(tài)。4.2 第一輪排查鎖定環(huán)境版本我建了一個(gè)全新的虛擬環(huán)境按對(duì)方的requirements.txt安裝依賴但把關(guān)鍵的 PyTorch 和 torchvision 版本按照倉(cāng)庫(kù)歷史記錄里的版本號(hào)重新指定降級(jí)到當(dāng)時(shí)實(shí)驗(yàn)所用的版本。裝好后重跑訓(xùn)練精度從 76.3% 提到了 76.7%曲線形態(tài)也比之前平滑了一些。很明顯算子的底層實(shí)現(xiàn)差異確實(shí)是影響因素之一但它只解釋了一部分差距。4.3 第二輪排查鎖定隨機(jī)狀態(tài)環(huán)境對(duì)齊之后我把目光轉(zhuǎn)到隨機(jī)性。仔細(xì)檢查訓(xùn)練腳本發(fā)現(xiàn)它只調(diào)用了一次torch.manual_seed(42)但有兩處遺漏一是 DataLoader 沒(méi)有單獨(dú)設(shè)置 generatorshuffle 順序其實(shí)沒(méi)被固定二是torch.backends.cudnn.benchmark保持默認(rèn)開(kāi)啟狀態(tài)同樣的輸入在不同時(shí)間甚至可能選到不同卷積算法。我把這兩個(gè)問(wèn)題修掉重新跑了三個(gè)不同隨機(jī)種子下的實(shí)驗(yàn)發(fā)現(xiàn)精度穩(wěn)定到了 76.9%比最初的 76.3% 提高了 0.6 個(gè)百分點(diǎn)。到這里環(huán)境 隨機(jī)這兩個(gè)因素已經(jīng)修正了大約 0.6 個(gè)百分點(diǎn)的差異。4.4 第三輪排查數(shù)據(jù)順序與預(yù)處理細(xì)節(jié)還差最后的 0.6 個(gè)百分點(diǎn)。我先把目標(biāo)縮小到預(yù)處理流程逐行對(duì)比數(shù)據(jù)集加載代碼和論文描述終于發(fā)現(xiàn)兩個(gè)問(wèn)題。第一個(gè)是隨機(jī)裁剪范圍。我復(fù)現(xiàn)代碼里寫(xiě)的RandomResizedCrop的 scale 參數(shù)是默認(rèn)值(0.08, 1.0)但原作者的實(shí)現(xiàn)里實(shí)際用的是(0.5, 1.0)。這個(gè)差異導(dǎo)致訓(xùn)練時(shí)模型看到的圖片裁剪區(qū)域普遍偏大特征分布跟論文設(shè)定有偏差。第二個(gè)是歸一化參數(shù)。我用了通用的 ImageNet 統(tǒng)計(jì)量(0.485, 0.456, 0.406)但原作者在代碼里把歸一化參數(shù)改成了(0.5, 0.5, 0.5)。這個(gè)改動(dòng)在數(shù)據(jù)預(yù)處理里不起眼但對(duì)最終精度的影響實(shí)實(shí)在在。修掉這兩處之后重新訓(xùn)練精度直接跳到了 77.3%加上前面已經(jīng)修正的環(huán)境和隨機(jī)項(xiàng)最終達(dá)到了 77.4%與論文的 77.5% 只差 0.1 個(gè)百分點(diǎn)。這個(gè)差距在合理浮動(dòng)范圍內(nèi)。4.5 最終方案五個(gè)鎖一起上性能對(duì)齊之后我開(kāi)始把整個(gè)復(fù)現(xiàn)過(guò)程固化下來(lái)目的就是讓這個(gè)結(jié)果以后隨時(shí)能被重新找回。最終的做法是五個(gè)鎖同時(shí)生效第一鎖定代碼版本。把復(fù)現(xiàn)倉(cāng)庫(kù)打上 commit hash所有關(guān)鍵腳本凍結(jié)。第二鎖定環(huán)境。用pip freeze導(dǎo)出完整 locked requirements并記錄哈希值。第三鎖定隨機(jī)狀態(tài)。統(tǒng)一 seed 函數(shù) DataLoader generator cudnn deterministic benchmark off。第四鎖定數(shù)據(jù)。計(jì)算訓(xùn)練目錄的 SHA-256 指紋訓(xùn)練腳本啟動(dòng)時(shí)自動(dòng)校驗(yàn)。第五鎖定硬件信息。記錄 GPU 型號(hào)、驅(qū)動(dòng)版本、CUDA 版本并寫(xiě)進(jìn)訓(xùn)練日志。后來(lái)我把這套流程總結(jié)成團(tuán)隊(duì)內(nèi)部的一份 Runbook之后每次復(fù)現(xiàn)別人的模型或重新拉起自己的實(shí)驗(yàn)都按這個(gè)清單走一遍成功率明顯提升。5. 常見(jiàn)問(wèn)題速查手冊(cè)與幾個(gè)“反直覺(jué)”經(jīng)驗(yàn)5.1 十類常見(jiàn)復(fù)現(xiàn)問(wèn)題速查表現(xiàn)象排查方向處理建議結(jié)果與論文有可觀察差距環(huán)境版本不一致 / 隨機(jī)種子沒(méi)鎖鎖定依賴 統(tǒng)一 seed 對(duì)比版本同一個(gè)代碼兩次結(jié)果就不同DataLoader 無(wú)固定 generator / benchmark 開(kāi)啟固定 DataLoader generator、關(guān)閉 benchmark換一臺(tái)機(jī)器指標(biāo)變化GPU 型號(hào) / 驅(qū)動(dòng)版本 / 庫(kù)實(shí)現(xiàn)差異容器化 記錄 nvidia-smi 信息固定 seed 后仍有細(xì)微波動(dòng)并行浮點(diǎn)累加順序 / 非確定性算子開(kāi)啟 cudnn deterministic接受微小浮動(dòng)訓(xùn)練后精度接近但曲線對(duì)不上學(xué)習(xí)率調(diào)度策略不一致核對(duì) warmup、decay、scheduler 細(xì)節(jié)圖片數(shù)據(jù)能跑但結(jié)果偏預(yù)處理參數(shù)不一致檢查 resize、歸一化、裁剪范圍依賴裝完跑不起來(lái)lock 文件缺失 / 傳遞依賴漂移用 pip freeze 生成完整鎖定文件找不到某次實(shí)驗(yàn)的記錄實(shí)驗(yàn)日志不系統(tǒng)引入實(shí)驗(yàn)管理工具或建立固定記錄模板目錄數(shù)據(jù)被改動(dòng)影響結(jié)果數(shù)據(jù)盤(pán)可寫(xiě)設(shè)置只讀 啟動(dòng)時(shí)校驗(yàn)?zāi)夸浿讣y多卡訓(xùn)練結(jié)果不穩(wěn)定分布式采樣隨機(jī) / 歸約順序固定 DistributedSampler epoch、統(tǒng)一進(jìn)程數(shù)5.2 我跑實(shí)驗(yàn)時(shí)定的幾條硬規(guī)矩這些規(guī)矩不一定適合所有人但每一招都是從真實(shí)教訓(xùn)里換來(lái)的。第一git commit 必須走在訓(xùn)練啟動(dòng)之前。哪怕只改了一行配置也要先提交再跑實(shí)驗(yàn)。不然過(guò)了幾天自己都分不清某個(gè)結(jié)果是對(duì)應(yīng)哪份代碼。第二所有依賴鎖定文件都提交到版本控制里。requirements-lock.txt、環(huán)境描述文件、容器構(gòu)建腳本必須和訓(xùn)練代碼放在同一個(gè)倉(cāng)庫(kù)。禁止把環(huán)境配置單獨(dú)放在某個(gè)不靠譜的個(gè)人筆記里。第三每個(gè)新實(shí)驗(yàn)先跑一個(gè)小規(guī)模冒煙測(cè)試。用 100 個(gè)樣本、2 個(gè) epoch、一個(gè) batch驗(yàn)證代碼能跑通、日志能落地、隨機(jī)狀態(tài)生效再開(kāi)正式實(shí)驗(yàn)。這個(gè)習(xí)慣能省掉大量“跑了一天發(fā)現(xiàn)腳本早該報(bào)錯(cuò)”的悲劇。第四實(shí)驗(yàn)報(bào)告的“復(fù)現(xiàn)信息”一欄永遠(yuǎn)留出來(lái)。記錄 git hash、seed、環(huán)境哈希、數(shù)據(jù)指紋、GPU 型號(hào)五個(gè)字段缺任何一個(gè)都要在報(bào)告里說(shuō)明原因。5.3 警惕“偽可復(fù)現(xiàn)”比不復(fù)現(xiàn)更麻煩接觸過(guò)不少項(xiàng)目表面上看已經(jīng)做了可復(fù)現(xiàn)工作但深入一查全是漏洞比完全不做還麻煩。舉幾個(gè)常見(jiàn)的“偽可復(fù)現(xiàn)”例子。只鎖了直接依賴沒(méi)鎖傳遞依賴。requirements.txt里有torch1.12.0但 torch 自身的依賴沒(méi)鎖過(guò)一段時(shí)間numpy或pillow可能已經(jīng)被更新到一個(gè)奇怪版本訓(xùn)練時(shí)某些算子自動(dòng)走新路徑結(jié)果就變了。固定了 seed但沒(méi)有固定數(shù)據(jù)的讀取順序。同一臺(tái)機(jī)器上文件系統(tǒng)遍歷順序可能因?yàn)槟夸泝?nèi)容變化而改變用 glob 匹配文件時(shí)不同平臺(tái)的排序規(guī)則也不同。seed 只影響混排算法混排的輸入序列如果是亂的輸出自然也是亂的。容器鏡像打了 tag但沒(méi)有記錄 digest。很多人以為“鏡像 tag 不變就萬(wàn)事大吉”但 tag 可能被覆蓋鏡像內(nèi)容已經(jīng)悄悄換了??煽康挠涗浄绞绞怯涗涚R像的 digestsha256而不是只寫(xiě)一個(gè)v1.0這種符號(hào)名。少做一個(gè)環(huán)節(jié)的后果是出了問(wèn)題反而更難排查因?yàn)槟阋詾橐呀?jīng)全都鎖死了潛意識(shí)里不會(huì)再去懷疑環(huán)境層面。所以我一直強(qiáng)調(diào)可復(fù)現(xiàn)是一個(gè)“全鏈路”的概念任何一環(huán)的缺失都會(huì)讓整個(gè)鏈條的可靠性歸零。我把可復(fù)現(xiàn)性當(dāng)成一種“實(shí)驗(yàn)衛(wèi)生”而不是“額外負(fù)擔(dān)”。它不產(chǎn)出新的模型效果不提升 accuracy但它確保你的每一次努力都能被追溯、被信任、被延續(xù)。我個(gè)人的體會(huì)有兩點(diǎn)第一別追求一次做到完美可以先從“每次訓(xùn)練前打一個(gè) commit”這種小動(dòng)作開(kāi)始慢慢把整個(gè)流程補(bǔ)齊第二把可復(fù)現(xiàn)當(dāng)成團(tuán)隊(duì)協(xié)作的接口協(xié)議而不是某個(gè)人的個(gè)人習(xí)慣大家一起遵守才能讓知識(shí)在所有實(shí)驗(yàn)之間流動(dòng)起來(lái)。最后送你一個(gè)小技巧給自己維護(hù)的所有訓(xùn)練倉(cāng)庫(kù)統(tǒng)一放一個(gè)REPRODUCE.md文件把環(huán)境、數(shù)據(jù)、隨機(jī)、硬件四類信息怎么記錄寫(xiě)清楚。下次無(wú)論誰(shuí)來(lái)跑這份代碼都不會(huì)再來(lái)敲你的門問(wèn)“這個(gè)參數(shù)到底是多少”。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷在线综合| 久久性视频| 风流少妇A片一区二区蜜桃| site:wpjngj.com| 99久久99久久综合| 五月婷婷开心激情六月蜜桃| 久久99精品久久久久久噜噜| 99色中文| 五月丁香婷婷三级| 97色婷| 精品亚洲国产成AV人片传媒| 99riAV国产精品视频| 久久综合激情五月天| 三十熟女| 99热这里只有精品9| 久久精品爱爱| 97热精品| 欧美激情久| 国产毛片精品一区二区色欲黄A片| 91黄址| 无码激情AAAAA片-区区| WWW、日本色丁香、co m| 99五月婷| 五月Huangsewang| 91精选国| 日本在线视频播放91| 99九九视频| 色中色综合| 婷婷五月天激情四射五月天激情| av在线资源| 新激情五月天天在线网| 亚洲十月婷婷综合| 99热精品少| 大香蕉久久草| 色玖玖玖| 熟女强人妻一区二区三区四区无| 久久精品9| 婷婷开心激情综合五月天| 丁香五月 无码| 色丁香五月天婷婷| 五月丁香好婷婷A片网| 婷婷五月五月丁香| 婷婷五月天免费99| 久久激情天堂| 五月婷婷视频28| 99视频在线观看视频| 色综合五月天| 日韩黄黄| 色5月丁香婷婷| 久色国产| 色色婷五月天| 美女激情婷婷| 爱草视频在线| 九九伊人网| 亚洲字幕AV一区二区三区四区 | 99爱欧美| 国产九九一区二区三区| 日本综合99| 婷婷色操| 中文字幕 中文字幕明步| 五月天成人手机在线视频| 五月婷久久久| 91人妻人人做人碰人人爽九色| 综合激情九月婷婷,激情综合婷婷中文字| 婷婷99中文字幕| 激情五月,婷婷五月,丁香五月| 1024婷婷综合久久五月天| 亚洲日韩一页精品发布| 五月丁色AV| 五月天婷婷综合久久| 精品欧美一区二区三区久久久 | 色婷婷在线播放| 密臀久久| 99热99热在线观看| 亚洲 综合中文| 丁香婷婷五月天成人| 久久九九色| 夜夜干 夜夜操| 这里只有精品99视频| 97超碰综合| 九九re精品视频在线观看| 丁香五月婷婷天堂大香蕉| 国产一级视频a| 国色天香成人网| 国自产拍偷拍精品啪啪一区二区| 欧美一级毛卡片无码| 国产古装妇女野外A片| 精品亚洲国产成人A片在线鸭王| 久99热| 夜夜爽77777妓女免费下载| 日本视频不卡123区| 五月天久久小说| 国产午夜精品AV一区二区麻豆| 狠狠色婷婷| 97超碰人人操| 久久九网| 久久午夜丁香| a九九热www| 五月丁香激情啪啪| 亚洲va日| AV美美午夜| 丁香亭亭久久| 丁香五月另类小说| 狠狠草在线观看| 99燥99日| 色色色五月婷婷| 婷婷五月天va| 亚洲六月色婷婷| 欧美啪啪9| 中文字幕成人| 色一色综合| co超碰在线观看| 香蕉伊人综合| 久久丁香五月婷婷| 丁香婷婷啪啪| 久青操| 婷婷五月天综合网| 青草少妇激情| 成人美女网| 丁香五婷婷| 日本天天综合| 99热这里| 成人日韩欧美| 丁香五月婷婷乱| 色五月婷婷视频| 婷婷六月激情| 91一起操| 九九综合| 丁香五月综合亚洲| av九九| 日本A片一区| 色黄啪啪| 六月婷婷狠狠| 色色A| 少妇搡BBBB搡BBB搡毛茸茸| 五月天丁香综合在线| 性爱先锋AV| 久久狠狠色| 五月丁香婷婷综合久久| 97在线观看| 亚洲视频五区| 99热99热不卡| 玖玖色综合色| 天天日夜夜爽。| 综合网亚洲| 搡BBBB搡BBB搡五十| 激情爱爱网站超大免费| 五月天色五月天| 91色久| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 国产阿姨日皮艹逼内射视频 | 五月天婷婷爱| 成年人夜夜喷水| 亚州精品色情无码A片| 我爱婷婷五月天综合88| 久草热8精品视频在线观看| 99综合色色色| 五月丁香六月香综合激情| 久久久久久人妻| www.maotanji.com| 五月丁香狠狠爱| www.第四色99| 色五月丁香五月天| 亚洲乱码日产精品BD| 色色五月综合| 国产婷婷五月天| 日日噜噜久久婷婷五月天| 26uuu欧美激情另类| 色婷婷影院| 日本九九九九九九| 亚州操操| 天天肏屄夜夜爽| 色婷婷狠狠| 久热九九| 少妇被下春药玩弄A片| 久久久妻人人人| 婷婷五月天激情在线| www色五月| 秋霞少妇AV网站| VA国产在线综合网站| 激情小说在线视频| 伊人六月无码视频| 婷婷伊人綜合中文字幕| 操日挥操日日| 久久99精品日本| 怡红院院久久| 国产成人亚洲综合亚洲| www,26uuu,c0m,色情| 欧美搡BBBBB摔BBBBB| 亚洲综合在线播放| 99毛片| 人妻视频一区而且二区| 操一操插一插| aaaa久久| 婷婷五月激情视频在线| 欧美久热| 九九精品9| 婷婷五月天日本无码| 99久久終合| 99热这里只有精品33| 夜夜骑夜夜撸| 激情欧美婷婷| 丁香五月激情五月色综合| 在线1青婷| 97色欧美| 美日韩成人| 亭亭五月丁香综合欧美| 97干在线视频| 五月天婷婷在线视频| 五月婷六月| 激情五月综合网| 丁香五月亚洲婷婷| yellow视频在线观看91| 亚洲AV无码成人电影| 激情五月天开心网丁香无码| 久久综合影院| 人妻免费网站| 婷婷综合五月| 色5月丁香婷婷| 97福利视频| 婷婷五月综合激情| 91精品熟女| 91蜜桃婷婷狠狠久久综合9色| 五月婷导航| 久久婷婷五月天蜜桃| 停婷丁五月在线| 99热亚洲| 日本久久精品| 婷婷五月天色综合翘| 久久五月情| 久久九九国产精品怡红院| 亚洲综合狠狠艹| 爱操人妻| 精品人妻在线| 五月丁香婷婷成人网| 华人在线免费| 99热热九九| 亚洲狠狠爱婷婷| 热99视频精品| 色性综合| 丁香五月婷婷亚洲综合精品| 婷婷激情久久| 五月婷六月| 色色婷婷五月| 亚洲精品在线视频| 九月丁香婷婷| 97干视频在线| 五月丁香六月激情综合| 五月丁香婷婷成人网| 三十路磁力链接| 99五丁香月| 久久激情五月婷婷| 一级黄色影片| 激情婷婷啪啪| 日本视频99| 琪琪色五月婷婷老师| 婷婷丁香五月亚洲| 婷婷99狠狠躁天天躁| 婷婷激情六月综合| 午夜大香蕉| 不卡在线视频| 婷婷激情图片| 日日撸日日操| 99这里只有精品国产| 97在线日本| 182.t午在线观看| 99啪啪网| 成片免费播放| 天天做天天爱| 吉澤明步Av一區二區| 电影蜘蛛女| 九九热在线观看6| AV在线大香蕉| 久久99久久99精品免视看婷婷| 79精品在线视频| 激情啪啪五月| 成人免费超碰| 月丁香久久久| 国产69久久久欧美黑人A片| 五月丁香成人网| 亚洲无码色| 五月婷婷色情| 婷婷偷拍网| 99亚洲天堂| 久久久久久久久久91| 26uuu日韩| 婷婷综合网站| 久久AAAA片一区二区| 北京熟妇搡BBBB搡BBBB| 婷婷狠狠操| 熟女人妻一区二区三区免费看| 亚洲免费电影2| 婷婷五月色综合香五月| 午夜日韩久久久网站| 日本欧美啪啪| 九月婷婷综合在线| 成人免费在线电影| 婷婷五月综合色中文字幕| 五月丁香六月天| 丁香五月天视频| 日韩成人无码人妻| 97香蕉碰碰人妻国产欧美| 色吧五月婷婷| 思思热性操| 青草性爱视频| 五月激情综合深爱| 婷婷开心六月| 亚洲综合在线播放| 亚洲三A| 亚洲黄色操逼| 无码色色色色色| 日本久久9| 日日舔夜夜操| 2w在线视频| 天天操夜夜操| 天天肏天天插| 五月婷婷丁香五月 | 这里只有精品免费视频在线观看| 久久婷丁香五月| 思思热视频在线观看| 九热精品| 色婷婷婷婷五月天| 婷婷五月天深爱| 丁香激情五月少妇| 亚洲色99综合天堂| 99精品偷自拍| 久久激情四射| 九九無妻| 五月丁香天堂网| 国产成人+综合亚洲+天堂| 老司机日日夜夜青草| 久草xx性爱视频| 色婷婷丁香中文在线播放| 射久久丁香五月| 五月天激情啪啪| 深爱激情网五月天| 九热...av| 色婷婷成人| 亚洲激情av| 丁香五月天社区| 2025神马午夜福利| 91婷婷色| 精品婷婷五| 日日干干天天干| 五月天激情AV| 丁香五月欧美午夜视频| 丁香六月伊人| 97婷婷狠狠| 天天干天天干天天| 99热精品免费| 五月丁香另类网| 性生生活大片又黄又| 九九热这里只有精品6| 操人无码| WWW.久久.COM| 亚洲色图45p| 九九狠狠干| 色综合狠狠色| 久草五月婷婷| 六月99天天婷婷激情综合| 婷婷99中文字幕| 丁香六月AV| 久久综合天天综合| 久久 婷婷 五月天| 亚洲激情淫网| 色婷婷成人做爰A片免费看网站| 国产看真人毛片爱做A片| www.jiujiujiu| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 99久久天堂婷婷| 97干在线看| 99久热在线精品| 人人操人人爱丁香五月| 六月合五月婷| 五月丁香无码| 中文字幕成人| 色综合久久综合中文综合网| 99热这里只有精品16| 欧美在线视频免费播放| 色狠狠激情五月| 大香蕉久艹| 少妇人妻丰满做爰XXX| 激情五月综合久久| 婷婷激情中文综合| 97好吊操| 翔田千里 50岁 无码| 91婷婷丁香| 激情五月婷婷综合网| 五月婷婷黄网站大全| enecarbon-materials.com污K127封锁请涟系@wip1688 | 丁香六月天婷婷开心综合| 99久久婷婷五月天| 欧美色色色| www.婷婷| 亚洲欧洲一二| 26uuu国产精品| 婷婷中文在线| 婷婷五月色情| 五月久久亚洲| 五月天色婷婷av| 五月婷婷免费视频| 99性视频| 丁香婷婷综合影院| 色五月婷婷天堂| 婷婷五月天影视网址| 婷婷五月天成人网| 久久网日本| 激情欧美婷五月| 天天色色天天| 婷婷六久久| 狠狠色丁香五月婷巨| 欧美WW在线网| 开心五月色婷婷综合开心网| 丁香六月婷婷色XXXXX| 天花AV无码| 热久久视频99| 日本三级日本三级99| 狠狠狠狠狠狠| 婷婷第一页| 日本a片网址| www.色色五月天.com| 亚洲AV另类| 五月色 亚洲| 天天做夜夜爽| 人妻操日日| 婷丁香五月天| 搡BBBB搡BBB搡五十| 激情丁香婷婷六月天| 九九热99热| 久激情网| 丁香六月激情综合| 啪啪操超碰| 亚洲激情综合五月婷婷啪啪| 一起操最新网址| 狠狠干天天内射| 久久激情综合| 亚洲欧洲自拍图片专区五月天| 中文字幕 码精品视频网站| 天天色月| 国产精产国品一二三在观看| 玖月婷婷爱丁香| 婷婷五月六月| 激情99。| 天天插天天射| 99re99在线看| 国产成人精品亚洲线观看| 七七九九色色| 五月激情综合网| www久久五月com| 丁香五月在线自慰| 综合激情婷婷| 大香蕉啪啪| 婷婷五月天美女21p| 国产,欧美,学生妹,视频| 99re思思精品在线观看| 色婷婷成人久久| 欧美天天干天天草| 五月天婷婷激情网| 很很干天天干| 天天夜天天色天天| 操比激情五月综合| 五月天综合网| 99秘 在线| 在线免费观看激情视频| 天天色,天天日,天天做| www.91AV.COM| 久久性爱视频网站| 天天综合91入口| 婷婷久久网| 丁香花五月天激情| 婷婷狠狠干| 九九热在线观看6| 九九色精品| www.久久久久久久久久久| 久久婷婷色| 亚洲精品影视| 色综合99无码 | 色五月综合| 亚洲avjiujiur91| 婷婷99综合| 色五月婷婷五月天| 日本va欧美va精品发布视频| 丁香六月综合激| 色婷婷久久| 婷婷5月开心6月| 国产又爽又猛又粗的视频A片| 九九精品大香蕉| 亚洲第一第二网站| 9九色首页| 五月婷婷色综图片| 丁香婷婷色五月天| 日本怕怕视频| 亚洲成人无码免费| 99热这里有精品| 久久人妻人人| 五月丁香久久网| 国产精品日本一区二区在线播放| 日本三级中国三级99| 欧美综合丁香网| 激情婷婷丁香| 六月丁丁香| 六月婷伊人| 岛国操B不卡在线| 色婷婷综合久久久久| 99五月丁香丁| 性无码专区无码| 色天天综合| 99热1| 日本三级99人妇网站| 丁香六月婷婷综合啪啪| 色欲Av五月天| 微拍92| 国产97色在线| 国产午夜精品久久久观看| 伊人婷婷青青cao| 日本精品人妻无码77777| 丁香色五月 97干| 99在线精品视频在线观看| 五月天免费色| 男人的天堂97| 999精品久久久久久久| 五月丁香综合啪啪| 五月丁香亭亭| 丁香香五月激情免费视频| 五月婷婷色色爱| 激情综合五月| 五月天色丁香| www.深爱激情| 深爱激情久久| 色五月丁香婷婷综合| 久久视网36| 丁香五月婷婷国产在线| 欧美A A A A A| 午夜少妇在线观看视频| 丁香五月激情五月| 色五月欧美| 激情五月无码| 亚洲sesesese| 久久久人妻不卡| 色婷婷婷婷| 99热xx| 亚洲色图欧美色图日本视频| 五月色情| 亚洲爆乳无码精品AAA片蜜桃| 五月丁香六月婷婷网| 国产成人网址| 五月天婷婷综合免费| 天天搞夜夜六| 狠狠久久婷五月综合色| 99re这里有精品手机在线| 5月色亭亭视频| 影音先锋91| 日韩日比视频在线| 久热精彩视频98| 久久久这里有精品| jizzdr| 欧美黄色AA片哗啦啦啦| 九九热99精品在线| www.25五月婷婷| 青青草搞屄视频网站| 五月天激日本色情在线| 超碰人人色| 亚洲无码另类| 九月丁香亭亭| 五月天啪啪| 亚洲高清在线| www.maotanji.com| 天天久久狠狠色综合| av性爱网站| 日日操夜夜撸| 99re热在线视频| 99亚州综合精品成人网| 操97免费超级视频| 99热精品在线在线| 三级黄网站| 婷婷亚洲综合| 久青草影院| 九九热在线观看视频| 色五天综合| 欧美色图天堂网| 91viP在线看| 五月激情另类| 久久性爱网| 久久久国产精品黄毛片| 色五月首页| 只有久久精品免费| 日韩在线视频网站| 97AV在线视频| 在线不卡视频| 夜夜天天久久婷婷| 99久久久久久久| 婷婷激情四射五月天| 婷婷五月丁香四射| 热久久66| av高清无码| 婷婷操婷婷干婷婷射| 久久9久久| 99久久久久| 亚洲精品国产精品乱码不99| 六月丁香婷婷综合在线| 天天做天天爽| 天天色,天天日,天天做| 国产中文亚洲欧美日韩性交| 九九热内射| 日本91在线| WWW.色婷婷.COM| 色色婷婷综合| 亚洲成人AV在线播放| 五月丁香大香蕉| 日日夜夜青青草| 免费V片在线| 丁香婷婷五月天在线视频| 婷婷综合影院| 婷婷五月天AV| 99热最新| 人妻精品久久久久久久| 婷婷丁香色情五月天| 五月天婷婷成人| 日韩另类在线观看| 日本一级一级一级一级| 久久五月婷综合| 五月综合激情| 这里精品| 亚洲午夜视频| 任你干aa| 99热这里有精品6| 激情五月天社区| 99热这里有精品| 日本久久性| 国产资源91在线| www.99热这里精品| 亚洲欧洲另类图片| 欧洲激情网站| 96五月丁香熟女| 五月丁香六月综合激情| 婷婷玖玖五月天| 亚洲思思热久| 激情五月天小说视频| 综合网亚洲| 国产精品第一国产精品| 婷婷五月天性爱视频| 婷婷五月精品中文字幕| 激情五月天伊人av| 成人无码髙潮喷水A片| 色吊丝av中文字幕| 怡红院精品视频久久久久久久久| 五月婷婷激情综合| 九色1区视频在线| 婷婷成人综合免费视频| 五月婷婷开心六月激情小说| 九九aV| www. 五月. com| 五月激情黄色小说| 欧美性生交XXXXX无码小说| 26uuu青青| 美欧日韩国产成人在战| 一操久久| 可以直接看的av网站| 思思热视频在线| 久99视频在线观看| 3www激情| 精品九九九久| 噜噜噜噜婷婷五月天| 色丁香影院| www.玖玖九| 久久久精品人妻录| 日本色婷婷| 狠狠色九月| 青草久久五月婷伊人| 9久热在线视频精品| www. 五月. com| 五月婷婷片| 九 九九九AV| 激情五月亚洲| 婷婷色婷婷| 色五月之第四色| 久久婷婷亚洲| 久久婷婷网站| 激情综合网激情五月天| 玖玖婷婷视频| 久久丁香五月| 国产综合81p| 久久久五月婷婷| www,99视频| 六月合五月婷| 91色在线 | 日韩| 久久538| AV成人在线播放| 91婷色| A片一曲| 婷婷丁香人妻天天爽| 亚洲婷婷在线播放十月| 秋霞AV淫| 青草青草久热这里只有精品| 天天干天天爽| 人人综合久| 丁香婷婷深情五月亚洲| 538任你爽| 五月婷婷啪啪| 亚洲一色色色色色色色色| 操九色| 99啪啪| 综合色五月| 久热伊人9| 97啪啪| 五月丁香WWW| 第九色区AV在线| 深爱激情小说五月婷婷| 99热在线播放精品| 成人五月天视频播放| 精品9久| 久久欧洲综合网| 色婷婷很很十八禁| 日日懆天天懆| 久久玖玖综合| 婷婷五月激情中文字幕| 免费操超碰| 激情婷婷五月天在线观看| 91精品啪| 婷婷色在线视频| 99狠狠| 99热最新网址| 婷婷丁香激情| 丁香婷婷五月六月久久| 26uuu欧美日本| 亚洲人妻一区二区| 国内一级精品| 亚州色色色| 欧美婷婷五月| 色色网91| 狠狠色噜噜狠狠| 亚洲天堂亚洲色色色| 这里只有精品视频| 久久人妻乱| 激情五月深爱五月观看| 久久综合99| 亚洲婷婷免费| 五月天免费色| 无月播播激情在线观看视频| 青青草原爱爱网| 久色激情| 99热在线看| 欧美va视频不用播放器的va视频网| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 99热精品在线| 婷婷中文字幕版| 伊人色综合影院视频| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 少妇搡BBBB搡BBB搡毛茸茸 | 99狠狠色| 日韩有码一区| 99∨VTV| 99爱免费视频| 色五月婷婷狠狠撸| 日本久久色| 午夜丁香婷婷| 婷婷国产成人| 五月丁激情| 青青草99热久久精品国| 99视频这里有精品| 超碰97免费在线| 五月婷婷丁香在线视频| 色五月婷婷狠狠撸| 婷婷天堂综合| 国产精品人妻在线网址| 婷婷激情五月天桃花网| 99色色| 久操人妻| 丁香五月激情月| 日本久久超碰| 九九成年视频| 五月丁香好婷婷A片网| 六月天六月婷| 大香蕉五月天婷婷丁香91| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 婷婷九月激情| 亚洲性爱干干| 激情 婷婷| av中文在线| 日本熟女二区| 成人开心五月天| 99热无码精品| 天天爽爽日日做做| 丁香五月婷婷激情中文| 五月开心网| 这里只有精品在线视频在线观看| A片一曲| 无码色色色| 欧洲亚洲免费视频9| 婷婷综合五月天| 偷拍视频五月天| 色婷五月天亚洲| 97超碰在线免费观看| 久久网婷婷| 国外亚洲成AV人片在线观看| 91免费看片| 亚洲婷婷激情888精品久| 中文AV在线播放| 狠狠爱婷婷| 99re久热只有精品6在线直播.com| 大香蕉娱乐| 99日在线观看视频| 综合六月久久| 国产精品久久久久9999小说| 久久激情视频| 色色A| 爱射综合| 色婷婷香蕉| 丁香九月婷婷| 台湾无码A片一区二区| 色婷婷9| 婷婷五月天偷拍| 操碰97| 婷婷丁香六月综合激情站| 亚洲婷婷五月| 激情五月天第四色| 六月久久婷婷| 婷婷九月色| 欧美婷婷丁香社区在线播放| 精品人妻伦一二三区久久| 狠狠爱综合| 大香蕉啪啪网| 欧美日韩成人免费在线| 色婷婷69| 香蕉人在线香蕉人在线 | 婷婷六月综合基地| 精品色| 五月婷天天搞视频| 久久婷婷五月天激情| AA丁香综合激情| 久久99网站| 丁香五月天堂婷婷| 亚洲成人无码片| 欧美日韩123| 色综合香蕉视频| 亚洲精品电影| 五月天激情在线视频| 26UUU精品一区二区c〇m| 色五月在线播放| 色99网| 五月综合久久| 婷婷五月丁香四射| 久久宗合影| 色色激情五月| a69在线视频| 色婷婷五月亚洲| 99精品视频网| 九九精品网| 99这里是精品| 毛片新网地| 色色色综合网| 亚洲精品色| 9999热在线| 亚洲影院婷婷色| 丁香五月九九| 亚洲综合99| 五月综合六月丁| 亚洲性爱99在线| 婷婷五月天黄色| 91啪级电影| 中文字幕高清av| 五月停停999| 丁香六月视频| 丁香五月开心亚洲| 六月99天天婷婷激情综合| 大地9中文在线观看免费高清| 激情婷婷护士激情| 一本色道久久88加勒比—| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 丁香亚洲色综合| 99热爱爱干干日| 精品乱码视频| 天天插天天插天天操| www.人人操人人看人人想人人摸 人人人人操,COM | 五月丁香在线国产 | www久久五月com| 99色精品| 中文字幕永久免费| 97碰碰九九视频| 六月丁香婷婷五月天| 激情小说婷婷五月| 色婷婷综合网| 操逼综合激情网| 欧美欧盟性爱网| www.日日夜夜| 深爱五月激情五月| 国产精品A成V人在线播放| 一月婷婷色色| 大香蕉九九| 操B五月天| 99视频这里只有久久精品 | 国产精品黑丝| 五月丁香六月婷婷亚洲激情综合| 狠狠xx| 久色网址| 日本三级成人秘书精品片| 丁香六月天婷婷| 99久热这里只有精品| 欧美一级a | 国产一二区爆乳_1国产日韩一区二区三-成人AV | 五月丁香久久婷| 丁香五月婷在线| 久久综合香蕉国产国产蜜臀AV| 婷婷在线综合| 日本婷婷在线| www色五月| 天天情天天狠天天透| 97性视频| 色婷婷丁香五月天| 亚洲五月丁| 色婷婷丁香网| 五月丁香视频在线观看| 美女100%露全身无挡网站| 婷婷五月六月丁香| 啪啪操超碰| yellow视频在线观看91| 婷婷亚洲综合| 成人色图情色成人网 www.5b5b5bcom 五月天 | 久久9热| 爱婷婷五月| 99在线视频观看| 久久激情五月| 激情久久综合| 国产ava| 综合色影| 激情熟女网| 亚洲综合丁香婷婷六月天| 午夜丁香婷婷| 天天操天天爽天天爱| 天天做天天爱| 婷婷久久久久久久| 丁香五月www| 精品自拍99| 五月色婷婷激情| 久九男女天堂| 国产熟女大叫受不了| 97色色色| 婷婷欧美激情综合| 五月天婷婷基地| 大香蕉丁香| 人人射av| 伊人爱爱日本| 五月婷网站| 超碰成人在线免费观看| 人人舔人人色人人高潮| 中文字幕人成乱码在线观看| 五月天婷婷爱丁香中文字幕| www.婷婷| 久99热在线观看| 激情婷婷综合五月少妇| 国产毛片精品一区二区色欲黄A片| 91丁香五月| 国产精品久久..4399| 热热99爱爱| 婷婷丁香五月天狠狠| 国产AV一区二区三区日韩| 怕怕視頻| 欧美电影在线观看| 色婷婷色五月另类综合| 色色五月丁香| 91色操| 操一操干一干| 色五月色五天色情网| 九色91视频| 久草五月天| 久久丁香五月天| 日韩砖区| 久久五月婷| 五月色婷婷在线观看| 亚洲精品V天堂中文字幕| 五月伊人网| 97在线视频人妻九色| 色婷婷五月影院| 六月丁香婷婷综合在线| 综合99久久天天综合| 激情五月天激情小说| 第五婷婷伊人丁香色| 九九热在线视频观看| 能看的av片| 色月丁| 九九Av| 九九热99免费视频| 欧美色97| 成人婷婷色五月天| 免费在线观看AV网站| 久热这里| 亚洲天堂无码| 久热这里只有精品6| 六月色国内综合| ztEJj| 五月天婷婷深深爱| 中文字幕91,综合| 五月天激情婷婷丁香| 婷婷五月欧美综合| 婷婷五月天亚洲| 久久天堂加勒比| 亚洲永久免费| 国产操碰| 亚洲色99综合天堂| 婷婷六月天激情| 超碰在线人妻| 开心五月婷婷激情| 丁香五月在线观看完整版| 日韩国产在线精品| 久久精品4| 婷婷五月欧美综合| 武汉美女啪啪视频免费一级片| 97碰碰九九视频| 日本女人久久| 丁香六月婷婷综合麻豆| 色五月丁香91| 91久操| 天天草比天天爽| 一本久道综合99| 99热这里只有精品9| 婷婷五月色天| 99热精在线九九久久保| 大香av| 婷婷激情久久| 玖玖婷婷五月天| 婷婷丁香人妻天天久久| xx久久| 五月天激情色色| 色综合色色| 九九热这里只有精品12| 九月丁香亭亭| 中文网婷婷字幕婷| 五月丁香综合激情网| 色婷五月天网站| 大香蕉久| 亚洲a色| AV中文在线| 婷五月天六| 九九色婷| 久久99网站| www.色婷婷| 婷婷五月中文在线视频| 亚洲开心激情网| 黄色AAAAAAA| 丰满少妇乱A片无码| 五月天色婷婷综合| 婷婷丁香宗合888| 五月天婷婷激情综合| 六月婷色六月| va中文资源在线观看| 久操综合| www.yw色| 欧美啪啪五月天| 五月开心网| 99免费热视频在线| 丁香激情婷婷网| 婷婷激情视频| www.久操| 综合网精品99| 久久久人妻| 色五月婷婷五月天| 色色激情| 丁香婷婷色色| 另类小说五月天激情| 大香蕉99| 狠狠干综合网| 狠狠 久久| 六月丁香啪啪啪| 色五月激情五月天| 日本婷婷| 欧美日韩999| 五月婷婷综合视频| 色色色网站| 久久久免费精彩视频| 婷婷色日本| 亚洲五月丁香综合网| 婷婷五月天大香蕉| 香蕉人妻AV久久久久天天| 91久久久久久久久18| 99视频在线精品免费观看2| AAA亚洲AV| 丁香六月视频| 久久婷婷五月综合色播| 亚洲综合成人网| 99热色综合| 色婷综合| 97干干干丁香| 热思思九九| 色色色国产| 综合久久综合久久| 99热热热99精品婷婷| 亚洲V国产V欧美V久久久久久| 久久久18| 91久久1118| 久久婷婷六月综合| 免费无码毛片一区二区A片 | 97好吊操| 久久九九免费大视频| 激情婷婷丁香色五月综合| 99re在线这里只有精品视频首页| 天天做天天摸| 九热视频这里只有精品| 色五月第四色| 色婷婷激情| 999热在线视频| 操99| 丁香激情五月| 久久精彩视频18| 99九精品| 狠狠色丁香久久综合婷婷亚洲成人福利| 激情小说色五月| 婷婷五月天性爱视频| 亚洲啪啪网| 久久99久久久| www.五月丁香| 26uuu偷拍亚洲欧洲综合| 激情九月婷婷| 色情丁香五月婷婷精品| 精品五月丁香| 五月婷婷自拍视频| 丁香婷婷色五月合集| 激情五月婷婷丁香| 婷婷的久久网站| 黑人糟蹋人妻HD中文字幕| 97碰在线视频| 91人人操.COM| 影音先锋女人AA鲁色资源| 狠狠综合网| 99色人| 色播播婷婷| 再次出发二| 99热这里只有精品3| www、色色色| 婷婷激情在线| 97操操| 夜夜谢天天干| 狠狠综合| 色色综合院| 久久九九re热| 五月丁香婷婷老司机| 色九月综合网| 丁香五月婷婷激情中文| 激情久久丁香| 五月婷婷色色网址| 国产精品岛国片在线观看免费| 任你艹| 亚洲免费婷婷| 天天爽夜夜操| 亚洲激情| 99热在线免费观看精品| 天天色天天爱天天爱天天爱y| 无码啪啪| 99色在线观看| 丁香影院五月综合| 伊人春天av| 丁香五月婷婷激情123| 久久人妻www| 深爱五月激情| 能直接看的av网站| 中文字幕在线免费看线人| 大香蕉操操| 九九视频热| 久久色情| 国产午夜精品一区二区三区四区| 色婷婷久久9.com| 另类的婷婷| 五月丁香拍拍激情综合| 丁香五月最新地址| 亚洲五月婷| 亚洲婷婷婷| 色色精品色| www.狠狠干| 久久久久这里只有精品| 91在线看免费 九九九九| av在线色五月丁香婷区久| 凹凸操Av| 超碰大香蕉网| 欧美搡BBBBB摔BBBBB| 色综合婷婷| 先锋资源婷婷| 99久久婷婷| 欧美久久网| 狠狠色噜噜狠狠| 国自产拍偷拍精品啪啪一区二区| 婷婷六月丁香久| 8区视频在线| 五月激情综合深爱| 五月丁香综合啪啪| 91seav| www.五月天婷婷| 久久激情视频| 婷婷丁香五月天熟女丝袜| 色 五月婷婷基地| 人人操91| 久久九九中文字幕| 激情文学天天| 婷婷天堂站| 成人永久免费视频在线观看| 69激情小说| 女人高潮内射99精品| 任你日视频| 99热在线这里只有精品| 丁香五月激情综合| 天天久久人人| 中文字幕婷婷| 久久久免费图片视频| 狠狠久综合| 婷婷五月天开心网| 成人网址在线观看| 九九热国产| 欧洲综合一区| 午夜激情五月| 丁香伍月婷电影全集| 久久九色| 色婷婷六月开心中文字| 国产精品18久久久| 狠狠狠人妻| 另类激情综合| 在线不卡中文字幕| A A色色| 四色99久久| 97干在线| 特级西西4444www无码| 色噜噜狠狠色综合无码久久欧美| av久热| 成人精品在线| 91操操| 亚洲综合激情五月天婷婷| 综合五月婷婷| 天天综合久久| 色色色五月婷| 色一情一乱一乱一区9| 国产激情综合五月久久| 婷婷射图| 亚洲视频五区| 中文精品久久久久人妻不| 亚洲成人网站在线观看| 婷婷亚洲五月丁香综合在线 | www.com五月天| 国产AV不卡福利| 殴美综合激情五月天免费视频| 婷婷网影院| 午夜丁香五月天综合| 欧美男女婷婷| 久久开心五月婷婷| 天天爽天天爽| 亚欧州精品视频| 日本激情五月| 国产乱妇乱子在线播视频播放网站| 男女99免费视频| 色婷婷成人做爰A片免费看网站| 久热最新视频 | 26UUU精品一区二区Com| 婷婷丁香五月综合| 婷婷五月激情网站| 色综合天堂| 思思久久网| 色婷婷婷婷| 亚洲激情五月婷婷日日| 激情综合九| 91综合色| 丁香五月性爱爱五月| 五月激情啪啪啪| 色色色欧美| 大地资源色婷婷视频在线| 91婷婷五月天嫩女| 五月婷婷丁香大香蕉| www.99精品视频| 操91| 日韩激情婷婷五月天| 六月丁香五月婷婷|