欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

AI工程從零手搓:從張量到微型語言模型的完整實踐

AI工程從零手搓:從張量到微型語言模型的完整實踐 今年我把大量業(yè)余時間投進了一個叫ai-engineering-from-scratch的個人項目。簡單說就是給自己立了條規(guī)矩凡是跟 AI 相關的環(huán)節(jié)能自己動手實現(xiàn)的絕不直接調封裝好的接口。從手寫張量運算開始到訓練一個微型語言模型再到把模型量化部署成一個能用的服務整個過程走下來收獲最大的不是某個模型效果變好了而是終于弄明白了一個大語言模型從數(shù)據(jù)集到上線中間到底經(jīng)歷了什么出了問題時該往哪個方向查。這篇文章就圍繞這個項目把我踩過的坑、驗證過確實有效的路線、以及現(xiàn)在還保留在收藏夾里的參考材料整理出來。不吹不黑直接上干貨。適合已經(jīng)會用 PyTorch、會調 Transformers 庫但對底層實現(xiàn)還有點心里沒底的人也適合準備進入大模型應用開發(fā)、想從底層建立手感的新手。看完你至少能少走我一半的彎路。1. 為什么我決定從零開始學AI工程先別急著調API1.1 框架用久了心里不踏實先說個真實感受。我最早做 NLP 項目時基本就是transformers庫一把梭加載模型、寫個訓練循環(huán)、調參數(shù)、完事。模型跑不動就換更大的顯卡效果不好就換更強的預訓練權重。直到有一次模型在驗證集上的損失怎么都降不下去我把學習率調低、把層數(shù)減少、把 dropout 拉滿全都沒用。當時我能做的只有百度搜索關鍵詞然后挨個試網(wǎng)上流傳的玄學改法。那天之后我開始反思我不是在用 AI而是在調一個巨大的不透明的黑盒子。梯度怎么傳播的、學習率策略在內部到底起了什么作用、顯存為什么爆、推理為什么慢這些問題我都答不上來。而這些問題恰恰是 AI 工程里最核心的問題。框架用久了AI 工程變成了一種配置工程這對工程師來說是非常危險的。一旦遇到模型異常、數(shù)據(jù)泄漏、顯存瓶頸這類問題不懂底層就只能靠猜而靠猜的代價是極其昂貴的。所以我才決定做from scratch這件事。不是去重寫 PyTorch也不是去發(fā)明新一代算法而是把現(xiàn)代語言模型里最關鍵的模塊一個個抽出來用最樸素的方式實現(xiàn)一遍。注意力機制自己寫、分詞器自己寫、訓練循環(huán)自己寫、量化腳本自己寫。寫完之后再回到框架里你會發(fā)現(xiàn)自己不是在使用框架而是在理解框架心態(tài)完全不一樣。1.2 從零手搓到底要學什么范圍怎么劃剛開始我也很迷茫因為AI 工程這個范圍太大了。做 CV 的需要懂卷積、數(shù)據(jù)增強、分布式訓練做推薦的需要懂特征工程、Embedding、在線學習做 NLP / LLM 的需要懂分詞、Transformer、微調、推理優(yōu)化。如果不能明確邊界這個項目很可能變成一個永遠完不成的大坑。我的做法是先把全鏈路畫成一個流程圖再從里面選出必須親手做一遍的核心節(jié)點。我這里所謂的流程圖并不是畫給別人看的那種而是寫給自己確認用的清單。我的清單大致是數(shù)據(jù)處理分詞器、批次構建、數(shù)據(jù)采樣模型構建Embedding、多頭注意力、前饋網(wǎng)絡、層歸一化訓練系統(tǒng)損失函數(shù)、反向傳播、優(yōu)化器、學習率調度推理系統(tǒng)自回歸生成、KV Cache、采樣策略部署優(yōu)化量化、批處理、服務化接口模型進階在基礎模型之上嘗試先思考、再回答的推理行為每個節(jié)點只追求能跑通、能解釋、能量化效果不做過度擴展。比如我不會去手寫 CUDA kernel因為那已經(jīng)超出一般的 AI 工程范圍屬于系統(tǒng)底層優(yōu)化跟當前目標不對齊。先把上層的每一個工程環(huán)節(jié)摸透等將來遇到 perf 瓶頸時再下沉也不遲。這個范圍劃完之后我給自己定了三個里程碑第一用 NumPy 手寫一個能訓練 MNIST 的迷你神經(jīng)網(wǎng)絡第二用 PyTorch 從零實現(xiàn)一個小型 GPT在幾十 MB 的數(shù)據(jù)上訓練出能生成文本的模型第三對第二個模型做量化壓縮和推理加速部署成一個 HTTP 服務。后面所有的工作都圍繞這三個里程碑展開。2. 我的學習路線把黑盒拆成白盒的六個階段2.1 六個階段一層層揭開隔層我給自己制定了遞進式路線不是上來就寫 Transformer而是按照造一臺機器的順序去推進。如果你也想照這條路走我建議你嚴格按順序來不要貪快。第一個階段是 Python 編程與數(shù)據(jù)操作。重點不是語法而是對數(shù)據(jù)到底長什么樣有直覺。列表、字典、字符串處理、文件讀寫配合collections.Counter做詞頻統(tǒng)計這樣后面寫分詞器時不會發(fā)怵。第二個階段是手寫張量與自動求導。現(xiàn)階段不建議直接上 PyTorch而是先用 NumPy 自己實現(xiàn)一個極簡的張量類只支持標量、向量、矩陣的加法乘法以及對某個參數(shù)的梯度記錄。這個階段的核心任務是理解反向傳播到底在做什么而不是把所有細節(jié)都搞完。我做了一個非常粗糙的自動求導只有幾十行代碼但它讓我第一次看懂了鏈式法則在程序里如何落地。第三個階段是手寫 MLP 和簡單 CNN。用自己寫的自動求導工具去訓練一個識別手寫數(shù)字的模型把梯度下降、過擬合、正則化這些基礎概念體驗一遍。很多人跳過這個階段直接學大模型但我強烈不建議。因為大模型也依賴同樣的數(shù)學機制如果連一個隱藏層的 MLP 都調不明白后面遇到 Transformer 的異常會更難定位。第四個階段是學習和實現(xiàn)注意力機制。注意力是任何現(xiàn)代語言模型的靈魂它做的事本質上就是根據(jù)相關性從其他位置上取信息。先手寫單頭注意力再擴展成多頭最后加上因果掩碼。第五個階段是把注意力堆成 Transformer實現(xiàn)一個微型 GPT。從 token 化文本開始訓練一個幾百萬參數(shù)的小模型讓它生成看起來像模像樣的句子。第六個階段是推理優(yōu)化與部署。把訓練好的權重量化成半精度或整數(shù)精度加上 KV Cache寫一個流式生成接口再封裝成一個所有人都能通過 HTTP 調用的服務。每個階段我都有對應的完成標準。比如第四階段的完成標準不是理解了注意力公式而是寫出一個能跑、能反向傳播的多頭注意力模塊并在小數(shù)據(jù)集上訓練收斂。這樣就不會陷入漫無目的的看論文狀態(tài)。2.2 參考書怎么用讀一遍不如改一遍在我動手的過程中最常被問到的一句話是你到底用什么學的我的答案很直接《Build a Large Language Model From Scratch》這本書給了我很重要的路線參考。這本書從數(shù)據(jù)準備開始一步步搭建類似 GPT 的結構包含分詞、注意力、訓練、微調等完整內容。書里的代碼風格非常樸素沒有花里胡哨的高級封裝很適合配合這個項目來理解每一個環(huán)節(jié)。但我還得提醒一點讀這本書千萬不要只停留在讀上。我第一次讀的時候以為看懂了結果合上書自己寫連masked_fill都寫錯了位置。后來我換了個策略把書里的每段代碼都當成參考實現(xiàn)然后關掉示例代碼自己重新實現(xiàn)一遍遇到卡殼再回去對照。這樣讀一遍書等于自己寫了三遍代碼效果完全不一樣。除了這本書我還會配合看一些原始論文和開源項目。書不會覆蓋所有細節(jié)比如混合精度訓練、KV Cache 的顯存優(yōu)化、量化感知訓練這些工程問題需要從零散的源碼和文章中補全。我的經(jīng)驗是以書為主線建立骨架再以論文和源碼為枝葉填充細節(jié)最后用自己的代碼驗證理解。3. 從零手搓一個微型語言模型的完整流程3.1 先解決詞的問題手寫 BPE 分詞器語言模型處理的是 token不是原始字符串。所以從零搭建模型第一步就是解決怎么把一段話切成 token。按空格切詞雖然簡單但會得到一個巨大的詞表而且無法處理沒見過的新詞所以現(xiàn)代模型普遍使用字節(jié)對編碼BPE。BPE 的核心思想是先把文本看成 UTF-8 字節(jié)序列然后反復統(tǒng)計相鄰字節(jié)對的出現(xiàn)頻率把最高頻的對合并成一個新符號直到詞表達到目標大小。手寫 BPE 時最關鍵的數(shù)據(jù)結構是一個計數(shù)用的字典。首先是統(tǒng)計相鄰字節(jié)對頻率def get_stats(ids): counts {} for pair in zip(ids, ids[1:]): counts[pair] counts.get(pair, 0) 1 return counts然后在每一輪迭代中找到頻次最高的 pair把它的兩個 id 合并成一個新的 iddef merge(ids, pair, new_id): result [] i 0 while i len(ids): if i len(ids) - 1 and ids[i] pair[0] and ids[i1] pair[1]: result.append(new_id) i 2 else: result.append(ids[i]) i 1 return result這個過程初看很簡單但真正實現(xiàn)時有一個坑隨著合并的進行id 長度會變化新的高頻 pair 必須基于上一輪合并后的序列重新統(tǒng)計。如果理解錯了合并順序就會亂掉分詞結果會有問題。我當時就是在這里猶豫了很久后來意識到每次合并后全局重新統(tǒng)計才是標準做法而不是在一個固定列表上連續(xù)改。3.2 核心模塊手寫多頭注意力的幾個細節(jié)注意力模塊是整個模型中最容易寫錯、也最值得親手實現(xiàn)的部分。常見的公式非常簡單Q 和 K 做點積、除以根號 d、加上掩碼、Softmax、再乘 V。但工程實現(xiàn)時有幾個細節(jié)特別值得注意。第一個是因果掩碼。語言模型生成時只能看前面的 token不能偷看后面的內容。實現(xiàn)方式是把未來位置的值設成負無窮經(jīng)過 Softmax 之后概率趨近于零。我在第一次實現(xiàn)時用的掩碼矩陣是對的但維度 broadcast 沒對齊結果訓練損失直接亂跳。排查了很久才發(fā)現(xiàn)是掩碼形狀錯誤。手動實現(xiàn)時建議把每一步的張量形狀打印出來別嫌麻煩。第二個是縮放因子的作用。除以sqrt(d_k)不只是為了讓數(shù)值范圍更好看而是防止點積結果過大導致 Softmax 進入飽和區(qū)梯度變得極小。如果不縮放模型在小數(shù)據(jù)集上也能跑但訓練會明顯變慢損失曲線的尾巴還會抖動。第三點是多頭注意力中頭的意義。多頭不是簡單地疊加多個注意力結果而是讓每個頭學到不同的相關性模式。有的頭可能關注前一個詞有的頭可能關注句法成分。雖然我們在代碼層面只是把 d_model 切成幾段分別計算但正是這種參數(shù)獨立性讓模型表達力變強了。手寫時我建議先按循環(huán)每個頭的方式寫一版跑通后再改成矩陣并行版這樣對分塊的印象會特別深刻。第四點是殘差連接和層歸一化的位置。Transformer 每一層結構是注意力 - 殘差 - 層歸一化 - 前饋網(wǎng)絡 - 殘差 - 層歸一化。殘差連接讓梯度有一條高速公路可以直達底層層歸一化穩(wěn)定每一層的激活分布。順序如果搞錯了模型的訓練穩(wěn)定性和最終效果都有明顯差距。3.3 訓練循環(huán)里的關鍵決策學習率、批次和損失模型搭完了訓練循環(huán)也不像想象中那么簡單。我最初寫的訓練循環(huán)只是取數(shù)據(jù)、算 loss、反向傳播、更新結果模型一直不收斂。后來我逐項排查發(fā)現(xiàn)真正影響訓練效果的是幾個細節(jié)隨機種子是否固定、數(shù)據(jù)是否被隨機打亂、學習率調度是否合理、梯度有沒有做裁剪。學習率我很推薦使用 warmup cosine 的調度方式。一開始用一個很小的學習率熱身讓參數(shù)更新不會太激進然后再逐步降到接近零讓模型在后期做好精細調整。我用的配置大致是warmup 步數(shù)約占總步數(shù)的 3% 到 5%峰值學習率在1e-3到3e-4之間具體看模型規(guī)模和 batch size。批次大小也很關鍵。我的顯卡資源有限單批放不了太多樣本就用梯度累積來模擬更大的批次。注意梯度累積不是直接改batch_size而是在多個小批次上累計梯度然后再做一次優(yōu)化器更新。梯度累積的步數(shù)需要根據(jù)顯存實測來定我試過累積 4 步效果最穩(wěn)。數(shù)據(jù)處理上我加了一條保護線驗證集絕對不參與訓練而且驗證集的數(shù)據(jù)順序每次都要固定。有一次我偷懶直接在數(shù)據(jù)類里給訓練集和驗證集用了同一個 shuffler結果驗證損失一直往下掉訓練損失卻不降后來才發(fā)現(xiàn)是驗證集里混進了訓練樣本數(shù)據(jù)泄漏的坑差點沒把我逼瘋。訓練過程中我習慣每 20 個 step 打印一次 loss 和當前學習率每 200 個 step 在驗證集上算一次困惑度。損失曲線的形態(tài)非常有信息量如果訓練 loss 下降但驗證 loss 上升那是過擬合如果訓練 loss 不降那多半是學習率太高、數(shù)據(jù)有泄漏或者模型結構寫錯了。3.4 采樣策略怎么讓模型說得像人話模型訓練完之后生成階段同樣有很多坑。語言模型是逐步生成 token 的每次預測下一個 token 的概率分布然后從分布中采樣。如果每次都選概率最大的 token就是貪心解碼雖然穩(wěn)定但容易重復、死板。如果每次都純隨機采樣句子會變得前言不搭后語。我實測下來配合使用temperature、top-k 和 top-p效果最好。Temperature 控制分布的尖銳程度溫度小于 1 的時候概率集中到高概率 token 上生成的文本更保守溫度大于 1 的時候分布更平緩文本更大膽。Top-k 是只從概率最高的 k 個 token 中采樣避免給那些幾乎不可能的 token 太多機會。Top-p 則是動態(tài)選擇累計概率超過閾值的 token 集合比 top-k 更靈活。我常用的一個組合是temperature0.8, top_k40, top_p0.9。這個組合在我訓練的幾百萬參數(shù)小模型上生成結果既有一定的多樣性也不會很快陷入重復循環(huán)。如果你發(fā)現(xiàn)模型總是重復同樣的句子可以適當把 temperature 調高一點或者增大 top-p 閾值如果發(fā)現(xiàn)上下文不連貫則降低 temperature 會更有效。4. 從生成到推理小模型也能學會思考鏈4.1 推理模型與傳統(tǒng)模型到底差在哪里當我把基礎語言模型跑通之后我注意到行業(yè)里的討論熱點開始轉向另一個方向讓模型在回答之前先做一段內部推理再給出最終答案。傳統(tǒng)語言模型是輸入問題立刻輸出答案而推理模型的生成結果是先輸出一系列思考過程再輸出最終結論。這個過程類似于人在紙上打草稿草稿越長越有機會通過逐步演算推導出正確答案。從工程角度看兩者最主要的差別不在模型結構而在訓練方式。一個普通模型在訓練時看到的是問題 - 答案的配對而一個具備推理能力的模型在訓練時會看到問題 - 思考過程 - 答案的完整鏈路。思考過程被當作可學習的文本參與訓練模型因此學會了在回答前主動進行推理。另一個關鍵點是強化學習在這種訓練中的應用。為了讓模型學會找到更好的思考路徑社區(qū)里出現(xiàn)了很多從零構建推理模型的項目。核心做法是讓模型對同一個問題生成多條不同的推理路徑和答案然后根據(jù)答案是否正確以及推理路徑是否合理給予不同強度的更新信號。做得好的路徑會得到正向強化做得差的路徑會被抑制。這個過程不依賴人工標注的標準推理文本而是通過模型自身的探索來進化成本低很多效果卻可能很好。我個人的立場是如果你想搞懂 modern LLM 的完整能力邊界從生成到推理這一步非常值得復現(xiàn)。它也是從會做 Next Token Prediction向會解決問題進階的關鍵一步。4.2 我在小模型上復現(xiàn)推理能力的實操嘗試理論清晰之后我決定在自己的小模型上進行嘗試。我先準備了一批帶思考鏈的訓練數(shù)據(jù)。數(shù)據(jù)來源不是去爬什么高不可攀的內容而是自己寫規(guī)則生成對于數(shù)學加減法、字符串反轉、簡單邏輯題先生成問題再人工寫一段分步驟的思考文本最后給出答案。數(shù)據(jù)量控制在幾萬條以內一方面是因為我算力有限另一方面也足以驗證小模型是否能學到推理行為。訓練時我用的是監(jiān)督微調在已經(jīng)訓練好的基礎模型之上用這批帶思考鏈的數(shù)據(jù)繼續(xù)訓練。關鍵技巧是思考過程的特殊 token 分隔。我在文本中插入[THINK]和[ANSWER]兩個特殊標記讓模型明確知道哪里是思考區(qū)、哪里是答案區(qū)。推理時生成到[ANSWER]之前的部分就是模型的思考過程。實測結果很有意思。一個參數(shù)量不到兩百萬的小模型經(jīng)過幾千步有思考鏈數(shù)據(jù)的微調之后面對簡單加法問題時確實會先輸出類似先把十位和個位分別相加然后處理進位這類的過程文本再給出最終答案。雖然思考過程經(jīng)常有廢話但正確率比起微調前有明顯提升。不過也有明顯的局限性模型在陌生題型上基本不具備泛化推理能力它只是記住了遇到問題要先輸出一段過程的模式。這說明 from scratch 復現(xiàn)推理模型不是簡單加數(shù)據(jù)就行可能還需要引入更多的強化學習策略。但作為工程入門走一遍這個流程已經(jīng)讓我很清楚地理解了思考鏈的本質它不神秘只是把未顯式建模的中間計算過程變成可訓練的文本序列。做這一步時還有一個非常重要的提醒數(shù)據(jù)合規(guī)和版權問題永遠不能繞開。不要從不明渠道下載所謂的全套數(shù)據(jù)或者盜版資源自己寫規(guī)則生成、使用合規(guī)的開源數(shù)據(jù)才是能長期復用的做法。模型能力可以慢慢提升合規(guī)底線是絕對不能突破的。5. 工程化落地模型能跑只是第一步5.1 量化、KV Cache 與推理加速在本地把模型訓練出來之后真正讓人頭疼的是怎么讓它跑得更快、占用資源更少。我一開始直接用 PyTorch 逐 token 生成文本結果慢得離譜。后來才發(fā)現(xiàn)我連最基礎的 KV Cache 都沒有加。KV Cache 的核心思想非常樸素生成下一個 token 時前面所有 token 的 Key 和 Value 矩陣其實已經(jīng)算過了沒必要重新計算。把這些結果緩存起來每次生成只需要算新 token 的相關部分推理速度能提升一個量級。我的小模型加上 KV Cache 之后生成 200 token 的耗時直接降為原來的三分之一。除了 KV Cache量化是另一個大頭。訓練好的模型參數(shù)默認是 32 位浮點數(shù)占內存大、計算慢。把權重轉成 16 位、8 位甚至 4 位整數(shù)就能非常顯著地壓縮模型體積。我做的是一種比較簡單的訓練后量化方法先統(tǒng)計每一層權重的數(shù)值范圍然后把浮點數(shù)映射到整數(shù)范圍推理時再反量化回浮點數(shù)。對于我的小模型從 FP32 壓到 INT8 后模型體積減小了接近四倍生成結果的質量幾乎沒有肉眼可見的下降。量化過程里最容易踩的坑是校準。直接拿模型權重的 min/max 做映射有時候會被離群點帶偏導致量化后某些層輸出異常。我當時用一批驗證集數(shù)據(jù)觀察每層的激活分布選擇合理的截斷范圍之后再量化效果立刻穩(wěn)定了很多。簡單說量化不是簡單的數(shù)學映射它需要數(shù)據(jù)來輔助確定映射參數(shù)。5.2 微調階段的數(shù)據(jù)配比與防災難性遺忘工程化之后我開始嘗試在自己的基礎模型上做微調。初始階段最容易犯的錯誤是用單一任務的數(shù)據(jù)把整個模型反復訓練結果只要訓練步數(shù)稍微多一點模型原有的通用能力就被大幅破壞了。這個現(xiàn)象有一個專門術語叫災難性遺忘我一開始天真地以為只要學習率夠小就沒事后來發(fā)現(xiàn)遠遠不夠。解決災難性遺忘我驗證有效的方法有三個。第一是混入通用數(shù)據(jù)微調數(shù)據(jù)中至少保留 30% 到 50% 的基礎語料讓模型一邊學習新任務一邊維持舊知識。第二是降低微調階段的學習率比預訓練階段低一個數(shù)量級。第三是使用 LoRA 這類參數(shù)高效微調方法只訓練一小部分附加參數(shù)原有參數(shù)盡量不動。LoRA 的原理是把要更新的權重矩陣分解成兩個低秩矩陣訓練時只更新這兩個小矩陣推理時再合并回原權重。這樣不僅顯存占用大幅降低而且對原有參數(shù)的擾動很小。我在實驗中發(fā)現(xiàn)LoRA 加上混合數(shù)據(jù)能把新任務的表現(xiàn)提升不少同時依然能流暢生成普通文本效果比全量微調穩(wěn)定得多。數(shù)據(jù)配比這件事沒有萬能公式但有一個通用的排查方法每次微調完成后在上一個版本模型的測試集上做一次回歸評測如果得分明顯下降就說明數(shù)據(jù)配比或學習率可能有問題。我前前后后調整了三次配比最終確定了一個能兼顧兩邊的比例這個經(jīng)驗值只對我的場景有效但添加回歸驗證集這個方法對任何人都有用。5.3 從單機實驗到服務化部署模型調好之后要把模型給別人用就得做服務化部署。我沒有引入過于復雜的架構而是用了一個非常簡單的思路把模型加載到一個常駐進程里通過 HTTP 接口接收文本請求生成結果后返回。這樣做的好處是模型只在啟動時加載一次不用每次請求都重新初始化。這里有一個非常容易踩的坑服務進程必須設置超時機制。我的模型雖然只有幾百萬參數(shù)但在無 GPU 的環(huán)境下生成一段長文本仍然可能耗時幾秒。如果客戶端超時時間設得太短就會頻繁報錯。解決辦法有兩個一是用流式返回模型每生成一個 token 就推給客戶端一部分二是把生成請求丟到任務隊列里異步處理客戶端去輪詢結果。我實際項目中先用了流式返回交互體驗好很多。另外多進程服務一定要小心模型副本占用的顯存或內存。如果使用gunicorn這類多進程服務器每個 worker 都會加載一份模型副本。我試過默認配置結果服務啟動后內存直接翻了幾倍。解決辦法是根據(jù)實際內存限制 worker 數(shù)量或者改用多線程。這個細節(jié)不親自部署一次是很難從文檔里學到的。6. 我踩過的坑問題排查與避坑速查表6.1 訓練不收斂三個最常見的元兇我的模型第一次訓練時loss 一路降不下去我很確定自己代碼沒有語法錯誤就把鍋甩給了數(shù)據(jù)量太小。后來我系統(tǒng)排查了一遍發(fā)現(xiàn)根本原因和學習率有關我用了條很低的學習率導致模型幾乎在原地踏步。把學習率從1e-4提到1e-3之后loss 立刻開始下降。檢查學習率絕對是排查不收斂的第一動作。第二個常見元兇是數(shù)據(jù)順序沒有打亂。如果每個 epoch 內樣本順序完全不變模型會學到順序上的偽特征訓練 loss 也能降但驗證 loss 非常不穩(wěn)定。打亂數(shù)據(jù)之后問題基本就消失了。第三個元兇是初始化。使用 PyTorch 默認初始化的 Transformer在小模型上訓練時有時會遇到嚴重的梯度異常。我后來把每個線性層的權重標準差按照隱藏層維度的倒數(shù)來縮放也就是非常流行的 small initialization 技巧訓練穩(wěn)定性明顯提升。不要小看這幾行初始化代碼它對整個訓練過程影響巨大。還有一個容易被忽略的元兇損失函數(shù)和標簽的對齊。我在實現(xiàn)交叉熵損失時一開始把 labels 設置成了形狀不匹配的 tensorPyTorch 沒有直接報錯而是靜默廣播了導致模型學到了一個非常奇怪的分布。發(fā)現(xiàn)這個問題后我在訓練循環(huán)里加了一個assert檢查張量形狀遇到形狀不一致的情況立刻中斷。6.2 顯存爆炸與訓練速度過慢的排查思路當我把模型從幾百萬參數(shù)擴到一兩千萬參數(shù)時顯存瞬間告急。第一個原因是注意力矩陣的平方復雜度序列長度為 512 時注意力矩陣是 512 乘以 512顯存開銷隨序列長度平方增長。解決辦法是把最長序列控制在 256或者改用梯度累積減少單批顯存峰值。第二個原因是優(yōu)化器狀態(tài)比想象中更占內存。Adam 優(yōu)化器本身要保存每個參數(shù)的動量變量和方差變量再加上模型參數(shù)和梯度實際顯存占用接近參數(shù)的 7 到 12 倍。所以不要看到模型只有幾百萬參數(shù)就覺得內存肯定夠用?;旌暇扔柧毷呛芎玫木徑馐侄蔚⒁馓荻瓤s放和 loss scaling否則很容易出現(xiàn)溢出導致 loss 變成 NaN。我在排查顯存問題時寫了一個簡單腳本利用 PyTorch 的顯存統(tǒng)計工具在訓練循環(huán)前后打印reserved和allocated內存很快就定位出哪個模塊占用了大頭。這種可視化統(tǒng)計方法比肉眼猜測高效得多。如果你也遇到 OOM建議先用這個思路搞清楚內存分配在哪里再決定是減小序列長度、減小 batch還是換一種注意力實現(xiàn)。6.3 常見問題速查表問題現(xiàn)象可能原因排查方向解決方案訓練 loss 不降學習率過低或過高打印每個 step 的 loss 和學習率使用 warmup cosine 調度調峰值學習率訓練 loss 下降但驗證 loss 不降數(shù)據(jù)泄漏或過擬合檢查驗證集來源觀察訓練/驗證差距重建驗證集混入通用數(shù)據(jù)驗證 loss 劇烈震蕩數(shù)據(jù)順序未打亂 / batch 太小檢查數(shù)據(jù)加載器是否 shuffle開啟 shuffle或增大批次推理速度極慢沒有 KV Cache打印每 token 生成耗時實現(xiàn) KV Cache復用歷史 Key/Value模型生成總是重復采樣策略太保守觀察生成文本的重復率調高 temperature禁用重復 n-gram量化后效果暴跌校準數(shù)據(jù)不足 / 離群點影響對比量化前后每層輸出分布用驗證集做校準設置合理的截斷范圍服務啟動后內存翻倍多進程加載多份模型副本查看進程內存占用限制 worker 數(shù)或改用線程這些坑都是我實際踩過的。第 4 條 KV Cache 的坑尤其隱蔽因為模型小的時候速度差異不明顯一旦把序列長度拉長差距立刻顯現(xiàn)出來。第 6 條量化校準則直接關系到模型能不能在低資源環(huán)境下部署值得多花時間仔細調。最后再分享一個我現(xiàn)在仍然在用的習慣每跑一次實驗之前先把隨機種子固定好然后把數(shù)據(jù)處理流程寫成可復現(xiàn)的腳本任何一步出錯都能從緩存重放。這個習慣在 ai-engineering-from-scratch 項目的后半段幫了我大忙因為改動一旦多了你根本無法判斷效果變化到底來自數(shù)據(jù)、模型版本還是訓練參數(shù)。固定種子、緩存數(shù)據(jù)、記錄每次實驗的配置這三件事堅持做下來整個項目才真正算得上工程而不是一次性的代碼練習。如果你也打算從零開始走一遍 AI 工程我建議你從寫一個最簡單的手寫數(shù)字分類器起步再一步步走到語言模型和部署。這條路不易但走完之后的底氣是任何框架封裝都給不了的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲精品电影| 五月天天爽| 婷婷五月色天| 九九免费精品在线视频| 伊人大综合| 丁香五月天婷婷久久| 超碰精品在线| 玖玖资源天天无码| 日本色色网站| 久久99热这里只有精品| 婷婷五月天深爱| 久久一级AV| 久久草婷婷丁香网站| 超碰免费人| 国产色99| 五月激情婷婷综合| 五月天婷婷色| 五月天激情小说欧美激情| 婷婷伊人五月丁香天堂网| 天天综合色| 操人久久| 国产99久久久国产精品免费看| 九九视频精品这里只有| 久久婷婷六月综合综合| 原琪琪色影院| 蜜臀AV在线观看| 五月天婷婷激情干干| 五月J香蕉婷婷| 五月婷高清视频| 亚洲天堂婷婷丁香| 久久视频婷婷| 成人欧美一区二区三区在线观看| 免费成人中文字幕| 99在线免费观看| 婷婷六月激情啪啪| 六月丁香婷婷综合狠狠爱夜夜爱| 色播五月婷婷| 永久AⅤ1| 久久亚洲婷婷| 97五月婷| 婷婷综合在线| 99热在线精品观看| 激情综合网络插| 日本欧美成人片AAAA| 这里只有精品9| 99精品女人天堂| 久99视频| 婷婷淫淫狠狠六月| 五月丁香婷婷激情在线视频| 干一干xxxx| 婷婷色影院| 69色色视频| 五月婷婷丁香啪啪| 综合色图婷婷| 99色热| 五六月丁香激情视频| 色婷婷文字幕| 亚洲视频综合网| 丁香五月婷婷大香蕉| 久久婷婷成人视频| 丁香五月婷婷大香蕉| 婷婷五月婷婷| 久99久99精品免| 婷婷99狠狠躁天天久久久九九九| 久久婷婷五月天激情四射| WWW丁香五月| 婷婷久久爱| 另类激情中文| 久久狠狠干| 天天狠狠色噜噜| 婷婷五月激情的图片| 丁香桃色网| 婷婷五月天激情基地| 玖玖婷婷五月天| 国产精品色| 久久九九热视频| 国产色丁香| 操比激情五月| 亚洲成人影视在线| 色综合久久久久| 天天做夜夜爽| 丁香成人视频| 一本伊人色婷| 国产阿姨日皮艹逼内射视频| 久99热| 午夜日韩久久久网站| www.激情| 久久99视频| 久久综合人妻| 久久人妻视步| 九九机热| 激情五月丁香激情综合网| 久久免费操| 丁香六月天婷婷色| 人妻少妇色综合| 亚洲天堂aaaa| 天天做 天天爱| 日韩无码一区二区三区四区| 久热九九| 日韩无码成人电影| 五月婷婷亚洲| 激情98色婷婷五| 涩五月婷婷| 中文字幕在线播放视频| 婷婷午夜精品久久久| 五月丁香六月婷综合成人综合| 久久激情综合| 欧美综合激情五月丁香| 久久婷婷五月草视频在线播放| 九九中文字幕九| 一区二区无码视频| 亚洲亚洲人成综合网络| 99在线免费视频| 99天堂网| 久热这里只有精品99re| 久久婷五月| z色五月播播久久| 五月天激情综合10p| 色天天综合天天综合频道。| 99色这里| 天天爱天天做天天舔| 妇激情基地| 婷婷五月激情图片| 91超级碰| 婷婷五月天视| 亚洲射激情| 五月丁香日本在线视频观看| 天天狠狠婷婷在线| 袁子仪视频观看| 婷婷丁香五月亚洲欧美| 新99思思视频| 五月天欧美激情| 五月婷婷久久内射| www.五月天社区| 开心五月婷婷99| 日本九九热| 色五月视频无码播放| 综合久色五月| 狠狠五月天激情| 色久婷婷网| 欧美激情 日韩无码 婷婷 五月天| 五月6香色婷婷视频| 日本99视频| jiujiu热在线视频| 五月天激情网址| 五月丁香拍拍激情综合| www.日韩艹| 五月香婷婷| 色色色色色色色色综合网| 99九九精品| 六月婷婷五月天| 亚洲国产99| 99热这里只有精品4| 激情五月影院| www日本熟妇99在线视频| 九九婷婷五月天| 91九色PORNY肉丝在线| www。五月,com| 密视AV综合在线| 色色五月天婷婷丁香| 97色色婷婷五月天| 久er7久热| 五月天另类综合网| 丁香婷婷五月| 色婷婷在线视频| 99精品成人无码A片观看金桔| 影音先锋美国A| 色婷婷五月综合色婷婷| 五月色网| 婷婷伊人久久综合| 五月天色综合| 疯狂做受XXXX高潮A片| 国产XXXX搡XXXXX搡麻豆| 美女久久婷婷| 99热国内精品| 综合五月激情| 99热碰碰| 青青草视频免费观看| 婷婷五月丁香综合瑟瑟| 欧美成人精品A片免费一区99| 久久精彩视频| 成人短视频在线免费观看| 成人 在线 日韩| 思思热国产视频| 五月婷婷婷婷婷婷艺术| 久久婷婷综| 来吧亚洲综合网| 激情98色婷婷五| 九色在线观看91av| 激情的五月| 天天爽天天摸人妻综合网| 亚洲色图五月丁香| 天天碰夜夜操| 久久99视频| 亚洲 小说 欧美 激情 另类| 久9热视频| 久久精品人妻| 色综合狠狠色| 丁香五月激情站| 五月婷六月丁香| 综合图区激情| 国产成人网址| 色v综合网| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | ay2区| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 九九热91| 色五月婷婷7777| 伊人玖玖网| 丁香综合伊人| 超碰国产AV| 久久久国产精品黄毛片| 91色综合| 开心激情婷婷| 丁香五月天堂亚洲社区| 婷婷久热| 欧美成人色婷婷| 九九热精品视频在线观看| 九月丁香八月婷婷久久综合久97| 五月天成人在线| 大香蕉久| a九九热www| 婷婷网五月| 五月激情六月综合| 五月天婷婷免费| 五月天婷婷深深爱| 另类小说五月天| 日本久久爽| 精品无码色欲AV| 亚洲在线资源| 久久婷婷综合国产| 99热99热在线| 日韩啪啪自拍| 五月婷婷激情中心| 日欧一片内射VA在线影院| 99在线69| 97视频91| 婷婷月综合| 丁香五月六月婷婷怡红院| 激情综合一| www999日韩精品| 99热国产这里只有精品| 九九综合九色欧美狠狠| 99热在线观看这里只有精品| www.色五月| 26uuu青青| 思思 热 99| 中文字幕 码精品视频网站| 欧美日韩成人一区二区| 丁香五月AV| 区啪精品| 狠狠干五月天| 天天综合91入口| 天天天天色天天天天天干| 婷婷中文字幕| 亚洲丁香五月深爱五月| 八戒青柠影视剧在线观看| 九九成人精品免费视频| 久久九九色| 99日本精品视频热| 成人版视频在线观看| 九色在线观看91av| 99狠狠| www超碰com| 色大综合| 99热xx| 欧美激情2025| 丁香狠狠色婷婷久久无码视频| 婷婷四色五月| 亚洲国产网址| 丁香婷婷月| 丁香狠狠色婷婷久久无码视频| 色了色综合| 人与禽A片啪啪| 欧美va国产va| 亚洲妇女熟BBW| www.99在线| 涩涩涩五月天| 五月丁香激情综合网官网| 五月亭亭直播| 五月天天天开心激情网| www五月婷婷| 99.色| 亚洲综合五月天婷婷| 偷拍视频五月天| 人人人操 超碰| 婷婷综合伊人丁香| 亚州第一黄网| 婷婷五月激情欧美| 色婷丁香五月| 在线观看视频1区| 亚洲小视频| 久久99日本精品视频免费观看| 婷婷五月天免费视频| 免费看片在线观看| 亚洲成人一区| 77799热| 啪啪啪大香蕉| 久久婷婷五月天亚洲欧美| 亚洲国产另类av| 亚洲成人av在线播放| 色婷婷综合综合网| 人人爱操| 新伍月婷婷| 丁香六月色| 99综合在线| 丁香五月天激情婷婷丁香六月| 免费视频WWW在线观看网站| 丁香五月综合福利视频导航| 美腿丝袜AV天堂网| 99视频精品在线| 丁香六月中文| 9超碰在线| 国产亚洲99久久精品| 日韩无码成人电影| 色色色网站| 婷婷六月天亚州| 丁香五月激情综合婷综| 婷婷色五月激情| 日韩一区二区在线播放| 91亚洲免费片| 色婷婷丁香五月| 可以直接看的av网站| 婷婷亚州综合| 日韩无码专区| 五月天综合影院| www.久久久久久久| 超碰免费成人网站| 婷婷五月天激情综合| 五月天播播综合| 久久五月天 91| 丁香五月婷婷大香蕉| WWW色综合| 大香蕉久久综合网| 99视频在线精品免费观看2| 丁香色播五月天| 十区AV| 亚洲操b| 天天夜夜六月丁香五月婷婷老师| 91久久综合亚洲噜噜成人在线 | 啪啪小说五月天| 97色在线| 任你干嘛免费视频播放| 99ER热精品视频| 五月天婷婷无码| 视频综合网| 五月天综合在线网| 夜夜谢天天干| 超碰97干| 婷婷金品综合视频| 婷婷综合成人五月天| 超级黄色片| 日韩成人不卡| 99碰网站| 99热这里只有精品2| 丁香五月天激情婷婷丁香六月| 五月色情婷婷| 嫩草AV久久伊人妇女超级A| 欧美色频| 五月天婷婷人妻| 人妻久久做| 色播激情| 先锋影音av色五月天资源站| 熟女激情五月天| 99热99这里免费的精品| 天天日人人| 亚洲综合1024| 亚洲熟女乱色综合亚洲网站| 久久婷婷五月综合色和| 在线视频区| 天天日,天天插| 激情深爱五月天| 五月婷在线色视频| 日韩黄黄| 草草视频91| 一起肏在线视频| 久久婷婷综合五月| 亚洲精品久久久久久久久久飞鱼| 97干在线| 日本在线视频播放91| 婷婷伊人综合| 性爱激情五月| www99热| 99久久9| 婷婷六月综合基地| 五月丁香啪| 色色色色色色色色色色色色色色,网站| 这里只精品| 黄色片精品| 91oumei| 色色色色色色色五月| 国产精品久久久久久久久久久久| www.99色| 丁香桃色网| 色色色com| 色婷婷激情五月天| 五月丁香六月激情综合欧美| 狠狠插日日干撸| 91免费在线视频6| 99er这里只有精品| 色综合色综合婷婷热| 91久久综合| 亚洲综合色激情色五月| 青青久久五月天丁香婷婷| 国外亚洲成AV人片在线观看| 国产精品美女久久久久AV超清| 五月大香蕉| 99噜噜| 欧美日本黄色| 99热99色| 日本狠狠干| 天天爱天天做天天舔| 综合五月丁香久久| 婷婷五月69| 激情五月天在线观看婷婷| 91久久99久久91熟女精品| 91久久色| 丁香五月综合| 开心婷婷五月激情网小说| 激情网战码亚洲A| 快乐婷婷五月天| 婷婷五月中文在线| 午夜九九电影| 五月天婷婷丁香社区| WWW.99热| 色播五月天激情| 99精品在线观看视频| 天堂在线9| 夜夜爽天天爽| 中文字幕在线日亚州9| 国产激情久久久| 婷婷永久在线| 另类综合网| 婷婷日日夜夜| 九九热视频在线观看| 久久人妻伊人| 久久婷婷网站| 欧美综合五月丁香六月婷| 五月婷av| 五月丁香六月激情网站| 91在线视频观看午夜福利| 国产亚洲精品久久久久久久久动漫| 开心色色五月天综合| 久久精品无码一区| 一二区成人电影| 久久五月婷婷丁香| 九九精品99| 四色综合网| 夜夜骑日日夜夜| 久久人妻久久| 五月丁香六月色| 激情AV| 性综合网| 国产av第一专区| 色色色五月婷| 99久久国产宗和精品1上映| 五月丁香婷在线| www.天天干| 丁香色婷婷五月天| 国产九月婷婷| 91ncm视频| 天天插综合在线| 婷婷五月天激情五月天网站| 婷婷五月激情图片| 欧美大香蕉视频| 99视频在线观看视频| 五月色婷| 激情五月婷婷开心网| 丁香五月激情六月欧亚激情综合导航| 99视频久久| 无码区婷婷五月花开| 色色五月丁香| 色色婷婷色色| 性小说五月天| 人人爱人人添| 久久久久久久97| 香蕉久久国产AV一区二区| 久久色午夜在线导航| 91精品婷婷国产综合久久| 午夜精品777| www久久艹| 欧美成人AAA片一区国产精品| 伊人久久大香天蕉亚洲特级| 婷婷亚洲激情在线观看视频 | 狠狠色婷婷丁香六月| 99精品热| 色伊人91在线视频| 亚洲色色五月天| 日韩欧美四五区| 97精品自拍视频| 五月婷婷五月天| 六月婷婷操逼| 婷婷六月中文字幕| 人人干人人看| 五月天婷婷社区久久综合| 日日干日日s| 人妻无码精品一区| 少妇高潮A片无套内谢麻豆传| 欧美色碰| 综合图区激情| 狠狠操狠狠| 久久天堂网| 五月丁香色婷婷综合| 丁香五月六月综合激情| 天天综合 99久久婷婷| 九九热在线视频,| 99久热| 亚洲婷婷综合视频| 五月婷婷婷婷婷婷艺术| 99爱这里只有精品免费视频| 狠狠色丁香久久综合婷婷亚洲成人福利| 色五月开心婷婷| 日韩另类在线观看| 婷久久综合| 国产一级婬片毛片| 国产精品99久久久久久久女警| 美女激情综合| 亚洲熟妇无码乱子AV电影| 国产美女无遮挡裸体毛片A片| 国产成人av在线播放| 天天做天天爱天天爽综合网| 欧美A片在线视频免费观看| 色五月无码| 久久婷婷五月综合色丁香| 亚洲美女裸体被操在线观看| 亚洲婷婷六月天| 99色色网| 青青草性爱视频| 人人爱人人摸人人澡| BBWCUCKOLD精品熟妇| 亚洲AV成人精品日韩在线播放| 激情综合五月婷婷| 开心五月婷婷伊人| 成人九九视频| 色色色com| 五月天色播网| 99热这里只有精品首页| 亚洲小视频免费播放| 激情小说婷婷| 九九www| 手机免费福利视频| 久久天堂女人| 丁香五月天在线观看| 在线中文字幕免费视频| 国语精品探花| 超碰人人摸AV| 丁香五月婷婷影院| 欧美日韩国产一区二区| 丁香五月中文字幕色播| 色婷婷综合亚洲| 九九热99熟女| 久久久性爱视频| 91色噜噜狠狠狠狠色综合| 在线看黄色| 久久久天天啊| 久久久久久久,99精品视频| 俺五月| 日韩一级一片内射视频4K| 婷婷五月激情丁香激情| 性爱激情综合网| 啪啪啪五月天| 91丁香色五月| 激情五月天综合网| 色综合网址| 九九成人视频| 久久五月天激情视频| 日本无码专区| 欧美成人网99网| 青青草Avb在线| 综合一区二区三区| 超碰高清在线| 狠狠色综合网站久久久久| 久久这里这里有精品免费视频| 99久在线精品99re8热| 激情婷婷五月亚洲| 丁香五月之久操视频| 婷婷五月天婷婷| 婷婷激情四射五月天| 少妇性按摩无码中文A片| 无码人妻电影| 精品夜夜澡人妻无码AV| 蜜桃五月天| 丁香六月婷婷综合啪啪| 婷婷深爱五月天| 亚洲 在线 性爱 | 婷婷中文在线| 五月色情婷婷开心五月色情| 九一九九黄色| 丁香六月啪| 五月综亚洲| 91seAV| 玖玖在线| 色婷婷五月天激情久久| 综合激情四射一theav| 婷婷五月综激情| 激情四射五月天偷偷看婷婷| 中文字幕日本最新乱码视频| 天天干天天日天天操| 久草A片| 青草视频在线观看视频| 五月天亚洲色| 久久er这里只有精品| 色色综合网www| 成人av在线网址| 五月婷丁香花| 禁片二区| 久操热线| 99热这里只有精品4| 99九九精品| 婷婷五月天免费99| 婷婷久久亚洲| 新伍月婷婷| 日本黄色一级| 五月婷精品| 1995年关宝慧版蜘蛛女| 亚洲AV人人操| 高清一区二区三区日本久| 99久久99热这里只有精品| 高清成人综合| 婷婷色色亚洲| 亚洲激情四射| 久久精品视频在这里有| 思思热在线视频观看精品| www.爱婷婷.com| 成人在线视频网| 婷婷五月激情在线视频| 激情六月丁香综合| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 欧美色频| 午夜丁香综合婷婷| 欧美性色五月天| 97综合在线| 亚洲狠狠色丁香婷婷综合久久| 五月婷婷在线观看黄| 一本久久亚洲五月婷婷| 婷婷综合色图| 五月丁香婷婷99| 99国产精品白浆在线观看免费| 另类 在线| 狠狠色噜噜狠狠狠888了| 热中文字幕| 淫荡A片| 久热婷婷| 91久久久久久久| 五月丁香六月婷婷无码| 欧洲日韩一区二区三区| 亚洲性受XXXX五月丁香| 色婷婷偷拍| 日日操夜夜擼| 婷婷五月天久久久| 婷婷五月天基地| 五月天激情婷婷小说| 久久五月天大美女| 超碰9| 婷婷五月在线| 超碰99热精品在线| 国产精品久久久久久久久久免费| 99热在线播放| 97精品在线| 亚州色色色| 久色网五月| 天天草狠狠擦| 亚洲综合激| 久久婷婷亚洲无码一起| 婷婷五月综合免费在线| 97超级啪啪在线观看| 2018国产大陆天天弄| 一起草性爱不卡视频| 91肏| 99色性爰网络| Va另类视频| 天天免费成年人视频| 91九色在线视频| 久久婷婷草| 人操91在线| 色在线免费观看| 五月激情丁香啪啪| 七月婷婷色香综合网| 少妇真实被内射视频三四区| 亚州美女| 久草热8精品视频在线观看| 色综合久| 天天操人人干| 五月丁香婷婷色| 婷综合| 91热99| 97久久久| 五月天成人小说| 伊人婷婷大香蕉| 秋霞A V毛片| 五月天激情网站| 99爱视频| 五月丁香婷婷色色| 亚洲精品视频在线| 精品久久艹| 五月天伊人网| 99欧美| 亚洲亚洲人成综合网络| 亚洲五月天激情| 91久操| 日日噜噜夜夜狠狠久久丁香五月| 99热色精品| 色综合天天| 老美AA片| 久久性都花花世界成人免费视频| 免费观看2018www黄色操逼网站| 久久婷婷的综合色丁香五月| 欧美性爱中文字幕| 无码A片一区二区免费| 超碰激情五月| 午夜成人网站在线观看| 99成人网一区| 中文人妻主播久久| 丁香六月激情综合网| 79色色免费| 久播影院免费观看电视剧大全最新网| 99国产在线| 丁香激情五月天| 婷婷成人视频| 一区二区三区视频| 亚洲无AV在线中文字幕| 亚洲精品一二三| 婷婷国产五月天17c| 卡视频1区2区| 色综合九九| 亚洲成人色五月婷婷综合| 色999;丁香五月| 色色色免费视频| 婷婷八月丁香激情综合| 亚洲1区| 麻豆WWWCOM内射软件| 日本婷婷色| 综合激情肏逼网| 欧美性二区| 青青草婷婷综合五月| 天天操比比| 99色婷婷视频| 国产熟妇的荡欲午夜视频| 五月婷婷av在线| 国洲夜色亚热在线久久| 99精品国产在热久久婷婷| 婷婷成人综合| 99热这里只有在线| 精品在线网站| 欧美A级成人婬片免费看理论| 久热婷婷在线视频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 91九九九九九九| 大香蕉天堂| 综合激情五月丁香| 婷婷丁香六月| 国产亚洲精品AAAAAAA片 | 婷婷五月色综合香五月| 久久综合伊人77777蜜臀| 99久久黄色顶级视频| 丁香六月激情国产| 亚洲婷婷91丁香| 亚洲亚洲人成综合网络| 久久五月婷婷丁香| 五月婷婷综合激情| 九九无码| 天天插操| 狠狠搞五月天| 婷婷综合网| 国产午夜精品AV一区二区麻豆| WWW久| 深爱激情四射| 亚洲啪视频| 丁香婷婷久久五月天| 色色色激情| 九九热99热| 亚洲操逼片| 五月天大香焦| 久热这里这里有精品| 国产这里只有精品| 年轻的妺妺伦理HD中文| 色播色丁香五月| 操人91| 免费精品66| 在线另类视频| 五月综合激情图片| 婷婷5月色| 色情丁香五月婷婷精品| 久草婷妨| 久久婷婷五月国产色综合激情| 色婷婷五月综合| 丁香五月影院| 热久久91| 狠狠色五月天| 99cao婷婷| 色色色色色色色综合| 国产精品视频| 国产综合丁香五月天| 精品九九视频| 五月婷婷啪啪| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 99精品在| 99视频自拍| 26.uuu丁香五月婷婷| 婷婷五月天六点丁香五月| 亚洲色热| 99在线视频色版| 色婷婷在线视频| 啪啪五月婷婷| 五月丁香六月欧美| 在线理论片| 26uuu美女三级视频| 亚洲激情四射| 色久女| 激情丁香五月激情婷婷| 99色免费观看全部| 超碰免费大香蕉| 丁香五月天视频| 9色免费网| 色婷婷狠狠干芒果TV| 三级毛片视频| 婷婷五月丁香基| 婷婷色在线| 激情5月舔| 99国产在线| 色婷婷综合久久久久| 黄色一级影片| 亚洲免费av在线| 日日日天天干| 中文字幕无线久必| 色五月婷婷激情五月| 欧美成人AAA片一区国产精品 | 26uuu亚洲| 色五月婷婷91在线| 丁香五月激情啪啪| 91fuliwang| 婷婷六月伊人| www.色欲丁香婷婷| 色婷婷裸体色性在线| 性欧美大战久久久久久久83| 丁香色播五月天| 五月天久久色| 婷婷五月天激情五月天| 亚洲精品字幕在线观看| 激情5月婷婷狠狠干| 欧美S码亚洲码精品M码| 欧美毛片www| 色级停停| 久久人妻视步| 综合玖玖偷拍| 日韩在线观看亚洲| 亚洲视频二区| 天天爽天天| 综合久久影院| 99视频精品在线| 只有精品在线观看| 第九色区av天堂| 麻豆123区| av五月天婷婷丁香| 激情都市丁香婷婷| 午夜丁香综合婷婷| 日韩黄黄| 思思99热在线| 大香蕉久久视频久久视频| 欧美激情综合| 激情婷婷| 国产色五月婷婷| 奇米四色五月天| 99精品国产在热久久婷婷| 超碰在线视屏| 激情综合五月婷婷| 日日肏夜夜干| 伊人综合婷婷| 日本99视频| 五月人妻婷婷| 五月丁香花激情啪啪网| 狠狠色成人影片| 婷婷性爱五月天丁香网| 色噜噜狠狠色综无码久久合欧美 | ji'qi'luan'ren'lun| 大香蕉人在线65| 国产激情在线| 天天色·欧美| 果冻传媒A片一二三区| 99热这里有精品| 五月婷婷先锋| 91成人电影| 色五月无码| 婷婷综合玖玖五月| www.91九色| 这里只有精品热| 久久久无码精品成人A片小说| 91热久久| 婷婷色色综合| 色热久| 天色综合网站| 9 9热这里有精品| 九九人人操| 青青福利网| 九月激情综合| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 99久久国产宗和精品1上映| 激情五月天激情小说| 91狠狠综合久久久久久| 色婷婷狠狠久久综合五月| 九九成人| 丁香色六月婷婷| 色情五月天导航| 夜夜操狠狠操| 欧美Va在线| 开心五月综合激情网| 欧美成人AAA片一区国产精品| 欧美综合激情丁香五月六月婷| 五月天狠狠网站| 久久99网| 丁香五月香蕉| 婷婷五月天在线一区| 亚洲夜五月| 中文字幕亚洲-区久久99婷婷| 大香蕉久| 亚洲欧美丁香五月天亚洲欧美| 丁香六月中文| 久久九九@| 天久综合91综合首页| 91九色精品女同系列| 欧美综合婷婷网| 翔田千里 50岁 无码| 久久九九激情五月天| 色色无码| 米奇影视资源777狠狠色婷婷五月天激情网| 97色欧美| 丁香婷婷综合影院| 九九激情| 欧美大道不卡| 激情五月天色婷婷综合| 色婷婷情片| 亚洲黄网AV| 天天爽夜爽| 五月婷婷开心网| 婷婷五月天亚洲激情戏精品| 激情综合久久| 99久久精彩视频| 国产精品扒开腿做爽爽爽A片唱戏| 五月开心激情| 色婷婷六月精品| 噜噜狠狠| 色碰碰| 精品九九婷婷| 激情98色婷婷五| 中文字幕成人| 婷婷丁香在线| 大香蕉久久婷婷| 成人开心五月天| 婷婷五月免费观看| AV在线大香蕉| 日韩在线成人电影| 色五月天 丁香| 99热国品| 亚洲成人综合在线| 超碰在线人妻| 亚洲综合在线播放| 99热中文字幕久久| 日批在线看| 丁香色色色| 98永久精品| 久久99日本精品视频免费观看| 4399无码视频| 五月婷婷色| 大香蕉综合在线| 欧美日韩成人高清在线| 久8色色| 操日本人妻视频| 五月香蕉婷婷| 二人电影免费版在线观看| 天天爽在线视频| 香蕉婷婷| 人妻熟妇国产精品| 五月婷婷综合激情小说| 乱岳熟女50岁| 被强行糟蹋的女人A片| 成人在线视频网| 五月天综合激情网| 久大香蕉| 日本一级特黄大片AAAAA级| 五月欧美丁香在线观看| 五月婷婷在线免费观看| 五月丁香婷婷成人网| 性天天中文网| 五月激情久久综合网| 婷婷五月天美女视频| 日本色婷婷久久99精品91| 五月丁香婷婷在线综合蜜桃| 五月婷网| AA久久| 91操片| 日本三级韩三级99久久| 午夜免费试看| 五月婷婷综合激情| 99爱视频精品在线观看| 99免费视频久久| 色婷婷99| 色噜噜狠狠色综| 综合欧美五月婷婷| 热久久思思热思思| 激情网 五月天| 九九热视频免费观看| 五月天婷a在线| 日本婷婷丁香五月| 青草网在线观看| 蜜臀A∨在线水帘洞| 五月色情婷婷开心五月色情| 天天舔天天| 亭亭五月天成人| 久久A区B区| 天天操天天操天天操天天操天天操| 丁香五月六月综合激情| 婷婷九月在线| 丁香六月综合激情| 婷婷五月丁香香蕉| 亚洲激情网| 国产偷人爽久久久久久老妇APP| 韩国真做片在线观看| 五月天综合在线网| 国产原创视频91九色| 婷婷六月综合基地| 先锋五月婷婷丁香草草| 丁香五月亚洲激情婷婷射| 激情精品久久| 色另类五月天| 五月婷婷丁香综合| 五月丁香成人小说| 久久婷婷综| 激情网五月天| 日本婷婷激情四射中文字幕在线观看| 激情文学 综合 九月| 手机在线日韩视频中文字幕| 天天做天天视天天谢| 天天天添天天操| 天天色色婷婷| 噜噜噜噜综合在线| 99re久久| 男女啪啪做爰高潮无遮挡| 香蕉五月婷婷| 日韩999| 丁香五月亚洲无码| 九九無妻| 色综合五月| 99se丁香| 99热最新精品| 婷婷五月激情欧美| 337p午夜影院| 婷婷五月天在线综合| 在线成人网址| 亚洲精品一区无码A片| 影院久久久| 秋霞性爱AV| 99热这里只有精品69| 亚洲九九在线| 思思久久99| 天天操天天插| 九九久久污| 国产99美少妇| 五月婷婷之综合激情| 婷婷五月天丁香| 九色激情| 六月婷婷香蕉| 五月激情综合婷婷| 天天爽免费视频| www夜夜| cao视频,现在观看| 蜜臀丁香黄色婷婷五月天| 性天天中文网| 丁香婷婷啪啪| 国产成人综合电影| 色婷婷免费观看| 青青草日本亚洲| 六月丁香久久| 五月丁香婷婷狠狠操| 丁香五月婷婷狠狠色| 天天干天天干天天干天天干天| 变态另类9| 婷婷伊人综合| 激情综合啪啪啪| 色五月婷婷亚洲| 久热99| 色婷婷先锋| 婷婷播播五月天| 激情婷婷色色| 国产超碰av| 蜜桃婷婷丁香五月天狠狠久久综合| 日韩淑女人妻luan伦激情精品一区二| AA片在线观看视频在线播放 | 欧美性交一区二区三区| 久久天天天| 六月婷婷九月丁香亚洲综合| 99热这里是精品| 午夜婷婷久久 | 久热中文字幕在线线观看| 99九九精品| 婷婷五月天性爱视频| 亚洲丁香五月深爱五月| 天天操天天干天天日| 亚洲成人无码专区| 深爱五月月天| 成人性爱无码| 99视频内射三四| 亚洲人妻电影| 99热这里| 99色综合久久| 久久这里只有精品07 | 在线中文字幕视频| 国产激情婷婷| 99视频免费播放| 99热在线99| yellow视频在线观看91| 97人人操人| 色青五月天| 99无码视频| 五月停亭六月,六月停亭的英语 | 亚洲天堂青草| 五月丁香六月婷婷玖玖| 91狠狠色| 成人在线日韩欧美| 99视频这里只有久久精品| 激情视频网址| 超碰操网| 丁香五月天亚洲视频| 婷婷丁香五月综合网| 五月丁香爱婷婷深深| 26uuu精品一区二区| 丁香五月婷婷影视先锋| 婷婷六月久久| 五月丁香啪| 色九九综合| 成人视屏在线观看| 色天使色婷婷| 丁香婷婷五月综合| 久久久九九视频精品18| 99热99精品在线观看| 婷色五月| 丁香丁香激情网| 26uuu日韩| 狠狠狠狠狠狠色| 91狠狠色丁香| 五月天婷婷綜合院| 九九色播五月丁香| 日本乱论99| 婷婷五月丁香伊人网| 狠狠CAO日日穞夜夜穞AV | 国产亚洲色婷婷99精品| 亚洲av成人在线| 色噜噜夜夜夜综合网| 色天堂A| 欧美日韩二区在线| 色色aⅤ網| 五月婷婷玖玖综合玖玖爱| www.狠狠干com| 99热草草| jiqingliuyuetian| 综合激情九月婷婷,激情综合婷婷中文字 | 久操欧美在线观看97| 爱狠射| 色综合网页| 亚洲精品V天堂中文字幕| 综合啪啪| 婷婷色五月亚洲| 天天色五月婷婷91久久久久久久| 五月丁香综合激情网| 秋霞影音91人妻久久| 国产免费av网站| 婷婷五月天AV| 综合激情在线视频| 丁香久久久| 日本色爽| 99愛国产| 亚洲免费99| 99热亚洲| 丁香婷婷人妻| 超碰人人摸AV| 1024AV视频| 激情精品久久| 欧美丁香婷婷五月| wuyuedingxiang99| 五月天色影院| 婷婷激情五月天在线视频| 久久97久久99久久综合欧美| 五月天伊人日日噜影片AV| 激情九月丁香婷婷| 五月婷婷综合在线视频小说| 久9免费视频| 99热这里有精力| 激情小说五月天中文字幕| 先锋影音男人的天堂AV| 大婷婷色呦呦噜噜色呦呦噜噜| 少妇高潮一区二区三区99欧美| 大香蕉520| 激情五月天噢美| 色啪久 | 色9色| 任你弄在线视频免费| 可以免费观看的AV| 亚洲av网站在线观看| 婷婷久久久| 五月丁香六月香综合激情| 97热在线精品| 人妻AV在线| 五月成人综合| 久99综合婷婷| 丰满老熟妇BBBBB搡BBB| 精品国产va久久久| www.91婷婷| 秋霞A V毛片| 欧美久久五月婷婷| 色级婷婷| 色久天| 五月停停丁香| 丝袜人妻| av大片在线| 综合色五月天| 丁香久久五月天视频在线观看| 日本在线观看aaa 99| 97色婷婷| 99热只有精| 1024国产| 久久婷婷综合五月| 操一区| 色五月成人在线| 亚韩在线视频| 亚洲av电影在线| 久久婷婷色综合| 色五月视频无码播放| 九月综合| 亚洲人人操| 久久激情网| 免费色色色| 亚州综合色| 少妇被躁爽到高潮无码文| 丁香五月天婷婷中文字幕| 色宗合,宗合网| 久热精品在看| 午夜性做爰电影| 五月婷婷六月丁香在线视频| 国产VA播放| 久久精品五月| 五月丁香影院| 大天天伊人| 噜噜噜精品欧美成人在线观看| 久久玖玖综合| 99热99色| 欧美精品啪啪| 激情小说 五月天| 二色av| 色碰97| 国产肥白大熟妇BBBB视频| 秋霞A V毛片| 色五开心五月五月深深爱| 激情综合啪啪啪| 99热999| 国产无遮挡又黄又爽免费网站| 久久92| 丁香五月婷综合网| 79亚洲精品少妇| AAA久久久| 五月丁香婷婷色播无码| 影音先锋女人AA鲁色资源| 亚洲综合视频网| 五月丁香六月婷婷网站| 开心深爱五月天| 大香蕉天堂| 99精品网址| site:pnnrt.com|