欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

大模型原理與實戰(zhàn):從注意力機制到LoRA微調(diào)

大模型原理與實戰(zhàn):從注意力機制到LoRA微調(diào) 第十節(jié)課了。跟我把前面九節(jié)課跟下來的同學(xué)應(yīng)該有個感覺深度學(xué)習(xí)這條路前面學(xué)的都是“部件級”的東西神經(jīng)網(wǎng)絡(luò)、損失函數(shù)、卷積、循環(huán)網(wǎng)絡(luò)一個個積木搭起來最后總能搭出點東西。這節(jié)課換一個畫風(fēng)直接聊當(dāng)下繞不開的大模型。這節(jié)課我想解決三個問題大模型的原理到底是怎么回事它跟前面學(xué)的小模型差別在哪里以及手里只有一張顯卡的時候你能怎么玩內(nèi)容不追求論文級別的嚴謹?shù)非舐犕昴苌鲜衷摻o出來的代碼、參數(shù)、踩坑位置一個都不少。1. 大模型到底是什么從三個維度看懂它“大”在哪里1.1 從統(tǒng)計語言模型到大模型的進化思路要說大模型得先回到語言模型這個老概念。語言模型的任務(wù)用一句話說給定前面的一串詞預(yù)測下一個詞是什么。早期靠 n-gram 做統(tǒng)計比如統(tǒng)計“我今天”后面出現(xiàn)“吃飯”的次數(shù)用頻率當(dāng)概率。這套東西的問題非常致命數(shù)據(jù)稀疏稍微長一點的詞組組合根本沒見過概率直接就是零。后來有了循環(huán)神經(jīng)網(wǎng)絡(luò)把序列壓縮成一個隱藏狀態(tài)理論上能記住更長的信息可它有兩個毛病——訓(xùn)練速度慢長距離依賴還是會逐漸衰減。真正改變格局的是注意力機制的出現(xiàn)它讓序列里的任意兩個位置可以直接發(fā)生交互不再需要信息一步步往后傳與此同時計算還能大規(guī)模并行。于是模型的規(guī)模開始不受控制地往上漲語言模型也正式從小模型階段進入大模型階段。這個進化過程其實透露了一個關(guān)鍵信息大模型不是憑空長出來的它是“語言模型”這個老思路在算力、數(shù)據(jù)雙重加持下走到極致的產(chǎn)物。你前面學(xué)的 Transformer就是大模型的底座現(xiàn)在所有主流大模型的骨架都能在它身上找到影子。理解這一點后面看新聞、看論文都不會覺得飄。1.2 參數(shù)、數(shù)據(jù)、算力這三筆賬大模型的“大”到底體現(xiàn)在哪我習(xí)慣拆成三筆賬。第一筆是參數(shù)賬早期小模型百萬級參數(shù)現(xiàn)在開源社區(qū)里常見的規(guī)模是 7B、13B、70B字母 B 代表十億。一個 70 億參數(shù)的模型用半精度存下來權(quán)重文件就 14GB 左右你下載下來都能明顯感覺到這已經(jīng)不是一個能隨便塞進內(nèi)存的小文件了。第二筆是數(shù)據(jù)賬預(yù)訓(xùn)練階段用的不是多少萬條數(shù)據(jù)而是幾 TB 甚至幾十 TB 的純文本切成 token 之后動輒幾千億個。第三筆是算力賬從頭訓(xùn)練一個 7B 模型需要幾十上百張顯卡連續(xù)跑好幾個月電費和機器成本都是天文數(shù)字。這三筆賬連在一起就解釋了一個新手最常見的困惑為什么大模型不能像前面教程里那樣隨便訓(xùn)因為它是“三高”產(chǎn)物——高參數(shù)、高數(shù)據(jù)、高算力。這也是為什么絕大多數(shù)人接觸大模型不是從訓(xùn)練開始而是從微調(diào)和調(diào)用開始。這不是妥協(xié)而是成本結(jié)構(gòu)決定的現(xiàn)實。1.3 為什么這幾年才突然爆發(fā)很多人會問注意力機制和 Transformer 不是早就有了嗎為什么這幾年才火我的理解是三個條件同時到位了。第一是算力這幾年 GPU 的算力密度提升了一個量級大規(guī)模分布式訓(xùn)練變得成熟以前想都不敢想的集群現(xiàn)在能跑起來了第二是數(shù)據(jù)互聯(lián)網(wǎng)積累了海量文本清洗之后足夠喂飽大模型第三是范式大家終于摸索出“預(yù)訓(xùn)練 大規(guī)模后訓(xùn)練”這條穩(wěn)定可復(fù)制的技術(shù)路線再加上一批開放權(quán)重的模型出現(xiàn)把門檻從頂級實驗室拉到了普通開發(fā)者面前。技術(shù)爆發(fā)從來不是一個靈光一閃而是基礎(chǔ)設(shè)施、數(shù)據(jù)和技術(shù)路線一起堆出來的結(jié)果。對學(xué)習(xí)者來說這也意味著你沒必要神化大模型——它的原理你完全能學(xué)會而且后面幾節(jié)的操作課你會發(fā)現(xiàn)門檻遠比想象中低。2. 大模型核心原理拆解注意力、預(yù)訓(xùn)練與對齊機制2.1 注意力機制大模型的“內(nèi)功心法”要說大模型為什么強繞不開注意力機制。我上課時喜歡打一個比方你在圖書館查資料手里有個問題Query所有書的標題是 Key正文內(nèi)容就是 Value。你先拿著問題在標題里掃一遍找出最相關(guān)的幾本書然后打開這些書的正文把最有用的段落摘出來組合成自己的筆記。注意力機制做的事情一模一樣序列里的每個詞都會生成三個向量Query、Key、Value計算時用當(dāng)前詞的 Query 去和所有詞的 Key 做點積得到相似度再經(jīng)過 softmax 歸一化成權(quán)重最后按權(quán)重把對應(yīng)的 Value 加權(quán)求和。哪個詞跟你當(dāng)前語義越相關(guān)它的信息貢獻就越大。有人會問這三個向量是哪兒來的其實就是輸入向量分別乘上三個可學(xué)習(xí)的權(quán)重矩陣訓(xùn)練過程中會自動調(diào)整這幾個矩陣讓模型學(xué)會“該關(guān)注哪”。模型不可能只用一套規(guī)則看關(guān)系于是有了多頭注意力把注意力切成多個頭每個頭在獨立的投影空間里學(xué)習(xí)不同的關(guān)系模式有的頭關(guān)注語法有的頭關(guān)注指代有的頭關(guān)注遠程依賴。最后把所有頭的結(jié)果拼起來再做一次線性變換信息就串起來了。同時為了不讓模型把句子當(dāng)成詞袋還要給每個位置注入位置信息這就是位置編碼的作用。這一整套設(shè)計就是大模型能把長句子讀明白的根本原因。2.2 預(yù)訓(xùn)練階段模型的“自我修煉”有了骨架接下來就是填內(nèi)容。大模型在預(yù)訓(xùn)練階段做的事說白了就是“瘋狂做預(yù)測題”。最常見的是自回歸任務(wù)把一段文本的前面部分喂給模型讓它預(yù)測下一個詞是誰然后跟真實答案算交叉熵損失反向傳播更新參數(shù)。就這么一個看似簡單的任務(wù)在海量文本上反復(fù)做模型被迫學(xué)會了語法、事實知識、邏輯關(guān)系、常識判斷。你可能覺得不可思議預(yù)測下一個詞怎么能學(xué)會那么多東西語言本身就是高度壓縮的知識載體。為了把下一個詞預(yù)測準模型必須建模詞與詞之間的復(fù)雜關(guān)系這個建模過程就是在隱式地學(xué)習(xí)世界知識。比如文本里反復(fù)出現(xiàn)“北京是中國的首都”模型為了預(yù)測“北京”后面的詞就必須把“北京”“中國”“首都”這幾個概念之間的關(guān)聯(lián)編碼進去。訓(xùn)練到后期這些關(guān)聯(lián)會泛化成它的“常識”。預(yù)訓(xùn)練階段是計算量最大的階段也是大模型性價比最高的一段同樣的參數(shù)訓(xùn)練數(shù)據(jù)越多性能越好。2.3 規(guī)模定律與涌現(xiàn)能力為什么大家都在堆參數(shù)這里引出一個關(guān)鍵規(guī)律規(guī)模定律。研究者做了大量實驗把模型參數(shù)量、訓(xùn)練數(shù)據(jù)量、算力投入和最終損失放到對數(shù)坐標下發(fā)現(xiàn)它們之間基本是一條直線關(guān)系。翻譯成人話只要數(shù)據(jù)和算力一起漲模型能力就穩(wěn)定地漲前期的投入每一次都沒有白費。這個發(fā)現(xiàn)直接改變了行業(yè)游戲規(guī)則大家不再糾結(jié)某個技巧行不行而是先把規(guī)模堆上去技術(shù)路線前所未有地清晰。還有一個現(xiàn)象更有意思涌現(xiàn)能力。某些能力比如多步數(shù)學(xué)推理、指令跟隨在模型規(guī)模超過某個閾值之前幾乎為零超過閾值之后突然大幅提升。就像水加熱到 100 度才沸騰之前看著沒什么變化過了那個點就沸騰給你看。不過這里我要潑一盆冷水規(guī)模定律不是免死金牌數(shù)據(jù)質(zhì)量、模型結(jié)構(gòu)、訓(xùn)練穩(wěn)定性照樣能毀掉一切超大規(guī)模優(yōu)勢。很多團隊盲目堆參數(shù)結(jié)果訓(xùn)練不穩(wěn)定損失炸了錢也白花了這我見過不少次。2.4 對齊與微調(diào)讓模型懂規(guī)矩預(yù)訓(xùn)練結(jié)束的模型能接下文但未必會“好好說話”。它會一本正經(jīng)地續(xù)寫卻不一定回答你的問題說話方式也和人類對話習(xí)慣差很遠。所以還需要后訓(xùn)練階段業(yè)內(nèi)叫“對齊”。第一步是監(jiān)督微調(diào)也叫 SFT準備大量“用戶提問-標準答案”這樣的高質(zhì)量對話樣本讓模型照著學(xué)格式和語氣。第二步是強化學(xué)習(xí)對齊以前最常用的是 RLHF 路線先訓(xùn)練一個獎勵模型對人類偏好數(shù)據(jù)打分再用強化學(xué)習(xí)算法去調(diào)整生成策略讓模型輸出更符合人類偏好。后來社區(qū)又提出了一些更輕量的方案比如直接偏好優(yōu)化省去訓(xùn)練獎勵模型的一整套流程成本低了不少。對個人玩家來說最常接觸的可能不是這些重型對齊流程而是參數(shù)高效微調(diào)代表方案就是 LoRA。LoRA 的核心思路是凍結(jié)原有權(quán)重只訓(xùn)練一小部分低秩增量矩陣效果接近全量微調(diào)顯存和耗時卻能省一個量級。這一節(jié)后面實操我會帶你完整跑一遍 LoRA 微調(diào)現(xiàn)在先記住這個詞它是普通開發(fā)者接觸大模型最劃算的入口。3. 大模型訓(xùn)練完整路線圖從數(shù)據(jù)到評測少走彎路3.1 先想清楚目標預(yù)訓(xùn)練、微調(diào)還是直接調(diào)用講完原理聊路線。很多人一上來就問怎么訓(xùn)練一個自己的大模型我的第一個建議是先搞清楚自己到底需要什么。我把常見路子列成一張表路線成本數(shù)據(jù)要求適合場景全量預(yù)訓(xùn)練極高需要算力集群和數(shù)月時間TB 級文本研究底層、打造基礎(chǔ)模型繼續(xù)預(yù)訓(xùn)練或全量微調(diào)中等偏上單卡到幾卡可啟動百萬級起步的領(lǐng)域文本或?qū)υ挃?shù)據(jù)讓模型懂某個專業(yè)領(lǐng)域LoRA 參數(shù)高效微調(diào)較低消費級顯卡可跑幾千到幾十萬條高質(zhì)量樣本改變風(fēng)格、學(xué)會特定任務(wù)調(diào)用現(xiàn)成模型 API最低按量付費無需準備數(shù)據(jù)快速驗證產(chǎn)品想法我的經(jīng)驗是90% 的業(yè)務(wù)問題根本不需要訓(xùn)練先試調(diào)用或者輕量微調(diào)只有當(dāng)你發(fā)現(xiàn)模型在某個專業(yè)領(lǐng)域反復(fù)翻車、手上數(shù)據(jù)又多得能撐得起訓(xùn)練的時候才考慮繼續(xù)預(yù)訓(xùn)練。一上來就堆算力從頭訓(xùn)練大概率是給服務(wù)器商送錢。新手尤其要警惕“訓(xùn)練模型才叫真做 AI”的心態(tài)先跑通最小閉環(huán)再談規(guī)模。3.2 數(shù)據(jù)準備清洗、去重與配比一個都不能少如果決定訓(xùn)練那第一件事就是伺候數(shù)據(jù)。數(shù)據(jù)是大模型的命根子這句話我說一萬遍都不嫌多。網(wǎng)上能拿到很多開源語料但直接丟進去訓(xùn)練出來的模型會臟得沒法看。標準流程大致如下第一是文檔級去重把幾十個網(wǎng)頁里重復(fù)出現(xiàn)的段落干掉防止模型某段話背得滾瓜爛熟別的知識一概不知第二是內(nèi)容過濾廣告、標簽、亂碼、無意義內(nèi)容一律剔除第三是質(zhì)量篩選用規(guī)則或者小模型打分留下的語料要像樣第四是配比設(shè)計通用文本、代碼、數(shù)學(xué)題、多語種按什么比例混非常重要。舉個例子想讓模型會寫代碼代碼語料的比例就得明顯提高想讓模型邏輯好數(shù)學(xué)和推理文本就得多放。數(shù)據(jù)清洗不是一次性工作通常要迭代好幾輪每次訓(xùn)練完看模型表現(xiàn)再回頭調(diào)整數(shù)據(jù)。我見過一個團隊數(shù)據(jù)配比里通用文本占 99%代碼只給一點點模型代碼能力怎么訓(xùn)都上不來后來把代碼語料提到 20%效果立刻不一樣。數(shù)據(jù)比例就是這么敏感。3.3 分布式訓(xùn)練與顯存優(yōu)化一張卡也能玩的技巧數(shù)據(jù)準備好了接著是訓(xùn)練工程。大模型權(quán)重動輒幾十 GB一張卡根本裝不下所以要用分布式策略。最常見的三種切法數(shù)據(jù)并行每個顯卡拿到一份模型副本和不同批次的數(shù)據(jù)算完梯度再同步更新適合數(shù)據(jù)量大、模型單卡能放下的情況張量并行把單個層的計算切到多張卡上適合模型太大裝不進一張卡的情況流水線并行按層把模型切成幾段每張卡負責(zé)一段像工廠流水線一樣接力。實際訓(xùn)練往往是三種并行組合使用業(yè)界叫 3D 并行。不想搞集群的個人玩家更關(guān)心的是顯存優(yōu)化三板斧。第一招混合精度訓(xùn)練用半精度存梯度和激活值顯存直接省一半第二招梯度累積顯存不夠就攢幾個小批次的梯度再更新等效于把批次變大又不增加顯存壓力第三招梯度檢查點故意不保存中間激活值用到的時候重算一次用計算換顯存。還有 ZeRO 這類優(yōu)化器狀態(tài)切分方案能把顯存占用進一步壓低。個人做微調(diào)尤其要會用這些不然模型權(quán)重 14GB顯卡顯存 16GB還沒開訓(xùn)就爆了。3.4 模型評測公開榜單不是唯一標準訓(xùn)練完或者微調(diào)完怎么知道它行不行我給三個層次的評測方法。第一層是標準基準測試跑通用問答、數(shù)學(xué)、代碼、推理這些公開榜主要用來橫向比較模型之間的差距缺點是公開榜單容易被刷分數(shù)虛高。第二層是人工對比把兩個模型的回答放在一起盲測讓打分的人憑直覺選更好的一邊計算勝率。這個方法最貼近真實使用感受勝率比跑分可靠得多邏輯很簡單用戶不在乎你的測試分數(shù)只在乎你答得爽不爽。第三層也是我特別強調(diào)的用你自己的業(yè)務(wù)數(shù)據(jù)做評測哪怕只有一百條真實問題把模型跑一遍逐條看輸出質(zhì)量。很多同學(xué)拿公開榜單的高分模型做自家業(yè)務(wù)效果慘不忍睹原因就是榜單數(shù)據(jù)分布和你的業(yè)務(wù)數(shù)據(jù)分布完全不同。記住通用指標只能作為參考最終拍板的一定是你場景里的真實表現(xiàn)。這個道理放到任何模型身上都成立。4. 本地部署與 LoRA 微調(diào)實操跑通最小閉環(huán)4.1 環(huán)境準備與模型選型先跑通小的再往大了換理論知識講完了進入動手環(huán)節(jié)。我們的目標很樸素在自己電腦上跑一個能對話的大模型最好還能微調(diào)一下。先說環(huán)境一臺帶獨立顯卡的機器顯存 8GB 起步16GB 以上體驗會好很多如果沒有顯卡用純 CPU 也能跑小模型就是慢生成一句話能等半天。軟件方面裝好 Python再把深度學(xué)習(xí)框架和 transformers 這套生態(tài)裝齊pip install torch transformers accelerate sentencepiece pip install peft # 微調(diào)用的參數(shù)高效庫裝好之后選模型。我強烈建議新手先選一個 1B 到 3B 級別的開源對話模型不要一上來就上 70B。顯存 8GB 的時候選量化后的 3B 模型顯存 16GB 可以跑 7B 的量化版本顯存 24GB 以上7B 全精度基本沒問題。記住一個原則模型能跑起來永遠比模型大重要。先跑通一個小的再往大了換這個順序能救你的頭發(fā)。提示新手最大的錯覺是“顯存夠模型一定跑得動”。實際上模型加載進顯存后推理和訓(xùn)練還要額外占用大量顯存預(yù)留空間不足一樣會崩潰。4.2 十分鐘跑通第一次本地推理以 transformers 為例加載一個開源對話模型并讓它說話的代碼非常短。這里我用占位符代替具體模型名你把它換成自己下載好的開源權(quán)重路徑即可from transformers import AutoTokenizer, AutoModelForCausalLM model_path /your/local/model-path # 換成實際模型路徑 tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto) prompt 請用一句話解釋什么是注意力機制。 inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokens256, do_sampleTrue, temperature0.7, top_p0.9, ) answer tokenizer.decode(outputs[0][inputs[input_ids].shape[1]:], skip_special_tokensTrue) print(answer)幾個參數(shù)值得解釋一下。max_new_tokens 控制最多生成多少個新詞太長拖慢響應(yīng)太短可能說不完temperature 控制隨機性值越大越發(fā)散越小越保守日常問答我喜歡 0.7top_p 是做核采樣只從累計概率前 90% 的詞里抽能有效過濾低概率垃圾詞。跑通這段代碼你就已經(jīng)完成了一個本地大模型的最小閉環(huán)。別小看這一步很多人卡在環(huán)境配置上好幾個小時折騰一次就長記性了。4.3 LoRA 微調(diào)實戰(zhàn)讓模型學(xué)會客服風(fēng)格推理跑通之后做更有價值的事情微調(diào)。這里用一個最經(jīng)典的場景演示——讓模型學(xué)會客服式的回答風(fēng)格。第一步準備數(shù)據(jù)格式是 JSONL 文件每一行一個樣本{instruction: 你好, response: 您好很高興為您服務(wù)請問有什么可以幫您} {instruction: 能介紹一下退款流程嗎, response: 您好退款會在申請后的三個工作日內(nèi)原路返回賬戶請您耐心等待。}幾百條這樣的樣本就能把風(fēng)格掰過來。第二步寫 LoRA 訓(xùn)練腳本核心是配置一個 LoRA 配置對象from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, # 低秩矩陣的秩越大表達能力越強顯存占用越高 lora_alpha16, # 縮放系數(shù)影響更新強度 lora_dropout0.05, target_modules[q_proj, v_proj], # 只改注意力層里的投影矩陣 ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 會看到可訓(xùn)練參數(shù)占比非常小第三步定義訓(xùn)練參數(shù)并啟動訓(xùn)練。批次大小看顯存定學(xué)習(xí)率用 2e-5 這種小值跑幾個 epoch一邊跑一邊看損失下降。訓(xùn)練完成后LoRA 只會保存一個很小的適配器文件幾十 MB 到幾百 MB 不等加載和分享都極其方便。整套流程跑下來你會有個直觀感受訓(xùn)一個模型原來比想象中便宜得多這就是參數(shù)高效微調(diào)的價值。如果你想讓模型學(xué)會某種語氣、某個領(lǐng)域的問答套路這個套路基本是通用解。4.4 落地上線把模型封裝成輕量服務(wù)微調(diào)完的模型不能總待在命令行里。我習(xí)慣用一個輕量 HTTP 服務(wù)把它包起來這樣前端頁面、測試腳本都能直接調(diào)用。核心思路是加載一次模型到顯存然后循環(huán)接受請求把文本丟給模型生成再把結(jié)果返回。生產(chǎn)級實現(xiàn)要考慮并發(fā)、超時、流式輸出但最小版本用幾十行代碼就能搭出來。另一個實用操作是量化部署把模型權(quán)重從半精度壓到 8bit 甚至 4bit顯存占用直接砍半再砍半。代價是速度和精度略有損失但很多對話場景完全夠用。部署之后建議打印時間戳測算生成速度。按自回歸方式生成的解碼器7B 模型通常每秒幾個到十幾個 token你在心里有個預(yù)期就行別指望它能像本地搜索一樣零延遲。這一步做完你就擁有了一個能對外提供服務(wù)的本地大模型雖然簡陋但完整閉環(huán)已經(jīng)成立。后續(xù)再想接業(yè)務(wù)、做檢索增強都是在這個骨架上加肉。5. 大模型實踐避坑指南顯存、Loss 與幻覺排查5.1 顯存溢出從 OOM 報錯到成功訓(xùn)練先說我踩過最多次的坑顯存溢出。報錯就是很經(jīng)典的一句 CUDA out of memory。第一次遇到別慌按順序排查第一步確認顯存是不是被別的進程占了用系統(tǒng)自帶顯卡監(jiān)控命令看一眼占用情況我之前經(jīng)常發(fā)現(xiàn)自己明明沒開幾個程序顯存卻被一個殘留進程占掉大半第二步把批次大小 batch size 調(diào)小甚至調(diào)到 1這一步在微調(diào)時能立刻救急第三步切換到混合精度或量化加載第四步開梯度檢查點最后實在不行就是模型規(guī)模選大了換個更小的版本。我的血淚經(jīng)驗是預(yù)算顯存的時候除了權(quán)重還要預(yù)留激活值、梯度和中間緩存。所以不要天真地覺得 14GB 權(quán)重的模型在 16GB 顯存里就能輕松訓(xùn)練。開訓(xùn)之前先跑一次小批次推理和一次單步訓(xùn)練把顯存水位摸清楚再放大批次。寧可先穩(wěn)后快也不要一上來就追求大 batch崩一次就得重來一次。5.2 訓(xùn)練不收斂或 loss 異??匆?guī)律就行第二個高頻問題來自訓(xùn)練階段損失不降或者亂跳。只要看日志規(guī)律基本能七成定位原因。如果損失發(fā)散射爆越訓(xùn)越大十有八九是學(xué)習(xí)率太高尤其用 1e-4 甚至更大的學(xué)習(xí)率微調(diào)時經(jīng)常發(fā)生降到 2e-5 量級立馬穩(wěn)住如果損失一開始就紋絲不動先檢查數(shù)據(jù)格式是不是錯了是不是所有樣本的標簽都一樣或者存在大量空文本如果訓(xùn)練到一半突然變 NaN多半是混合精度溢出老顯卡對 FP16 支持不夠好一般直接換 BF16。排查技巧上我強烈建議在訓(xùn)練循環(huán)里把梯度范數(shù)打出來。梯度范數(shù)持續(xù)上漲就是訓(xùn)練不穩(wěn)定的前兆這時候調(diào)低學(xué)習(xí)率或加上梯度裁剪能救回不少壞訓(xùn)練。另外加學(xué)習(xí)率預(yù)熱也很有用開頭幾百步從零慢慢升到目標學(xué)習(xí)率能避免訓(xùn)練初期的大震蕩。這些小技巧看著不高級實戰(zhàn)里挽救了我不下十次訓(xùn)練。5.3 生成質(zhì)量差、幻覺多先別急著罵模型模型終于跑起來了又有人抱怨它滿嘴跑火車。先潑盆冷水所有大模型都會幻覺沒人能根除只能緩解。最常見的緩解手段有三個。第一個是調(diào)整解碼參數(shù)把 temperature 調(diào)低比如從 0.7 降到 0.2模型就沒那么愛編了代價是回答變得保守、缺乏新意第二個是給模型補上下文讓模型基于資料來回答這就是檢索增強的思路把相關(guān)知識片段拼到提示詞里再讓它答幻覺會顯著減少第三個是引導(dǎo)它分步思考先列出思路再給結(jié)論復(fù)雜問題翻車概率小很多。另外我特別喜歡在提示詞里加一句“如果不確定請直接說不確定”。多試幾次你會驚訝地發(fā)現(xiàn)輸出穩(wěn)了很多。很多人以為這是玄學(xué)其實本質(zhì)上是給解碼過程加了約束讓模型在低置信度時選擇保守路徑。這個方法免費效果卻比換大模型更立竿見影。5.4 一張避坑速查表貼在手邊隨時看最后把前面所有經(jīng)驗濃縮成一張表方便你貼在手邊癥狀可能原因解決方式CUDA out of memory顯存預(yù)算不足、批次太大調(diào)小批次、開量化、開梯度檢查點、換小模型loss 發(fā)散射爆學(xué)習(xí)率過大降到 2e-5 量級、加學(xué)習(xí)率預(yù)熱、加梯度裁剪loss 全程不動數(shù)據(jù)格式錯誤或標簽單一檢查數(shù)據(jù)清洗確認樣本標簽有區(qū)分度訓(xùn)練中途 NaN半精度溢出換 BF16、降低學(xué)習(xí)率、增加梯度裁剪輸出空洞套話數(shù)據(jù)質(zhì)量差、模型太小清洗數(shù)據(jù)、換更強基座模型回答幻覺嚴重解碼太激進、知識不足調(diào)低 temperature、加檢索增強、給參考資料生成速度慢顯存帶寬不足、未做量化換量化版本、換更高帶寬顯卡、開編譯加速這張表不完整但覆蓋了新手階段 80% 的求救場景。遇事先查表查不到再去針對性搜索效率比裸奔調(diào)試高得多。帶完這一節(jié)我自己最大的體會是大模型的門檻確實被大幅拉低了但知識門檻一點沒低。你還是要懂注意力機制、要懂?dāng)?shù)據(jù)清洗、要懂訓(xùn)練穩(wěn)定性才能玩得轉(zhuǎn)。對想入門的人我的建議很直白別囤資料先把最小案例跑起來再回來補原理兩輪下來比看十篇綜述都管用。這節(jié)課就到這下一節(jié)課咱們聊點更輕快的應(yīng)用層玩法到時候見。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
我爱大香蕉| 激情五月综合网| 农村熟妇高潮精品A片| 99.色| 婷婷五月a| 亚洲色五月婷婷| 玖玖资源站视频| 99久久精品国产色欲| 天天干天天干天天操| 9久热这里只有精品视频| 91综合在线观看| www.狠狠| 亚洲午夜电影| 丰满熟女人妻一区二区三| 91久久久久久| 婷婷婷久久久| 色情五月天导航| 色色国产| 这里只有精品免费| 色婷婷六月天| 天天精品视频免费观看| 天天干、天天日日| 我爱宗和色| 日韩视频女神99| 99热在线观看| 亚洲操人| 91超碰人人操| 综合久久高清| 五月婷婷官网色| 九热在线这里有精品6| 色色色色色色色色色色色色色五月天 | 九九精品婷| 99免费在线| 五月天伊人综合| 国产精品久久在线观看技巧| 色激情综合狠狠婷婷| 久久视频婷婷| 99热高清在线| 日本9区视频| 亚洲精品V天堂中文字幕| www.婷婷.com| 色五月天激情| 欧美99热| 九热视频| 婷婷亚洲综合| 97精品综合| 五月婷婷久久大香蕉| 五月婷婷色激情| 五月婷婷综合色啪首页| 亚洲mm色| www.五月婷婷久久.com| 激情五月婷婷啪啪| 天天拍久久| 亭亭丁香aV| 99男人的天堂| 久久99网站| 99久在线精品99re5热视频| 日韩久操婷婷| 色婷婷丁香社综合| 久久婷婷夜| 91大操| 99热这里有精品| 色色色色热| 久草A片| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 色99日韩| 综合五月丁香六月婷婷| 亚洲精99| 91偷拍视频| 少妇大叫太大太粗太爽了A片| 青青草激情网| 人妻VideOssS人妻| 丁香五月天天| 欧美三日本三级少妇三99| 亚洲色色色色| 99色在线观看| 26uuu精品一区二区| 五月丁香六月香综合激情| 人人操超碰| 大香蕉伊人久久| 天天成人丁香美女AV| 六月婷久久| 99天堂在线观看免费视频| 婷婷五月丁香啪啪| www夜夜操| 久热这里这里有精品| 97人妻碰碰碰久久久久-最近国语高清| 色色色五月婷婷| 人人摸人人摸| 亚洲激情免费视频| 91操人| 六月婷婷视频| 久久久免费精彩视频| 久久这里只有精品无码| 99热在这里只有免费精品| 欧美碰碰| 99精品久久久久久久久| 六月伊人婷婷| 激情网婷婷婷| 狠狠操之狠狠操| 大香蕉中文| 久久3级片| 亚洲精品字幕在线观看| 99精品在这里| 五月天综合色| 激情综合网五月天| 欧美内射AA| 五月色亚洲| A色色| 99热欧| 色欲丁香| 大香蕉天堂| AV中文字幕夜夜操b天天摸bb| 欧美电影在线观看| 三十熟女| 久热大香蕉| 婷婷色情五月| 激情综合九月| 色小说五月天| 欧美交换配乱吟粗大25P| 九月婷婷综合色干| 丁香五月激情啪啪| 韩国婷婷丁香五月| 丁香五月天综合网| 毛片毛片毛片毛片| 色99欧洲色19| 婷婷五月成人系列| 五月天亭亭俺也| 日本熟女一区二区| 熟女激情五月天| 天天天天色天天天天天干| 91dy.av| 亚洲日韩人妻操逼| 久久人妻情侣| 五月天色婷婷网| 五月天激情久色| 欧美性爱特黄一级aaaassss| 综合五月激情网| 丁香六月视频| 这里只有精品视频在线看| 好吊操这里只有精品| 亚洲中文丁香| 五月婷婷综合色啪首页| 色综合色综合色综合| 天天操天天草天天草天天| 9999热这里只有精品| 精品综合五月| 色情五月综合婷婷| 91精品久久久久久| 91狠狠色丁香婷婷综合久久| 色情终和网| 99色在线观看视频者| www.婷婷激情网.com| 91在线观看www| 超碰色女人| 久色激情| 五月丁香六月婷婷,婷| 性爱动图国产麻豆一区二区三区| 色 五月俺去也| 天天天天天天天操| 久久色9| 五月丁香无码| 风流少妇A片一区二区蜜桃 | 五月婷婷性爱| 99色播| 国模淫穴色图| 91要啪| 九九性视频| 激情五月婷婷综合| 亚洲成人综合网在线免费观看| 操逼国产91| 久久久久久9| 五月丁香久久精品在线观看| 中出内射的人妻视频| 色婷婷五月天小说| 另类A片| 五月天成人免费视频| 国产做A爰片毛片A片美国| 久久久久久99日本| 国产成人综合在线| 精品怡红九九九| 国产va视频| 丁香婷婷色五月| 欧美电影在线观看| 超碰资源在线| 99久久思思| 婷婷激情五月天小说校园| 99激情| 亚洲色婷婷| 超碰在线免费观看3 9| 久久久久网站| 色五月激情基地| 五月婷婷之婷婷| 狠狠干五月天| 超爽内射| 亚洲天天免费| 日本色99| 黄色高清无码| 五月天婷综合网站| 一级二级色大片| 五月丁香综合久久| 丁香婷婷网| 99免费超碰在线| 日韩黄色AV无码| 五月激情婷婷图片基地| 五月天播播| 99亚洲精品| 超碰国产在线观看| 六月丁香婷婷在线波多| 激情五月天色色网| 久久99综合网| 26uuu最新地址| 色婷五月| 91超碰在线观看| 五月婷婷丁香六月在线| 激情五月综合亚洲另类| 碰碰人人漕| 成人色情五月天婷婷丁香| 天天日天天色| 丁香婷婷浪潮AV久久综合| 成人色五月天婷婷| 亚洲性爱电影| 3p九色在线| 开心五月婷婷激情| 久久思思热| 亚洲黄色网址| 开心激情色婷婷五月天| 99操逼| 丁香五月 无码| 天天网站天天爽| 97五月久久丁香婷婷| 丁香婷婷老熟女综合网| 99热在线里有精品| 久久九九免费视频| 91操熟女| 久久激情五月婷婷| 丁香五月AV| 99er6热在线观看精品6| 一二线视频 另类| 青青草性爱视频| 女人被男人吃奶到高潮| 97成人丁香| 色色啊| 六月婷婷激情| 亚欧州精品视频| 色五月婷婷在线观看| 丁香五月花| 久久久999精品| 狠狠做婷婷| 亚洲偷| 亚洲天堂AV免费片| 成人片在线播放| 丁香六月激情四射| 五月丁香无码| 另类亚洲2| 婷婷的色色五月天| 久久久大香蕉| 综合五月婷婷| 国产欧美日韩性爱| 99在线免费视频| 91爱操| 原琪琪色影院| 天天色图| 久久激情网| 一逼色综合| 97干欧美| 97人妻碰碰中文无码久热丝袜| 久久久久婷| 色99www.| 99热国内精品| 亚洲久热| 亚洲精品一区中文字幕乱码| 六月色五月天天婷婷| 亚洲精品久久久久AV无码| 99色这里| 无码激情AAAAA片-区区| 婷婷丁香色五月久久88| 91seAV| 欧美美美女性色视频| 色婷小说| 99热在线看| 99热资源在线| 色色五月婷婷| 99热精在线九九久久保| 狠狠爱深色婷婷综合| 五月天久久www| 青草视频在线观看视频| 丁香六月av| 99re视频在线精品| 97色色色视屏| 国自产拍偷拍精品啪啪一区二区 | 成人无码精品1区2区3区免费看| 成人精品一区二区三区四区五区 | 亚洲无码99| 99视频这里只有免费精品| 网站免费一站二站| 天天干肏夜夜| 激情五月丁香亭亭| 停停五月色宗合| www.久久99热地址发布| www.婷婷五月| 欧美大片免费播放器| 婷婷五月AA五月在线| 影音先锋91网站在线观看| 五月婷婷丁香av| 久久亭亭电影| 久久久激情| 都市激情蜜桃婷婷五月天 | 久热超碰91| 婷婷永久在线| 婷婷成人五月天一区| 99天天操夜夜操| 五月天色综合| 色五月之第四色| 久久AAAA片一区二区| 亚洲人成人五月天| www.99久久久| 成人免费120分钟啪啪| 婷婷亚洲色| 六月婷欧美| 性综合网| 夜夜夜夜夜骑撸| 综激情网| 精品人妻在线免费观看| 91人操人人人操人| 五月综合在线婷婷图片| 久热69| 我爱大香蕉| 亚洲噜色| 99操逼| 色噜噜狠狠一区二区三区| 开心婷婷五月花| 亚洲啪啪自拍| 99亚洲精品| 丁香五月六月激情| 五月婷丁香| 另类丁香五月天区图| 五月丁香综合| av在线色五月丁香婷区久| 午夜婷婷久久 | 天天干天天拍| 大婷婷色呦呦噜噜色呦呦噜噜| 久久激情视频99| 久久婷综| 丁香五月激情五月| 99无码视频| 99热精品少| 五月天基地| 国产69久久久欧美黑人A片| 91人人爽久久涩噜噜噜| 五月天色官网| 久热大香蕉| 激情6月| 六月婷婷av| 婷婷五月久久| 激情深爱婷婷网| 婷婷伊人綜合| 1024AV视频| 六月婷婷色综合| 五月天狠狠网| 26uuu亚洲欧美| 思思热天天看| 操九色| 好吊兆人妻| 538在线精品| 99免费热视频在线| 亚洲久久婷婷| 五月色婷婷影视在线电影| 伊人五月天97| 婷色综合| 狠狠婷婷色| 亚洲男女激情| 4399在线日本A片| 伊人午夜综合色啪| 国产精品噜噜在线视频| 日本老女人黄页在线播放| 亚洲正能量欧美| 色婷婷香蕉| 狠狠99| 79色色色色| 五月天播播综合| 久久HD| 色婷婷情片| 狠狠色噜噜狠狠狠狠狠色综合久久| 99视频自拍| 婷婷射丁香| 高清无码入口| 婷婷无码五月天| 九九热短视频在线观看| 欧美噜一噜| 色色网站免费在线视频| 亚洲人妻Av| 丁香97综合| 91九色超碰| 欧洲第一无人区观看| 开心深爱激情网| 丁香六月激情四射| 大香蕉中文| 色噜噜五月天| 久久婷婷五月综合| 思思热视频| 色99欧洲色19| 99免费视频网| 日本色色视频| 国产精品VA在线| 性爱激情久久| 婷婷丁香五月天综合在线日韩| 国产又黄又爽又色的免费| 丁香六月婷婷综合激情欧美| 午夜成人AV在线| 激情av在线| 六月久久婷婷| 丁香五月开心亚洲| 色五月天堂| 婷婷综合色图| 99热亚洲精品| 91chinese在线| 色情综合网| 涩涩五月天| 黄桃AV无码免费一区二区三区| 婷婷九月| 久久婷婷亚洲| 色偷偷AV亚洲男人的天堂| 亚洲激情av| 五月婷婷综合网| 久久丁香| 少妇高潮呻吟A片免费看软件| 极品人妻VIDEOSSS人妻| 色综合五月| 美国不卡视频| 99碰碰| 久操b网| 五月色情婷婷| 亚洲激情视频网| 亚洲九九99精品视频在线播放| 99热大片| 欧美成人色婷婷| 婷婷久久综合| 99这里| 六月丁香久久| 九色99视频| 五月天伊人久久| 狠狠爱婷婷| 91精品久久久久久综合五月天| 美女天天久久| 999热成人在线综合网| 色五月婷婷综合| 日韩另类在线观看| 天天爽天天操| 五月丁香婷婷五月色| 日韩精品在线观看9| 1区2区视频| 99热久| 伊人天天色| 五月天婷婷婷| 五月天婷婷基地| 免费看欧美成人A片无码| 日韩综合成人| 在线天堂9| 欧洲永久精品| 婷婷五月天天aV| www.99热在线| 国产亚洲成AV人片在线观黄桃| 色99xx| 九色自拍| 五区毛片七区毛片| 欧美精产国品一二三区| 中文字幕成人网站| 成人av中文字幕| 欧美美女国产日韩一区二区久| 亚洲激情97五月天| 99久久性爱| 伊人99久久| 99热亚洲| 性色视频| 色五月综合| 久久日本wwww色| 色七七九九| 丁香五月天婷婷久久| 色婷婷激情| 9久久精品| 亚洲成人中文字幕| 天天肏天天插| 婷婷激情综合| 色婷婷最新域名 | 成人国产欧美大片一区| 五月天丁香久久| 五月天欧美 另类小说| 五月天激情啪啪| 9色91视频| 亚洲免费99| 久久婷婷婷婷伊人| 国产 码在线成人网站| 韩国不卡AC视频| 全亚洲最大的婷婷五月天网站COM| 中国激情网| 五月天综合色| 99九九视频| 成人狠狠成人狠狠成人狠狠成人狠狠| 久久超视频| 色色欧美。| 亚洲成人无码网站| 狠狠色噜噜狠狠| 激情五月婷| 99偷拍视频在线日本| 天天干天天干天天干天天干天天干天天| 亚洲av日韩无码| 九九色video| 77799热| 激情99| 久碰久| 伊人五月久久| 色五月播五月| 五月激情啪啪啪| 天天日综合| 狠狠爱成人综合网| 婷婷五月免费观看| 五月天开心网| 91色色色| 久久久WWW| 精品AV无码超碰| 色色综合日韩| 九九99精品视频在线观看| 日本色99| 国产精品视频免费看| 五月丁香另类网| 极品 少妇 内射| 五月天啪啪啪| 婷婷视频网| 98色花堂98t.R| 99玖玖视频| 欧美va| 欧美私人家庭影院| 久久久er热| 99这里有精品| 婷婷激情五月天天天开心| 色狠狠色| 九久9精品| 人妻精品在线| 黄网在线播放| 亚洲视频99| 免费黄色片子| 久九色| 91视频一起草| 日夜操B| 色丁香久久| 成人在线网| 久久总和99| 9l视频自拍九色9l视频在线观看| 亚洲一区二区无遮挡A片| 99热6精品| 激情5月婷婷| 天天狠狠色综合| 色婷婷yy久| 开心婷婷五月天激情网| 日hao1区| 久久多色| 婷婷五月在线综合| 亚洲欧洲中文日韩久久AV乱码| 亚洲精品乱码久久久久99| 思思热在线视频精品| 色亚洲视频| 免费无码毛片一区二区A片 | 中文字幕五月久久婷婷| 免费AV在线| 久久激情五月天| 九九热黄色| 天天射影| www.色五月| 久久这里只有精品视频1| 色婷小说| 2017人人操| 亚洲高清在线| 亚洲国产精品VA在线看黑人| 成人精品99| 人妻在线网站| 久久ww| 五月婷婷丁香五月亚洲色| 大色鬼综合| 五月丁香婷婷成人综合网| 色婷婷女优有码五月亭| 大香蕉综合在线| 五月情丁香色| 视频一区二区在线| 99热成人精品网站| 26uuu青青| 少妇被下春药玩弄A片| 日本在线噜噜| 激情综合色图| 婷婷五月天激情网| 婷婷五月天激情五月天深爱五月天| 超碰在线观看成人视| 久久色婷婷| 久色成人| 99热资源在线| 国产av天堂| 亚洲欧美另类在线23p| 991精品在线视频| 五月婷婷丁香| 一本久道综合色婷婷五月| 另类激情五月| AⅤ网站在线看| 99精品国产在热久久婷婷| 男人的天堂999| 色欲AVV| 伊人激情综合网| 国产va在线视频| 久久久91精品| 99热啪啪| 婷婷开心久久| 精品99这里有| 日韩成人电影Av| 婷婷欧美| 激情五月综合| 五月婷无码| 丁香婷婷婷五月综合色情| 欧美精品999| 91婷婷五月天嫩女| 台湾综合丁香五月蜜桃| 金品在线视频99| 色婷五月天| 51国精产品自偷自偷综合 | 日本色99| 亚洲第一成人AV| 在线婷婷| 丁香六月婷婷一区二区三区| 婷婷久久午夜网| 91狼友视频在线观看| 国产亚洲99久久精品| 久久性爰视频这里只有精品| 中文精品久久久久人妻不| 色yeye色综合| 久久AV无码精品人妻系列试探| 91久久五月天| 伊人五月成人| 乱女乱妇熟女熟妇综合网站| 国产成人高清| 99久久婷婷五月| 91欧美| 久久婷婷综合基地| 超碰1999| 操操操操操电影网| 在线va网站| 婷婷午夜综合| 久久99免费视频| 风流少妇A片一区二区蜜桃| 99热播放| 俺去也综合| 99热精品9| 九九视频免费| 大香蕉五月天| 色婷婷五月天成人网| 亚洲图片 丁香婷婷| 99久视频| 色吧五月婷婷| WWW99热| 久久精热| www.色色色色| 色噜综| 五月六月丁香婷婷在线观看| av在线资源| 婷婷婷久久久| 1024欧美日韩精品久久久| 九九婷婷热| 欧美顶级少妇做爰HD| 色五月五月婷婷| 狠狠综合久久| 五月丁香 啪啪| 婷婷五月色激情欧美激情| 久久 视频这里只有精总| 五月丁香婷婷综合激情基地| 国产永久一二一起草| 色婷婷狠狠爱| 五月婷婷久久综合| 亚洲啪啪啪啪| 久久九色| 99色在线| 看黄的网站18禁| 综合激情伊人影视在线| 久操热| 亚洲综合色色| 91玖玖| 久久久99久久| 香蕉久久国产AV一区二区| 婷婷精品在线| 人妻AV在线| 九九av| 五月开心婷婷极品激情| 婷婷五月深情丁香深爱日韩| 99色在线视频观看| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久国产色| 天天狠天天叉| 26uuu欧美激情另类| 日本在线噜噜| 五月激情久久综合网| 伊人久久婷婷五月天激情四射| 99色看这里只有精品| 婷久看人爽| 婷婷玉月丁香五月在线视频| 午夜婷婷五月天在线| 婷婷综合网站| www夜夜| 日本99色| 99婷婷| 五月综合色| 少妇出轨做爰高潮A片| 九九成人电影婷婷| 99啪啪骑| 久久色五月| 日韩性视频| 色久婷婷五月| 精品一区二区三区木瓜| 深爱激情六月天| 91久久九久久九久久九久久九久久 | 五月在线| 99九九久久| 婷婷五月天伊人| 超碰只有精品在线| 五月丁香狠狠爱婷婷综合| 五月五月婷婷| 开心五月婷婷激情| 五月激情偷拍婷婷| 无码人妻一区| 97在线精品| 99热精品在线| 玖玖热99| 玖玖婷婷五月天| 夜夜天天久久婷婷| 思思热久热| 久久色婷婷| 久青草影院| 九九色video| 欧美三级黄色片久久| 开心婷婷五月激情网小说| 色婷婷五月综合网| 国产激情av| 天天日夜夜爽| 超碰激情五月| 色就是色婷婷五月亚洲激情| 色婷婷丁香五月色综合网| 激情五月天网站| 91日本在线观看| 丁香婷婷婷| 色欲婷婷五月天| 狠狠操在线视频| WWW,五月| 97久久人人人干| 日韩精品成人在线| WWW、日本色丁香、co m| 99视频在线精品| 伊人婷婷五月天| 免费在线观看av网站| 日韩性视频| 色婷婷五月综合网| 开心五月婷婷激情| 欧美三级韩国三级日本三斤| 九九亚洲视频| 久久这里只有精品16| 色婷五月天| 亚洲色综合| 99热久久日本| 日日干日日s| 免费视频99| 北京熟妇搡BBBB搡BBBB| 一本色道久久88加勒比—| 色五月开心五月激情五月| 五月天成人在线视频网站| 开心五月色婷婷综合开心网| 色婷婷国产精品综合在线观看| 亚洲激情电影五月天色婷婷丁香一起草 | 热的五码久久精品| 人妻啪啪啪| 色一情一乱一伦一区二区三区| 欧美图片丁香五月天| 性爱电影科技贸易有限公司| 九九aV| 婷婷五月天天激情| 日韩激情婷婷五月天| 9久国产精品| 97偷拍对白视频| 丁香五月激情六月欧亚激情综合导航 | 天天操天天爱天天玩| 九九热这里| 五月婷婷六月丁香首页| 99久久综合网| 99在线观看视频| www网站在线观看| 免费99情趣网视频| 婷婷色在线观看| 日韩有码久久| 久草xx性爱视频| 天天爱天天操| 97超碰综合| 婷婷激情综合| 婷婷中文字幕欧美| 亚洲天天免费| 色五月在线播放| 在线天堂9| 99热99热在线| 影音先锋秋秋五月婷婷| 天天拍天天做视频| 丁香六月激情综合| 亚洲啪啪啪啪| 91综合色| 91人人操| 五月丁香六月婷| 日本色色影院| 五月天婷婷成人| 91在线人| 26uuu精品国产| 91美女艹逼网站| 色综合天天天天做夜夜| 久久综合站| 婷婷激情啪啪| 丁香网站| 丁香五月激情婷婷视频| 久久久WWW| 中文字幕综合| 夜夜爱伊人| 综合激情肏逼网| 夜夜撸日日操| 99内射视频| 99久久网站| 久久99精品久久久| 五月天婷婷丁香六月| 丁香五月天操B| 色婷婷成人影片| 天天日天天插| 亚洲开心激情网| 少妇高潮A片无套内谢麻豆传| 综合亚洲六月婷婷在线| 色99网| 99免费综合网| 激情六月婷婷| 26uuu淫色| 99热久久这里只有精品| 国产伦理精品高清在线观看网站一区二区| 91久久精品无码一区二区三区| 日本黄色在线观看| 一区二区乱码视频| 91大神操美女| 97人人超| 最新日本A片| 人妻AV在线| 成人五月天在线视频在线观看| 午夜少妇在线观看视频| 丁香五月天av| 99操不停| 国产色网站| 五月婷婷六月丁香免费| 香蕉AV777XXX色综合一区| 亚州性爱99| 婷婷色色欧美| 婷婷伊人| 精品九九视频| 岛国资源站| 激情丁香社区| 99 色色吧| 青吴乐视频| 超碰爱爱爱| 久久99热这里只有精品首| 久久人妻熟女一区二区| 色婷婷丁香五月在线观看| 99爽视频| 久久精品一区二区三区四区| 五月丁香在线综合| 超碰在线人人| 99国产精品白浆在线观看免费| 狠狠激情五月天| 欧美色99| 六月成人网| 五月丁香综合网| 精a品a视a频| 欧美A片在线视频免费观看| 五夜丁香| 五月熟妇婷婷久久| 色色五月激情| 婷婷丁香五月综合| 五月丁香六月婷婷开心网| 五月婷婷六月天| 色香蕉精品五夜婷| 9l视频自拍九色9l视频在线观看| 伊人大香五月天| 免费V片在线| 九九热在线99| 999热在线视频| 99色激| 伊人超碰在线| www夜夜操| 五月天久久综合婷婷丁香| 九色婷婷| 色情激情五月婷婷| 激情婷婷六月天| 五月天婷婷爱| 成人色站,在线视频,看片-SS1AV| 婷婷久久婷婷色五月| 99热在线观看免费精品| 五月激情久久| av 一区三区四区| 蜜桃婷婷狠狠久久综合| 五月色丁香| 综合网啪| 日韩精品色| 香蕉久久国产AV一区二区| 人人肏逼视频在线一区二区| 五月天色社区| 综合激情站| 五月婷婷综合激情| 丁香六月婷婷久久高清| 久久婷婷一级片| 综合网亚洲| 婷婷爱五月天| 国产在线另类五月婷婷| 色,激情五月天| 2022人人操人人看| 国产精品第一国产精品| www色婷婷| 色色色色色色色色综合网| 免费日韩99| 日韩成人中文字幕| 97人人干。| www.99热国产| 五月丁香婷婷综合| 久操福利| 99这里只有| 开心五月婷婷在线视频免费观看| 久热9| 色婷婷啪啪啪啪啪啪| www超碰com| 第九色区av天堂| 亚州操人在线视频| 五月丁香色婷婷久久| 午夜丁香五月天综合| 丁香激情合作五月| 色色五月婷| 色婷婷国产精品综合在线观看| 色欲AVV| 最近免费中文字幕大全高清大全1| 色色色欧美| 激情五月天啪啪| 97色色色色色| 亚洲色综久久五月| 婷婷五月天日逼| 99热最新地址在线| 日韩婷婷| 超碰在线看| 蜜臀99精品| 美女五月天| 天天操天天草天天草天天| 欧美天天综合网站上去吧| 性五月激情| 伊人久久婷婷| 超碰99久久| AV色婷婷| 日本久久视频| 丁香六月婷婷综合啪啪| 精品九九网| 婷婷丁香先锋资源网站| www.9色色色| AV片在线观看| 激情五月天婷婷播播久久综合91| 性做久久久久久久免费看| 色五月婷婷基地| 色99网站| 九九在线精品| 五月激情小说| 日韩啪啪网| 色天使久久综合| 亚洲aV写真天天综合网久久| 天天爽夜夜爽夜爽精品| 丁香五月天精品| 天天久久综合| 五月天婷爱综合| 亚洲99视频| 狠狠色综合网站| 六月丁香婷婷六月激情综合| 99热12| 丁香激情综合| 日本色狠狠| 久久久精品人妻| 久久这里有精品| 五月综合色| 成人一级片| 激情五月天丁香| 久久久久久人妻| 色婷婷五月综合| 色一情一乱一伦一区二区三区| 亚洲视频在线观看| 91色性感五月婷婷丁香| 久久丁香网| 99热99| WWW.婷婷五月天.COM| 综合啪啪| 99热6这里之有精品| 天天操九九插| 久热播这里只有精品| 深爱激情丁香| 在线观看免费狠狠色丁香香综合| 成人五月天丁香| 欧美这里只有精品| 99在线精品免费视频| 九九九激情网| 婷婷六月色情| 亚洲啪啪视频| www色婷婷久久综合久色| 欧美97p| 日本va欧美va欧美精品88| 色欧美影院| 五月天婷婷激情小说电影| 黄桃AV无码免费一区二区三区| www.seqingwuyuetian| 中文字幕婷婷在线| 亚洲操精品| 99精品视频在线免费观看| 五月婷久久在线| 色色国产| 第四色五月天| 久草婷婷在线| 99久久五月丁香野外| 色色综合网站| 丁香五月人妻熟女| 色五月 五月婷婷| 思思热在线播放| 色五月婷婷777| 啪啪操操| WWW.激情| 久久99激情丁香婷婷小说网| 伊人久久大香线蕉av最新| 九九视频精品这里只有| 99er精品视频| 99ri精品视频在线观看| 嫩草AV久久伊人妇女超级A| 婷婷性爱综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 欧美韩国日本| 丁香五月婷婷色偷偷| 五月丁香久久精品在线观看 | 欧美成人精品一区二区| 91干在线| 搡BBBB搡BBB搡18 | 六月婷婷色色色| 五月停停直播| 婷婷五月天亚洲| 99热在线观看| 久久人视频| 精热在线综合网| 色情五月停停丁香| 五月丁香六月激情欧美综合| 好叼操在线观看| 九九99在线免费在线观看视频| 精品人妻久久久久久久| 9999三级片| 9视频在线成人网站| 婷婷成人综合| 韩国久久少妇视屏| 久久久中文| 国产特黄色精品一区二区三区精品无广告| 91人妻人人做人碰人人爽九色| 婷婷丁香五月欧美人| 久久婷丁香五月| 综合久久五| av大香蕉| 色婷婷丁香五月天在线观看| 亚洲综合激情五月久久| 精品爆操| www.丁香黄色五月天人与| 大香蕉精品视频| www.婷婷五月.com| 色婷婷成人丁香| 九九热re99re6在线精品| 日本不卡一区二区三区| 91九色丨国产丨爆乳| 五月婷婷综合潮喷| 久久这里只有精品99| 亚洲色基地| 久久人妻情侣| 色噜噜狠狠一区二区三区| 美腿丝袜AV天堂网| 翔田千里无码| 婷婷伊人五月天| 碰人人操| 五月丁香欧美在线| 九九人人操| 丁香九月综合激情| 婷婷五月天在线观看免费| 国外亚洲成AV人片在线观看| 天天操B| www.五月丁香| 久久婷婷五月综合色区| 色七色九九| 91色久| 五月婷婷六月丁香首页| 婷婷丁香激情五月天色色| 996热| 五月色色色| 六月丁香五月婷婷| 丁香五月色激情| 天天撸夜夜爽| 玖玖在线视频| 久久激情视频| 91色吧网| 天天色综| 九九免费精品| 亚洲狠狠丁香婷婷香蕉| 色婷婷4| 天天做天天爱天天高潮| 99ri在线视频| 五月天综合激情网| 色婷成人狠干| 色五月激情婷婷| 爱穴久久| 国产精品色一哟哟| 日本人妻伦在线中文字幕| 日本熟女视频一区二区| 97自拍视频在线| 亚洲AV综合网| 亚洲免费99| 欧美色色色色色色色色色色| 丁香六月欧美| 色情五月天导航| 五月草视频| 精品九九久久| 五月激情婷婷女| 雪千夏麻豆| 五月丁香花激情综合网| 色综色网| 五月丁香六月婷婷婷婷| 婷婷视频在线| 日日懆天天懆| 丁香六月天婷婷色| 天天成人综合视频| 色九四色| 色久激情在线| 91在线人| WWW,五月| 丁香色五月AV在线| 欧美日本另类| 九九精彩久久| 欧美色宗和激情| 色久女| 日本色色网| 九九这里只有精品在线视频| 丁香六月婷婷色XXXXX| 婷婷丁香五月天婷婷| 久久丁香五月| 亚洲精品乱码久久久久99| 欧美成人精品三区综合A片| 婷久看人爽| 四季8848精品成人免费网站| 久久婷婷五月激情网站| 丁香五月之久操视频| 国语精品探花| 人操人人| 欧美色久| 五月婷婷六月丁香免费| 婷婷中文字幕| 五月婷婷免费在线观看| 九九无毛| 国产亚洲精品久久一区二区三区| 超碰在线观看9| 激情小说五月天| 五月丁香激情五月天| 女人被躁到高潮嗷嗷叫小| 丁香五月在线观看完整版| 99在线综合视频| www.97碰碰com| 丁香五月亚洲激情婷婷射| 国产真人做爰视频免费| 99爱精品视频| 97久操视频| 久久婷婷视频| 六月婷婷狠狠色在线观看| 久婷婷视平| z色五月播播久久| 黄网在线免费观看| 99国产精品久久久久久久久久久| 99成人无码| 97人妻碰碰碰久久久久-最近国语高清| 五月停停色色丁香| 五月丁香婷婷福利| 潘金莲AAAAAAAAAA| 久久精品人妻| 婷婷成人网五月天| 在线中文AV| 色色色网站| 激情五月综合网| 久久精品一区二区三区四区| www激情com| 97超碰人人操| 桃色成人网| 噜噜狠狠色| 久久色频| 九九Y精品热播| 激情四射五月天| 久久 这里只有精品1| 探花搜索结果 - 黄上黄| 久久性爱视频网站| 99热这里只有精品无码| 97性视频| 国产无套精品一区二区| 亭亭玉月丁香| 99国产小视频2013| 91国产精品视频播放| 日本在线视频www色| 五月天激情婷婷五月天久久| 狠狠综合区| 能看的av| 人人干av| 99热久只有精品首页| 一区二区aV电影免费看| 亚洲精品婷婷| 另类五月激情| 亚洲色婷婷五月天| 激情五月,色播五月| 丁香婷婷五月综合色情| 五月Huangsewang| 99自拍视频网站| 思思热热久久| 综合AV在线| 男女啪啪视频久 9| 色婷婷久久| 亚洲色情网站| 91综合在线| 伊人丁香五月婷婷潮吹| 九九视频在线观看| 五月激情天天干| 亚洲国产色婷婷| www.精品久9| 国产AV一区二区三区最新精品| 久久人人九| 丁香婷婷五月六月天| 国产成人高清| 亚洲AV成人精品网站在线播放| 色99网站| 看片视频在线免费日产在线看| 六月婷五月丁香| 最新色色五月天| 玖玖九九9999在线观看视频精品| 思思久久99| 荷兰av一级| 久久这里有精品在线观看| 五月丁香久人妻中文| 久激情| 久久黄色片| 五月天综合色| www.9797国产| 五月激情网站| 五月婷婷丁香五月亚洲色| 综合久久9| 久婷自拍视频| 久爱综合| 伊人久久婷婷| 激情综合九月| 开心五月婷婷婷美女| 激情www.98com| 2015好吊操| 99色中文| 婷婷伊人视婷婷婷| 久久婷婷五月天丁香| 91碰碰碰| 99热这里只有精品22| 九九大香视频| 九九视频在线观看| 五月婷婷亞洲中文| 五月天a婷婷伊人|