欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

個(gè)人開發(fā)者LLM領(lǐng)域適配實(shí)戰(zhàn):從繼續(xù)預(yù)訓(xùn)練到RAG部署

個(gè)人開發(fā)者LLM領(lǐng)域適配實(shí)戰(zhàn):從繼續(xù)預(yù)訓(xùn)練到RAG部署 做這行的時(shí)間長(zhǎng)了會(huì)發(fā)現(xiàn)很多人一提到“預(yù)訓(xùn)練語言模型”就自動(dòng)把它和“幾千張顯卡、幾百億參數(shù)”綁定在一起覺得這跟個(gè)人開發(fā)者毫無關(guān)系。但實(shí)際情況完全不是這樣。開源生態(tài)成熟之后個(gè)人開發(fā)者完全有能力走通一條從預(yù)訓(xùn)練到領(lǐng)域適配的完整鏈路拿開源基座模型做繼續(xù)預(yù)訓(xùn)練灌入領(lǐng)域語料再通過指令微調(diào)做行為對(duì)齊最后接上RAG知識(shí)庫并部署成可用服務(wù)。這篇文章是我最近半年跑完這條鏈路的完整復(fù)盤不是路線圖是干完活之后回頭寫的總結(jié)會(huì)盡量多說些文檔里不寫的東西。這套流程適合三類人想把LLM真正用在自己業(yè)務(wù)里的開發(fā)者想搞懂預(yù)訓(xùn)練內(nèi)部機(jī)制但沒有大集群的學(xué)習(xí)者以及接了垂直領(lǐng)域項(xiàng)目、需要從通用模型做出專用模型的交付團(tuán)隊(duì)。整條鏈路涉及的核心關(guān)鍵詞就那么幾個(gè)LLM、預(yù)訓(xùn)練、領(lǐng)域適配但每一個(gè)詞展開后都是一大堆細(xì)節(jié)。下面按我實(shí)際執(zhí)行的順序來講。1. 先想清楚個(gè)人開發(fā)者到底需不需要“從零預(yù)訓(xùn)練”1.1 從Karpathy的llm wiki項(xiàng)目談起我是在GitHub上刷到karpathy的llm wiki項(xiàng)目時(shí)才真正把“個(gè)人開發(fā)者也能碰LLM訓(xùn)練”這件事想明白的。那個(gè)項(xiàng)目不是讓你去復(fù)現(xiàn)一個(gè)GPT級(jí)別的東西而是把LLM背后的每一個(gè)關(guān)鍵環(huán)節(jié)拆成可運(yùn)行、可實(shí)驗(yàn)的最小單元tokenizer怎么訓(xùn)練、embedding怎么初始化、訓(xùn)練穩(wěn)定性怎么保證、loss怎么解讀。它更像一本能跑的教科書。llm wiki項(xiàng)目給我最大的啟發(fā)不是代碼本身而是一句話預(yù)訓(xùn)練不是非黑即白的事你可以只訓(xùn)練一個(gè)十幾層的迷你模型也可以只做其中一個(gè)階段。對(duì)個(gè)人開發(fā)者來說最實(shí)用的理解方式是——預(yù)訓(xùn)練是一個(gè)“連續(xù)譜”從零訓(xùn)練、階段訓(xùn)練、繼續(xù)預(yù)訓(xùn)練、低成本微調(diào)都是這條譜系上的不同位置。你沒必要每次都從零開始但你必須知道每個(gè)位置發(fā)生了什么。1.2 三條路線怎么選實(shí)際操作中個(gè)人開發(fā)者面前有三條路對(duì)應(yīng)不同目標(biāo)和預(yù)算從零預(yù)訓(xùn)練自己造數(shù)據(jù)、自己定詞表、從頭初始化參數(shù)。這條路的數(shù)據(jù)處理量和調(diào)參成本極高通常要幾十億token起步的語料才能讓模型具備基本語言能力。個(gè)人如果抱著學(xué)習(xí)目的推薦用幾千萬token跑一個(gè)小模型做實(shí)驗(yàn)如果是為了交付項(xiàng)目強(qiáng)烈不建議。繼續(xù)預(yù)訓(xùn)練domain-adaptive pretraining在開源基座權(quán)重上用領(lǐng)域語料繼續(xù)訓(xùn)練。這是我在垂直項(xiàng)目里的首選因?yàn)橘Y源需求大幅下降還能讓模型補(bǔ)上領(lǐng)域知識(shí)。直接基座加SFT完全不碰預(yù)訓(xùn)練只做指令微調(diào)。最便宜見效最快但基礎(chǔ)知識(shí)的缺失會(huì)讓效果天花板很低。我的默認(rèn)選擇是第二條路。原因很樸素從零預(yù)訓(xùn)練的大部分成本根本不在顯卡上而在數(shù)據(jù)清洗和訓(xùn)練穩(wěn)定性調(diào)試上。對(duì)一個(gè)只有幾塊消費(fèi)級(jí)顯卡的個(gè)人開發(fā)者來說把時(shí)間花在“讓訓(xùn)練過程不崩潰”上遠(yuǎn)不如把開源基座當(dāng)成“已經(jīng)學(xué)會(huì)了人類語言的大腦”然后用領(lǐng)域語料給它做專業(yè)深造。有個(gè)現(xiàn)象值得注意現(xiàn)在很多人搜“yolo預(yù)訓(xùn)練模型下載”、“resnet預(yù)訓(xùn)練模型權(quán)重”下意識(shí)覺得計(jì)算機(jī)視覺的預(yù)訓(xùn)練模型才是自己夠得著的而LLM的預(yù)訓(xùn)練權(quán)重一樣可以從HuggingFace直接拉下來用本質(zhì)上沒有區(qū)別。預(yù)訓(xùn)練模型的意義在于它已經(jīng)掌握了語言和世界知識(shí)的基礎(chǔ)分布你要做的不是重新教它說話而是讓它懂你的領(lǐng)域。想通這一點(diǎn)個(gè)人開發(fā)者的重心自然就從“如何訓(xùn)練”轉(zhuǎn)移到“如何適配”。2. 數(shù)據(jù)整條流程里最該花時(shí)間的環(huán)節(jié)2.1 數(shù)據(jù)清洗與抽樣領(lǐng)域適配的成敗一半以上由數(shù)據(jù)決定。我從一開始就記住了這個(gè)教訓(xùn)與其花兩周調(diào)參不如花兩周處理數(shù)據(jù)。數(shù)據(jù)工作的優(yōu)先級(jí)遠(yuǎn)高于模型結(jié)構(gòu)、學(xué)習(xí)率這些看著更“技術(shù)”的東西。預(yù)訓(xùn)練和繼續(xù)預(yù)訓(xùn)練對(duì)數(shù)據(jù)質(zhì)量的要求極高臟數(shù)據(jù)帶來的損失往往要訓(xùn)練很久之后才暴露出來那時(shí)想回頭就晚了。我的清洗規(guī)則大致有四條按行去重按段落模糊去重防止同一知識(shí)在不同頁面里的重復(fù)文本反復(fù)訓(xùn)練過濾低質(zhì)量文本包括無標(biāo)點(diǎn)長(zhǎng)串、純亂碼、廣告導(dǎo)航類內(nèi)容以及明顯機(jī)器生成的重復(fù)文本按來源分層抽樣讓權(quán)威文獻(xiàn)、操作手冊(cè)、知識(shí)庫文章、問答記錄按比例混合避免單一來源失衡統(tǒng)一格式去掉多余空行、統(tǒng)一換行符、清理HTML標(biāo)簽殘留。這里有個(gè)細(xì)節(jié)容易忽略清洗環(huán)節(jié)的過濾規(guī)則一定要記錄成配置不要用完就丟。訓(xùn)練效果不好時(shí)90%的排查方向會(huì)指向數(shù)據(jù)如果連“數(shù)據(jù)是怎么來的”都說不清排查就沒法進(jìn)行。2.2 tokenizer詞表到底要不要擴(kuò)繼續(xù)預(yù)訓(xùn)練里最容易被忽略的是tokenizer問題。中文領(lǐng)域項(xiàng)目的痛點(diǎn)尤其典型通用模型的詞表大多是中英混合遇到醫(yī)學(xué)、法律、工程這些專業(yè)領(lǐng)域一個(gè)詞組會(huì)被切成一堆碎片不僅增加序列長(zhǎng)度還讓模型很難學(xué)到穩(wěn)定的“詞義”。比如“肝細(xì)胞癌”這個(gè)詞如果詞表里沒有它分詞器會(huì)切成“肝”加“細(xì)胞”加“癌”每個(gè)token單獨(dú)看都認(rèn)識(shí)但模型要花很大力氣才能把它們關(guān)聯(lián)成一個(gè)完整概念。領(lǐng)域語料里這類專業(yè)復(fù)合詞組一多訓(xùn)練效率就會(huì)明顯下降。解決辦法是擴(kuò)展詞表。在基座模型的tokenizer里新增一批領(lǐng)域詞元然后把新增embedding和lm_head矩陣做隨機(jī)初始化并拼到原有權(quán)重上。這里有個(gè)關(guān)鍵點(diǎn)不能只加詞元不調(diào)權(quán)重否則模型遇到新詞元會(huì)不知所措訓(xùn)練初期loss會(huì)異常飆升。擴(kuò)展之后需要用包含大量新詞元的語料做幾步warmup讓模型先適應(yīng)新embedding的分布。不過詞表擴(kuò)展不是越多越好。我試過一次性加了三萬個(gè)詞元結(jié)果基礎(chǔ)英文能力明顯下降因?yàn)樾略鲈~元稀釋了原詞表的概率分布。后來控制在兩千到五千個(gè)詞元效果最穩(wěn)。2.3 怎么把wiki知識(shí)庫變成訓(xùn)練語料Karpathy llm wiki里有個(gè)思路我特別認(rèn)同把高質(zhì)量、結(jié)構(gòu)化程度高的知識(shí)庫作為預(yù)訓(xùn)練語料的首選來源。實(shí)際項(xiàng)目里我處理過大量wiki類知識(shí)庫總結(jié)出一個(gè)重要差異——同是知識(shí)庫RAG用的源文檔和訓(xùn)練用的語料不是一回事。RAG的源文檔要求短、結(jié)構(gòu)化、檢索友好每個(gè)片段相對(duì)獨(dú)立。訓(xùn)練語料則要求完整、連貫、敘述性強(qiáng)因?yàn)槟P托枰ㄟ^長(zhǎng)文本學(xué)到知識(shí)之間的承接關(guān)系。把wiki上的碎片章節(jié)直接拼起來喂給模型效果通常不好。我的做法是把知識(shí)庫條目重寫成“陳述句段落”。以中藥處方審核方向?yàn)槔也粫?huì)直接把“藥品A與藥品B存在配伍禁忌”這樣的條目丟進(jìn)訓(xùn)練集而是改寫成“在處方審核中藥品A與藥品B聯(lián)合使用時(shí)存在明確的配伍禁忌風(fēng)險(xiǎn)臨床應(yīng)避免同時(shí)開具若確有聯(lián)用需求必須在審方系統(tǒng)中進(jìn)行風(fēng)險(xiǎn)提示。”改寫后模型學(xué)到的不僅是事實(shí)還有事實(shí)的使用語境。這個(gè)過程叫“語料敘述化”是領(lǐng)域適配里性價(jià)比極高的一步。3. 預(yù)訓(xùn)練實(shí)操框架選型與訓(xùn)練細(xì)節(jié)3.1 框架選型與顯存控制個(gè)人開發(fā)者做繼續(xù)預(yù)訓(xùn)練不需要一上來就用重型分布式框架。當(dāng)前可用選項(xiàng)大致有四類框架優(yōu)點(diǎn)缺點(diǎn)適合場(chǎng)景HuggingFace Trainer生態(tài)好、上手快、文檔全大規(guī)模效率一般個(gè)人項(xiàng)目、模型實(shí)驗(yàn)DeepSpeedZeRO分片成熟、顯存可控配置項(xiàng)多、調(diào)試有門檻單機(jī)多卡、中等規(guī)模Megatron-LM3D并行強(qiáng)、訓(xùn)練效率高學(xué)習(xí)成本大、模板重多機(jī)多卡大集群torch titan 類新框架簡(jiǎn)潔、擴(kuò)展性強(qiáng)生態(tài)還在積累愿意折騰的技術(shù)型選手我的選擇是HuggingFace Trainer加DeepSpeed理由特別實(shí)際出問題時(shí)最容易搜到答案。個(gè)人開發(fā)者最怕的不是性能低而是報(bào)錯(cuò)后找不到參考。顯存控制是必答題。繼續(xù)預(yù)訓(xùn)練通常吃顯存最多的部分是優(yōu)化器狀態(tài)光AdamW的fp32狀態(tài)就要占參數(shù)量的12倍空間。用ZeRO Stage 2把優(yōu)化器狀態(tài)分片到多卡再配合梯度累積幾張24GB的卡也能跑7B模型。3.2 關(guān)鍵參數(shù)怎么定分享一組我用下來比較穩(wěn)的起點(diǎn)參數(shù)基于8卡24GB顯存、7B基座模型的場(chǎng)景全局batch size128通過micro batch 4加梯度累積8實(shí)現(xiàn)序列長(zhǎng)度2048不貪長(zhǎng)夠用就行長(zhǎng)了顯存和數(shù)據(jù)處理成本都會(huì)翻倍學(xué)習(xí)率1e-5到2e-5明顯低于SFT階段的學(xué)習(xí)率繼續(xù)預(yù)訓(xùn)練本質(zhì)是“微調(diào)基礎(chǔ)上的微調(diào)”學(xué)率太大會(huì)破壞原有權(quán)重warmup比例3%讓學(xué)習(xí)率先緩后升再緩降。有個(gè)容易被忽略的點(diǎn)是學(xué)習(xí)率調(diào)度器在繼續(xù)預(yù)訓(xùn)練中的作用。我的經(jīng)驗(yàn)是先用500步warmup觀察loss有沒有“跳水式下降”如果沒有問題大概率出在數(shù)據(jù)而不是學(xué)習(xí)率上。訓(xùn)練過程里loss的下降應(yīng)該是平滑的如果曲線出現(xiàn)明顯鋸齒我會(huì)先檢查是不是數(shù)據(jù)批次混合不均而不是急著調(diào)學(xué)習(xí)率。3.3 訓(xùn)練監(jiān)控與loss解讀監(jiān)控是預(yù)訓(xùn)練里唯一能讓“不崩潰”變成“受控”的手段。除了常規(guī)的loss曲線我會(huì)額外記錄三樣?xùn)|西梯度范數(shù)、token級(jí)困惑度、學(xué)習(xí)率實(shí)時(shí)值。loss下降慢并不一定代表訓(xùn)練失敗。有一回我訓(xùn)練一個(gè)法律領(lǐng)域模型loss絕對(duì)值降得很慢但生成質(zhì)量的提升非常明顯。原因是loss值受高頻通用詞影響大領(lǐng)域術(shù)語本身的低頻屬性讓它在全局loss里的占比很小。所以不要只看loss數(shù)字要看生成案例的實(shí)際變化。訓(xùn)練中斷是很常見的事。建議開啟自動(dòng)保存并把checkpoint存在獨(dú)立磁盤分區(qū)上。我吃過一次虧中途磁盤寫滿整個(gè)checkpoint目錄損壞前三天白跑。從那以后我養(yǎng)成了“先把checkpoint同步到另一塊盤再繼續(xù)訓(xùn)練”的習(xí)慣。4. 領(lǐng)域適配繼續(xù)預(yù)訓(xùn)練、指令微調(diào)與偏好對(duì)齊4.1 繼續(xù)預(yù)訓(xùn)練和SFT的分工很多初學(xué)者會(huì)把“預(yù)訓(xùn)練”和“微調(diào)”攪在一起實(shí)際這兩件事解決的是完全不同的問題繼續(xù)預(yù)訓(xùn)練解決“模型知不知道你的領(lǐng)域知識(shí)”指令微調(diào)SFT解決“模型能不能按你的要求回答問題”偏好對(duì)齊DPO等解決“模型更愿意給什么樣的回答”。先后順序有講究。先做繼續(xù)預(yù)訓(xùn)練再做SFT最后做偏好對(duì)齊。如果反過來模型在SFT階段學(xué)到的指令遵循能力很容易被后續(xù)的預(yù)訓(xùn)練破壞掉。這個(gè)順序我實(shí)測(cè)過不可逆。4.2 SFT數(shù)據(jù)格式與label設(shè)計(jì)指令微調(diào)數(shù)據(jù)的基本格式是三段式instruction、input、output。我把它比喻成“教一個(gè)新人做事”說出要求給出背景然后給標(biāo)準(zhǔn)答案。SFT階段的主要工作不是收集海量數(shù)據(jù)而是設(shè)計(jì)高質(zhì)量label。我寫label時(shí)踩過不少坑總結(jié)下來這么幾條label必須只含最終回答不要出現(xiàn)“好的讓我來回答這個(gè)問題”這類寒暄話訓(xùn)練時(shí)模型會(huì)學(xué)這種廢話答案風(fēng)格要統(tǒng)一同一批數(shù)據(jù)里不要一會(huì)兒用正式報(bào)告風(fēng)格、一會(huì)兒用口語風(fēng)格模型學(xué)到的輸出風(fēng)格會(huì)混亂問題要貼近真實(shí)使用場(chǎng)景不要只寫“什么是XX”這種教科書式問題更要覆蓋“我手里的處方里有A和B要不要緊”這類真實(shí)業(yè)務(wù)提問復(fù)雜問題要帶限制條件比如“在不考慮患者過敏史的前提下”之類的約束否則模型會(huì)給一個(gè)籠統(tǒng)模糊的答案。做領(lǐng)域微調(diào)時(shí)我有一個(gè)技巧把之前敘述化的知識(shí)庫段落用prompt模板批量改寫成問答對(duì)。比如給定一段關(guān)于配伍禁忌的陳述要求生成對(duì)應(yīng)的“藥師問、系統(tǒng)答”數(shù)據(jù)。生成之后必須人工抽查清洗因?yàn)槟0迳傻臄?shù)據(jù)會(huì)有不少廢話式回答直接訓(xùn)練會(huì)污染模型風(fēng)格。4.3 DPO偏好對(duì)齊的實(shí)操經(jīng)驗(yàn)偏好對(duì)齊階段個(gè)人開發(fā)者首選DPO而不是傳統(tǒng)RLHF。理由很樸素RLHF需要單獨(dú)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型成本高、穩(wěn)定性差DPO只需要構(gòu)造“好回答/壞回答”成對(duì)數(shù)據(jù)直接在原有SFT模型上微調(diào)即可。DPO的數(shù)據(jù)主體是偏好對(duì)。我自己的做法是讓模型針對(duì)同一問題生成多個(gè)回答然后人工標(biāo)注排序選出最好和最差各一個(gè)。標(biāo)注標(biāo)準(zhǔn)要具體比如“是否直接給出結(jié)論”、“是否包含必要風(fēng)險(xiǎn)提示”、“是否在不確定時(shí)明確說不確定”。DPO訓(xùn)練里有兩個(gè)容易出錯(cuò)的地方。一個(gè)是beta參數(shù)控制偏好對(duì)齊的強(qiáng)度我一般從0.1開始效果不理想再微調(diào)。另一個(gè)是參考模型一定要凍結(jié)如果把參考模型也訓(xùn)練了DPO的損失函數(shù)就沒有了參照基準(zhǔn)。我在早期犯過這個(gè)錯(cuò)誤結(jié)果訓(xùn)練出來的模型輸出變得極端且不可控。5. 知識(shí)庫落地的關(guān)鍵一步RAG與GraphRAG5.1 為什么微調(diào)之后還要RAG領(lǐng)域適配完成后模型對(duì)領(lǐng)域知識(shí)的理解能力會(huì)上一個(gè)臺(tái)階但你很快會(huì)發(fā)現(xiàn)另一個(gè)問題模型里的知識(shí)是凍結(jié)的。知識(shí)庫今天更新了一條審方規(guī)則模型不會(huì)自動(dòng)知道。重新訓(xùn)練一次的成本又太高。這正是RAG存在的意義。預(yù)訓(xùn)練或繼續(xù)預(yù)訓(xùn)練的本質(zhì)是“把知識(shí)壓縮進(jìn)參數(shù)”RAG的本質(zhì)是“把知識(shí)放在模型外面需要時(shí)檢索出來送進(jìn)上下文”。兩者互補(bǔ)。我在實(shí)際項(xiàng)目里的分工是高頻、穩(wěn)定、需要深度推理的知識(shí)放進(jìn)模型參數(shù)低頻、頻繁更新、按條件檢索的知識(shí)放進(jìn)RAG。比如配伍禁忌這類相對(duì)穩(wěn)定的規(guī)則靠預(yù)訓(xùn)練掌握而藥品說明書里的廠商信息、庫存狀態(tài)這類高頻變化的信息靠RAG解決。5.2 本地wiki知識(shí)庫的構(gòu)建流程構(gòu)建wiki知識(shí)庫的流程我梳理成了五步解析wiki dump或爬取頁面把正文抽取出來去掉模板、目錄、導(dǎo)航等噪音做文本切分按語義段落切而不是按固定字?jǐn)?shù)切向量化常用方案是bge或text-embedding類模型把段落轉(zhuǎn)成向量建索引我用過faiss和milvus數(shù)據(jù)量不大時(shí)faiss足夠接檢索把用戶問題和知識(shí)片段同時(shí)向量化做相似度檢索后拼進(jìn)prompt。切分這里要特意講一下。固定256字切分是我用過最省事但效果最差的辦法經(jīng)常把一個(gè)完整概念切斷。我現(xiàn)在傾向于先按markdown標(biāo)題或段落語義切再把過短的片段合并過長(zhǎng)的二次切分。切分的粒度直接影響回答的準(zhǔn)確程度值得花時(shí)間調(diào)。我在一個(gè)本地ERP產(chǎn)品檢索項(xiàng)目里也驗(yàn)證過這條路。把產(chǎn)品手冊(cè)、歷史工單、售前問答整理成知識(shí)庫再通過RAG給客服系統(tǒng)做檢索增強(qiáng)完全沒有重新訓(xùn)練模型只靠prompt模板就做到了“回答帶出處”的效果。對(duì)大多數(shù)業(yè)務(wù)場(chǎng)景來說這已經(jīng)是最劃算的落地方式。5.3 GraphRAG和本體RAG到底好在哪傳統(tǒng)RAG的短板是“只認(rèn)相似不認(rèn)關(guān)系”。向量相似度能幫你找到包含“布洛芬”的段落但很難回答“哪些藥和布洛芬存在相互作用”這種涉及多跳關(guān)系的問題。GraphRAG的思路就是先抽取出文本里的實(shí)體和關(guān)系構(gòu)建成圖再檢索。GraphRAG的落地成本不低。先要把知識(shí)庫里的實(shí)體關(guān)系抽取出來這本身就是一次小型的LLM工程然后存儲(chǔ)圖結(jié)構(gòu)以支持子圖檢索最后把檢索到的路徑拼進(jìn)context。但它對(duì)多跳問題的提升確實(shí)明顯。我在審方知識(shí)庫上試過傳統(tǒng)RAG能回答“A和B能否同服”GraphRAG則能回答“A代謝受影響后與依賴該代謝酶的C藥同服是否有風(fēng)險(xiǎn)”這種問題靠純向量是答不出來的。本體RAG是進(jìn)一步的進(jìn)階方案它用領(lǐng)域本體一套預(yù)先定義好的概念、實(shí)體、關(guān)系框架來約束圖構(gòu)建和檢索過程。不用本體時(shí)GraphRAG抽出來的關(guān)系可能是“A與B相關(guān)”這種泛化關(guān)系用本體約束后關(guān)系會(huì)被規(guī)范成“抑制”、“誘導(dǎo)”、“配伍禁忌”這樣明確的類型檢索結(jié)果的質(zhì)量差別很大。這里的經(jīng)驗(yàn)是本體設(shè)計(jì)要簡(jiǎn)單實(shí)用先覆蓋核心關(guān)系別貪全。貪全的下場(chǎng)是本體維護(hù)工作量爆炸而實(shí)際推理用不上那么多關(guān)系。6. 部署上線ONNX、推理框架與量化6.1 ONNX導(dǎo)出LLM模型的幾個(gè)坑很多個(gè)人開發(fā)者習(xí)慣用PyTorch直接跑模型但交付項(xiàng)目時(shí)ONNX是繞不開的。ONNX的推理性能、跨平臺(tái)能力、與邊緣設(shè)備適配性都好于直接跑PyTorch。我自己在導(dǎo)出時(shí)踩過三個(gè)坑第一個(gè)坑是動(dòng)態(tài)軸沒配置。LLM的輸入長(zhǎng)度是可變的導(dǎo)出時(shí)必須把序列長(zhǎng)度維度標(biāo)記為動(dòng)態(tài)軸否則推理時(shí)換個(gè)長(zhǎng)度就報(bào)錯(cuò)。第二個(gè)坑是注意力掩碼的拼接錯(cuò)誤。生成式推理需要維護(hù)一個(gè)不斷增長(zhǎng)的past key values如果在導(dǎo)出時(shí)就把這部分邏輯寫死后續(xù)擴(kuò)展性會(huì)很差。第三個(gè)坑是精度問題。ONNX默認(rèn)用fp32導(dǎo)出模型文件和推理速度都不理想實(shí)際部署至少要轉(zhuǎn)成fp16。導(dǎo)出完成后一定要先在本地用真實(shí)請(qǐng)求測(cè)一遍確認(rèn)輸出與PyTorch原版一致。我遇到過ONNX導(dǎo)出后個(gè)別token和原模型對(duì)不上的情況排查了很久才發(fā)現(xiàn)是把a(bǔ)ttention mask當(dāng)普通tensor一起量化導(dǎo)致的。6.2 推理框架選型模型部署方式我試過三種純ONNX Runtime、vLLM、llama.cpp。各有各的適用場(chǎng)景。方案特點(diǎn)推薦場(chǎng)景ONNX Runtime跨平臺(tái)、可嵌入桌面/移動(dòng)端單機(jī)或邊緣設(shè)備部署vLLM連續(xù)批處理吞吐高線上API服務(wù)llama.cpp量化支持好CPU可跑本地個(gè)人使用、低配機(jī)器如果服務(wù)是給多人用的API我首選vLLM。它的continuous batching能把多個(gè)請(qǐng)求打包進(jìn)一個(gè)batch吞吐量比逐請(qǐng)求推理高很多。如果只是自己在本地用llama.cpp加GGUF量化是最省心的組合一張16GB顯卡就能流暢跑7B模型。項(xiàng)目交付給客戶做內(nèi)網(wǎng)部署時(shí)我一般選ONNX Runtime因?yàn)樗灰蕾嘝ython環(huán)境打包成一個(gè)服務(wù)就行。6.3 量化與顯存的配合量化是在顯存和效果之間做權(quán)衡。我常用的幾檔配置是fp16效果無損一個(gè)7B模型大概需要14GB到16GB顯存int8效果損失極小顯存降到7GB到9GBint4如GGUF Q4_K_M效果會(huì)有可見損失但顯存只需4GB到6GB。量化對(duì)知識(shí)型任務(wù)的影響相對(duì)較小對(duì)邏輯推理和數(shù)學(xué)任務(wù)影響更明顯。我在一個(gè)需要計(jì)算劑量的審方場(chǎng)景里對(duì)比過int4模型在簡(jiǎn)單計(jì)算上的錯(cuò)誤率明顯高于fp16。所以我的原則是除非顯存實(shí)在不夠否則至少保留int8關(guān)鍵場(chǎng)景絕不壓到int4。部署階段還有個(gè)常被忽略的問題請(qǐng)求日志。無論是ONNX服務(wù)還是vLLM服務(wù)我都會(huì)記錄完整的請(qǐng)求和響應(yīng)log。有一次客戶反饋“模型回答不靠譜”排查下來不是模型問題而是上游調(diào)用方把參數(shù)傳錯(cuò)了。如果沒有日志這種問題要查很久。7. 常見問題與排查技巧實(shí)錄7.1 loss不降或震蕩訓(xùn)練中最常遇到的三個(gè)現(xiàn)象是loss不降、loss下降后反彈、loss劇烈震蕩。我的排查順序是先看數(shù)據(jù)數(shù)據(jù)是否重復(fù)、語料是否過短、上下文是否完整再看學(xué)習(xí)率繼續(xù)預(yù)訓(xùn)練階段如果學(xué)習(xí)率大于5e-5很容易把原有權(quán)重沖亂接著看梯度如果梯度范數(shù)異常大加梯度裁剪我一般設(shè)在1.0最后看tokenizer如果大量輸入被切成單字說明詞表擴(kuò)展沒做好。loss不降有一半以上是數(shù)據(jù)問題。不要一上來就懷疑模型結(jié)構(gòu)或框架先拿一段干凈語料在基座模型上做小規(guī)模對(duì)比實(shí)驗(yàn)如果基座在小語料上也降不下去那問題就在數(shù)據(jù)預(yù)處理。7.2 領(lǐng)域能力上來通用能力卻崩了這是繼續(xù)預(yù)訓(xùn)練最容易出的副作用。模型訓(xùn)練了一個(gè)星期領(lǐng)域問題回答得頭頭是道但寫一段通用文案反而退步了。原因是訓(xùn)練語料過于單一把模型的通用能力“覆蓋”掉了。解決辦法是混合通用語料。我實(shí)踐下來比較好用的比例是領(lǐng)域語料與通用語料約1比3到1比5通用語料可以來自開源的中文語料庫或清洗后的通用網(wǎng)頁文本。這樣既確保了領(lǐng)域知識(shí)的占比也不至于把基座模型的通用能力沖垮。7.3 provider rejected the request schema這類部署報(bào)錯(cuò)部署時(shí)我遇到過很多次“provider rejected the request schema or tool payload”之類的報(bào)錯(cuò)。這類問題的根源通常是你用的網(wǎng)關(guān)或代理框架對(duì)工具調(diào)用的schema有嚴(yán)格校驗(yàn)而模型生成的工具參數(shù)沒有嚴(yán)格符合JSON Schema格式于是請(qǐng)求在到達(dá)模型前就被攔下了。排查思路是三步。第一步確認(rèn)工具調(diào)用的schema定義和模型輸出格式是否一致重點(diǎn)檢查必填字段名大小寫第二步給模型打開JSON mode或約束解碼讓輸出嚴(yán)格按schema生成第三步如果你是靠SFT來教模型調(diào)用工具需要在SFT數(shù)據(jù)里加入大量工具調(diào)用格式樣例讓模型學(xué)到“什么時(shí)候調(diào)用什么工具、參數(shù)長(zhǎng)什么樣”。單純改prompt治標(biāo)不治本。還有一個(gè)隱藏原因網(wǎng)關(guān)層對(duì)tool payload字段有類型校驗(yàn)比如某個(gè)字段預(yù)期是string模型輸出卻是array被拒就是必然的。這類問題多用在線JSON Schema校驗(yàn)工具驗(yàn)證一遍再改模型側(cè)會(huì)比較高效。7.4 一份個(gè)人項(xiàng)目的排錯(cuò)速查表我把踩過的坑整理成一張速查表后續(xù)項(xiàng)目直接照著排查現(xiàn)象優(yōu)先排查項(xiàng)常用解法訓(xùn)練loss不降數(shù)據(jù)質(zhì)量、學(xué)習(xí)率、梯度范數(shù)干凈小語料對(duì)比實(shí)驗(yàn)降低學(xué)習(xí)率任務(wù)效果差但loss正常數(shù)據(jù)分布單一增加領(lǐng)域語料多樣性通用能力退化語料中通用語料占比低通用語料比例提到3至5倍尾部token生成異常tokenizer詞表未適配領(lǐng)域詞擴(kuò)展并warmup新詞元部署報(bào)schema rejected輸出格式與工具schema不一致開啟JSON模式、約束解碼多輪對(duì)話記憶差上下文長(zhǎng)度不足擴(kuò)大序列長(zhǎng)度上限并調(diào)整訓(xùn)練策略量化后計(jì)算錯(cuò)誤int4精度損失改int8或?qū)υ搱?chǎng)景單獨(dú)做校驗(yàn)以上所有排查項(xiàng)都對(duì)應(yīng)著一句話不要假設(shè)最壞的情況從最簡(jiǎn)單、最可控的環(huán)節(jié)開始切。訓(xùn)練和部署這類長(zhǎng)鏈路任務(wù)問題往往不在最顯眼的位置而是藏在某個(gè)被默認(rèn)忽略的配置里。跑完這套流程我個(gè)人最大的體會(huì)是預(yù)訓(xùn)練和領(lǐng)域適配之間的邊界沒有想象中那么大。個(gè)人開發(fā)者的優(yōu)勢(shì)在于靈活不需要像大團(tuán)隊(duì)那樣維護(hù)復(fù)雜的基建可以快速試錯(cuò)、快速調(diào)整。如果條件有限可以從“最貴的步驟”反推——把預(yù)算和精力優(yōu)先砸在數(shù)據(jù)上訓(xùn)練框架追求穩(wěn)定夠用即可部署方案從最小可行版本開始效果驗(yàn)證之后再往上加成本。這套路線我現(xiàn)階段跑得很順后續(xù)如果再深入我會(huì)優(yōu)先補(bǔ)兩件事一是把數(shù)據(jù)清洗和檢測(cè)流程進(jìn)一步自動(dòng)化二是給RAG加上更細(xì)粒度的知識(shí)版本管理。先分享到這兒等有新坑再回來填。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色爱综合网| 色色无码| 色噜噜狠狠色综合成人99| 亚洲色频| 日韩综合网络男女香蕉a片| 久久一热| 五月天激情无码| 色色五月天网站| 99热精品中文字幕| 99视频只有精品| 大香蕉久久草| 丁香五月婷婷综合激情哟哟哟| 丁香六月婷婷色播| 久久aaaa片一区二区| 91人人操| 婷婷五月丁香综合瑟瑟| h在线看免费版在线看| 五月天婷婷无码视频| 婷婷久久久久| 久婷婷色| 97成人超碰免| 成人精品视频99在线观看免费| 思思热99在线| 精品视频99看在线视频| 五月天婷婷涩涩| 大香蕉综合| 丁香五月欧美| 天天精品视频免费观看| 天天视频亚洲| www.俺去也com| 97九色| 天天插天天干| 99九九玖玖| 五月天婷婷色播在线网| 天天爽—爽| 99人妻碰碰碰久久久久视| 国产av天堂| 天堂久久婷婷| 久久狠狠干| 亚洲五月综合色播| 亚洲尤物在线| 26uuu国产精品| 色综合大香蕉| 天天肏夜夜肏| 五月天婷婷激情网| 丁香五月,开心五月,成人婷婷| 亚洲Av成人在线观看| 婷婷D区| 五月婷色| 26uuu| 丁香五月欧美激情| 久久六月综合| 色综合五月天| 五月天社区婷婷| 色情五月综合婷婷| www99精品在线观看| 国产亚洲精品久久久久久郑州| 99热亚洲| 乱精品一区字幕二区| 五月天激情视频| 九热精品| 99国产精品白浆在线观看免费| 五月天激情国产综合婷婷| 99久久综合| 天天摸天天高潮天天爽| 婷婷六月啪啪| 久久婷婷成人| 五月天色区| 激情色色| 中文字幕视频色婷婷| 亚洲精品久久久久久久久久吃药| 精品热九九| WwW色婷婷| WWW.国产| 色五月色情| 六月丁香婷婷爱| 97人人干视频| 丁香五月婷婷Av| 991国产精选视频在线播放下载| 色婷婷瘦婷婷日韩| 六月丁香婷婷色狠狠久久| 另类A片| 亚洲综合1024| 亚洲精品性色| 日本久热| 超碰成人公开| 超碰免费大香蕉| 91九色丨国产丨爆乳| 成人网站在线观看视频| 色五月婷婷婷婷| 99热在线精品观看| 久久一热| 1024在线视频| 色狠狠999综合网| 五月丁香成人| 91美女被操| 国产乱子轮XXX农村| www.minyis.com【JT】实力收量可预付QQ2101460746 | 色99免费视频中文| 婷婷激情丁香五月天综合| 久久黄色网扯| 色爱综合网| 99激情在线| 夜夜穞天天穞狠狠穞AV美女按摩| 久久图色4| 国产成人在线不卡AV| 99精品激情| 人人色AV| 国产日韩欧美性爱| 色综合色婷色基地| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 成人在线观看国产| 丁香色婷婷| 国产丁香五月天婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色色综合网站| 九九热99热| 久久婷婷色色| 任你搞在线观看视频| 9久久精品| 色婷五月天网站| 91色吧网| 伊人丁香五月婷婷潮吹| 激情综合激情五月| 婷婷五月色播| 亚洲99综合| 天天天天做夜夜夜夜做| 久热伊人| 婷婷丁香射射| 79精品视频在线观看,| 黄色激情网站在线观看| 蜜桃婷婷五月| 99精彩视频| 五月狠狠| 色欲午夜无码久久久久久张津瑜 | 不卡在线视频| www.思思99热| 熟女少妇内射日韩亚洲| 久久九九免费大视频| 色婷婷久久综合久色综| 97婷婷丁香五月综合| 激情深爱综合| 五月天激情国产综合婷婷婷| 最新日本A片| 人人操AV| 97干视频在线| 精品久久久999| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99这里有精品视频视频| 91丁香色五月| 99热a片免| 欧美叉叉叉BBB网站| 日本三级黄色大片| 色婷婷小说| 99久久精品国产色欲| 色婷婷五月综合网| 丁香五月久久社区| www.99热这里精品| 天堂va久久久噜噜噜久久Va| 丁香婷婷五月| 99操无码视频观看| 久草五月| 男人天堂亚洲综合| 国产精品第一国产精品| 黄页大全十八禁| 丁香六月婷| Av狠狠色丁香婷| 色射影院| www.狠狠操.com| 开心婷婷五月| 婷婷五月天社区| 婷婷丁香熟女| 婷婷第六色| 婷婷婷婷婷婷婷五月丁香| 97精品在线| 亚洲欧洲国产精品| 狠狠综合| 五月婷婷影视| 五月丁香婷婷综合网| 精品色色| 天天插天天操| 99久久九九| 5月丁香啪啪啪| 色色五月丁香婷婷| 亚洲亚洲人成综合网络| 婷婷五月色情天| 影音 五月 婷婷 久久| 五月婷婷中文网| 久久99草五月婷婷| 伊人久久艹| 久热99| 婷婷激情五月综合| 色色综合色| www综合久久| 婷婷玖玖五月天| 91大神操美女| 丁香六月丁香婷婷激情| 丁香六月激情| 亚洲性图一区二区三区| 激情久久网 | 色狠狠综合入口| 99综合99| 亚洲无码色| 五月丁香狠狠| 天天操夜夜啊| 超碰高清在线| 成人国产欧美大片一区| 久热中文字幕| 丁香五月六月激情久久| 99热最新精品| 激情淫乱男女| 女人天堂AV| 性生活久久人妻| 天天色综| 黄色网址五月婷婷| 狠狠狠狠狠狠| 综合99久久天天综合| 丁香五月激情棕合| 九九综合影音先锋| 狠狠操狠狠爱| 五月色婷婷综合| 久久永久网址| 亚洲成人AV在线观看| 人妻熟女一区二区AV| 亚洲激情五月天| 开心深爱五月天| 亚洲成人中文字幕| 婷婷丁香五月综合网| 精品久久9| 久久er+| 激情五月婷黄版| 亚洲激情综合| 亚洲操逼片| 五月丁香婷婷综合网色欲| 五月天丁香成人| 黄色视频网站在线播放| 五月天成人综合| 五月天色丁香| 天天艹夜夜爽| 大香蕉综合在线| 97精品人人A片免费看| 99碰碰| 婷婷五月丁香花综合| 久久久噜噜噜久久人妻| 97色色在线视频| 色色色99| 色99无码| 五月婷A V在线| 五月久视频| 五月天色区| 天天操夜夜玩!| 99日精品视频| 一起草日本| 日日夜夜天天综合| 五月激情综合网| 精品婷婷五| 激情婷婷。| 天天综合精品| 五月丁香综合激情| 久久久无码精品成人A片小说 | xx综合网| 99热综合| 狠狠五月激情丁香六月| av电影在线播放| 人妻久久久久久| 五月天成人网在线观看| 精品少妇蜜臀91| 丁香五月香蕉| 涩 五月 婷婷 狠狠| 99欧美| 丁香婷婷性久久| 只有久久精品免费| 狠狠干总合| 色婷婷在线播放| 国产精品男人AV不卡| 色五月五月婷婷| 91超碰在线播放| 久久偷拍综合五月天| 丁香色啪综合| 精品网站99| 欧洲一区二区| 色色网91| 香蕉中文在线| 丁香六月欧美| 九九99九九精品视频| 超碰99在线| 婷婷精品在线| 97视频91| 2017狠狠干| 丁香五月天论坛| 久久久久99精品成人片| 亚洲VA在线| 色的色综合| 婷婷色网| 五月天婷婷黄色视频| 任你操精品免费| 黄色毛片精品| 色五月激情综合| 曰本aaaaaa丈片| 丁香五月中文字幕久色| 影音先锋噜一噜| 免费观看日韩成人av| 成人中文网| 激情久久久| 天天色色天天| 996热| 99热网站| 综合久久婷婷| 亚洲第一成人无码A片| 六月婷婷五月丁香| 亚洲激情四射色| 国产肥白大熟妇BBBB视频| 激情综合网激情五月天| 五月婷久久| 色婷婷在线视频| 9色在线| 日韩成人精品中文字幕| 五月婷婷久久大片| 婷婷五月天丁香激情| 成人免费网站免费看| 九九婷婷五月天| 九九99精品视品| 日本97人人| 蜜臀av 粉嫩av 懂色av | 99这里有精品视频| 人人视频人人干人人做| 色色色婷婷五月天| 婷婷激情综合网| 色综合大香蕉| 日本综合久久| 五月婷婷影视| 亚洲色婷婷久久99精品91| 性热视频99精品| 婷婷五月激情五月丁香五月| 婷婷久久大香蕉| 日韩色久| 丁香五月电影| 猫咪伊人AV| 人人看人人97| 激情五月开心五月在线视频| 国产成人AV人人爽人人澡Va| 婷婷五月视频| 婷婷激情人妻| 国产精品久久久久久久久久 | 九九色播五月丁香| 色小说婷婷五月天天天| site:feetmall.com| 丁香五月亚综合图片| 九九这里只有精品| 看片视频在线免费日产在线看| 九九在线视频| 久久婷婷一级片| 9精品视频在线| 久久99热这里只有精品首| 色五月婷婷、老熟女| 99热在线免费| 99色色视频| www.seqingwuyuetian| 欧美久人人| 99re这里只有精品9| 免费观看的AV| 综合啪啪| 五月婷婷综合色啪首页| 国产.亚洲.欧洲视频在线| 丁香五月狠狠在线观看| 久热这里只有| 人妻丰满精品一区二区A片| 色婷婷激情视频| WWW色色色COm| 国产精品视频久久99| 婷婷91视频| 色99免费视频中文| 69婷婷丁香午夜| 日日爽夜夜爽| 九月丁香八月婷婷加勒比| av国产精品偷| 色人五月婷婷| 91欧美| 日本在线观看91| 日韩色色小视频| 五月天激情久久| 这里有精品| 婷婷五月精品中文字幕| 99精品22| 操操操97| 亚洲99激情| 99色在线观看视频| 婷婷五月天成人导航| 99热www| 一区二区中文字幕| 婷婷色啪| 婷香狠狠爱五月| 综合婷婷六月| AA丁香综合激情| 亚洲国产精品VA在线看黑人| 丁香五月香蕉在线| 亚洲av日韩无码| 婷婷天天五月天| 综合色天天| 国产成人高清| 六月激情网| 久久婷婷操| 伊人干综合| 99久久精彩视频| 99色爱| 五月天激情国产综合婷婷婷| 色婷婷黄色网络| 天天操夜夜操| 欧美人人超级碰| 婷婷五月色亚洲| 99久热| 久热欧美| 97人人超| WWW,激情五月天,COM| 天天搞天天色综合| 激情久久久久久久久久| 香蕉人在线香蕉人在线 | 真实熟女-91九色| oVV4WIB3vFi8D| 日本色婷婷| 婷婷免费精品视频| 亚洲成人免费电影| 99亚洲综合| 婷色五月天| 久久久色婷婷五月天| 亭亭五月色男人| 色狠狠色综合久久久绯色AⅤ影视| 九九视频这里只有精品| 综合激情sV| www99热| 六月丁香婷婷爱| 天天色综合网吨吧| 久草丁香婷婷五月天婷| 色激情五月| 婷婷色五月天色色| 激情图片婷婷| 五月婷婷黄色| 人人播| 久久综合激情五月天| 青青青在线视频国产| 中文字幕丁香五月| 丁香五月婷婷操逼| 久久这里有精品| 成人午夜免费电影| 激情小说五月天| 99在线免费视| 97色 五月天丁香| 婷婷综合激情| 亚洲丁香五月综合| 亚洲欧洲中文日韩久久AV乱码| 亚洲激情五月丁香久久久久| 久青草大香蕉| 天天色图| AV美美午夜| 五月开心播播网| 色永久| 亚洲色婷婷五月天| 久久五月丁香| 嫩草AV久久伊人妇女超级a| 婷婷色综合中心站| 中文字幕在线免费观看视频| 五月色导航| 亚洲AV久久久久久久久久久久久久久久| 婷婷五月天在线观看免费| 91xxxx九色| 国产成人99久久亚洲综合精品| 亚洲性爱干干| 久久久噜噜噜www成人| 丁香五月激情网| 亚洲人成网亚洲欧洲无码久久| 国产精品成人AV在线观看春天| 射久久丁香五月| 超碰人人操人人9| 久色网址| 99人人操人人摸| 影音先锋AV资源男人站| 亚洲精品视频在线| 六月婷婷网站| 超碰日日操| 夜夜穞天天穞狠狠穞AV美女按摩| 婷婷成年人免费视频| 激情小说五月天| 色无婷婷| 26uuu欧美日本| 日韩综合大黄| 成人在线精品| 激情五月婷婷丁香综合网| 97久久久| 天天舔天天操| 婷婷黄色五月天在线视频| 九九九AAA热视频| 婷婷五月丁香五月| 久激情| 26uuu精品国产| 思思热国产| 人妻中文在线| 久久日韩婷婷五月| 婷婷丁香无码专区| 99色在线视频| 欧美日韩成人在线网站| 六月丁香五月激情婷婷| 亭亭玉立国色天香| 丁香伊人网| 色五月婷婷在线观看第一页舔| 五月丁香激| 久久在线人妻| 亚洲丁香婷婷五月天综合色| 五月婷婷三级| 91婷婷在线观看| 欧洲MV日韩MV国产| 99精品视频网| 丁香婷婷色| 亚洲情欲| 亚洲激情97五月天| 亚洲综合色丁香五月天| 婷婷激情伍月网| 射琪琪| 亚洲九九99精品视频在线播放| 中文av网站| 婷婷五月天在线观看| 亚洲激情五月丁香久久久久| 久久这里精彩免费在线观看| 狠狠爱五月婷婷| 综合久久婷婷99| 亚洲色综合| 久草视频一,二三四| 天天日日综合| 激情综合网 激情五月天| 天天噜天天插| 26uuu国自产精品| 欧美超级视频97| 另类图片五月天婷婷| 被强行糟蹋的女人A片| 天天日,天天干,天天操| 婷婷五月AV| 噜噜国产| 丁香六月婷婷综合| 亚洲天堂aaaa| 狠狠干夜夜干| 五月丁香六月婷婷姐| 亚洲精品九九| 激情五月天婷婷五月天| 天天干天天日天天操| 婷婷五月天黄色| 99自拍视频网站| 久色| 色婷婷免费观看| 婷婷刺激综合| 日本天堂免费99| 亚洲男女激情| 久艹大香蕉| 九九人人精品| 中文字幕婷婷| 夜夜爱网站| 99热91| 国产精品久久久久久亚洲毛片| 狠狠色婷婷| 色色色综合| 一本大道嫩草AV无码专区| 午夜不卡久久精品无码免费 | 色综合久久88色综合天天99| 97热视频| WWW.桔色成人.COM| 久久综合婷婷激情| 第四色色六月色综合| 丁香婷婷综合影院| 久久99久久99精品免观看粉| 性日本激情| 色色99色色| 天天色伊人| 婷婷 月 丁香| 国产精品成人AV在线| 色欲av伊人久久大香线蕉影院| 丁香六月五月天| 五月激情偷拍| 丁香六月丁香婷婷激情| 日日噜噜久久婷婷五月天| 視频福利乱色| 九九精品网站| 天天热夜夜操| XX久久| 天天爽天天操| 色插人人| 欧美色五月| 国产欧美日韩综合精品一区二区| 欧美成人猛片AAAAAAA| 精品九九九久| 成人一区在线观看| 欧美天天爽| 六月天无码网址| 五月天激情婷婷久久| 99热天堂| 色网五月婷婷| 天天久综合网永久入口17v| 婷丁五月| 亚洲色网络| 五月婷婷色五月| 色狠狠婷婷| 精品99在线| 天天舔夜夜操www com| 2025年最新亚洲在线欧美| 久久婷丁香五月| 激情婷婷五月天| 99热伊人综合| 久久XX| 婷婷五亚洲| 99热国产精品| 伊人九热| 亚洲成人免费电影| 久久ab| 99热99色| 光棍影院日韩精品| 99热欧| 一区二区乱码视频| 亚洲操女| 久久综合激情五月天| 五月丁香六月婷婷综合网站| 五月婷婷色| 婷婷五月天丁香激情| 包操45分钟网站| 五月婷婷六月天| 成人做爰黄A片免费看直播室男男 久草热8精品视频在线观看 | 成人婷婷桔色| 婷婷五月18永久免费视频| 成人片在线播放| 成人丁香五月婷| 欧美久久五月婷婷| 丁香综合网| 色黄啪啪| 色 五月俺去也| 亚洲AV成人在线| 久久久久视剧HD| 五月丁香六月激情狠狠| 97人人射| www.99日本| 俺去也在线视频| 婷婷性爱| 久久激情视频99| 99只有这里有精品在线视频| 另类激情四射| 丁香婷婷视频| 久久久aaa| 婷婷五月 丁香六月| 99在线热视频| 丁香玖玖视频大全| 婷婷五月丁香综合人妻| 伊人综合网站| 五月丁香综合啪啪| 色婷婷综合久久久久| 墨西哥毛片内射精| 日日操人人操| 丁香激情网| 五月婷亚洲精品AV天堂| 欧美性猛交99久久久99| 综合精品99| 九九这里都是精品| 97色五月丁香婷婷| 久久久五月四色| 国产日产亚洲系列最新| 天天操天天日天天爽| 97人人超| 久久国产精品乱子伦_靑青草…| AV堂狠狠干| 國語久久婷| 婷婷丁香五月综合免费视频百花| 91丨九色丨国产在线| 久久99免费视频| 婷婷大香焦| 99久久99热这里只有精品| 亚洲亚洲人成综合网络| 六月伊人婷婷| 九九99久久精品| 翔田千里aV中文字幕| 内射爽无广熟女亚洲| 丁香六月狠狠| 色五月婷婷在线| 欧美日韩123| 色综合com| 色爱综合网| 99精品视频网站| 久婷婷五月丁香在线观看| 九九亚洲视频| 五月丁香激情综合六月涩涩爱| 粉嫩AV久久一区二区三区| 激情五月亚洲综合网| 婷婷在线网| 五月丁香花激情综合网| 婷婷色五月天色色| 影音先锋色婷婷| 99天堂网| 人妻熟人中文字幕一区二区 | 91狼友视频网页更新| 五月开心深深爱激情综合 | 激情五月婷婷六月丁香| 综合激情五月婷婷| 99久久婷婷| 精品色情一区二区三区四区| 久99在线| 久草狼人| 亚洲VA欧美VA| 婷婷六月天国产综合| 天天澡天天狠天天天做| 亚洲av综合网| 免费看欧美成人A片无码| 思思re视频在线| 婷婷五月亚洲一本在线丁香| 99热色婷婷| 草草视频91| 婷婷久久免费看| 色婷婷播放| 婷婷内射视频在线| 玖玖资源部在线播放| 婷婷丁香五月社区亚洲| 久久综合干| 五月丁香在线婷婷蜜桃| 三级99热| 五月丁香综合| 五月天成人综合| 亚洲操逼网| 丁香婷婷久久五月天| www999日韩精品| sisi热国产| WWW色色色COM| 亚洲另类电影| 美女丁香五婷婷| 婷婷在线播放av| 中文字幕精品推荐免费在线观| 九九色图| 99色视频免费在线规看| 五月天婷婷av| 99热很操老逼| 中国丰满熟女A片免费观| AV性爱在线| 日日噜噜久久婷婷五月天 | 婷婷丁香五月天色区| 91人碰| 午夜少妇在线观看视频| 538在线精品| 欧美天天综合网站上去吧| 99五月婷| seuuu婷婷| 五月丁香六月欧美综合网站| 午夜五月天| 九九热免费观看视频| 《久久综合九色综合97婷婷| 婷婷五月丁香综合亚洲| 综合色色色| 色久丁香五| 狠狠色丁香婷婷基地| 日本系列_4页_777FP| 深爱五月最新网址| 五月丁香六月激情综合| 夜夜嗨一区二区三区直播内容 | 中文字幕丰满孑伦无码专区| 麻豆雪千夏| 亚洲综合婷婷| 丁香六月久久| 五月天色婷婷图片| 色综合久久888| 国产三级在线播放| 激情综合网激情五月婷婷| 婷婷六月综合激情| 日本久久性| 五月天激情啪啪| 色九月综合| 5月婷婷6月六月丁香| www 五月天 com| 欧美日本VA| 97碰碰视频在线观看| 99久久久久久| 日本综合久| 婷婷欧美色| 成人网站在线观看视频| 天天综合精品| 激情五月婷婷| www.夜夜操.com| 激情操逼婷婷| 五月天另类激情在线| 婷婷五月天成人| 婷婷丁香91综合| 天天干天天爽天天操| 九九蜜臀精品| 五月丁香啪啪啪| www.狠狠| 操99| 国産精品| 国产看真人毛片爱做A片| 五月天综合| 久久久久9999| 在线中文av| 99日本黄站| 超碰精品在线| 久久婷婷亚洲| 超碰免费在线| 色欲久久综合| 99久久久久| 久久人妻精品| 国产看真人毛片爱做A片| 五月丁香综合| 国产毛片精品一区二区色欲黄A片| 国产这里只有精品| 狠狠综合网| www.色婷婷| 91九色在线| 久久人妻久久| 91久久久久久久| 五月丁香色婷婷| 欧美性猛交99久久久久99按摩| 精品无码久久久久久久久| 97色婷婷| 国产精品 的国产| 亚洲天堂有码| 偷偷操99| 婷婷丁香人妻天久久| 五月婷婷综合激情| 色婷婷内射| 激情五月婷婷中文字幕| 丁香婷婷激情网站| 天天干电影| 日日天天干| 日本熟妇精品99| 色五月激情五月| 久久人妻视频| 婷婷五月综合免费在线| 四色五月视频| 亚洲另类婷婷综合| 六月伊人婷婷| 99热精品在线免费观看| 超碰爱爱爱| 婷婷中文字幕| 综合久久十三| 91热手机在线| 亚洲国产精品五月天| www.日韩艹| 婷婷涩涩五月天| 99色天堂| 91久久日日| 麻豆精品| 婷婷开心激情| 亚洲日本韩国| 超级碰碰视频无码| 九九热精品99| 99热成人精品| 天天舔天天操| 欧美久热| 俺去婷婷 丁香| 久久婷五月婷| 丁香婷婷十月| 爆乳熟妇一区二区三区爆乳照片| 开心婷婷五月| 色婷婷五月影院| 5月婷婷视频网站综合| 激情婷婷丁香色五月| yellow视频在线观看91| 激情婷婷| 免费AV在线网址| 插插插丁香五月婷婷| 天天色综网| 99操视频| 99爱在线| 超碰免费人人| 五月天激情网开心网| 天天综合色| 亚洲另类AV| 99色最新在线视频| 超碰99热精品| 在线中文AV| 99ri精品| 五月婷婷免费在线视频| 操人无码| 99色五月| 天天摸人人摸| 久热只有精品| www.五月婷| 五月丁香人人婷婷在线观看| www.精品99| 依人大香蕉在钱1| 热的国产99热| 99热亚洲| 99热有精品在线观看| 色五月xxx| 丁香婷婷色九月| 亚洲综合五月天婷婷| wWw色五月| 国产免费一区二区三州老师F1F1| 亚洲精品一区中文字幕乱码| 久久99免费视屏| 丁香五月天激情综合| 日本久久久97| 婷婷五月天激情综合| 99毛片| 五月婷婷色白丝| 五月天色婷婷av| 国产在线中文字幕| 日韩精品一区二区亚洲AV观看| 精品九九视频| 久久婷综合| 色九区| 婷婷丁香六月| 91高潮喷水久久久久久久久| 九色视频这里只有精品| 99性视频| 99热99精品| AV性爱网| 丁香九色不卡aaa| 色婷婷五月天天天干天天操天天爽 | 成人va在线观看视频| 婷婷婷久久久| 国产AV不卡福利| 色五月丁香伊人五月| 666555。COm毛片| 六月伊人婷婷| 99色视频| 婷婷五月天激情四射五月天激情| 91chinese在线| 亚洲综合无码| 丁香五月香蕉| 日本天堂爱爱| 九九热大香蕉| 激情久久肏屄视频| 超碰三级片| 噜噜狠狠色综合久| 激情五月丁香婷婷| 久久一品区| 天天插AV丝袜中| 婷婷五月天国产性感美女演员久久久久| 五月 丁香 欧美| 在线看的免费网站| 天天狠狠色噜噜| 五月天久久色| 激情五月天色婷婷| 色综久久久| 26UUU在线观看| 大香蕉伊人丁香五月| 婷婷五月天日日日干干干| 丁香五月天天久久综合小说| 亚洲日韩26uuu| 97超碰,人人舔,人人操,人人摸 | 色停停香蕉视频| 99爱99操| 超碰99在线观看| 激情综合自拍五月婷婷色五月| 激情五月丁香五月| 五月丁香爱婷婷深深| 97人人草| 麻豆123区| 996黄色片| 五月天播播| 热99精品视频| www.超碰在线| 日韩六六久久电影| 婷婷五月天天| www.五月天婷婷| 久久9热| www.日日夜夜.com| 狠狠色狠狠干| 99年操人人爽| 五月丁香六月成人| 婷婷激情视频| 色五月婷婷老师| 婷婷激情五月天亚洲综合| 久9久视频精品| 九九成人| 色婷婷基地| 成 人片 黄 色 大 片| SS丁香五月婷婷| 97在线日本| 亚洲综合成人网| 丁香月五月天婷婷久久| 大战熟女丰满人妻AV| 狠狠做深爱婷婷久久综合一区| 天天se在线视频| 国产免费一区二区在线A片视频| 婷婷五月丁香色情| 久99精品视频| 五月天婷婷久久| 婷婷五月激情在线| 色色色综合色| 国产乱人偷精品人妻A片| 激情五月,激情综合网| 色五月婷婷av| 51精品国自产在线| 日日夜夜干| 99小精品| 青青草Avb在线| 超碰在线看| 五月开心深爱激情网| 人妻久久久久| 不卡成人免费| 激情综合网五月| 久色五月婷婷综合| 天天se在线视频| 国产偷人爽久久久久久老妇APP| 五月天狠狠草| 久久婷婷热| www天堂99| 思思热在线精品视频| 六月丁香好婷婷| 超碰九色| CAoub青青超碰| 五月天婷婷综合网| 久久婷婷五月天| 五月天色综合服务平台| 五月天婷婷久草丁香| 久久精品99国产精品日本| 人妻精品一区二区三区| 色婷婷精品小视频| 丁香五婷婷| 操逼五月婷婷| 99性色| 激情五月天影院| 夜夜噜夜夜奇| 亚洲中文字幕av| 青青草国产亚洲精品久久| 激情六月婷婷| 五月深爱网| 一區四區歐美日韓| 日韩久热| 日都一级A片| 免费无码毛片一区二区A片| 内射综合网| 精品成人a v无码内射| 色之综合网| 欧洲亚洲免费视频9| 日本97人人| 五月天播播| 九九精品综合| www天天爽| 激情狠狠丁香月| 丁香六月婷婷激情综合| 国产av基地| 久久亭亭电影| 久久女婷| 色五月激情五月天| 综合一区二区三区| 橾逼网| 99色热视频| 中文久久久人妻| 99热久草| www.五月婷婷.com| 99热超| 黄色av网站在线免费播放| 99精品偷自拍| 亚洲成人免费在线| 99久久网站| 99ri在线观看视频| 久久99久久99精品免观看粉嫩| 丁香五月婷婷在线观看| 91dy.av| 97色色色色色色色色色色色色色| 丁香五月天AV在线| 五月香婷婷| 成人在线不卡| 久久综合干| 色色婷婷丁香五月天| 亚洲蜜乳AV| 色色色1网址| 万月丁香狠狠爱| 人人艹艹艹| 国产成人精品一区二三区熟女在线 | 91中文在线| 色玖玖| 人妻久久久| 五月天激情婷婷| AV人人操| www.射伊蕉婷婷| 99热这里都是精品| 婷婷综合色图| 亚洲在线操| 久久久99视频| 婷婷在线免费| 26UUU欧美| 欧美色色色| 黄桃AV无码免费一区二区三区| 五月丁香影院| 国产精品久久久久久久久久久久 | 99在线观看视频精品| 五月丁香六月婷婷综合免| 干亚洲天堂| 五月丁香 啪啪啪| 国内精品玖玖| 99热8| 任你操精品免费| 六月综合婷婷开心伊人| 色色色色色色色色色色色色色97| 久久婷婷五月综合啪| 五月婷久久| 婷婷五月婷婷| 熟惀91九色在线| 日韩aⅴ视频| 综合狠狠干| 色色色国产| 久久99最新| 亚洲、热| 五月丁香色婷婷| 最新久久网址| 思思热精品在线| 五月婷三级片| 91热久| 色琪琪一综合久久激情五月视频| av大香蕉| 蜜乳A√| 丁香五月a| 六月婷婷激情图片| 五月开心网| 激情五月四色| 婷婷五月天午夜激情影院| 五月丁香另类图片| 天天噜天天爱| 色五月天成人| 996热| 成人无码精品1区2区3区免费看| 丁香啪啪中文字幕| 国产色视频网站2| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 天堂成人久久| 五月丁香六月激情综合网| www.五月天。com| 久久视频这里有精品99| 久久xxxx| 欧美A级成人婬片免费看理论| 伊人激情综合| 97天堂| 综合五月天天天天天五月| 五月 成人 婷婷| 思思热在线观看| 婷婷五月天性爱视频| 九九99在线观看视频| 色婷婷激情五月天在线观看| 亚洲成人一区| 91中文狠狠综合| 日本色图综合| 天天操天天操综合| 超碰人人99| 五月婷婷激情综合| 激情图片99| 婷婷激情五月天色| 中文字幕丰满人妻无码专区| 激情五月综合网| 婷婷久久伊人| 婷婷激情六月综合| 区美毛片子| 色情终和网| 九九Av| 丁香六月婷婷综合欧美| 亚洲免费看片| 丁香五月性爱爱五月| 就爱啪啪婷婷| 九九99九九99九九99视频网| 天天干天天av天天射| 婷婷久草| 色色色婷婷| 婷婷色五月91啪啪| 成人日韩欧美| 欧美成人网99网| 国产乱子轮XXX农村| 97精品在线| 色综合激情| 这里只有精品视频| 一逼色综合| 婷婷五月天激情文学| 香蕉久久国产AV一区二区| 久久久ww| 久久综合五月天| 丁香性爱在线视频| 新99思思视频| www.99热在线观看| 99热99| 这里只有国产精品在线| 99久视频| 97碰| 啪啪色区| 欧美槡BBBB槡BBB少妇| 996er在线观看| 另类五月激情| 日韩99无码| 天天干天天干天天干天天干天天干天天| 综合色99| 91日日日| 色 色 色综合com| 丁香五月花影院| 天天爽夜夜操| 色综合久久天天综合网| 五月婷网| 天天干,天天操,天天射| 激情五月综合网最新 | 五月天成人综合| 日韩AV中文字幕在线| 九九热经典视频在线观看| 日本不卡高字幕在线2019| 久久综合婷婷| 五月天婷婷激情在线色图| 人妻第九页| 男人综合网| 婷婷成人基地| 色婷婷色五月另类综合| 久久婷婷免费| 五月天四色房丁香| 五月婷婷丁香啪啪| 开心五月婷婷激情| 极品少妇XXXX精品少妇偷拍| 超色欲天天| 狠狠插狠狠| 久99999热视频在线观看免费| 久久久婷婷| 深爱五月激情| 狠狠香蕉| 五月丁香偷拍| 色优久久| 色色五月婷| 丁香五月 综合| 欧美日韩欧美| 国产亚洲在线| 亚洲操操操| 日本的α片xxxwww| 色婷婷狠狠| 婷婷丁香五月激情中文字幕版| 亚洲熟妇AV乱码在线观看| 五月丁香AV、伊人业余、性色熟妇| 色色色欧美| 日韩小视频在线99| 狠狠婷婷综合| 久久机热/这里只有精品| 久久免费少妇高潮99精品| 深爱五月日韩| 97久操视频| 99乱视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月婷婷丁香综合| 色色色com| 国产婷婷五月色情综合| 97色色综合| 97干视频| www.狠狠操.co m| 国精产品一区一区三区免费视频 | 91久女| 日韩AAAAAAAAAAA片| 影音先锋男人资源站一区二区| 99热新网址| 无码地址| 久99婷婷色综合| 亚洲亚洲永久无码777777| 91青娱乐青青草| 五月婷婷丁香大陆免费| 丁香六月婷婷综合色| 综合AV网| 99热这里精品| 91九色|疯狂|高潮|对白|| 99热6精品| A A色色| 91人人爽人人操| 99热最新| 久久久人人人妻丝丝丝| 色婷婷成人久久| 色婷婷亚洲婷婷| 激情欧美婷五月| 97狠狠碰| 中文字幕黄色片| 天天干,噜噜色,狠狠色| 欧亚中文A V| 成人片在线播放| 婷婷综合五月色播| 色娸娸综合网| 精品亚洲国产成AV人片传媒| 色丁香五月婷婷在线| 国产成人高清|