欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

低資源訓(xùn)練DeepSeek:政務(wù)智能問答的LoRA微調(diào)與部署實(shí)戰(zhàn)

低資源訓(xùn)練DeepSeek:政務(wù)智能問答的LoRA微調(diào)與部署實(shí)戰(zhàn) 簡介一份面向政務(wù)信息化人員、算法工程師與NLP初學(xué)者的DeepSeek實(shí)踐指南聚焦算力有限、數(shù)據(jù)不足情況下政策智能問答系統(tǒng)的搭建與升級。文檔從政務(wù)系統(tǒng)現(xiàn)狀分析切入依次講解DeepSeek模型架構(gòu)、低資源訓(xùn)練策略、問答系統(tǒng)總體架構(gòu)、前端交互層、中間處理層與后端數(shù)據(jù)層設(shè)計(jì)覆蓋數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、模型壓縮剪枝、量化等關(guān)鍵技術(shù)。資源包內(nèi)含1個(gè)PDF文檔共31頁大小1.99MB目錄完整、文字與圖表顯示正常閱讀體驗(yàn)良好。借助這份材料讀者可獲得從環(huán)境搭建、模型加載與微調(diào)到訓(xùn)練監(jiān)控、答案檢索匹配、多輪對話支持及系統(tǒng)測試的全流程方法末尾的案例分析、效果評估與改進(jìn)建議也為實(shí)際項(xiàng)目提供了可參考的落地路徑。目前已有167人學(xué)習(xí)下載適合作為政務(wù)系統(tǒng)智能化升級及低資源大模型落地的入門規(guī)劃和設(shè)計(jì)方案。1. 政務(wù)智能問答卡在算力上低資源訓(xùn)練DeepSeek的可行路徑政務(wù)窗口和熱線的咨詢量從來沒小過政策文件一更新坐席就要重新背稿關(guān)鍵詞檢索答非所問通用大模型倒是答得流利可它在沒有依據(jù)時(shí)也會一本正經(jīng)地編。這個(gè)標(biāo)題指向一條更務(wù)實(shí)的路用 DeepSeek 做底座靠低資源訓(xùn)練LoRA/QLoRA 這類參數(shù)高效微調(diào)在單張 24GB 顯卡甚至 16GB 顯存上把模型調(diào)教成“懂本地政策、答案帶依據(jù)”的政策智能問答服務(wù)。這套方案解決的核心問題不是“跑多大模型”而是“用得起的基礎(chǔ)上讓答案可追溯”。它適合三類人政務(wù)系統(tǒng)集成商、政務(wù)云和數(shù)據(jù)局的技術(shù)團(tuán)隊(duì)、想給熱線坐席減負(fù)的內(nèi)部開發(fā)組。先給一個(gè)反直覺的結(jié)論真正卡住項(xiàng)目的往往不是算力而是語料清洗和評測集——這兩件事沒做對再貴的卡也只會訓(xùn)出一個(gè)“背錯(cuò)法條的復(fù)讀機(jī)”。2. 低資源訓(xùn)練前的三件事選基座、備語料、定評價(jià)方式低資源訓(xùn)練不等于“拿個(gè)小模型隨便跑跑”。在跑任何訓(xùn)練腳本之前有三件事必須定下來選哪個(gè) DeepSeek 基座、準(zhǔn)備什么樣的政策語料、怎么判斷模型有沒有變好。這三件事做扎實(shí)了訓(xùn)練本身反而成了最省心的一步。2.1 找基座模型先看顯存和事實(shí)性不看榜單DeepSeek 系列發(fā)布過的模型從 7B 級到數(shù)百 B 參數(shù)都有低資源訓(xùn)練場景下不用猶豫直接鎖定 7B 級。原因是顯存賬算得過來7B 模型用 fp16 加載大約占 14GB 顯存int8 約 7GBint4 約 4GB。QLoRA 在 int4 基礎(chǔ)上掛一層低秩適配器訓(xùn)練時(shí)的峰值顯存還要算上激活值和梯度單張 24GB 顯卡是舒適區(qū)16GB 顯卡把 max_length 縮短到 1024、batch size 調(diào)成 1也能跑。選基座時(shí)先看“事實(shí)性”而不是榜單分?jǐn)?shù)。政策智能問答的答案要求有依據(jù)模型不需要在回答里展示長篇推理過程。像 DeepSeek 的 R1 系列推理能力很強(qiáng)但那種“多說多錯(cuò)”的風(fēng)格在政務(wù)場景反而是負(fù)擔(dān)——用戶問“社保斷繳有什么影響”模型可能給你推演一大段卻不說清文件依據(jù)。常見做法是選官方的通用對話基座指令跟隨穩(wěn)定、生成風(fēng)格平實(shí)再通過低資源訓(xùn)練注入政策知識。動手前還有一個(gè)不起眼但關(guān)鍵的步驟先拿沒微調(diào)的基座模型在 20 條典型政策問題上跑一遍零樣本輸出??此遣皇且呀?jīng)會拒答、會不會復(fù)述原文。這一步幫你確認(rèn)兩件事一是基座本身對中國政策文本的理解底子夠不夠二是后面微調(diào)到底能帶來多大提升。如果基座在零樣本下已經(jīng)答得像模像樣說明 SFT 更多是在“調(diào)格式”如果答得完全偏那說明語料和提示詞設(shè)計(jì)要重點(diǎn)下功夫。2.2 政策語料準(zhǔn)備清洗、結(jié)構(gòu)化、構(gòu)造問答對政務(wù)問答的數(shù)據(jù)源通常有四類政府門戶網(wǎng)站的政策原文及解讀、辦事指南與流程圖、熱線平臺的歷史工單、窗口常見問題 FAQ。這些數(shù)據(jù)沒有一個(gè)能直接丟進(jìn)訓(xùn)練腳本得先過一遍清洗。清洗的第一步是格式轉(zhuǎn)換。政府公開文件很多是 PDF 或掃描件先用工具批量轉(zhuǎn)純文本轉(zhuǎn)完一定要人工抽查幾份重點(diǎn)看表格轉(zhuǎn)置和頁眉頁腳污染。第二步是脫敏身份證號、手機(jī)號、家庭住址這些用正則批量替換。政務(wù)數(shù)據(jù)合規(guī)是紅線語料一旦泄露個(gè)人信息項(xiàng)目還沒上線就先違規(guī)了。第三步是保留文件的“元信息”每段文本打上標(biāo)簽發(fā)文機(jī)關(guān)、文號、成文日期、生效日期、失效日期、所屬政策領(lǐng)域。這是后續(xù)避免新舊政策答串的關(guān)鍵。for f in raw_policy/*.pdf; do pdftotext -layout $f txt/$(basename $f .pdf).txt donepdftotext 的 -layout 參數(shù)會盡量保留原文的版面結(jié)構(gòu)對“章-條-款”這種層級分明的政策文本特別有用。轉(zhuǎn)完后你得到的是一堆 txt下一步按章節(jié)做結(jié)構(gòu)化切分。政策文件不建議按固定字?jǐn)?shù)硬切最好按“章─條─款”的層級切一條一記錄每塊控制在 256 到 512 字之間。這個(gè)長度對后面的向量檢索最友好太短丟失上下文太長召回時(shí)噪聲太大。清洗完成后還需要人工構(gòu)造問答對。常見做法是找業(yè)務(wù)人員寫“市民原話問法”“孩子上幼兒園要準(zhǔn)備什么材料”就比“入園材料有哪些”更接近熱線真實(shí)場景。初始數(shù)據(jù)集有 500 到 2000 條高質(zhì)量問答對就能看到明顯效果政務(wù)問答數(shù)據(jù)貴在精而不在多。如果你的項(xiàng)目連問答對都湊不齊可以用 DeepSeek 先批量生成候選問答再由業(yè)務(wù)人員逐條核對通過率能到六成左右剩下的邊用邊補(bǔ)。2.3 先定評測再訓(xùn)練自動指標(biāo)會騙人人工評分才可信低資源訓(xùn)練最常見的翻車不是模型訓(xùn)崩了而是訓(xùn)完不知道變好了多少。很多人只看 loss 下降和幾個(gè) ROUGE 分?jǐn)?shù)就宣布成功結(jié)果一上線全露餡。政策問答的答案沒有唯一標(biāo)準(zhǔn)同一個(gè)意思換種說法自動指標(biāo)分?jǐn)?shù)可能很低但人工判對反過來模型把文件名稱說錯(cuò)了ROUGE 卻可能因?yàn)樽置嬷睾隙謹(jǐn)?shù)很高。我一般會在訓(xùn)練前先做一套離線評測集從熱線平臺拉最近一年的真實(shí)咨詢問題脫敏后抽 100 到 200 條每條配上參考答案和“依據(jù)條目”。然后定四個(gè)評分維度內(nèi)容準(zhǔn)確、依據(jù)可查、不編造、拒答正確。表格式的評分標(biāo)準(zhǔn)長這樣維度滿分標(biāo)準(zhǔn)踩分點(diǎn)內(nèi)容準(zhǔn)確答與現(xiàn)行政策一致數(shù)字和條件無錯(cuò)引用已廢止條款依據(jù)可查給出文號或文件名讀者能定位只給結(jié)論不給來源不編造不知道的明確說不知道生成不存在的文件或比例拒答正確無依據(jù)時(shí)不強(qiáng)行回答對隱私問題給猜測性答案評測集前置還有一個(gè)好處訓(xùn)練前用基座模型在評測集上跑一遍拿到一個(gè)“原始分”。訓(xùn)練后再跑同一套題看分?jǐn)?shù)變化。自動指標(biāo)ROUGE/BLEU不是沒用而是用來做回歸——確保新模型沒有把舊能力改壞。如果 ROUGE 大幅波動而人工評分沒變多半是數(shù)據(jù)或提示詞模板出了偏差。記住評分集是訓(xùn)練的“眼睛”這步省了后面全是黑匣子。3. 落地LoRA微調(diào)DeepSeek顯存占用與關(guān)鍵參數(shù)怎么設(shè)預(yù)覽一下 QLoRA 在 24GB 顯卡上的顯存分配基座 int4 占 4GBLoRA adapter 占幾十 MB激活值占大頭但控制住 max_length 就不至于爆。訓(xùn)練速度不快epoch 數(shù)也不多政務(wù)數(shù)據(jù)量小通常幾小時(shí)到一天能跑完一輪。這個(gè)體量完全撐得起“發(fā)布新政策就重新微調(diào)一輪”的迭代節(jié)奏。3.1 最小可跑的LoRA訓(xùn)練腳本transformers PEFT先給一份可以直接落地的腳本骨架用的是 HuggingFace Transformers 和 PEFT 庫。這里假設(shè)你已經(jīng)把數(shù)據(jù)做成了 Dataset 格式每條樣本是“問題答案”拼接的文本。import torch from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training # 1. 4bit量化加載基座這就是QLoRA的核心 quant_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.float16, bnb_4bit_use_double_quantTrue, ) model AutoModelForCausalLM.from_pretrained( 你的基座模型路徑, # 本地下載好的 DeepSeek 7B 對話模型目錄 quantization_configquant_config, device_mapauto, ) tokenizer AutoTokenizer.from_pretrained(你的基座模型路徑) tokenizer.pad_token tokenizer.eos_token # 政務(wù)文本短樣本多padding必須處理 model prepare_model_for_kbit_training(model) # 2. LoRA配置只訓(xùn)練低秩矩陣凍結(jié)基座 lora_cfg LoraConfig( r8, lora_alpha16, target_modules[ q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj, ], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_cfg) model.print_trainable_parameters() # 預(yù)期只有約0.1%參數(shù)可訓(xùn)練這段腳本的邏輯是先用 4bit 量化把基座模型壓到極小顯存占用再用 PEFT 在每一層注意力矩陣旁邊掛一個(gè)低秩分支。訓(xùn)練時(shí)梯度只經(jīng)過低秩分支基座權(quán)重不動所以顯存和算力開銷都大幅下降。bnb_4bit_use_double_quantTrue會讓量化再做一次二次量化省幾個(gè) GB 顯存代價(jià)是加載稍慢政務(wù)場景完全值得。device_mapauto負(fù)責(zé)在多卡環(huán)境下自動分配層單卡時(shí)會全部落在顯存里不占用 CPU offload。訓(xùn)練超參接著來from transformers import TrainingArguments, Trainer training_args TrainingArguments( output_dir./policy_qa_lora, per_device_train_batch_size2, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-4, warmup_ratio0.03, logging_steps10, save_strategyepoch, fp16True, report_tonone, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, tokenizertokenizer, ) trainer.train()這里per_device_train_batch_size2配合gradient_accumulation_steps8等效 batch size 是 16。政務(wù)數(shù)據(jù)量小等效 batch 太大會讓訓(xùn)練震蕩太小則 loss 曲線噪聲大不好判斷收斂。save_strategyepoch建議保留別用 step 保存不然一輪下來 checkpoint 多到爆。fp16 在 20 系以上 N 卡都能開A 卡用戶改用 bf16。3.2 影響政策問答質(zhì)量的四個(gè)參數(shù)rank、學(xué)習(xí)率、epoch 和 max_lengthLoRA 的四個(gè)核心參數(shù)里rrank是最容易拍腦袋的。政務(wù)問答數(shù)據(jù)集通常只有幾百到兩千條r8起步就夠。r 太大比如 64會把低秩分支變成一個(gè)小而全的模型在小數(shù)據(jù)上輕則過擬合重則基座原有的通用能力被覆蓋r 太小比如 2記不住政策文本里的特殊格式。政務(wù)文件里滿是“國辦發(fā)〔2023〕X號”這類文號、日期加括號的組合rank 太低直接記不住生成時(shí)要么漏字要么把年份編錯(cuò)。lora_alpha和 r 的關(guān)系一般按alpha 2r設(shè)置alpha 是縮放系數(shù)影響低秩分支的更新幅度。學(xué)習(xí)率方面LoRA 微調(diào)比全參微調(diào)高一個(gè)數(shù)量級是正常的。我用 2e-4 起步訓(xùn)練時(shí)如果 loss 在前 100 步就開始震蕩降到 5e-5 再試。warmup_ratio 0.03 到 0.05 之間避免開頭大步長把量化后的基座權(quán)重沖壞。epoch 數(shù)是個(gè)玄學(xué)與經(jīng)驗(yàn)并存的值。政務(wù)小數(shù)據(jù) 3 到 5 輪通常是甜點(diǎn)區(qū)。判斷標(biāo)準(zhǔn)不是訓(xùn)練 loss 壓得多低而是評測集分?jǐn)?shù)變化。如果你看到訓(xùn)練 loss 一直在降但評測集準(zhǔn)確率到第 3 輪后不再升甚至下降馬上停。低資源訓(xùn)練里“訓(xùn)過頭”比“欠擬合”更常見。最后是 max_length——一個(gè)容易被忽略但對政務(wù)場景致命的參數(shù)。政策問答的輸入往往帶著一長段政策原文輸出要引用文件名稱、條款編號和日期如果 max_length 只設(shè) 512你的訓(xùn)練目標(biāo)可能在生成到一半時(shí)被硬生生截?cái)嗄P蛯W(xué)到的全是殘缺答案。設(shè)置時(shí)先看語料里最長樣本的長度加 20% 余量常見的做法是 1024 起步確實(shí)有長文本需求再提到 2048。max_length 提高會顯著增加顯存占用這是在顯存預(yù)算和答案完整度之間的直接取舍。3.3 顯存不夠時(shí)的折中方案QLoRA 優(yōu)化與多卡并行先說單卡怎么壓。如果 16GB 顯卡跑 7B 都吃力第一步把 batch size 調(diào)到 1用梯度累積補(bǔ)等效 batch。第二步檢查是否有 CPU 與 GPU 之間的傳輸出問題prepare_model_for_kbit_training會自動給量化層插上保留 fp16 的前向鉤子這個(gè)不加的話訓(xùn)練時(shí)數(shù)值穩(wěn)定性會翻車。第三步考慮把 max_length 從 2048 降到 1536政務(wù)長文檢索有 RAG 兜底訓(xùn)練時(shí)截掉尾巴比 OOM 中斷強(qiáng)。多卡并行又是另一個(gè)坑。很多人一上來就上 DeepSpeed但名字里都帶 Deep 的 DeepSeek 和 DeepSpeed 是兩個(gè)東西一個(gè)是模型一個(gè)是訓(xùn)練框架配置時(shí)風(fēng)向標(biāo)一旦搞混能折騰一整天。政務(wù)項(xiàng)目通常只有一兩張卡我一般不建議上 DeepSpeed Stage 3直接用單卡或雙卡 DataParallel配合 PEFT 就能吃得下 7B 級模型。真到了兩張 24GB 卡都裝不下的程度你要先反思的不是并行方案而是數(shù)據(jù)是不是沒洗干凈導(dǎo)致序列過長。給一個(gè)容易踩的提示QLoRA 訓(xùn)練時(shí)如果看到 loss 起初很低但幾百步后突然飆升多半是 intra-epoch 數(shù)據(jù)混洗沒關(guān)skip_special_tokens設(shè)置問題或者某個(gè)異常長樣本把梯度撐爆。政務(wù)語料里偶爾會混進(jìn)一個(gè) 5000 字的“政策解讀”全文訓(xùn)練前按 max_length 做 truncation 和過濾比訓(xùn)練中 Debug 高效得多。4. 從微調(diào)模型到政策問答服務(wù)合并權(quán)重、RAG接入與推理部署模型訓(xùn)完只是第一步。政務(wù)問答系統(tǒng)要真正能用還要解決三件事:把 LoRA 權(quán)重落成可對外服務(wù)的模型、接上政策庫做檢索增強(qiáng)、用合適的推理框架把服務(wù)跑起來。這一章這些環(huán)節(jié)逐個(gè)過一遍。4.1 導(dǎo)出與加載把LoRA權(quán)重合并進(jìn)基座模型LoRA 訓(xùn)練結(jié)束后你手上是一套基座權(quán)重加一套輕量 adapter。這里的導(dǎo)出有兩種選擇合并成單模型或保留 adapter 分離加載。from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch base_model AutoModelForCausalLM.from_pretrained( 你的基座模型路徑, torch_dtypetorch.float16, device_mapauto, ) lora_model PeftModel.from_pretrained(base_model, ./policy_qa_lora/checkpoint-3) merged lora_model.merge_and_unload() merged.save_pretrained(./policy_qa_final) tokenizer.save_pretrained(./policy_qa_final)merge_and_unload會把低秩矩陣的權(quán)重直接折疊回原模型得到一個(gè)干凈的完整權(quán)重。這樣做的好處是對后續(xù)推理框架最友好vLLM、Triton 加載推理模型時(shí)不需要感知 PEFT 適配器直接按普通模型處理少一層依賴少一層報(bào)錯(cuò)。分離加載的好處是切換領(lǐng)域方便如果你想在同一基座上疊加“社保問答”和“公積金問答”兩套 adapter保留 LoRA 權(quán)重就能按需切換。政務(wù)場景建議走合并路線部署越簡單運(yùn)維越省心。這里有個(gè)實(shí)際翻車點(diǎn)很多人合并后只保存 model忘了保存 tokenizer。結(jié)果上線時(shí) pad_token 丟失要么連不上 vLLM要么推理時(shí)每個(gè) batch 長度不一致導(dǎo)致生成亂碼。合并完成后立刻做一個(gè)最小驗(yàn)證——加載權(quán)重輸入一句“生育津貼怎么領(lǐng)”看輸出是否正常、是否帶正確文號。這種兩分鐘的檢查能省下后續(xù)一晚上的排查。4.2 給問答加政策依據(jù)RAG檢索接入與chunk大小選擇政務(wù)問答幾乎是 RAG 最典型的落地場景。政策更新快、條款之間存在相互引用模型記憶再準(zhǔn)也比不上一份實(shí)時(shí)可查的原文。RAG 的職責(zé)是根據(jù)用戶問題先從政策庫召回相關(guān)條款再把條款原文拼進(jìn)提示詞讓模型基于原文生成答案。整體流程不復(fù)雜用戶輸入問題后先做一層“查詢改寫”把口語轉(zhuǎn)成政策術(shù)語“孩子上學(xué)怎么辦”改寫成“適齡兒童入學(xué)條件及流程”然后做向量檢索取相似度最高的 3 到 5 條文本片段最后連同用戶問題一起組裝成提示詞發(fā)給本地部署的 DeepSeek 模型。中文政策場景里“查詢改寫”這步往往比換更大的向量模型更提升效果。from sentence_transformers import SentenceTransformer import numpy as np encoder SentenceTransformer(BAAI/bge-small-zh-v1.5, devicecuda) question [生育津貼怎么領(lǐng)] doc_texts [ 申領(lǐng)生育津貼需在產(chǎn)后60日內(nèi)提交……, 材料清單包括身份證、結(jié)婚證、出生醫(yī)學(xué)證明……, ] q_vec encoder.encode(question) d_vecs np.array([encoder.encode(t) for t in doc_texts]) scores q_vec d_vecs.T top_indices np.argsort(scores[0])[::-1][:2]這個(gè)示例把召回邏輯壓縮到了最小。中文政策文本建議用中文預(yù)訓(xùn)練的 embedding 模型英文向量模型對“生育津貼”這類詞的語義把握不如中文模型。檢索后不要只取“分?jǐn)?shù)最高的一條”政務(wù)答案常常橫跨多個(gè)條款取 top3 到 top5 拼接模型才有足夠上下文回答完整的“材料流程依據(jù)”。chunk 長度在 2.2 里說了 256 到 512 字但還要加一條切分時(shí)保留條款編號檢索結(jié)果里能看到“第X條”字樣模型才知道引用對象是什么。4.3 用vLLM做推理服務(wù)溫度、top_p與max_new_tokens設(shè)置合并后的模型可以直接用 vLLM 起服務(wù)。vLLM 是當(dāng)前本地部署 DeepSeek 類模型最常見的推理框架自帶連續(xù)批處理和 KV Cache 優(yōu)化單張 24GB 卡就能支撐幾十路并發(fā)政務(wù)窗口那點(diǎn) QPS 完全夠用。python -m vllm.entrypoints.openai.api_server \ --model ./policy_qa_final \ --served-model-name policy-qa \ --gpu-memory-utilization 0.9 \ --max-model-len 2048 \ --tensor-parallel-size 1gpu-memory-utilization 0.9的意思是 kv cache 可以占用剩余顯存的九成政務(wù)問答答案長度穩(wěn)定給足顯存能顯著提高并發(fā)上限。max-model-len要和訓(xùn)練時(shí)的 max_length 對齊否則服務(wù)端會截掉后半段長文本答案。tensor-parallel-size 1單卡用雙卡改成 2 可吃下更大模型。服務(wù)起來后用 openai 兼容接口調(diào)用curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: policy-qa, messages: [{role: user, content: 生育津貼怎么領(lǐng)}], temperature: 0.1, top_p: 0.85, max_tokens: 512 }推理參數(shù)在政務(wù)場景的推薦值很固定參數(shù)推薦值原因temperature0.1~0.3政務(wù)答案要穩(wěn)定溫度越高同一問題答案越飄top_p0.85配合低溫度做核采樣兼顧自然度和確定性max_tokens512~1024答案要引用完整條款給太少會被截?cái)鄏epetition_penalty1.0~1.1政策文本里專有名詞多太高壓制有效輸出政務(wù)系統(tǒng)如果部署在政務(wù)內(nèi)網(wǎng)整個(gè)鏈路都在本地敏感數(shù)據(jù)不出環(huán)境這也是本地化部署而非調(diào)用云端 API 的主要理由。如果你是要嵌入微信公眾號或企業(yè)微信這類入口vLLM 的 OpenAI 兼容接口可以直接復(fù)用現(xiàn)有 SDK不需要額外改協(xié)議。5. 低資源訓(xùn)練與政務(wù)問答常見坑數(shù)據(jù)泄漏、幻覺與串臺排查模型能跑了之后真正的排查戰(zhàn)才開始。政務(wù)問答讓我印象最深的五類問題每一個(gè)都花過不止一個(gè)通宵定位。按“現(xiàn)象→原因→解決”的方式記在這里基本都是血淚經(jīng)驗(yàn)。5.1 訓(xùn)練loss降了推理時(shí)答非所問提示詞模板不一致現(xiàn)象訓(xùn)練時(shí) loss 平滑下降評測集分?jǐn)?shù)也不錯(cuò)一上線用戶問“社保怎么轉(zhuǎn)移”模型回了一句“根據(jù)以上問題分析如下”然后開始復(fù)述 prompt。原因這是政務(wù)項(xiàng)目里出現(xiàn)頻率最高的低級錯(cuò)誤——訓(xùn)練數(shù)據(jù)用的提示詞模板和推理時(shí)不一致?;P偷?chat 模板有嚴(yán)格的 system/user/assistant 結(jié)構(gòu)你在數(shù)據(jù)清洗階段如果手工拼了字符串而不是走 tokenizer 的 chat template訓(xùn)練完的模型只認(rèn)訓(xùn)練時(shí)那套格式。解決把提示詞模板提成一個(gè)常量訓(xùn)練和推理強(qiáng)制共用。用tokenizer.apply_chat_template統(tǒng)一生成輸入訓(xùn)練腳本和啟動腳本讀取同一份配置。排查方法很簡單從訓(xùn)練集里抽一條樣本打印喂給模型的實(shí)際 token 序列再從線上接口打印一條推理請求的輸入序列并排對比差異一眼就暴露了。提示政務(wù)系統(tǒng)經(jīng)常多人協(xié)作一人負(fù)責(zé)清洗一人負(fù)責(zé)部署模板不一致很容易在交接時(shí)埋下。建議在項(xiàng)目結(jié)構(gòu)里單獨(dú)建一個(gè) prompt_template.py誰也改不錯(cuò)。5.2 模型一本正經(jīng)地編造政策條款幻覺根源與RAG兜底現(xiàn)象用戶問“醫(yī)保報(bào)銷比例是多少”模型答了一個(gè)具體百分比還附了個(gè)文件號而實(shí)際上根本沒這條政策或者百分比是去年的。原因DeepSeek 這類生成式模型的本質(zhì)是“續(xù)寫最像樣的下文”微調(diào)能教會它熟悉政策格式但教不會它“不知道就說不知道”。政務(wù)數(shù)據(jù)量小模型遇到?jīng)]見過的問法會自覺用見過的高頻詞去補(bǔ)齊細(xì)節(jié)編得越順溜越危險(xiǎn)。解決三個(gè)手段一起上。第一在 system prompt 里寫明“只能根據(jù)以下政策原文回答原文未提及的內(nèi)容請明確拒絕”。第二RAG 召回結(jié)果為空或召回的相似度分?jǐn)?shù)低于閾值時(shí)直接讓模型輸出“未找到相關(guān)政策依據(jù)”而不是憑訓(xùn)練記憶硬答。第三在訓(xùn)練數(shù)據(jù)里專門加入幾十條“無依據(jù)拒答”樣本讓模型學(xué)會正確的拒絕方式。政務(wù)場景里說“不知道”遠(yuǎn)比說“錯(cuò)的”安全。5.3 顯存沒爆系統(tǒng)卻OOMmax_length與attention的浪費(fèi)現(xiàn)象訓(xùn)練時(shí)看顯存占用只到 60%跑著跑著突然 OutOfMemory日志里一堆 memory allocation 報(bào)錯(cuò)。原因Transformer 的 attention 計(jì)算量隨序列長度平方增長顯存占用也是。你感覺“顯存夠”是因?yàn)楸O(jiān)控面板看的是一整塊 GPU 的占用而單個(gè) batch 里恰好出現(xiàn)了一批長樣本峰值瞬間頂?shù)缴舷?。政?wù)語料里常有 1500 字的“政策解讀”混在 300 字的問答對里batch 內(nèi) padding 到最長樣本直接把你以為的余量吃光。解決訓(xùn)練前對所有樣本做長度分布統(tǒng)計(jì)超過 max_length 的直接截?cái)嗷驗(yàn)V掉不要讓長尾樣本參與訓(xùn)練。batch size 調(diào)到 1 到 2配合梯度累積比跑一半 OOM 再重啟強(qiáng)得多。還有一個(gè)細(xì)節(jié)per_device_eval_batch_size也要顯式設(shè)置很多人只設(shè)了訓(xùn)練 batcheval batch 默認(rèn)成了 8一驗(yàn)證就炸。5.4 新舊政策沖突時(shí)答錯(cuò)時(shí)間戳與覆蓋機(jī)制現(xiàn)象2024 年新規(guī)已經(jīng)發(fā)布問“醫(yī)保個(gè)人賬戶使用范圍”時(shí)模型背的還是 2022 年的舊條款人工復(fù)核時(shí)直接判定不合格。原因政策庫是個(gè)動態(tài)集合舊文件沒廢棄新文件沒標(biāo)注生效時(shí)間RAG 召回時(shí)新舊文本同時(shí)進(jìn)入上下文模型不知道怎么取舍大概率選它更“眼熟”的舊文本。解決這需要在數(shù)據(jù)入庫存階段就解決問題而不是靠模型。每份政策文件的切塊元信息里帶上“生效日期、失效日期、是否有效”三個(gè)字段檢索時(shí)在召回階段先按時(shí)間過濾一次組裝提示詞時(shí)把召回文本的文件名和日期附上模型看到“國辦發(fā)〔2024〕XX號”比“國辦發(fā)〔2021〕XX號”更晚會把矛盾處自動導(dǎo)向新規(guī)。訓(xùn)練數(shù)據(jù)里也要做清理如果問答對引用的條款已被新規(guī)替代直接刪掉舊問答對別讓過時(shí)知識留在記憶里。5.5 多輪問答串臺歷史對話管理缺失現(xiàn)象“剛才那個(gè)生育津貼還沒說完繼續(xù)”——用戶想延續(xù)剛才話題結(jié)果模型把整段歷史連上下文一起處理生成了和上一輪無關(guān)甚至矛盾的回答。原因政務(wù)問答的產(chǎn)品設(shè)計(jì)往往默認(rèn)用戶會連續(xù)提問但實(shí)際咨詢里每個(gè)問題高度獨(dú)立。“社保怎么轉(zhuǎn)移”和“公積金提取材料”完全不是一回事把多輪歷史全塞進(jìn)上下文等于給模型喂了一堆無關(guān)噪聲。解決第一版不做多輪對話只做單輪問答。用戶每次咨詢都當(dāng)作新問題配合 RAG 重新召回單輪的確定性和可維護(hù)性最高。如果產(chǎn)品上確實(shí)需要“繼續(xù)問”的體驗(yàn)用“摘要最近一輪”替代“全文歷史”并且把對話摘要排除在檢索范圍之外。政務(wù)領(lǐng)域少而準(zhǔn)比多而雜強(qiáng)。6. 政策問答上線前的評估閉環(huán)用真實(shí)政務(wù)問題壓測模型最后一環(huán)通常被壓縮成“上線前測一下”但政務(wù)場景值得做成一個(gè)持續(xù)運(yùn)行的小流程。我的做法是把評估拆成三條線回歸集、壓測、新數(shù)據(jù)回流。回歸集是訓(xùn)練的“后悔藥”。從熱線平臺導(dǎo)出最近一年的真實(shí)咨詢工單脫敏后按行政區(qū)劃和事項(xiàng)類型抽 300 條配上參考答案和依據(jù)文號。每輪微調(diào)或知識庫更新后全量跑一遍對比準(zhǔn)確率變化。政務(wù)政策一年要更新好幾次沒有這個(gè)回歸集你根本不知道哪次語料調(diào)整把“公積金貸款額度”這題答壞了。上線前壓測按最壞情況算不按平均算。并發(fā)還是其次首要看首 token 延遲的 P95——用戶問完話到看見第一個(gè)字的時(shí)間。政務(wù)問答里多數(shù)問題短答案長首 token 延遲比吞吐量更影響體驗(yàn)。vLLM 這類框架的快慢取決于顯存里能不能塞下足夠長的 KV cache壓測時(shí)記得把 max_tokens 按真實(shí)答案長度設(shè)置而不是調(diào)一個(gè)標(biāo)準(zhǔn)值。上線后最容易被團(tuán)隊(duì)忽略的是數(shù)據(jù)回流。用戶反復(fù)追問“不是這個(gè)意思”“我問的是另一個(gè)城市”這些都說明模型沒理解真實(shí)意圖。把這類不滿意的對話每小時(shí)回流到待標(biāo)注池每兩周人工過一次能進(jìn)入訓(xùn)練集和評測集。政務(wù)問答沒有“做完”的一天只有“持續(xù)變好”的慣性。寫一個(gè)我自己的教訓(xùn)第一次上線時(shí)我們盯著自動指標(biāo)和響應(yīng)延遲自認(rèn)為穩(wěn)了結(jié)果用戶問“靈活就業(yè)人員怎么參?!蹦P痛鸪隽苏咴牡牟糠謨?nèi)容卻漏掉了最重要的“需先辦理就業(yè)登記”——因?yàn)橛?xùn)練數(shù)據(jù)里這條前置條件正好被截?cái)嗔恕哪且院笪业脑u測集里專門加了一類“政策流程限題”考察模型答全鏈條步驟而不是單點(diǎn)知識。如果你想在政務(wù)問答上少踩坑這條最值得帶走。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久久久久久久久97| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 少妇综合网| 狠狠色狠狠操| 国产高潮白浆一区二区| 婷婷五月天奸女| www.超碰| 丁香六月婷婷综合色| 激情99热| 日日操日日爽| 天天干,夜夜爽| 五月婷婷婷| 五月天婷婷自拍图片在线观看| xxx日本东京热| 天天狠狠干| 久久久ww| 九九中文字幕九| 久热这里只精品| 成人性爱精品视频| 色五月五月婷婷| 超碰久热| 色综合色色| 六月丁香激情综合| 亚洲激情网| 婷婷色网| 在线99热| 天天爽夜夜操| 日韩美一级毛卡片| 色婷婷丁香六月| 99re8在这里只有精品| 狠狠色色| 婷婷婷久久久| 久久综合丁香激情五月| 九色99视频| 婷婷天堂综合| 婷婷六月色开 | 亚洲综合1024| 久久五月天网| 婷婷综合av| 5月婷婷性视频| 日本一级一级一级一级| 综合色五月| 日韩人妻AV在线| 99精品热视频| 婷婷操超碰| 亚洲愉拍99热成人精品| 丁香五月久久| 色婷婷五月天小说| 99精品偷自拍| 久久久婷| 日本91在线| www.五月婷| 午夜福利8055| 五月激情小说| 久久人操| 8区视频在线| 99九九热在线观看| 99玖玖在线视频| 久久66成人网站| 九月av在线| 色噜噜五月天| 狠狠综合色网| 色综合伊人网| 色天堂操| 丁香五月丁香伊人| 无毒黄色网址| 国产黄色在线观看| 五月丁香久久精品在线观看| 99热这里只有精品青草| 久操干| 武则天精品久久| 97人人搞| 啪啪99| 大香蕉伊在| 超碰renrenai| 激情五月婷婷丁香综合网| 婷婷深爱五月亚洲综合| 色色草97| 九九热精品99| 射久久丁香五月| 天天爽天天操| 中文字幕在线播放视频| 91碰碰| 色色色99| 这里只有精品视频| www.日日夜夜| 内射在线CHINESE| 丁香六月婷婷激情| 久操干| 九九激情综合| 激情五月天之五月婷婷| 成人超碰网| www.henhengan| 99在线热| 97日本在线播放| 久久天天| 亚洲综合色五月| 777米奇影视第四色| 亚洲激情97五月天| 区区久久妻| 九九综合色| 99热国产免费| 天天插天天| CAOBIBI| 丁香狠狠色婷婷| 巴基斯坦粉嫰无码视频| 狠狠色丁香婷婷| 久久婷婷五月天| 综合伊人久久| 99热只有国产在线精品| 激情综合无码| 超91热| 噜一噜在线| 日日噜噜久久婷婷五月天 | 婷婷午夜综合| 丁香激情综合| 婷婷伊人五月天| 婷婷玖玖五月天| 综合色播| 丁香六月婷婷久久综合| 五月丁香婷婷综合在线| 日韩 中文 欧美| 99ER热精品视频| 久9免费视频| 婷婷爱综合| 26uuu偷拍亚洲欧洲综合| 色热久| 婷婷丁香六月激情综合| 色色是色N一| 久久五月婷天天干| 99九九精品| 超碰97免费在线| 色情五月天婷婷| 五月丁香六月综合情在线观看| 9精品国产在热久久| 天天色色天天| 婷婷五月天av| 婷婷丁香六月激情综合| 全高清无码视頻| 99热精品观看| 日本色狠狠| www夜夜操wwwcon| 综合激情网| 爆乳熟女一区二区三区爆乳| 久xxxx| 超碰免费电影| 亚洲一区二区 成人网站戴套| 夜丁香综合| 思思re视频在线| 色播五月天天| 中文不卡一二三区| 天干天天干天天天天天| 亚洲精品乱码久久久久99| 99视频自拍| 99热精品网| 色色综合激情| 玖玖婷婷五月天| 狠狠色婷婷7| 色狠久| 性按摩玩人妻HD中文字幕| 九九99精品| 丁香六月婷婷一区二区三区| 天天干、天天日日| 丁香五月激情视频| www激情五月天| 玖月婷婷爱丁香| 人妻videos人妻高清| 色婷婷XXXXX| 久久99久久久| 这里只有精品免费在线视频| 热99国产精品| 五月天开心色情网| 深爱婷婷丁香五月激情| 九九Av| 思思热久久艹| 99操| 丁香五月老师| 天天操婷婷| 久久99久久99精品免观看软件| www色色色com| 九九色婷婷| 婷婷五月综合色中文字幕| 久久五月视频| 五月天开心成人网| 九九视频在线| 天天日天天干天天爽| 亚洲aV写真天天综合网久久| 丁香婷婷噜噜| 色五月 五月婷婷| 五月天婷婷乱论小说| 婷婷色情网| 99性视频| 久久精品一区二区三区四区| 婷婷五月天久| 性爱人人网| 丁香av网| 五月丁香网站| 精品福利911| 天天天摸夜夜夜玩| 91啪啪视频| 国产免费AV网站| 大香蕉婷婷婷| 久久hd| 丁香伊人网| 丁香色影院| 五月情四婷婷| 婷婷五月草| 色播五月综合网| 337p大胆噜噜噜噜噜91Av| 五月开心网| 精品夜夜澡人妻无码AV| www.精品99| 亚洲女婷婷五月基地综合久久久| 任你草| 久久曰9| 青青999| 色99在线观看| 香蕉AV777XXX色综合一区| 97碰| 激情小说色五月| 国产乱码久久| 亚洲精品无码久久| 色综合女人99| 中文不卡一二区| 五月天婷婷色综合| 99人人操| 五月丁香另类图片| 99色爱| 国产精品成人在线| 久久XX| 99操免费视频| 伊人五月成人| 男人的天堂婷婷色五月| 午夜性爱影视一区77| 天天草天天爽| 五月天色色色| 久久性爱视频| 激情五月天婷婷| 色亚洲激情| 嫩草视频。| 五月丁香六月婷婷亚洲| 五月天婷婷综合网| 成人av播放| 免费亚洲婷婷中文字幕| 色综合激情| 色哟哟www| 婷婷综合国产| 怡红院一二三| 五月丁香A片| 99热的无码| 日韩 中文 欧美| 97五月婷婷| 日日色综合| AV成人在线播放| 婷婷五月天黄色| 91精品婷婷国产综合| 伊人久久五月天综合| 久久五月天丁香| 五月天另类小说久久小说网| 大香久久伊人网| 日本色爽| 99热日韩| 天天日天天插| 久久久五月四色| 9久热在线视频| 色色国产| 性 色 婷婷| 69凹凸成人综合网| 天天摸天天做天天爱天天爽| 日韩欧美颜射| 亚洲精品又粗又大又爽A片| 五月婷免费视频久久久| 三十熟女| 99精品爱| 午夜成人天堂久久无码日韩久久| 99re在线观看| 五月天色丁香| 热中文字幕| 五月综合视频| 天天日 天天草| 丁香成人五月天| 久草热久草在线视频| 色婷婷亚洲在线| 久久精品噜噜噜成人A∨色欲 | 婷婷性福五月天| 91视频久久久| 日狠狠| 亚洲婷婷激情888精品久| 五月天色色色网| 久久婷婷六月综合| 超碰色综合| 五月花婷婷在线精品视频| 国产精品A成V人在线播放| 婷婷丁香六月影视| 精品无码片| 婷婷五月亚洲综合| 色大综合| 任你爽免费视频| 九九99精品视频在线观看| 亚洲色婷婷色| YW无码| 大香蕉五月丁香| 日日操夜夜爽天天天| 男女啪啪做爰高潮无遮挡| 99热这里只有精品96| 婷婷久久在线| 日韩人妻白浆视频系列| 超碰在线免费9| 日韩超碰在线| 日韩性爱AV| 色爱综合网| 五月天激情网页| 久久9精品视频| 色播激情| 五月婷婷色欲| 99视频九九热| ji'qing'luan'ren'lun| 日本在线观看aaa 99| 色五月五月婷婷| 久久草中文日韩欧美| 丁香五月激情月| 五月天综合色| 婷婷色色色| 天天爽天天爽| 亚洲av成人在线| 开心五月天激情网| 狠狠色成人影片| 五月丁香基地| 天天操天天操| 激情婷婷亚洲五月| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | site:feetmall.com| 五月丁香欧美综合| 成人短视频在线免费观看| 欧美在线| 超碰狠狠操| 91狠狠色| 97五月天| 婷婷五月天欧美图片在线播放电驴| 丁香五月天.com| 九九九九中文字幕| 婷婷五月另类网站| 色www久视频| 欧美人妻一区二区| 99爱这里只有精品| 亚洲成色综合网站免费观看| 日本久久视频| 大香蕉伊人久久| 亲子乱AV-区二区三区| 伊综合蕉| 婷婷亚洲综合| 亚洲性视频| 色婷五月| 丰满少妇猛烈A片免费看观看| 欧美色色色色色色色| 色狠狠综合| 伊人久久婷婷| 99精品偷自拍| 日本123区日韩欧美不卡在线看| 五月综合丁香婷婷| 99热1| 久久99热这里只有精品 | 99re热视频这里只精品| 国产做爰视频免费播放| 久久久久久久久18久久| 久久婷婷综合网| 五月天激情图片| 97五月久久丁香婷婷| 日本婷色| AV性爱网| 国产精品爽爽久久久久久| 五月丁香淫淫婷婷婷| 狠狠操狠狠操| 六月丁香五月婷婷| 操逼巨乳91| 精品人妻一区| 狠狠色婷婷777| 综合色播| www.婷婷久久五月天| 国产精品男人AV不卡| 超碰人人99| 开心五月婷婷婷美女| 欧美va精品va老师va| 色婷婷五月天堂资源| 九九亚洲视频| 五月花免费视频| 五月丁香六月激情在线| 亚洲图片 丁香婷婷| 97碰| 99精品小视频| 丁香五月综合| 综合激情在线观看| 伊人99热| 亚洲小说欧美激情| 日本婷婷五月天| 亚洲精品电影| 日产精品久久久久久久蜜臀| 97超碰欧美中文字幕| 99视频在线观看网址| www.狠狠操.co m| 五月天婷婷成人| 国内外色色色色色成人视频| 日本99视频精品免费播放| 99福利导航| 99热12| 欧美日韩成人在线| 人人干女人| 日韩在线9| 五月丁香久久| 夜色热久| 色综合激情| AV六月丁香| 五月久久婷婷| 五月青青草综合| 玖玖综合玖玖| 国产一二三四五六七八视频| 久久久人妻久久久| 亚洲热久| 欧美日综合| 成人欧美一区二区三区在线观看| 人妻Av在线| 亚洲成人综合在线| 丁香六月亚洲综合| 热九九在线| 日韩欧美成人一区二区三区| 亚洲AV网站在线观看| 激情五月婷婷综合网| 91九色大屁股| 丁香六月在线综合| 人人干人人看| 97碰人人操| 亚洲人成人五月天| 桃色伊人在线| 五月香婷婷| 在线亚洲综合| 亚洲V国产V欧美V久久久久久| 色丁香五月婷婷| 国熟女视频| www.99视频| 啪啪操超碰| 五月丁香婷婷色啪| 五月丁香婷婷综合网| 天天搞天天色综合| 欧美黑人巨大猛烈cuckold| 六月丁香婷婷色狠狠久久| 骚五月婷婷| 婷婷五月花| 五月天婷婷在线视频| 久久这里只有精品99| 激情网第四色| 婷婷四月 成人 狠狠干| 亚洲性视频| 色综合色色色色| 99久久婷婷精品视频| 九九黄色网| www.久久| 国产成人亚洲综合A∨婷婷| 伊人狠狠综合| 日本狠狠爽| 五月婷婷六月丁香免费| 9久操| 99色色网| 九九黄色网| 操骚货在线| 五月停亭六月,六月停亭的英语| 婷婷综合五月| 五月婷婷六月婷| 色婷婷内射| 五月丁香性爱| 激情综合色| 七七九色| 日本色色网| 五月天伊人综合| www.婷婷,com| 丁香五月婷婷色| 奇米影视在线视频| 国产毛片精品一区二区色欲黄A片| 国产肥白大熟妇BBBB视频| 九八Av| 激情婷婷五月丁香啪啪啪| 久操大香蕉| 亚洲欧洲中文日韩久久AV乱码| 白人荫道BBWBBB大荫道| 丁香五月综合激情性爱| 9l视频自拍九色9l视频自拍九色9l社区| 久色激情| 国产激情综合五月久久| 婷婷丁香红五月91C| 色婷婷亚洲综合网站| BlACKEDRAW视频一区二区| 9热久久| 26.uuu丁香五月婷婷| 久久超级碰视频| 变态另类9| 婷婷伊在线| 五月婷六月丁香| 99久久极情精品一区| 色欧洲| 婷婷丁香五另类网站| 丁香成人视频| 丁香五月婷婷偷拍| 五月激情小说| 97干资源在线观看| 99亚洲综合| 亚洲激情综合色站| 亚洲欧美一区二区三区四区爱爱动图| 日日狠狠久久偷偷四色综合免费| 日本色视| 国产伦亲子伦亲子视频观看| 欧美婷婷综合网| 久久婷婷网站| 99综合一区| 色色色综合| 国产精品涩涩涩视频网站| 啪啪九九色| αV电影| 99精品热| 超碰碰碰碰| 日韩性爱AV| 欧洲99视频在线| 无码G高清天| 激情六月丁香| 亚洲色图五月丁香五月婷婷| 这里只有在线精品| AV中文在线| 99视频| 色色五月丁香| 综合色影| 国产做爰视频免费播放| 亚洲、欧美、国产另类笫二区| 大伊久久| 久久98| 91九色欧美| 色婷五月| 色色热| 91丨九色丨高潮丰满日本| 激情五月婷婷老师| 丁香婷婷深情五月亚洲| 啪啪黄页网| 狠狠干无码| 色婷婷狠狠18yy| 热的国产99热| 激情涩涩网| 97色女人在线| 丁香五月网| 色欲资源网| 一起草AV入口| 婷婷久久五月天亚洲欧美国产日韩在线观看| 91人妻PORNY九色大屁股| 26.uuu丁香五月婷婷| 人人播| 成人短视频在线免费观看| 国产精品人人妻人人爽| 五月婷婷色在线| 亚洲av免费在线| 五月天婷综合| 久久五月天网| 日本WWW九九九| 婷婷色资源| m色激情网| 狠狠色噜噜狠| 久久久久人妻精选| 五月天婷婷网站| 婷婷她六月天| 日本色狠狠| 国产精品第一国产精品| 婷婷五月丁香久久| 91丨九色丨43老版熟女| 色婷婷色五月另类综合| 色情综合网| 99er精品| 人人操AV| 美女主播野战视步页| 99热在线观看| 涩涩网五月天| 色狠狠色综合久久久绯色aⅴ影视| 思思热在线视频99| 99欧美热| 狠狠综合网| 91在线日本| 91丨九色丨国产打屁股| 激情久久四色| 色色五月婷| 久久色区| 五月综合色| 综合欧美五月婷婷| www.狠狠| 婷婷五月天亚洲综合网| www.色色色com| 新激情五月天天在线网| 深爱婷婷基地| 伦乱人妻| 婷婷 久综合| 无码色色色| 99视频这里只有精品10| 色婷婷狠狠| 亚洲精品**不卡在线播he| 综合五月天| 五月婷高清视频| 九一牛视频探花| 99爽视频| 天天天天天日| 五月激情综合婷婷| 超碰国产AV| 中文字幕无码AV| 色综合九九| 婷婷色香六月综合激情| www.色综合.com| 国产精品日本一区二区在线播放| 91视频一起草| 婷婷五月花西瓜| 五月婷五月婷伊人伊人五月婷| 大香蕉网 久久| 97色色婷婷| 色色色色网| 99热九九这里只有精品10| 夜夜大香蕉婷婷丁香| 婷婷色色综合| 五月婷婷激情网| 91色综合| 天堂中文国产| 999热在线视频| 怡红院院在线导航网| 操日本三片99| 夜精品无码A片一区二区蜜桃| 五月婷婷深深爱| 夜夜骑天天玩天天日| 9九热视频| 五月婷婷亚洲色图| 91大屁股在线| 一本大道熟女人妻中文字幕在线| 色色色婷婷五月天| 五月天激情久色| 五月丁香啪啪综合网| 97碰精品| 色五月综合网站| 五月久久丁香| 国产又爽又猛又粗的视频A片| 九九99久久| 丁香五月五月婷婷| 成人丁香五月天| 五月天丁香成人| 欧美英丁香开心快乐六月天网| 五月丁香在线国产| 成人小说 五月天 婷婷| 丁香婷五月天| 深爱五月综合网| 丁香综合婷婷开心激情网| 婷婷伊人五月丁香天堂网| WWW、日本色丁香、co m| 成人五月天综合网| 欧洲区自拍| 伊人三级激情| 91啪啪网| 激情AV| 婷婷欧美激情综合| 欧美激情xxxXX| www.人人操人人看人人想人人摸 人人人人操,COM | 五月天开心色情网| 操操操操操操婷婷五月天| 婷婷丁香五月天婷婷| 99热精品少| 五月香蕉婷婷| 亚洲色婷婷99一9|| 亚洲看av的网站| 久久这里只有精品无码| 5月婷婷激情网| 久久久人妻门| 17.c黄色| 免费五月婷婷网| va婷婷| 日本99在线视频| 中国丰满熟女A片免费观| 亚洲网站观看视频| 国产亚洲99久久| 国产成人+综合亚洲+天堂| 日韩激情婷婷五月天| 五月天丁香婷| 五月天天天操天天爽夜夜操| 韩国三级五月天婷婷。| 97久久人人| OYIWbGcPu8H| 91丨九色丨熟女| 五月色情婷婷开心五月色情| 久久性爰视频这里只有精品| 天天爽天天操| 中文毛片无遮挡高潮免费| 999九九九久久久99HD| 五月丁香啪啪啪啪| 一本综合丁香日日狠狠色| 98色花堂98t.R| 看全色黄大色大片| 777精品久无码人妻蜜桃| 丁香五月天影院| 国精产品一区二区三区| 婷婷久久综合| 天天做天天爱天天爽综合网| 六月丁香婷| 99热线观看9| 五月丁香花激情综合网| 成人AV在线电影| 婷婷五月激情综合网| 午夜色色色极品视频| 超碰免费大香蕉| 91九色成人原创视频| 99在线观看视频精品| 综合久久久| 成人一区在线观看| 少妇人妻综合色6699| 五月天综合在线| 99热日本| 97久久久| 九九热在线视频观看免费10| 99热久久最新地址| 可以看的av| 黄色三级日本| 爱婷婷都市激情| 婷婷五月丁香综合瑟瑟| 成人网丁香五月| 久久99精品视频| 综合亚洲六月婷婷在线| 日韩AAAAA| 亚洲成人在线免费| 嫩草视频在线观看| 婷婷激情五月天小说| 丁香六月婷婷社区| 五月丁香花开综合网| 欧美成人猛片AAAAAAA| 狠狠色丁婷婷日日,伊人激情综合网| 99综合网| 狠狠色噜噜狠狠| 极品 少妇 内射| 91久久五月天| 婷婷五月天AV在| 久久五月婷综合| 96精品成人无码A片观看金桔| 少妇性按摩无码中文A片| 天天爽天天日人人爱| 女性自慰系列第五页| 影音先锋一区| 欧美情月伍月天| 五月丁香免费视频| 色五月婷婷色| 色丁香五月天| 亚洲激情综合网| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 99精品视频网站| 91超级碰碰| 久久九区| 无码啪啪| 欧美久热| 97色操| 丁香 亚洲 久久| 五月天激情小说婷婷基地| 超碰v| 91精品久久久久久综合五月天| 丁香五月婷婷婷桃花影院| 亚洲性视频| 色八月婷婷| 日本人人超碰| 五月丁香六月激情在线| 国产色网站| 99精品网| site:feetmall.com| 超碰激情五月| 激情五月综合| 激情婷婷啪啪| 日韩成人AV在线| 六月色色| 婷婷丁香五月,狠狠综合| 精品动漫 无码av| 性欧美大战久久久久久久83| 人碰人人人玩91| 色色五月婷婷久久| 91热er| 亚洲天天| 五月丁香啪| 欧美亚洲成人在线| 99小精品| 婷婷五月天丁香社区| 日韩啪啪网| 国产婷婷色综合AV蜜臀AV| 碰99在线| 中文字幕AV网址| 丁香五月婷婷少妇| 亚洲操b| 色婷婷99| 99re在线播放| 第五色婷婷| 丁香婷婷激情综合五月激情| 激情AV中文| 成人综合视频网址| 九九综合九九| 日日肏夜夜干| 狼人久草| 色哟哟精品| 久久99热 这里有精品| 69激情小说| 丁香五月婷婷久久综合激情网| 婷婷丁香五月婷婷| 天天狠狠色噜噜| 超碰99在线| 丁香五月最新地址| 亚洲精品中文字幕成人片| 免费无码毛片一区二区A片| 99视频九九热| 无码人妻一区二区三区免费九色| www.精品99| 丝袜激情网| 色噜噜五月丁香婷婷| 91九色偷拍| 五月天福利影院导航| 中文字幕 中文字幕明步| 久久人妻精品| 亚洲欧美成人在线| 日本天天色| 久热99| 亚洲热久久| 狼人婷婷久久| 另类激情五月在线视频欧美| www.婷婷五月| 99国产在线| 久久久激情视频| 久久久久亚洲AV无码网影音先锋| 久热婷婷在线视频| 热99在线精品| 久久五月丁香综合| Aaa久久| h在线看免费版在线看| 久久99婷婷| 啪啪啪综合网| 色级停停| 在线伦子99热| 色婷婷狠狠爱| 91久久99久久91熟女精品| 综合色色婷婷| AV伊人青草丁香六月| 激情涩涩网| 婷婷五月天综合中文| 久久久无码精品成人A片小说 | 丁香婷婷综合喷| 婷婷五月花| 老师把我爽高潮了免费A片| 手机在线日韩视频中文字幕| 丁香五月在线伊人| 亚洲成人噜噜| 秋霞成人毛片一级A片| 操碰97| 月婷婷亚洲| 婷婷色正月| 婷婷丁香色情| 成人视频网| 99视频日韩| 99视频91| 亚洲VA欧美VA| 五月深爱网| 狠狠高潮精品亚洲1| 五月色色色| 超碰av在线| 五月久久综合| 久久婷婷啪啪视频| 婷婷5月天av| 日本熟女内射| 婷婷五月天社区| 婷婷字幕在线| 色综合久久五月| 久久五月天激情| 性一交一乱一交A片久久四色| 99热人人操人人操| 久久丁香| www.五月.com| 久久人人看| 国产欧美精品AAAAAA片| 日韩xx在线| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 翔田千里aV中文字幕| 丁香五月综合激情性爱| 久久色大香蕉| 、激情六月天| 思思热视频| 久热A片| 无码se| 九九99精品视频| 我想看国产大学生口爆吞精的视频| 五月婷婷开心激情六月蜜桃| 日日夜夜狠狠| 4399成人黄A片| 日本人人xxx| 99热这里只有精品在线观看| www.九月婷婷丁香.com| 久久国产精品乱子伦_靑青草…| 天天爽,夜夜爽| 久草热8精品视频在线观看| 亚洲综合成人网| 最新av在线观看| 日韩国产在线免费观看| 亚洲成人在线五月天| 人人插操| 99热免费| 欧美精品999| 五月天停婷基地| 日本色99网站| 六月丁香五月激情网| 丁香六月婷| 婷婷五月天Av| 五月丁香综合中文| 青青草99热久久精品国| 日日操天天操| 丁香五月综合激情性爱| 婷婷香五月天| 久久精品日| 狠狠色综合精品视频在线| 久久日本wwww色| 丁香婷婷中文字幕| 大香蕉婷婷婷| 99r这里| 久久丁香综合精品综合| 色狠狠六月| 99热精品在线播放| 婷婷五月综合久久中文字幕| 五月婷婷综合激情网| 婷婷色色丁香五月天| 欧美色图天堂网| www久久久| 99热官网| 五月天播播综合| 69精品人人人人| 九九热视频免费观看| 9视频在线成人网站| 五六月丁香激情视频| 免费色婷婷| 久碰婷婷视频| 婷婷的激情五月| 丁香色婷婷色手机免费在线| 激情五月婷婷视频一区二区三区| 百度4399有码精品V在线观看 | 无码激情AAAAA片-区区| 六月丁香深深爱| 97操在线资源| 久色| 婷婷五月18永久免费视频| 婷婷五月情| 激情内射人妻1区2区3区| 成 久久| www.五月丁香| av久热| 能看的av片| 日本一级大片| 日韩999| 99热这里只有精品无码| 久久9热| 五月天欧美 另类小说| 禁欲电影完整版在线播放| 69er小视频| 99热亚洲| 九九Y精品热播| www.99在线| 国产精品VA在线| 天天插天天插天天日| 五月婷婷综合色啪首页| 亚韩在线视频| jiqingliuyuetian| 99久久久国产大片| 91九色PORNY中文啦| 伦乱人妻| 婷婷国产五月天17c| 国产精品视频网| 色五月婷婷色| 人人干AV| 丁香五月天亚洲视频| 激情久久久| 七月丁香五月婷婷在线| 97久久五月丁香婷婷| 伊人影音无码一区二区三区| 亚洲性色XXXXX| 丁香 亚洲 久久| 成人综合网站| 欧美久久久久久久久中文字幕| 九九人人精品| 天天性视频| 久久五月网| 色婷五月天| 少妇人妻人伦A片| 欧美婷婷九月| 久久人操| 激情99热| 五月丁香在线观看99| 久久久九九九 99| 日本少妇AA一级特黄大片| 日本在线观看99| 新激情五月天| 爱久久小说下载网| 丰满少妇猛烈A片免费看观看| 亚洲综合另类| 极品人妻VIDEOSSS人妻| 黄色一级影片| 秋霞影音91人妻久久| 综合婷婷久久| 婷婷五月日本| 5月色婷婷| 九九综合色综合| 任你躁XXXXX麻豆精品| 亚洲精品国产成人AV在线| 婷婷五月天影视| 色噜噜狠狠一区二区三区| 国外亚洲成AV人片在线观看| 欧美大香蕉视频| www.成人婷婷综合| 99思思| 一区二区三区四日本| 99精品一二三四视频| 亚洲女婷婷五月基地综合久久久| 激情99| 天天视频精品9| 丁香五月天导航| 色99婷婷五月天| 五月丁香五月丁香五月丁香五月丁香91| 五月天堂色色| 久9热视频在线观看| 91九色国产| 狠狠舔| 日日干干天天干| 色婷婷五月天小说网| 天天狠狠夜夜狠狠2023| www.婷婷.com| 91综合国免费久入| 夜夜谢天天干| 亚洲激情四射色| 婷婷激情综合色五月久久91| 色婷婷色九月| 99色色网| 有码人妻久久| 开心五月深爱五月丁香五月激情五月 | 91男同| 激情都市另类| 九九这里是免费的视频5| 婷婷狠狠久久| 日日操夜夜爽| 风流少妇A片一区二区蜜桃| 91色欲综合| 久久中文人妻系列| 79精品视频| 亚洲欧洲另类| 色色婷婷综合| 色婷婷五月综合在线| 久久亚洲色导航| 五月天国产成人| 5月婷婷6月六月丁香| 色五月婷婷五月天| 91色噜噜狠狠狠狠色综合| 五月婷婷熟女| 1024人妻| xxxx五月天色色| 五月总合激情网| 丁香六月综合| 欧美性爱五月天| 亚洲美女裸体被操在线观看| 丁香久久| 亚洲综合成人网| 五月婷婷婷| 精品一区二区三区四区五区六区| 曰本aaaaaa丈片| 激情五月开心五月在线视频| 色婷婷基地| 噜噜视频| 99色五月| 婷婷色五月色妇| 色五月人妻| 色综合偷拍| 天天插夜夜爽| 99综合免费视频| 婷婷五月天综合AV| 婷婷激情啪啪| 99热91| 熟女网站久久| 五月综合六月婷婷| 中文字幕无线久必| 襙比视频| 中文字幕丰满孑伦无码专区| 99爱免费在线观看| 久久98| 色狠狠综合| 99精品视频免费观看近期发布| 99热久| 丁香色婷婷五月天| 天天做天天爱天天爽夜夜揉| 丁香婷婷啪啪| 97资源碰碰在线| 激情五月,婷婷五月,丁香五月| 51精品国自产在线| 婷婷五月成年人| www.婷婷亚洲基地| 91婷婷色 | 这里只有精品久久| 激情5月婷婷狠狠干| 日本欧美成人片AAAA| 同性gv国产精品一区二区| 99精品在线| 先锋资源 996| 九九久久色| 香蕉操亚洲| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 99久久偷拍视频| 久久婷婷综合国产| 色综合色综合婷婷热| 成人精品视频99在线观看免费| 婷婷激情小说网| 九九RE视频在线精品| 快乐婷婷五月天| 国产成人综合电影| 亚洲九九视频| 99视频35精品视频在线观看| 日韩久久色| 久久婷婷六月| 五月开心网| site:esunnet.com| 亚洲av成人一区二区电影在线| 久色激情| 丁香五月婷婷无码AV| 国产露脸150部国语对白| 色五月激情综合| 在线观看日韩12345区| 夜夜爱伊人| 六月丁香婷婷尤物| 亚洲色频| 一区二区免费看| 欧美丁香五月97色| 日本在线噜噜| 丁香五月婷婷色综合基地| 国在线激情网| 色婷婷综合久久| 99热99精品| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 久热九九| 色婷视频| 久久久久久五月天| 五月天综合久久| 91九九九九九九| 亚洲五月天激情| 久久人妻久久| 丁香色啪综合| 久久久www| 丁香久月| 激情网 久久| 操99| 婷婷色啪| 五月丁香淫淫婷婷婷| 午夜成人AV在线| 九九热在线观看视频| 欧洲综合色| 只有精品在线观看| 日本久久人| 色天使久久综合| 可以免费观看的av| 激情啪啪五月| 婷婷五月天成人基地| 欧美天堂久久| 丁香久月| BlACKEDRAW视频一区二区| www激情| 99精品自拍| 婷婷五月天播播| 思思综合热| 日韩五月婷婷| 久久婷婷五月综合色奶水99啪| 99亚洲精品综合在线| 日本99久久| 丁香婷婷色| 色色色地址| 国产.亚洲.欧洲视频在线| 五月婷婷激情综合视频| 六月丁香成人| 久久色吧| 操97在线观看| 九九操屄| 国产欧美精品AAAAAA片| 思思热视频在线观看| 久久爱婷婷| 五月婷婷啪| 九九热99精品| 婷婷久久五月天亚洲欧美国产日韩在线观看| 激情精品久久| www.操.com| av九九| 亚洲婷婷五月| 中文字幕人妻AV| 亚洲乱码日产精品BD| 色丁香五月婷婷| 久超超碰| 国产综合婷婷| 夜夜夜夜撸夜夜操| 色五月av伊人| 婷婷五月激情四月综合 | 色播播五月| 99久在线精品99re8| 天天草天天舔| 激情五月五月五月婷婷| 久久er视频6| 亚州色婷婷| 激情婷婷五月| 色v综合网| 久久久18| 久婷五月| 伊人久久大香蕉网| 五月天丁香网站| 秋霞免费三级片| 91久久婷婷| 五月天婷婷色| 日本a片网址| 影音先锋按摩| 亚洲五月六丁香激情| 五月夜丁香| 丁香五月婷婷激情中文| 99热亚洲精品66| 日本天天色| 欧美成人A片AAA片在线播放| 五月丁香六月| av操B网站| 亚洲色综久久五月| 337p大胆噜噜噜噜噜91Av| 轮奸综合网| 狠狠色狠狠操| 免费观看全黄做爰的视频| 99精品国产乱码久久久人妻| 丁香五月天堂| 五月丁香花成人社区| 成人国产欧美大片一区| 大香人妻| 久操福利| 色五月视频无码播放| 色色网站免费| 九热精品| 99热个人在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久艹 五月天| 超碰在线观看9| 天天日夜夜B久久| 无码任你操| 色婷婷影视| 国产AV影片| 久久久99视频| 天天干、天天日日| 综合色播| 日韩丁香涩| 99碰网站| 五月天色狠狠| 久9久成人精品视频| 五月天电影网| 丁香婷婷基地| 99综合99| 五月叮香啪| 91精品又长又大又粗又爽又猛| 色情五月天视频网| 深情五月天| 欧美三级A做爰在线观看| 日本久久99久久| 激情小说之五月| 99热这里有精品| 亚洲精品444久久久久久| 99久re热视频精品98| 97色色色色色| 狠狠爱综合网| 久久人人九九| 精品五月天| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 五月丁香在线婷婷美女|