欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于LlamaFactory的Qwen2.5法律醫(yī)療領(lǐng)域LoRA微調(diào)實戰(zhàn)指南

基于LlamaFactory的Qwen2.5法律醫(yī)療領(lǐng)域LoRA微調(diào)實戰(zhàn)指南 簡介這份資源面向具備深度學(xué)習(xí)基礎(chǔ)、熟悉Python的AI研發(fā)與NLP技術(shù)人員聚焦如何借助LlamaFactory對Qwen2.5進行高效微調(diào)使其適配法律與醫(yī)療等垂直領(lǐng)域。內(nèi)容圍繞多模型兼容、LoRA與QLoRA參數(shù)高效微調(diào)、可視化界面及全流程監(jiān)控展開覆蓋環(huán)境搭建、數(shù)據(jù)收集與預(yù)處理、配置文件編寫、模型訓(xùn)練、效果評估到服務(wù)部署的完整鏈路并通過法律判斷與醫(yī)療診斷案例對比微調(diào)前后的性能提升。資源包為1個docx文檔約39KB以圖文形式系統(tǒng)梳理微調(diào)思路與配置示例便于讀者對照實踐。目前已有94人學(xué)習(xí)。讀者可從中掌握低成本、少資源條件下的大模型定制方法理解數(shù)據(jù)質(zhì)量與微調(diào)參數(shù)對效果的影響并獲取面向法律咨詢、合同審查、醫(yī)療輔助診斷等場景的落地參考與評估合規(guī)思路。1. 法律與醫(yī)療專家模型為什么通用 Qwen2.5 直接上場會翻車很多團隊第一次做垂直領(lǐng)域大模型路徑都差不多拿一個 Qwen2.5 的通用權(quán)重寫個系統(tǒng)提示詞告訴它“你是一名資深律師”或“你是一名三甲醫(yī)院主治醫(yī)師”然后直接上線。前幾輪演示看著還行一旦進入真實業(yè)務(wù)問題就集中爆發(fā)——法條引用張冠李戴、醫(yī)療建議含糊其辭、專業(yè)術(shù)語中英混雜、該保守的地方它開始自由發(fā)揮。這不是提示詞沒寫好而是通用模型的知識分布和表達習(xí)慣跟法律、醫(yī)療這兩個領(lǐng)域的實際要求差得太遠。法律和醫(yī)療是典型的“高門檻、強規(guī)范、低容錯”場景。法律文本講究條文編號、效力層級、構(gòu)成要件醫(yī)療文本講究診斷依據(jù)、用藥禁忌、劑量單位。這些內(nèi)容在通用語料里占比極低模型沒有足夠信號去學(xué)會。想讓 Qwen2.5 真正變成能用的專家模型就得走微調(diào)這條路。而 LlamaFactory 把微調(diào)的工程復(fù)雜度壓到了很低——它統(tǒng)一了數(shù)據(jù)格式、訓(xùn)練流程和適配器管理讓一線工程師不用從零寫訓(xùn)練循環(huán)就能把 LoRA 微調(diào)跑起來。這篇筆記面向的是想用 LlamaFactory 對 Qwen2.5 做領(lǐng)域微調(diào)的從業(yè)者你可能手頭有一批法律問答或醫(yī)療病歷數(shù)據(jù)想把它變成可復(fù)現(xiàn)的訓(xùn)練流程也可能剛接觸大模型微調(diào)需要一條能照著走通的最小路徑。下面從環(huán)境、數(shù)據(jù)、參數(shù)到排錯按實際落地順序拆開講。2. 用 LlamaFactory 跑通 Qwen2.5 微調(diào)環(huán)境、數(shù)據(jù)與最小命令2.1 環(huán)境準備與 Qwen2.5 權(quán)重獲取LlamaFactory 對硬件的要求取決于模型規(guī)模和微調(diào)方式。Qwen2.5 有 0.5B、1.5B、3B、7B、14B、32B、72B 等多個尺寸。做法律或醫(yī)療領(lǐng)域微調(diào)7B 是性價比比較高的起點單張 24GB 顯存的卡用 LoRA 就能跑14B 以上建議多卡或量化。先確認你的 CUDA 版本和 PyTorch 匹配然后裝 LlamaFactory。# 建議在獨立 conda 環(huán)境中操作避免依賴沖突 conda create -n llama_factory python3.10 -y conda activate llama_factory # 安裝 LlamaFactory從源碼裝方便后續(xù)改配置 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .[torch,metrics] # 驗證安裝 llamafactory-cli version裝完之后Qwen2.5 的權(quán)重可以從 Hugging Face 或 ModelScope 拉取。國內(nèi)網(wǎng)絡(luò)環(huán)境建議用 ModelScope速度更穩(wěn)。權(quán)重目錄結(jié)構(gòu)要記清楚后面配置里要填絕對路徑。# 以 ModelScope 為例下載 Qwen2.5-7B-Instruct pip install modelscope python -c from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen2.5-7B-Instruct) print(model_dir) 這里的關(guān)鍵參數(shù)是model_dir它會輸出權(quán)重落盤的實際路徑比如/root/.cache/modelscope/hub/Qwen/Qwen2.5-7B-Instruct。后面在 LlamaFactory 的配置里model_name_or_path就填這個路徑。不要填成模型名否則訓(xùn)練啟動時會去聯(lián)網(wǎng)拉取容易卡住。2.2 法律與醫(yī)療數(shù)據(jù)的組織格式LlamaFactory 支持 alpaca 和 sharegpt 兩種主流數(shù)據(jù)格式。法律和醫(yī)療場景我一般用 alpaca 格式因為它的instruction / input / output三段結(jié)構(gòu)剛好對應(yīng)“問題描述 補充背景 標準回答”。比如一條法律數(shù)據(jù)可以這樣組織[ { instruction: 根據(jù)《中華人民共和國民法典》相關(guān)規(guī)定分析下列合同糾紛中違約責(zé)任應(yīng)如何認定。, input: 甲公司與乙公司簽訂買賣合同約定乙公司于2024年3月1日前交付貨物。乙公司因自身原因延遲至3月20日交付導(dǎo)致甲公司生產(chǎn)線停工5天。合同中未約定違約金條款。, output: 本案涉及合同違約責(zé)任認定分析如下\n1. 違約事實乙公司未按約定期限交付貨物構(gòu)成遲延履行屬于違約行為。\n2. 法律依據(jù)《民法典》第五百七十七條規(guī)定當事人一方不履行合同義務(wù)或者履行合同義務(wù)不符合約定的應(yīng)當承擔繼續(xù)履行、采取補救措施或者賠償損失等違約責(zé)任。\n3. 損失賠償范圍根據(jù)第五百八十四條損失賠償額應(yīng)當相當于因違約所造成的損失包括合同履行后可以獲得的利益但不得超過違約方訂立合同時預(yù)見到或者應(yīng)當預(yù)見到的因違約可能造成的損失。甲公司生產(chǎn)線停工5天的實際損失屬于可預(yù)見范圍。\n4. 結(jié)論乙公司應(yīng)賠償甲公司因停工產(chǎn)生的直接經(jīng)濟損失。由于合同未約定違約金甲公司需舉證實際損失金額。 } ]醫(yī)療數(shù)據(jù)同理instruction寫臨床問題input放患者基本信息與檢查結(jié)果output寫結(jié)構(gòu)化的分析意見。數(shù)據(jù)量方面法律領(lǐng)域我建議至少 2000 到 5000 條高質(zhì)量樣本醫(yī)療領(lǐng)域因為容錯更低建議 5000 條以上并且要經(jīng)過執(zhí)業(yè)醫(yī)師審核。數(shù)據(jù)質(zhì)量比數(shù)量重要得多一條錯誤的法律條文或醫(yī)療建議可能讓模型學(xué)會錯誤的模式。把整理好的數(shù)據(jù)放到 LlamaFactory 的data目錄下然后在dataset_info.json里注冊數(shù)據(jù)集名稱。這一步不能省否則訓(xùn)練時找不到數(shù)據(jù)。{ legal_qa: { file_name: legal_qa.json, columns: { prompt: instruction, query: input, response: output } }, medical_qa: { file_name: medical_qa.json, columns: { prompt: instruction, query: input, response: output } } }columns里的映射關(guān)系要跟你的 JSON 字段名完全一致。如果字段名對不上訓(xùn)練會直接報KeyError這是新手最常見的翻車點之一。2.3 LoRA 微調(diào)的最小可跑配置LlamaFactory 支持命令行和 WebUI 兩種方式。生產(chǎn)環(huán)境我推薦用 YAML 配置文件方便版本管理和復(fù)現(xiàn)。下面是一份針對 Qwen2.5-7B 做法律領(lǐng)域 LoRA 微調(diào)的最小配置# legal_lora_sft.yaml model_name_or_path: /root/.cache/modelscope/hub/Qwen/Qwen2.5-7B-Instruct stage: sft do_train: true finetuning_type: lora lora_target: all dataset: legal_qa template: qwen cutoff_len: 2048 max_samples: 3000 overwrite_cache: true preprocessing_num_workers: 8 output_dir: saves/qwen2.5-7b-legal-lora logging_steps: 10 save_steps: 200 plot_loss: true overwrite_output_dir: true per_device_train_batch_size: 2 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 3.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true ddp_timeout: 180000000啟動訓(xùn)練llamafactory-cli train legal_lora_sft.yaml這份配置里幾個參數(shù)需要重點解釋。lora_target: all表示對所有線性層掛 LoRA 適配器法律和醫(yī)療這種知識密集型任務(wù)目標層覆蓋越全模型吸收領(lǐng)域知識的能力越強代價是顯存占用略高。cutoff_len: 2048是單條樣本的最大 token 長度法律條文和醫(yī)療分析往往較長設(shè)太小會截斷關(guān)鍵內(nèi)容設(shè)太大則顯存吃緊2048 是 7B 模型在 24GB 卡上的平衡點。learning_rate: 1.0e-4是 LoRA 微調(diào)的常用起點比全量微調(diào)高一個數(shù)量級因為 LoRA 只更新低秩矩陣需要更大的步長。gradient_accumulation_steps: 8配合per_device_train_batch_size: 2等效 batch size 是 16顯存不夠時優(yōu)先調(diào)大累積步數(shù)而不是減小 batch size。訓(xùn)練過程中重點看 loss 曲線。如果 loss 在前 100 步就降到 0.5 以下大概率是數(shù)據(jù)太單一或重復(fù)模型在死記硬背如果 loss 震蕩劇烈不下降檢查學(xué)習(xí)率是否過大或者數(shù)據(jù)里有沒有大量空 output。正常情況 loss 應(yīng)該從 2.0 左右平滑下降到 0.8 到 1.2 區(qū)間。3. 法律與醫(yī)療微調(diào)的數(shù)據(jù)工程從原始卷宗到訓(xùn)練樣本3.1 法律數(shù)據(jù)的清洗與結(jié)構(gòu)化法律領(lǐng)域的原始數(shù)據(jù)來源通常是裁判文書、法律法規(guī)庫、律所問答記錄。這些數(shù)據(jù)不能直接拿來訓(xùn)練必須先做結(jié)構(gòu)化。裁判文書里大量內(nèi)容是當事人信息、審判程序等與法律推理無關(guān)的字段需要剝離出來只保留“案情摘要 爭議焦點 裁判理由 法律依據(jù)”這條主線。我一般用 Python 做一輪預(yù)處理把非結(jié)構(gòu)化文本轉(zhuǎn)成 alpaca 格式。下面是一個針對裁判文書的簡化清洗腳本import re import json def clean_legal_text(raw_text): 清洗裁判文書提取核心法律推理段落 # 去掉當事人身份證號、詳細住址等隱私信息 raw_text re.sub(r\d{17}[\dXx], [身份證號], raw_text) raw_text re.sub(r住址[:].*?。, 住址[已脫敏]。, raw_text) # 按段落切分保留包含法律推理關(guān)鍵詞的段落 paragraphs raw_text.split(\n) key_markers [本院認為, 爭議焦點, 依照, 判決如下, 法律依據(jù)] core_paragraphs [] for para in paragraphs: if any(marker in para for marker in key_markers): core_paragraphs.append(para.strip()) return \n.join(core_paragraphs) def build_legal_sample(case_text, question, answer): 組裝單條訓(xùn)練樣本 return { instruction: question, input: clean_legal_text(case_text), output: answer } # 示例批量處理 samples [] with open(raw_judgments.jsonl, r, encodingutf-8) as f: for line in f: item json.loads(line) sample build_legal_sample( case_textitem[content], question請分析本案的爭議焦點及裁判依據(jù)。, answeritem[reasoning] ) samples.append(sample) with open(legal_qa.json, w, encodingutf-8) as f: json.dump(samples, f, ensure_asciiFalse, indent2)這段腳本的核心邏輯是“脫敏 關(guān)鍵段落抽取 格式組裝”。脫敏是法律數(shù)據(jù)的硬性要求身份證號、住址、聯(lián)系方式必須處理掉否則訓(xùn)練出的模型可能泄露隱私。關(guān)鍵段落抽取依賴key_markers列表不同來源的文書標記詞可能不同需要根據(jù)實際數(shù)據(jù)調(diào)整。build_legal_sample里的question和answer最好由法律專業(yè)人員撰寫或?qū)徍瞬灰媚P妥詣由煞駝t會引入幻覺。3.2 醫(yī)療數(shù)據(jù)的脫敏與術(shù)語標準化醫(yī)療數(shù)據(jù)的敏感度比法律更高除了患者身份信息還包括病歷號、就診時間、醫(yī)院名稱等。脫敏之后還要做術(shù)語標準化因為同一疾病在不同病歷里可能有多種寫法比如“2型糖尿病”“II型糖尿病”“T2DM”指的是同一個東西。術(shù)語不統(tǒng)一模型學(xué)到的知識就是碎片化的。import re # 醫(yī)學(xué)術(shù)語標準化映射表實際項目中應(yīng)覆蓋更多條目 TERM_MAP { II型糖尿病: 2型糖尿病, T2DM: 2型糖尿病, 高血壓病: 高血壓, 原發(fā)性高血壓: 高血壓, 心梗: 心肌梗死, 腦梗: 腦梗死 } def desensitize_medical_text(text): 醫(yī)療文本脫敏 # 去除病歷號、床號、電話 text re.sub(r病歷號[:]\s*\S, 病歷號[已脫敏], text) text re.sub(r床號[:]\s*\S, 床號[已脫敏], text) text re.sub(r1[3-9]\d{9}, [手機號], text) # 去除具體日期保留相對時間描述 text re.sub(r\d{4}年\d{1,2}月\d{1,2}日, [日期], text) return text def normalize_terms(text): 術(shù)語標準化 for raw, std in TERM_MAP.items(): text text.replace(raw, std) return text def build_medical_sample(record): 組裝醫(yī)療訓(xùn)練樣本 cleaned desensitize_medical_text(record[text]) normalized normalize_terms(cleaned) return { instruction: record[question], input: normalized, output: record[answer] }脫敏用正則表達式處理固定格式的信息術(shù)語標準化用映射表替換。TERM_MAP需要根據(jù)你的數(shù)據(jù)來源持續(xù)補充建議在項目初期就建立術(shù)語表由醫(yī)學(xué)背景的同事維護。build_medical_sample里的answer必須是經(jīng)過審核的臨床意見不能直接拿病歷里的初步診斷當標準答案因為初步診斷可能被后續(xù)檢查推翻。3.3 訓(xùn)練集與驗證集的劃分策略法律和醫(yī)療數(shù)據(jù)都有一個特點同類樣本之間高度相似。比如一百條買賣合同糾紛案情結(jié)構(gòu)幾乎一樣只是金額和日期不同。如果隨機劃分訓(xùn)練集和驗證集驗證集里會出現(xiàn)大量跟訓(xùn)練集雷同的樣本導(dǎo)致驗證 loss 虛低模型看起來學(xué)得很好實際泛化能力很差。我的做法是按“案件類型”或“疾病科室”做分層劃分。法律數(shù)據(jù)按案由分醫(yī)療數(shù)據(jù)按科室分確保驗證集里的案件類型或疾病類型在訓(xùn)練集里也有覆蓋但具體案情不重復(fù)。LlamaFactory 本身不提供分層劃分功能需要在數(shù)據(jù)準備階段就分好文件。import json from sklearn.model_selection import train_test_split # 假設(shè)每條樣本帶有 case_type 或 department 字段 with open(legal_qa_with_type.json, r, encodingutf-8) as f: data json.load(f) # 按案件類型分層劃分驗證集占 15% train_data, eval_data train_test_split( data, test_size0.15, stratify[item[case_type] for item in data], random_state42 ) # 去掉輔助字段只保留 alpaca 三列 def strip_meta(item): return { instruction: item[instruction], input: item[input], output: item[output] } with open(legal_train.json, w, encodingutf-8) as f: json.dump([strip_meta(x) for x in train_data], f, ensure_asciiFalse, indent2) with open(legal_eval.json, w, encodingutf-8) as f: json.dump([strip_meta(x) for x in eval_data], f, ensure_asciiFalse, indent2)stratify參數(shù)保證每個案件類型在訓(xùn)練集和驗證集里的比例一致。random_state42固定隨機種子保證每次劃分結(jié)果可復(fù)現(xiàn)。劃分完成后在dataset_info.json里注冊兩個數(shù)據(jù)集訓(xùn)練配置里dataset填legal_train驗證時用eval_dataset: legal_eval。驗證集的作用是觀察模型是否過擬合如果訓(xùn)練 loss 持續(xù)下降但驗證 loss 開始上升說明模型在背訓(xùn)練集需要減少 epoch 或增加數(shù)據(jù)多樣性。4. 微調(diào)參數(shù)怎么調(diào)LoRA 秩、學(xué)習(xí)率與 batch size 的取舍4.1 LoRA 秩和 alpha 的設(shè)置邏輯LoRA 的核心思想是在原模型權(quán)重旁掛一對低秩矩陣訓(xùn)練時只更新這對矩陣推理時把它們的乘積加回原權(quán)重。秩r決定這對矩陣的容量r越大能表達的變化越復(fù)雜但參數(shù)量和顯存占用也越大。法律和醫(yī)療領(lǐng)域需要模型吸收大量專業(yè)術(shù)語和推理模式r不能太小。我的經(jīng)驗值法律領(lǐng)域r16到32醫(yī)療領(lǐng)域r32到64。醫(yī)療術(shù)語更密集、表達更精細需要更大的秩。lora_alpha一般設(shè)為r的兩倍比如r32時alpha64。lora_dropout設(shè) 0.05 到 0.1防止過擬合。在 LlamaFactory 的 YAML 里加上這些參數(shù)lora_rank: 32 lora_alpha: 64 lora_dropout: 0.05 lora_target: alllora_target: all表示對所有線性層掛適配器。有些教程建議只掛q_proj和v_proj那是為了省顯存。法律和醫(yī)療任務(wù)我建議掛全因為領(lǐng)域知識不只影響注意力也影響前饋網(wǎng)絡(luò)。如果顯存實在不夠優(yōu)先保留q_proj、k_proj、v_proj、o_proj和gate_proj、up_proj、down_proj。4.2 學(xué)習(xí)率與調(diào)度器的選擇LoRA 微調(diào)的學(xué)習(xí)率比全量微調(diào)高因為低秩矩陣的梯度尺度不同。Qwen2.5-7B 做 LoRA SFT學(xué)習(xí)率從1e-4起步如果 loss 下降太慢可以提到2e-4如果 loss 震蕩就降到5e-5。調(diào)度器用 cosine 比較穩(wěn)warmup 比例設(shè) 0.1讓模型在前 10% 的步數(shù)里慢慢進入狀態(tài)。learning_rate: 1.0e-4 lr_scheduler_type: cosine warmup_ratio: 0.1 num_train_epochs: 3.0num_train_epochs設(shè) 3 是法律和醫(yī)療數(shù)據(jù)的常見值。數(shù)據(jù)量少于 2000 條時epoch 可以加到 5但要盯著驗證 loss。數(shù)據(jù)量超過 10000 條時2 個 epoch 可能就夠了。不要盲目追求低訓(xùn)練 loss法律和醫(yī)療模型寧可保守一點也不要過擬合到編造條文或診斷。4.3 batch size 與梯度累積的顯存平衡顯存是微調(diào)時最現(xiàn)實的約束。Qwen2.5-7B 用 LoRA 微調(diào)cutoff_len2048時單卡 24GB 大約能跑per_device_train_batch_size2。想增大等效 batch size就用梯度累積。per_device_train_batch_size: 2 gradient_accumulation_steps: 8等效 batch size per_device_train_batch_size × gradient_accumulation_steps × GPU數(shù)量。單卡時是 16。等效 batch size 影響梯度穩(wěn)定性太小會導(dǎo)致 loss 震蕩太大則收斂慢。16 到 32 是比較合適的區(qū)間。如果顯存報 OOM先降cutoff_len到 1536 或 1024再降 batch size。cutoff_len對顯存的影響是平方級的降它比降 batch size 更有效。另外記得開bf16: trueAmpere 架構(gòu)以上的卡都支持能省顯存且訓(xùn)練更穩(wěn)。如果卡不支持 bf16用fp16: true但要注意 fp16 容易梯度溢出需要配合fp16_opt_level之類的設(shè)置。5. 微調(diào)后的驗證與部署怎么判斷模型真的能用5.1 用領(lǐng)域測試集做人工評估訓(xùn)練 loss 和驗證 loss 只能說明模型在擬合數(shù)據(jù)不能說明它在真實業(yè)務(wù)里能用。法律和醫(yī)療模型必須過人工評估這一關(guān)。我的做法是準備一個 100 到 200 條的領(lǐng)域測試集覆蓋高頻場景和邊界情況讓領(lǐng)域?qū)<抑饤l打分。評估維度包括事實準確性法條引用是否正確、診斷依據(jù)是否成立、推理完整性是否覆蓋關(guān)鍵構(gòu)成要件、表達規(guī)范性術(shù)語是否標準、格式是否合規(guī)、安全性是否有不當建議或幻覺。每條按 1 到 5 分打分平均分低于 4 分的模型不建議上線。LlamaFactory 提供了批量推理功能可以把測試集喂進去生成回答再導(dǎo)出給專家評審llamafactory-cli chat \ --model_name_or_path /root/.cache/modelscope/hub/Qwen/Qwen2.5-7B-Instruct \ --adapter_name_or_path saves/qwen2.5-7b-legal-lora \ --template qwen \ --finetuning_type lora這是交互式對話模式適合抽查。批量評估可以寫個腳本調(diào)用推理接口把測試集的instruction和input拼成 prompt收集output后跟標準答案對比。5.2 適配器合并與推理部署LoRA 訓(xùn)練出來的是適配器權(quán)重推理時需要跟基礎(chǔ)模型一起加載。LlamaFactory 支持把適配器合并回基礎(chǔ)模型生成一個完整的權(quán)重目錄方便用 vLLM 或其他推理框架部署。llamafactory-cli export \ --model_name_or_path /root/.cache/modelscope/hub/Qwen/Qwen2.5-7B-Instruct \ --adapter_name_or_path saves/qwen2.5-7b-legal-lora \ --template qwen \ --finetuning_type lora \ --export_dir saves/qwen2.5-7b-legal-merged \ --export_size 2 \ --export_legacy_format falseexport_dir是合并后的權(quán)重輸出目錄。export_size是分片大小2 表示每片 2GB方便傳輸和加載。合并后的模型可以直接用 transformers 加載也可以用 vLLM 做高并發(fā)推理。注意合并后的模型體積跟基礎(chǔ)模型一樣大7B 的 bf16 權(quán)重大約 15GB部署時要算好顯存。如果不想合并也可以在推理時動態(tài)加載適配器LlamaFactory 和 vLLM 都支持。動態(tài)加載的好處是基礎(chǔ)模型共享多個領(lǐng)域的適配器可以熱切換壞處是推理時多一層計算延遲略高。生產(chǎn)環(huán)境我一般選合并穩(wěn)定優(yōu)先。6. 避坑與排查法律醫(yī)療微調(diào)里最容易翻車的五件事6.1 數(shù)據(jù)里混入模型生成的偽標簽現(xiàn)象訓(xùn)練 loss 降得很快但模型回答開始出現(xiàn)固定句式遇到?jīng)]見過的案情也套用同一套話術(shù)。原因數(shù)據(jù)準備階段為了省事用通用模型批量生成了部分output這些偽標簽帶有通用模型的表達習(xí)慣和幻覺被微調(diào)模型學(xué)去了。解決法律和醫(yī)療數(shù)據(jù)的output必須由人工撰寫或?qū)徍恕H绻_實要用模型輔助只能用來做初稿且必須經(jīng)過領(lǐng)域?qū)<抑饤l修改。檢查方法很簡單從訓(xùn)練集里隨機抽 50 條看output里有沒有“根據(jù)我的了解”“一般來說”這類通用模型的模糊表達。6.2 cutoff_len 設(shè)太小導(dǎo)致關(guān)鍵信息被截斷現(xiàn)象模型在訓(xùn)練集上表現(xiàn)正常但推理時遇到長條文或長病歷就答非所問。原因cutoff_len設(shè)成了 512 或 1024而法律條文和醫(yī)療分析經(jīng)常超過這個長度訓(xùn)練時后半段被截掉模型沒學(xué)到完整推理鏈。解決統(tǒng)計訓(xùn)練數(shù)據(jù)里instruction input output的 token 長度分布取 95 分位數(shù)作為cutoff_len。法律和醫(yī)療數(shù)據(jù)我一般設(shè) 2048如果顯存不夠就設(shè) 1536但不要低于 1024。截斷發(fā)生在 tokenizer 階段可以在預(yù)處理時打印長度直方圖確認。6.3 驗證集跟訓(xùn)練集同源導(dǎo)致評估虛高現(xiàn)象驗證 loss 很低但人工評估時模型在真實問題上表現(xiàn)很差。原因訓(xùn)練集和驗證集是從同一批相似數(shù)據(jù)里隨機切的驗證集樣本跟訓(xùn)練集高度雷同模型相當于在“背答案”。解決按案件類型或疾病科室做分層劃分確保驗證集里的具體案情在訓(xùn)練集里沒出現(xiàn)過。更嚴格的做法是留出一個完整的時間段或來源的數(shù)據(jù)做驗證比如用 2024 年的裁判文書做驗證2023 年及以前的做訓(xùn)練。6.4 LoRA 秩設(shè)太小導(dǎo)致領(lǐng)域知識學(xué)不進去現(xiàn)象訓(xùn)練 loss 降到一定程度就下不去了模型回答仍然帶有通用模型的泛化風(fēng)格專業(yè)術(shù)語使用不準確。原因lora_rank設(shè)成了 4 或 8低秩矩陣容量不夠無法表達法律和醫(yī)療領(lǐng)域的復(fù)雜知識。解決法律領(lǐng)域r至少 16醫(yī)療領(lǐng)域至少 32。如果顯存允許直接上 64。調(diào)大r后記得同步調(diào)大lora_alpha保持alpha 2r的比例。調(diào)大后重新訓(xùn)練觀察 loss 是否能降到更低水平。6.5 推理時 template 跟訓(xùn)練時不一致現(xiàn)象合并后的模型推理時輸出格式混亂或者回答里出現(xiàn)奇怪的標記符號。原因訓(xùn)練時用了template: qwen推理時忘了指定或者用了默認模板導(dǎo)致 prompt 格式跟訓(xùn)練時不一致。Qwen2.5 有特定的對話模板訓(xùn)練和推理必須嚴格對齊。解決訓(xùn)練配置和推理命令里的template必須一致。LlamaFactory 的chat和export命令都要顯式指定--template qwen。如果用的是合并后的模型在 transformers 里加載時也要用對應(yīng)的 chat template不要手動拼 prompt。7. 讓法律醫(yī)療模型更穩(wěn)的一個技巧用拒絕采樣篩訓(xùn)練數(shù)據(jù)微調(diào)做到后面你會發(fā)現(xiàn)模型能不能用八成取決于數(shù)據(jù)質(zhì)量兩成取決于參數(shù)。法律和醫(yī)療領(lǐng)域尤其如此一條錯誤的法條引用或醫(yī)療建議足以讓整個模型的可信度崩塌。我現(xiàn)在的習(xí)慣是在正式訓(xùn)練之前先做一輪拒絕采樣把訓(xùn)練數(shù)據(jù)里質(zhì)量不達標的樣本篩掉。具體做法是用基礎(chǔ) Qwen2.5 模型對每條訓(xùn)練樣本的instruction input生成一個回答然后跟人工撰寫的output做對比。如果基礎(chǔ)模型的回答跟標準答案在關(guān)鍵事實上一致說明這條樣本的難度不夠模型已經(jīng)會了可以降低權(quán)重或剔除如果基礎(chǔ)模型的回答錯得離譜說明這條樣本包含模型完全沒掌握的知識是訓(xùn)練的重點保留并適當增加同類樣本如果基礎(chǔ)模型的回答跟標準答案部分重合、部分偏離這種樣本最有價值因為模型處在“半懂不懂”的狀態(tài)微調(diào)能把它拉過來。from transformers import AutoModelForCausalLM, AutoTokenizer import json model_path /root/.cache/modelscope/hub/Qwen/Qwen2.5-7B-Instruct tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ) def generate_answer(instruction, input_text): prompt f### 指令\n{instruction}\n\n### 輸入\n{input_text}\n\n### 回答\n inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate(**inputs, max_new_tokens512, do_sampleFalse) return tokenizer.decode(outputs[0], skip_special_tokensTrue) def score_sample(sample): 用基礎(chǔ)模型生成回答跟標準答案做粗略對比 base_answer generate_answer(sample[instruction], sample[input]) # 實際項目中應(yīng)該用領(lǐng)域?qū)<一蚋毜闹笜藖泶蚍?# 這里用關(guān)鍵詞重合度做示意 gold_keywords set(sample[output][:200].split()) base_keywords set(base_answer.split()) overlap len(gold_keywords base_keywords) / max(len(gold_keywords), 1) return overlap with open(legal_train.json, r, encodingutf-8) as f: data json.load(f) scored [(item, score_sample(item)) for item in data] # 保留重合度在 0.3 到 0.7 之間的樣本這些是模型最需要學(xué)的 filtered [item for item, score in scored if 0.3 score 0.7] with open(legal_train_filtered.json, w, encodingutf-8) as f: json.dump(filtered, f, ensure_asciiFalse, indent2)這段腳本里score_sample用關(guān)鍵詞重合度做示意實際項目中應(yīng)該用更可靠的指標比如讓領(lǐng)域?qū)<覍A(chǔ)模型的回答打分或者用專門的評估模型。0.3到0.7這個區(qū)間是經(jīng)驗值重合度太低說明樣本太難模型可能學(xué)不會太高說明樣本太簡單訓(xùn)練收益低。篩完之后數(shù)據(jù)量會減少但訓(xùn)練效率會明顯提升。我踩過的一個血淚教訓(xùn)是早期做醫(yī)療微調(diào)時為了湊數(shù)據(jù)量把大量基礎(chǔ)模型已經(jīng)能答對的簡單問答也塞進訓(xùn)練集結(jié)果模型在簡單問題上過擬合遇到復(fù)雜病例反而退化了。后來堅持做拒絕采樣數(shù)據(jù)量砍掉一半但人工評估的準確率反而上去了。這個習(xí)慣我一直保留到現(xiàn)在每次微調(diào)前都會先跑一輪篩選寧可數(shù)據(jù)少一點也要保證每條樣本都在模型的“學(xué)習(xí)區(qū)”里。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九热99免费视频| 精品亚洲国产成人A片在线鸭王| 婷婷丁香五月色偷偷| 泰州成人视频| 色婷婷偷拍| 日日夜夜狠狠操| 色婷狠狠| 无码99| 香蕉色色网| 天天综合网亚洲网站| 秋霞九九无码| 五月天激情小说| www.综合久久.com| 久久玖玖综合| 香蕉久久国产AV一区二区| 9+1视频网址| site:hcxsz888.com| 五月丁香六月情| 丁香五月色色色色| 亚洲网在线观看| 激情五月婷婷中文字幕| 色色综合热| 欧美成人A片AAA片在线播放| 99啊精典免费视频| 色色色色五月天| 婷婷五月丁香五月| 无码少妇高潮喷水A片免费| 色五月天成人在线| 91seAV| 色婷婷丁香五月在线观看| 色综合色婷色基地| 婷婷五月天成人| 国内婷婷丁香社区在线播放| 五月久久丁香| 天天日夜夜| 任你日视频| 亚洲一二三网| 婷婷色综合| 久久狠狠干| 性爱视频99| 亚洲性爱干干| 9l久久久视频| 97色天堂| 人人草成人视频| 中文字幕在线日亚洲9| 亚洲婷婷五月草久| 久婷婷久草| 国产精品久久久海的味道| 99操无码视频观看| 夜夜干 夜夜操| 黄涩毛片| 91操在线观看| 色99在线视频| 亚洲精品性色| 天堂久久婷婷| 少妇性BBB搡BBB爽爽爽视頻| 色五月天综合网| 婷婷情色五月天| 99爱在线视频| 色五月婷婷天天操夜夜操| 97碰91| 日本美女五月天| WWW.99热| 国产成人综合亚洲| 99干日本| 99热99精品在线观看| 久久丁香网| 激情五月婷婷五月丁香五月开心五月| www.91操| 婷色天堂| 日韩色久| 亚洲另类婷婷五月综合| 色噜噜97视频在线观看| 性无码专区无码| 深爱激情丁香五月| 激情小说五月天社区丁香| 精品成人无码A片观看香草视频| 丁香激情五月少妇| 五月天激情综合网俺也去| 欧美丰满熟妇BBB久久久| 五月丁香色婷婷熟女| 色综合狠狠色| 四LLL少妇BBBB槡BBBB| 亚洲综合色色| 91婷婷丁香五月天免费视频网站| 五月丁香六月综合图| 久久最新色| 秋霞午夜理论| 2015超碰| 99久久九九视频| a久久| 五月丁香婷婷综合在线| 九九99在线| 99热国产免费| 亚洲激情五月天| 久热只有这里有精品| 综合网精品99| 色色网站| 久久人妻乱| 只有精品视频在线观看| 欧美毛卡| 99热热热99精品婷婷| 另类图片五月天| 操操操av| 色婷婷色九月| 久久婷婷五月天激情新地址| 久九色| 午夜婷婷五月天在线| 天堂综合久| 丁香五月激情综合| 美国十月色婷婷在线观看| 丁香婷婷五月天网站| 精品动漫 无码av| 99久久激情视频| 996日日爱| 99色色爰| 丁香五月网| 9999久久久久| 色天堂A| 九九草热在线观看| 在线你懂的亚洲欧| 欧美人人草草| 97人人干| 99热免费精品| 综合色色色色色色| 激情图片婷婷| 久久久婷婷| 亚洲影院婷婷色| 五月丁香影视| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 久热中文字幕| 久久久久人妻精选| 天天爽—爽| 久热亚洲| 夜色.cnm| 男女啪啪做爰高潮无遮挡| 色婷婷综合久久久久| 五月停停丁香| 色婷婷五月天激情| 91婷婷色 | 色狠狠色狠狠| 大波美女VA网站| 天天综合网91| 久婷首页| 国内自拍97在线| 99热只有| 99色天堂| 丁香婷婷六月男男| 日日舔夜夜操| 综合性视频99| 五月色婷婷亚洲 | 五月丁香天堂网婷婷| 色七七九九| 国产99久| 99免费视频| www.色婷婷.com| 婷婷激情丁香六月| 亚洲日韩26uuu| 五月天色色激情综合| 久久9RE热视频精品98| 艳妇野外情欲放荡HD| 亚洲综合激情五月久久| 婷婷色导航| 天天射天天射一道本日本社区| 激情小说五月天社区丁香| 91人碰| 久久婷婷五月天大香蕉| 五月天开心网| 99亚洲精品| 色婷婷中文在线| 九九热99热| 九九久久综合网站| 亚洲色色在线| 性色欲情 网站| 色情五月天。| 停停五月色宗合| 99久99久| 五月丁香综合色婷婷| 99热这里只有精品9| 六月久久婷婷| 五月天婷婷综合免费| 五月天夜夜爱夜夜操| 激情综合五月激情17| 五月丁香无码| 操日本三片99| 色婷成人狠干| 97操男人的天堂| 五月婷婷碰碰| 这里只有精品96| 99久久婷婷| 九色自拍| 91AV婷婷| 女婷久久| 日本在线视频www色| 国外亚洲成AV人片在线观看| 熟女人妻一区二区三区免费看| 九九99久久| 色停停香蕉视频| 一级二级色大片| 五月天天爱| 五月丁香AV在线| 这里只有国产精品在线| 日本五月丁香| 丁香五月天婷婷久久综合| 精品色情一区二区三区四区| 丁香六月天婷婷在线| 性欧美日本| 五月婷婷草| 亚洲啪啪精品| 免费操超碰| 超碰妻人人| 99九九这里有免费视频| 日本啪啪网| 国产成人av在线| 婷婷色片| 五月天伊人综合| 久久精品人妻| 色综合色五月| 五月综合视频| 99这里有精品视频| 天天干天天日日| 五月激情综合婷婷| 婷婷在线观看五月天在线视频| 狠狠 久久| 国产FREESEXVIDEOS性中国| av狠狠操| 狠狠操天天日| 入口五月婷婷六月香| 天天日日天天| 日本操B视频在线观看| 狠狠综合网| 国产超碰在线| www.99热国产| 草榴成人影片| 精品综合爱| 琪琪色影音先锋| 日本理论久久| 国产精品电影网| 成人网站免费在线播放| 99ri在线| 五月丁香婷婷在线综合蜜桃| 伊人五月久久| 亚洲人妻五月丁香婷婷| 天堂草在线看www| 亚洲热久久| 五月婷婷AV| 精品成人a v无码内射| 五月婷婷色激情| 99热在线这里| 婷婷五月色| 国产婷婷五月色情综合| 天天插天天插| 激情五月天在线视频| 五月婷婷激情| 爆乳熟妇一区二区三区四区| 人人操91色| 光棍影院日韩精品| 色狠狠色| 久久这有这里精品| 免费播放99性爱视频| 五月婷婷啪啪啪啪| 久超超碰| 日本九九九九| www九九免费视频| 丁香五月 无码| 超碰国产在线观看| 丁香五月天天哦| 丁香五月第九色| 天天操夜夜爱| 久久婷网| 色婷婷电影| 99久久9| 四季8848精品成人免费网站| 五月天激情图片网| 婷婷99视频精品| 99热免费网站| 丁香婷婷综合激情五月色| 亚洲婷婷欧美婷婷| 另类专区在线| 夜精品无码A片一区二区蜜桃| 玖玖99婷婷| 五月婷免费视频| 天天摸天天肏| 青青草婷婷综合五月| 26uuu欧美日本| 欧美 日韩 成人| 婷婷成人视频| 五月天啪啪网| 男人天堂99| WWW.夜夜操.com| 中文字幕日韩无码制服诱或| 思思热视频在线| 99在线精品观看99| 五月天开心色色网| 国产免费一区二区三区三州老师F1F1.CC| 99色中文| 综合狠狠干| 狠狠狠狠狠狠狠狠| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚州婷婷五月激情综合| www.激情.com.| 啪啪啪啪五月天| 五月婷视屏在线观看| 伦乱天堂| 狠狠色噜噜狠| 五月丁香亭亭操逼| 五月天色婷婷视频| 噜一噜在线| 丁香五月影院| 中文字幕黄色电影网址| 视频综合网| 六月丁香激情综合| 色色婷婷五月天| 国产日产亚系列精品版优势| 婷丁香五月天| 色五月aV| 99九九综合久久九九| 玖玖婷婷五月天| 青青艹b| 精品久热| 99er热精品视频| 婷婷天堂综合| 婷婷五月天综合久久日美女| 色五月网址| 婷婷五月天视频在线观看| 大香蕉啪啪啪啪啪啪| 五月天婷婷影院影院观看| 丁香五月激情啪啪综合| 五月花婷婷丁香| 激情综合丁香| 日本精品。999| 五月婷婷激情网| 午夜成人在线免费视频| 九色91视频| 久9热在线视频| 夜夜夜夜夜操| 色综合99色| 婷婷狠狠五月综合| 午夜69成人做爰视频| 久久五月天激情婷婷| 日韩精品一区二区亚洲AV观看| 99精品手机在线视频| 丁香婷婷性爱| 婷婷五月中文在线视频| 99热这里只有精品9| 六月丁香啪| 色婷丁香五月| 开心激情站| 狠狠综合| 精品9l九九九九九77777| 色婷婷久久| 五月婷婷六月丁香在线视频| 激情四射五月天| 海外网站专业操老外| 99久久a线观| 色色色99| 超碰成人黄色网| 97AV在线视频| 色七七色九九| 色无婷婷| AV在线中文| 日本操逼九九九九58日本操逼| 91Chinese在线| 伊人五月天97| 另类五月激情| 亚洲精品99| 97影院一级片| 丁香婷婷噜噜| 激情五月天天| 99re热在线视频| 色色 9| 五月丁香啪啪网| www.婷婷五月天,com| 久久国产精品乱子伦_靑青草…| 五月婷婷五月天在线| 国产,欧美,学生妹,视频| 4399成人黄A片| 色婷婷五月天天天干天天操天天爽 | 久久38视频| 人妻爽爽爽久久久久久久久| 亚洲天堂大香蕉| 丁香五月色激情| 丁香婷婷五月激情综合| 欧美日韩一区二区三区四区| 亚洲无码www| 都市激情小说婷婷| 影音先锋女人AA鲁色资源| 午夜成人网站在线观看| 婷婷社区五月天| 五月婷婷丁香91| 色噜噜狠狠色综合AV兰草影视| 天天日天天爽| 五月丁香亚州综合网| 思思热久在线观看视频| 婷婷色六月| 婷婷综合精品视频97| 婷婷久久五月天丁香| 免费三级黄色| 国产五月丁香在线| 五月丁香免费视频| 亚洲人人操| 五月丁香做爱视频| 99婷婷精品推荐在线视频| 婷婷五月综合色中文字幕| 五月婷啪| 台湾无码A片一区二区| 国产综合网在线| 影音 五月 婷婷 久久| ...婷婷国产成人亚洲日韩| 婷婷色播婷婷| 91人操| 人人色婷婷| 97婷婷五月丁香| 人妻操在线看| 婷婷97狠狠成人网站| 久久五月天激情美女| 婷婷性爱网| 久久香蕉丁香| 色色A| 红桃91人妻爽人妻爽| 五月色婷婷激情| 亚洲天堂婷婷丁香| 天天射综合网天天插| 五月天伊人| 操操操av| 五月天婷婷小说| 丁香五月自拍| 大香蕉av在线| 98毛片| 丁香六月婷婷久久综合| 99热 这里只有精品 国产 日韩| 久久一热| 国产日产成人亚洲欧美国产VA| 久碰视频| 九九热a| 79精品视频在线观看,| 99ri在线| 婷婷九月| 久草五月| 丁香五月av| www.av视频xx999.com| 久热免费| 欧美激情五月天在线观看| 国产成人网址| 都市激情五月婷婷综合| 亚洲字幕AV一区二区三区四区| 丁香八月综合激情| av中文网| 华人在线免费| 国产亚洲成AV人片在线| 色五月 五月婷婷| 五月婷婷九| 色九月婷婷丁香| 色色狼人综合| 九热视频| 丁香六月婷婷综合激情欧美| 538在线精品| 亚洲综合五月天综合| 丰满少妇猛烈A片免费看观看 | 日本玖玖在线| 九九热免费视频| 久久色五月天| 少妇高潮一区二区三区99欧美| 色婷婷丁香综合中文字幕| www99精品| 六月99天天婷婷激情综合| 久久久久久人妻| 99超在线| 五月伊人91| 丁香五月激情在线| 超碰在线免费9| 色五月天丁香| 99er6| 久久五月婷6 9| www激情五月天| 变态另类色图| 超碰在线精品| 欧美婷婷六月丁香综合色连续高潮抽搐| 欧美三级A做爰在线观看| 久热这里只有精品99re,久热这里只有精品7| 婷婷丁香91综合| 久久只有18视频| 日韩xx在线| 九九99热| 888精品福利地址| 久久精品一区二区三区四区| 五月宗合激情网| 五月婷婷97| 色99在线视频| 99精品色色| 五月婷婷影视| 五月婷婷九九热| 成人av免费观看| 亚洲精品V天堂中文字幕| 五月天激情婷婷小说| 六月婷婷最新网址| 超碰99在线观看| 婷婷五月深深的爱| 99国产欧美视频| 九九大香视频| 99re在线观看视频| 久久免费干| 操日视频| 久久久久久天天日天天爱| 亚洲愉拍99热成人精品| 99热这里只有精品免费| 久久狠狠欧美| 伊人丁香五月天丁香在线婷| 天天天天操| 91色色色| 日韩黄在免| 天天日,天天干,天天操| 婷婷色五月激情| 懂色av粉嫩av蜜臀av| 色婷婷狠狠| 激情五婷网| 一本大道嫩草AV无码专区| 五月天激情AV| 中文字幕成人| 五月婷婷 激情按摩| 精品99在线| 激情婷婷五月亚洲| 欧美碰碰碰| 色九九综合| 九九成人精品| 婷婷色啪| 亚洲乱码日产精品BD| 日本狠狠干| 丁香六月色香蕉视频| 99爱在线| 日韩成人精品中文字幕| 亚洲九九99精品视频在线播放| 中文AV在线观看| 99热手机在线精品| 天天摸色吧天天摸色吧| av大香蕉| 色综合网页| 九九色影视| 丁香婷婷五色月| 成人色图情色成人网 www.5b5b5bcom 五月天 | 五月天婷婷AV| 丁香五月激情综合在线观看| 五月婷婷|欧美| 久久五月丁香| 亚洲va国产va天堂va综合va| 丁香五月激情宗合| 超碰在线观看caop| 91丨九色丨43老版熟女| 涩综合婷婷| 久久亚洲婷婷综合色五月| 久久婷五月影院| 亚洲激情五月| 97色色色色色| 婷婷丁香色五月亚洲| 激情玖玖综合网| 色玖玖| 新伍月婷婷| 婷婷久久夜| www.com五月天| 丁香婷婷网| 精品一区久热| 99re99在线看| 99在线观看视频| 色999亚洲人成色| 丁香六月成人| 999九九九久久久99HD| 亚洲国产网址| 国产精品男人AV不卡| 国产91资源在线| 日本三级第一页| 全部老头和老太XXXXX| 大香蕉免费9| 色五月开心五月激情五月| 色婷另类| 久久草大香蕉| 欧美、日韩、中文、制服、人妻| 亚洲亚洲人成综合网络| 91成人电影| 99免费视频精品| 婷婷六月啪啪| 99热黄| 亚洲精品又粗又大又爽A片| 狠狠操狠狠插| 99精品7| 99久久综合| 亚洲中文AV网站| 婷婷五月天社区| 天天爽天天摸天天爱| 99在线观看视频精品| 色9月| 精品香蕉99久久久久网站| 91超碰在线播放| 俺也去在线视频| 99热香港| 99色在线视频| 大天天伊人| 俺也去五月婷婷丁| 开心激情网五月天| 亚洲精品色| 六月色丁香中文字幕| 激情丁香久久| 国产成人综合在线| 9色免费网| 国产高潮A片羞羞视频涩涩| 另类小说五月天| 天天色噜| 婷婷五月天免费视频在线观看| 婷婷久久午夜网| 99精品一二三四视频| 丁香五夜激情四射夜夜夜| 久久人妻超碰一区| 五月婷婷色播| 亚洲色婷婷| 色老久久| 思思精品视频| 丁香五月中文字幕久色| 一本久久亚洲五月婷婷| 精品国产va久久久久| 99色五月| 婷婷丁香先锋资源网站| 天天视频亚洲| 亚洲人妻Av| 亚洲免费av观看| 九色99视频| 99re在线播放| 色色亚洲| 日本色五月| 日韩久久视频| 国产成人高清| 五月丁香婷婷网在线在线| 五月婷婷五月天激情网| 性生活久久朋友人妻| 五月丁香综合伦理片| 99热99成人| 日韩人妻在线观看| 亚洲综合草草| 九色91视频| 亚洲无码yw| 激情婷婷九月| 99啪在线| 99热在线网站| 婷婷狠狠香蕉综合| 色婷婷激情视频| 丁香狠狠干| 中国丰满熟女A片免费观| 九热视频| 激情五月天网| 九九热精品在线| 夜夜操夜夜操| 婷婷操逼| 丁香婷婷影院| 无码色色色| 婷婷五月天电影网| rr天天操| 五月丁香六月婷婷激情视频在线观看免费 | 91viP在线看| 中美日韩成人在线| 婷婷亚洲色| 久热成人| 婷婷五月丁香五月| 97操在线视频| 色婷婷五月天激情| 九九热10| 婷婷五月免费观看| 久久成人精品视频| 五月激情婷婷开心| 天堂草在线观看| 精品色| 狠狠搞狠狠操| 五月丁香久久| 久久伦乱| 99色色网| 色婷婷亚洲婷婷| 色婷婷狠狠| 99九九视频| 日韩婷婷| 欧美成人一区二区三区在线视频| 成人丁香婷婷| va婷婷在线| 狠狠操.COM| 噜噜噜噜在线| 欧美日本va| 色五月丁香五月| 99无码精品| 最新色色五月天| 五月色丁香| 91人人操人人| 久久久免费精彩视频| 色综合婷婷| 欧美成人一区二区三区在线视频| 婷婷五月色播天| 欧美一级a| 涩涩激情五月婷婷| 色婷婷啪啪啪啪啪啪| 99爽视频| 久热只有这里有精品| 欧美激情xxxXX| 亚洲欧美日韩VIP| YW无码| 香蕉综合在线| 五月丁香六月婷婷亚洲| 伦乱天堂| 91色五月在线观看| 99ri在线| 蜜桃五月天| 五月天激情四射网站| 激婷网| 狠狠操狠狠插| 亚洲123区高清入口| 夜夜资源站| 天天做天天爱天天日| 99在线综合视频| 嫩草AV久久伊人妇女超级A| 丁香五月六月综合激情| 五月婷婷中字在线| 天堂五月婷婷| 66精品成人免费网站在线观看| 婷婷色导航| 欧美天天干五月丁香| 婷婷丁香六月五月天| 色婷婷色九月| 69精品人妻不卡视频| 夜夜爽天天干| 五月丁香激情婷婷| 激情精品久久| 婷婷99热| 国产精品美女久久久久AV超清| 猫咪伊人久久| 五月丁香婷婷中文网| 人妻激情综合| 久在线综合69| 亚洲亚洲人成综合网络| 久久综合丁香| 激情丁香五月婷婷| oVV4WIB3vFi8D| WWW.桔色成人.COM| 久久婷婷五月综合伊人| 亚州性爱99| 草美女在线观看视频在线播放| 亚洲天堂大香蕉| 亚洲国产成人在线| 色五月综合97| 看片视频在线免费日产在线看| 亚洲六月婷| 白人荫道BBWBBB大荫道| 玖玖午夜视频| 日狠狠| 色高清无码视频| 丁香六月婷婷久久综合| 婷婷五月丁香综合桃花色网| 久久精彩免费视频| 色99热| 久久激情五月网| 激情丁香久久| 成人免费在线电影| 九热视频| 天天色综合图片| 六月丁香婷婷网| 婷婷爱爱蜜臀天天操| 久久久91精品| 国产99久久久国产精品免费看| 自拍盗摄 另类| 激情综合啪啪| 热婷婷在线视频| 亚洲99一级无嗎特制在线| 婷婷久久大香蕉| 综合久久婷婷99| 亚洲午夜av| 久久午夜理论| 五月亭亭开心网| 天天拍天天操| 激情久久婷婷| www.91AV.COM| 伊人久热91| 丁香五月网站| 综合伊人狠狠| www.五月天婷婷| ztEJj| 在线99热| 丁香 婷婷 亚洲 熟女| 九九香蕉网| 国产九月婷婷| 99爱视频精品在线观看| 五月色天情| 激情丁香五月| 欧美婷婷九月| 激情五月深爱五月| 99热成人| 97高清国语自产拍| 爆乳熟女一区二区三区爆乳| 插插干干干色| 欧美视频五区| 狠狠干最新地址| 日韩av在线电影| 激情五月视频| 9久精品| 亚洲AV成人精品网站在线播放| 玖玖国产视频一区| 思思精品热在线| 亚洲精品亚洲人成人网| 国产精品岛国片在线观看免费| 天天日夜夜B久久| 婷婷五月丁香色综合| caop视频| 国产 亚洲 在线| 欧美婷婷色五月| 99精品在线| 婷婷丁香五月激情密臀av| 色五月激情综合| 久久精典| 丁香九月色| 99热日韩这里只有精品| 五月天狠狠色| 中国丰满熟女A片免费观| www.sebowuyue| 色五月丁香在线| 99热在线观看免费精品| 亚洲爱婷婷| 欧美婷婷五月激情| 亚洲色综合| 五月婷av| 日批在线看| 高清无码入口| 玖玖精品婷婷| 婷婷六月天亚州| 丁香五月成人| 欧美啪啪网| 69婷婷丁香午夜| 日本99热| 射久久丁香五月| 婷婷涩涩网| 久9热| 激情av网| 99亚洲欧洲| 变态另类9| 91人人妻人人操人人爽| 久热这里这里有精品| 人人干99| 另类图片五月天激情| 五月熟妇婷婷久久| 另类专区在线观看| 大鸡巴伊人网| 激情五月天之六月婷婷| 人人爽天天爽| 亚洲综合无码| 婷婷激情视频欧美视频自拍视频欧美剧| 专区无日本视频高清8| www.激情.com.| 婷婷色五月激情强奸四射| 黄色成人AV在线| 日韩久久这里只有精品| 伊人久久婷婷| 99久re热视频精品98| 丁香五月婷婷激情尤物| 日本一区二区三区精品视频| 婷婷在线五月天观看| 久久综合九九| 97色色色| 五月丁香五月综合欧美| 99久久偷拍视频| 9999色色色色| 乱岳熟女50岁| 五月丁香六月久久| 亚洲色综合| 91人碰| 婷婷五月天高清无码| 偷拍九九热| 国产欧美婷婷五月| 丁香五月手机在线| 99成人网一区| 在线中文av| 色婷婷激情四射视频| 色五月婷婷一二| 丁香五月 无码| 婷婷激情五月综合在线视频| 无码少妇高潮喷水A片免费| 色婷婷在线视频久| 五月天激情婷婷| 丁香五月色情| av九九| 97碰超级人人看| 色欲久久久久久综合网综合网| 色色影院黄大片| 五月婷婷六月丁香综合| 97人碰人操| 99久久精品视频女神1| 国产成人精品一区二区三区视频 | 六月激情婷婷综合| 五月综合激情| 婷婷色五月噜噜| 五月丁香啪啪网| 1024国产| 婷婷久草| 99日本在线| 97人人干人人操| 日本99久久| 2020日日干| 久久五月天视频| 亚洲成人在线免费| 久久久性爱视频| 97丁香五月| 超碰色色综合| www.yw色| 久久电影4399| 玖玖爱伊人| 中文资源在线a | 婷婷五月花西瓜| 亚洲无码性爱| 丁香婷婷成人在线播放| 就去色色五月丁香婷婷久久久| 色噜噜狠狠插综合| 六月丁香开心婷婷欧美| 色色网五月激情| 五月婷久久综合| 思思精品热在线| 九月色婷婷综合亚洲| 亚洲色激情| 中文字幕无码成人电影| 丁香成人五月天| 久久九九中文字幕| 婷婷色情网| 亚洲1区| 五月天激情婷婷| 综合激情五月丁香9999久久精| 天天日天天插| 狠狠色丁香婷婷基地| 久久人妻超碰一区| 亚洲色模骚货| 激情久久 婷婷| 日本久久性| 任你爽视频| 久久婷五月| 五月婷婷开心色伊人| 激情久久伊人| 91精品综合久久久久久五月丁香| bukadeavzaixian| 日日夜夜干| 日韩另类| 99色| 五月色丁香婷婷中文字幕| 五月四色激情| 激情六月天婷婷| 99玖玖在线视频| 亚洲色综合| 电影《战争与艾拉》免费观看| 91肏肏肏| 婷婷伊人五月天| 七月激情六月婷婷综合在线播放| 久久婷婷婷| 99这里只有精品视频免费| 狠狠五月天| 天天色官网| 99久久精彩视频| 丁香色综合| 亚洲色精彩| 国产,欧美,学生妹,视频| 手机免费福利视频| 色狠狠综合入口| 99在线小视频| WWW.桔色成人.COM入口| 欧美精品狠狠色丁香婷婷| 久久婷婷综合五月天| 亚洲综合成人网站| 玖玖无码中文| 日韩欧美一区二区三区四区| 免费看欧美成人A片无码| 色婷婷色五月天| 久久婷婷色综合| 97精品综合久久| 亚洲色婷婷婷婷人人爽| 中文字幕丰满乱孑伦无码专区| 激情五月天视频| AV大香蕉| 五月网站| 日本色爽| 天天玩夜夜操天天爽| 成 人片 黄 色 大 片| 丁香六月婷婷激情| 成人短视频在线| 人人摸人人干| 色狠狠色综合| 精品在线网站| 成人做爰A片免费看视频| 色婷婷色五月天| 婷婷激情九月| 国产精品久久久久久久久久| 人人摸人人搞| 国产亚洲色婷婷久久99精品91| 四LLL少妇BBBB槡BBBB| 色激情五月| 99久久精| 人与禽A片啪啪| 无人区码一码二码三码医生系列| 国色天香伊人狠狠色| 综合一区二区三区| 99久久久久| 色色色色色色色色综合网| 久久99网站| 香蕉久久国产AV一区二区| 婷婷激情五月综合| jiqingtaose五月天| 2050人人操免费工开爱| 无码髙清| 熟女乱论网| 综合九九久久| 天天色视频| 亚洲婷婷成人五月天| 色色色婷| 国产婷婷色综合AV蜜臀AV | 丁香六月婷婷综合| 激情丁香婷婷六月天| 中文字幕高清av| 久操热| 丁香婷婷六月在线资源观看| 色九月欧美| 国产毛多水多女人A片| 婷婷成人视频| 精品无码色欲AV| 日韩黄色AV无码| 欧美激情综合色综合啪啪五月| 日本三级大片| 字幕网AV中文字幕| 这里只有精品1| 婷婷 色 丁香 夜| 色婷婷婷婷| yazhoujiqingav| 色小说五月婷婷| 精品人人操| 国内精品免费一区二区2009| 激情五月婷婷网| A A色色| 五月婷婷三级| 伊人在线另类| 夜夜谢天天干| 欧美草久久五月天91| 狠狠搞五月天| 久热99久热| 成人综合网站| 五月丁香婷婷网在线在线| 狠狠干五月丁香| 久久婷婷色情7777网站| 色色欧美色色色| 婷婷的99视频网站| 97婷婷五月天| 99热99日…..| 色九月婷婷丁香| 老美AA片| 大香蕉精品视频| 六月丁香久久| 色久在| 狠狠爱婷婷丁香| 五月婷婷色在线| 天天干天天操天天拍| 亚洲精品性色| 97干在线| www.AV在线| 玖玖爱伊人网| 9久精品| 五月丁香欧美综合| 99这里只有免费的小视频在线观看| 色爽九九| 九九99精品免费播放| 99操免费视频| www.色擼擼.com| 婷婷免费精品视频 | 九九久久高清| 国产激情久久久| 亚洲色夜| 九九热国产| 成人五月天在线视频在线观看| 婷婷五月天亚洲综合| 成人精品免费在线观看| 欧美经典片免费观看大全| 91热在线| 久久久久久久久人妻| 五月www| 99久久婷婷国产综合精品青桔| 日韩免费99| 五月日韩中文字幕| 久久这里有精品| 91婷婷搞| 五月色婷婷综合| 欧美成人网婷婷综合在线| 五月婷婷激情综合| 国产91九色| 久久久精品婷婷五月天| 色色热| www99精品| 丁香五月天亚洲视频| 日本九九热| 色色色视频免费无码 | 亚洲天堂aaaa| 我爱va亚洲va52| 五月丁了香蕉综合| 丁香六月色婷婷| 六月色丁香婷婷| 欧美韩国日本| 五月天播播| 超碰人人艹| 亚洲精品永久久久久久| 五月丁香婷在线| 另类综合激情| 99re热精品视频国| 99精品在线观看视频| 五月色婷婷夜色| 婷婷五月天综合亚洲| 欧美丰满熟妇BBB久久久| 五月婷婷片| 久久久99免费视频| 激情网婷婷五月天| 深爱激清网| 亭亭社区五月天| 777色婷婷爱五月| 五月丁香久久网| 五月丁香六月色| 亚洲啪啪精品| 丁香五月伊人| 午夜精品久久久久久久爽| 午夜大香蕉| 色中色综合| www久| 激情婷婷丁香五月天| 天天干天天色综合| 亚洲综合色棒| 五月婷婷激清网| 天天拍久久| 99re6热在线精品视频播放速度 | 大香蕉久久综合网| 欧美丰满熟妇BBB久久久| 天天色亚洲| 91日本在线观看| 久久久久久激情| www999日韩精品| 网站免费一站二站| 99久久玖玖| 操人妻视频91| 五月天激情网开心网| 26uuu激情五月天| 国产六月婷婷| 亚洲性图一区二区三区| 五月丁香五月丁香| 久久99网站| 九九色影院| 五月婷在线影院| 91丁香五月| 96精品久久久久久久久| 久色激情| 丁香五月激情网| 欧美操我| 亚洲成Av人片乱码色第1集| 九九热青青草| 97婷婷五月激情六月丁香伊人| 亚洲天堂九九九| 黄色成人AV在线| 日本操B片| 伊人丁香五月婷婷潮吹| 国产色香蕉精品五夜婷| 九月性爱网| 成人小说色图婷婷五月| 狼人伊人干| 丁香五月色色婷| 色九九一二| 亚洲综合欧美色丁香婷婷888月图片| 色都都狠狠色都都色综合色| 99re久热| 99人人看| 免费观看2018www黄色操逼网站| 一起草日本| 大香久久伊人网| 国产黄色一级片| 99黄色在线视频精品熟女| 99久久久久久| 色色丁香婷婷| 丁香婷婷人妻| 少妇日麻屄| 天天日人人| 六月丁香深深爱| 亚洲狠狠狠色婷婷综合激情久久久| 国产精品噜噜在线视频| 久青青久| 99er国产| 婷婷中文字幕版| 婷婷伊人五月| WWW,五月| 五月婷婷亚洲色视频| 欧美综合五月丁香六月婷| 综合网色| 狠狠狠狠狠干| 99精品成人无码A片观看金桔| 无遮挡国产高潮视频免费观看| 婷婷色色综合| 天天久久婷婷| 99re视频在线| 激情人妻综合| 国产日比| 五月亚洲激情| 五月婷婷丁香五月婷婷| 天天干天天射色综合| 99热这里只有精品4| 六月丁香中文字幕| 成人短视频在线观看| 九九综合色| 亚洲欧美在线观看| 色综合五月| 91日韩美女被插视频| 在线中文av| 五月丁香激情综合啪| 操操操www.com| 熟女五月天久久综合| 日韩在线五月天婷婷| 色婷六月| 日韩综合久久| 五月丁香影院| 国产精产国品一二三在观看| 五月婷婷 自拍| 婷婷五月综激情| 这里只有精彩小视频视频网站| www.丁香六月婷婷久久天堂影院.con| 99视频在线| 成人国产欧美大片一区| 97午夜一区二区| 伊人综合色干| 日本综合久| 呦呦v线| 五月色色激情网| 综合99久久天天综合| 久热这里| 丁香六月成人| 丁香五月婷婷天堂大香蕉| 免费AV播放| 免费AAAAA网| 开心五月深爱五月婷| 欧美色婷婷| 久久婷五月| 久久99综合| 国产成人精品一区二三区熟女在线| 亚洲成人日韩无码精品| 色偷偷色婷婷| 99在线er热| 精品皮股午夜AV| AV色婷婷| 色婷婷www| 99久久户外勾搭| 东京热免费视频网站| 开心五月婷婷激情| 99热精品综合| 五月丁香亭亭| 久久机热/这里只有精品| 欧美日本免费一道免费视频| 色婷综合| 色婷婷小说| 99性感视频| 丁香五月成人| 狠狠色成人影片| 97色射| www.91九色| se99在线| 996er热| 九九热精品视频在线观看| 影音先锋 萱萱| 色碰干| 五月色欧洲| 欧美色97| 亚洲V国产V欧美V久久久久久| www色综合亚洲92| 啪啪色激情五月天|