欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南 簡介法研杯2019相似案例匹配第二名解決方案附帶CAIL2020/2021司法考試賽道冠軍團(tuán)隊材料是一份面向法律人工智能與自然語言處理競賽選手及研究者的完整工程代碼包。方案覆蓋法律文本相似度匹配與司法考試自動答題兩條任務(wù)線圍繞案件事實、爭議焦點、判決結(jié)果等關(guān)鍵信息的抽取與表示展開涉及文本預(yù)處理、詞向量與預(yù)訓(xùn)練語言模型應(yīng)用、特征工程、相似度計算、模型融合與超參數(shù)調(diào)優(yōu)等環(huán)節(jié)有助于理解司法場景下NLP模型從數(shù)據(jù)到部署的全流程實現(xiàn)。壓縮包共二十二個文件核心為六個Python腳本對應(yīng)訓(xùn)練、預(yù)測、評測與命令行推理等模塊另有Shell腳本、Dockerfile、Markdown文檔和依賴清單可快速搭建容器化運行環(huán)境整體僅一百九十二KB輕量易用。已有二百六十六人學(xué)習(xí)資料中還包含說明文檔、Docker配置思路、模型結(jié)構(gòu)示意圖以及代碼注釋和調(diào)參記錄可按文檔復(fù)現(xiàn)比賽方案也可遷移到相似案例檢索、裁判文書分類、法律問答等任務(wù)。1. 法研杯2019相似案例匹配為什么所有基線模型都栽在“案由”上拿到法研杯2019相似案例匹配這個任務(wù)時大多數(shù)人第一反應(yīng)是“這不就是文本相似度嗎BERT拉出來跑一跑就行”。結(jié)果真正跑起來才發(fā)現(xiàn)法律文本和通用文本壓根不是一回事。被告、案由、爭議焦點、裁判結(jié)果每一段信息對“相似”的貢獻(xiàn)權(quán)重完全不同通用語義匹配模型拿到的分?jǐn)?shù)往往卡在一個尷尬的區(qū)間離榜單前排差一大截。這個比賽的實質(zhì)是給定三篇文書——一個查詢案例和兩個候選案例——判斷哪個候選與查詢更相似。看著是傳統(tǒng)排序任務(wù)但法律文書的特殊性在于法條引用和事實描述的重復(fù)率極高字面相似不一定案情相似。第二名方案之所以能打關(guān)鍵是抓住了兩個點把數(shù)據(jù)清洗和法律文本的結(jié)構(gòu)化特征做透模型層面用預(yù)訓(xùn)練語言模型搭配針對法律文本設(shè)計的交互方式而不是直接套用通用匹配網(wǎng)絡(luò)。CAIL2020/2021司法考試賽道冠軍團(tuán)隊的做法對數(shù)據(jù)集和文檔做了系統(tǒng)梳理也驗證了同一件事法律AI的落地瓶頸不在模型結(jié)構(gòu)而在任務(wù)理解和數(shù)據(jù)加工的細(xì)度。這篇文章按我實際做過的順序來從數(shù)據(jù)構(gòu)建和預(yù)處理開始到模型選型、訓(xùn)練細(xì)節(jié)、評估指標(biāo)再到踩過的坑和推理階段的調(diào)優(yōu)技巧。內(nèi)容圍繞法研杯2019相似案例匹配展開方法和代碼同樣適用于CAIL的司法考試賽道以及其他法律句子對/文書對匹配任務(wù)。2. 數(shù)據(jù)集與文書預(yù)處理相似案例匹配的分?jǐn)?shù)一半在這里2.1 CAIL2019-SCM數(shù)據(jù)集的結(jié)構(gòu)和標(biāo)注暴露的問題法研杯2019相似案例匹配使用的是CAIL2019-SCM數(shù)據(jù)集我從這個數(shù)據(jù)集入手對齊任務(wù)口徑。比賽數(shù)據(jù)每個樣本包含三份刑事法律文書A、B、C其中A是查詢文書B和C是候選文書任務(wù)是從B/C中選出與A更相似的那個。標(biāo)簽是0或10表示B與A更相似1表示C與A更相似。這個數(shù)據(jù)集的標(biāo)注口徑是“案情相似度”依據(jù)是罪名的最終認(rèn)定。也就是說如果A和B都被認(rèn)定為盜竊罪而C被認(rèn)定為詐騙罪那么B就是正確答案——即便C在文字表面上有更多與A重合的詞語也是錯誤答案。這里就埋了第一個也是最大的坑不能用普通文本相似度的思路去處理表面字詞重合度高不能說明案情相似。拿到原始數(shù)據(jù)后我先做了幾個基礎(chǔ)檢查bash# 查看原始數(shù)據(jù)目錄結(jié)構(gòu) find ./data -type f | head -50 # 統(tǒng)計樣本數(shù)和字段情況以一份JSON為例 python -c import json with open(./data/exercise_contest/raw/train.json) as f: data json.load(f) print(樣本總數(shù):, len(data)) print(字段:, list(data[0].keys())) print(data[0].keys()) 代碼邏輯說明第一段用find命令快速摸清文件分布第二段加載一份樣本確認(rèn)字段名和樣本量。這個數(shù)據(jù)集的原始文件在官方渠道可以下載但注意不同版本的字段可能略有差別有的版本叫a、b、c有的版本叫text_a、text_b、text_c需要先弄清楚再寫后續(xù)代碼。提示比賽數(shù)據(jù)的格式在不同階段初賽、復(fù)賽會有差異復(fù)賽數(shù)據(jù)量更大且部分為無標(biāo)簽樣本預(yù)處理腳本的參數(shù)要預(yù)留擴(kuò)展空間。2.2 從JSON到訓(xùn)練集切分、標(biāo)簽映射、長文本截斷原始數(shù)據(jù)是JSON列表每條包含A/B/C的文本和標(biāo)簽。實際使用時我一般把數(shù)據(jù)拆成(query, candidate, label)的格式這樣可以復(fù)用通用的句子對數(shù)據(jù)集處理流程。pythonimport json import random # 讀取原始數(shù)據(jù) with open(./data/exercise_contest/raw/train.json, r) as f: raw json.load(f) # 轉(zhuǎn)換為句子對格式 samples [] for item in raw: q item[a] pos item[b] neg item[c] label item[label] # label0 - b與a更相似label1 - c與a更相似 # 統(tǒng)一轉(zhuǎn)成 (query, b, c, label)后續(xù)建模時再按label選擇正負(fù)樣本對 samples.append({query: q, cand_b: pos, cand_c: neg, label: label}) # 切分訓(xùn)練/驗證集比例 9:1 random.seed(42) random.shuffle(samples) split_idx int(len(samples) * 0.9) train_samples samples[:split_idx] valid_samples samples[split_idx:] print(f訓(xùn)練集大小: {len(train_samples)}, 驗證集大小: {len(valid_samples)}) # 保存為jsonl方便后續(xù)讀取 with open(./data/train.jsonl, w) as f: for s in train_samples: f.write(json.dumps(s, ensure_asciiFalse) \n)代碼邏輯說明把三元組轉(zhuǎn)換成句子對任務(wù)的標(biāo)準(zhǔn)格式。這里沒有直接把B/C展開成正負(fù)樣本對而是保留了三元組結(jié)構(gòu)因為后續(xù)模型需要同時看到B和C才能學(xué)到“相對相似度”——即A與B的相似度、A與C的相似度之間的差值。如果過早展開成獨立的句子對會丟掉這個相對信息。參數(shù)說明train/valid切分比例9:1是常用做法為了避免驗證集分布偏差需要設(shè)置固定隨機(jī)種子這里用42。更穩(wěn)妥的做法是按案由分層抽樣但CAIL2019-SCM的數(shù)據(jù)量才一萬條左右簡單隨機(jī)切分基本夠用。2.3 法律文書分詞與去噪別急著上大模型法律文書的文本質(zhì)量和通用語料差別很大直接扔給BERT之前有幾個去噪步驟是必須做的。我在這個項目里踩過坑一開始跳過了預(yù)處理直接跑BERT結(jié)果驗證集分?jǐn)?shù)比baseline還低——原因是文書末尾的“本判決自送達(dá)之日起生效”這種格式化表述干擾了匹配判斷而它們在全語料里出現(xiàn)頻率極高模型很容易學(xué)會“看到這些字就認(rèn)為相似”的捷徑。pythonimport re def clean_legal_text(text): # 去掉文書編號、抬頭和落款 text re.sub(r(刑\s*事\s*判\(zhòng)s*決\s*書), , text) text re.sub(r[(]\s*[0-9]{4}\s*[)]\s*[^\s。]{1,20}刑初[^\s。]{0,10}號, , text) text re.sub(r(公訴機(jī)關(guān)|被告人|辯護(hù)人)[^。]*。, , text) # 去掉多余空白 text re.sub(r\s, , text) return text.strip() # 應(yīng)用清洗并輸出統(tǒng)計前后文本長度變化 sample_text train_samples[0][query] clean_text clean_legal_text(sample_text) print(f清洗前長度: {len(sample_text)}, 清洗后長度: {len(clean_text)})代碼邏輯說明第一步去掉“刑事判決書”這類與案情無關(guān)的固定抬頭第二步用正則匹配文書號如“2019粵0305刑初1234號”第三步去掉“公訴機(jī)關(guān)……”、“被告人……”、“辯護(hù)人……”這些程序性段落——注意這一步要小心辯護(hù)人的辯護(hù)意見里可能包含關(guān)鍵案情是否去掉取決于后續(xù)模型對長文本的容忍度。我這里選擇去掉是因為數(shù)據(jù)集里的“被告人xxx男xxxx年xx月xx日出生”這類內(nèi)容純粹是個人信息與案情無關(guān)。參數(shù)說明這個正則里的[^\s。]{1,20}限定了法院名稱長度不會超過20個字符。如果你的數(shù)據(jù)里法院名很長可以適當(dāng)放寬到30。去噪后要重新統(tǒng)計文本長度分布如果出現(xiàn)某個樣本清洗后為空說明原始文書本身就是程序性文本直接丟棄即可不要硬留。提示這一步看似簡單但在CAIL2020司法考試賽道尤其重要——那里很多題目就是純案情描述清洗策略要和法研杯2019區(qū)分開。別拿一套正則打天下。3. 模型方案選型從雙塔到交互為什么排名靠前的方案都選交互式3.1 BERT-CLS、雙塔、跨編碼器的取舍邏輯相似案例匹配的建模方式有三條路線表示型雙塔、交互型跨編碼器、混合型。三條路線在法研杯2019的戰(zhàn)場上都有代表隊但成績分布極不均勻。雙塔模型DSSM/雙塔BERT的優(yōu)勢是快——兩邊各自編碼然后拿兩個向量做余弦相似度。但法律文書的特點是冗長動輒上千字雙塔模型把文本壓成一個768維向量時信息損失非常大。而且雙塔天然不擅長捕捉A和B之間“細(xì)顆粒度的局部對應(yīng)”關(guān)系——比如兩篇文書都在描述“入室盜竊”一個寫“撬鎖入戶”另一個寫“翻窗入院”雙塔模型很難在向量空間里精確對上這種細(xì)節(jié)。交互型模型把A和B同時拼在一起過編碼器每個token都能直接看到另一邊的token細(xì)粒度交互是它的天然優(yōu)勢。缺點是計算量大預(yù)測時要對每個candidate單獨跑一次前向。在法研杯2019的場景下候選只有兩個計算量完全可接受——所以最終榜單上前排方案基本都選擇了交互型。我當(dāng)時參考第二名方案的技術(shù)路線主模型用的是BERT-base中文版配合特定的類別差值學(xué)習(xí)策略大概結(jié)構(gòu)是這樣pythonimport torch import torch.nn as nn from transformers import BertModel, BertTokenizer class SimilarCaseMatcher(nn.Module): def __init__(self, model_namehfl/chinese-roberta-wwm-ext, dropout0.1): super().__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(self.bert.config.hidden_size * 2, 1) # 分別過編碼器再拼接等價于交互型的簡化版 def forward(self, a_input_ids, a_attention_mask, b_input_ids, b_attention_mask, c_input_ids, c_attention_mask): a_repr self.bert(a_input_ids, attention_maska_attention_mask)[0][:, 0, :] b_repr self.bert(b_input_ids, attention_maskb_attention_mask)[0][:, 0, :] c_repr self.bert(c_input_ids, attention_maskc_attention_mask)[0][:, 0, :] # 分別計算AB、AC的表示差交給分類器 ab_diff torch.abs(a_repr - b_repr) ac_diff torch.abs(a_repr - c_repr) score_ab self.classifier(self.dropout(torch.cat([a_repr, ab_diff], dim-1))) score_ac self.classifier(self.dropout(torch.cat([a_repr, ac_diff], dim-1))) # 返回相對分?jǐn)?shù)訓(xùn)練時用 AB分?jǐn)?shù) - AC分?jǐn)?shù) 和 label 構(gòu)造排序損失 return score_ab, score_ac代碼邏輯說明這個結(jié)構(gòu)是“共享編碼器的三方輸入”方案——同一套BERT參數(shù)分別編碼A、B、C然后通過abs差別向量把AB和AC的差異喂給同一個分類頭。注意這里沒有用標(biāo)準(zhǔn)三元組loss而是讓分類頭分別輸出score_ab和score_ac再用兩者的差值去擬合label。參數(shù)說明hfl/chinese-roberta-wwm-ext當(dāng)時是效果最好的中文預(yù)訓(xùn)練模型比BERT-base原始權(quán)重在多項中文任務(wù)上穩(wěn)定提升1-2個點。如果你跑這個方案換成bert-base-chinese也能跑但最后的匹配準(zhǔn)確率會明顯有差距。3.2 排序損失是怎么設(shè)計的對比學(xué)習(xí)思路在相似案例匹配的落地訓(xùn)練這個任務(wù)可以有兩條路線一是把問題轉(zhuǎn)成二分類——“B和A更相似還是C和A更相似”二是顯式構(gòu)造排序損失。二分類的做法簡單粗暴但模型學(xué)到的是“B的絕對相似度分?jǐn)?shù)”而不是“B相對于C的排名”——后者才是任務(wù)真正關(guān)心的。我在實際訓(xùn)練中用的是margin ranking的思路但這個“margin”要動點手腳。標(biāo)準(zhǔn)的margin ranking loss是讓正樣本對的分?jǐn)?shù)比負(fù)樣本對高出至少一個固定的margin值。但法律文書對難度差異極大有的樣本中B和C案情幾乎一樣僅憑一個量刑細(xì)節(jié)區(qū)分有的樣本中B和C完全兩個方向模型很容易就能分開。固定margin在這兩種樣本上的梯度方向是沖突的。pythonimport torch.nn.functional as F def ranking_loss(score_ab, score_ac, label, margin0.3): score_ab: 模型認(rèn)為B與A更相似的程度 score_ac: 模型認(rèn)為C與A更相似的程度 label: 0 - 真實是B與A更相似; 1 - 真實是C與A更相似 # 統(tǒng)一方向始終讓 positive_score 大于 negative_score positive_score torch.where(label 0, score_ab, score_ac).squeeze(-1) negative_score torch.where(label 0, score_ac, score_ab).squeeze(-1) losses F.relu(negative_score - positive_score margin) return losses.mean()代碼邏輯說明torch.where(label 0, score_ab, score_ac)也就是選出正確配對對應(yīng)的分?jǐn)?shù)作為positive_score錯誤配對對應(yīng)的分?jǐn)?shù)作為negative_score。F.relu(negative_score - positive_score margin)的意思是只有當(dāng)negative_score比positive_score低超過margin時loss才為0否則就產(chǎn)生懲罰。參數(shù)說明margin取0.3是一個經(jīng)驗值。這個值太小會讓模型對難易樣本一視同仁太大則會讓模型在難樣本上過擬合、喪失泛化能力。我在驗證集上調(diào)過0.1到0.8的范圍0.3到0.5之間效果最好。一個更精細(xì)的做法是margin隨著訓(xùn)練輪數(shù)從0.5退火到0.2——實際驗證集分?jǐn)?shù)能再漲一點點但收益有限基礎(chǔ)版本不用加。提示score_ab和score_ac來自同一個分類頭和同一套BERT參數(shù)這等于隱式做了一個權(quán)重共享的siamese結(jié)構(gòu)能有效防止兩個分?jǐn)?shù)分布漂移。4. 訓(xùn)練細(xì)節(jié)與關(guān)鍵參數(shù)讓模型真正收斂到法律語義空間4.1 學(xué)習(xí)率、batch size、warmup和最長長度的搭配預(yù)訓(xùn)練模型微調(diào)時最核心的參數(shù)搭配是學(xué)習(xí)率、batch size和最大序列長度。我在法研杯2019這個任務(wù)上跑了很多組實驗最終穩(wěn)定的配置如下最大序列長度384第一版用512顯存和訓(xùn)練時間翻倍但驗證集分?jǐn)?shù)幾乎沒有提升——因為法律文書的有效信息集中在事實描述部分截斷到384并不丟關(guān)鍵案情batch size最大序列長度384時單卡16再大容易OOM學(xué)習(xí)率2e-5配合warmup ratio 0.1訓(xùn)練輪數(shù)4個epoch超過后驗證集分?jǐn)?shù)明顯下降過擬合信號非常清晰優(yōu)化器AdamWweight_decay取0.01pythonfrom transformers import AdamW, get_linear_schedule_with_warmup def build_optimizer(model, train_steps): no_decay [bias, LayerNorm.weight] optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.01}, {params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0} ] optimizer AdamW(optimizer_grouped_parameters, lr2e-5, eps1e-8) scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(train_steps * 0.1), num_training_stepstrain_steps ) return optimizer, scheduler代碼邏輯說明no_decay列表里的權(quán)重不做L2正則——這是BERT微調(diào)的通行做法因為LayerNorm的gamma/beta和bias項對weight_decay敏感加了會導(dǎo)致訓(xùn)練不穩(wěn)定。optimizer_grouped_parameters把參數(shù)分成兩組一組帶weight_decay一組不帶這是HuggingFace官方推薦的寫法。參數(shù)說明lr2e-5是BERT微調(diào)的標(biāo)準(zhǔn)起點。如果顯存不夠?qū)е耣atch size降到8可以適當(dāng)把學(xué)習(xí)率降到1.5e-5否則收斂不穩(wěn)。warmup_steps設(shè)為總步數(shù)的10%這樣前10%的步數(shù)內(nèi)學(xué)習(xí)率從0線性升到2e-5能有效避免預(yù)訓(xùn)練參數(shù)在開局被大梯度沖壞。4.2 如何正確評估相似案例匹配模型用Accuracy還是更細(xì)的指標(biāo)法研杯2019的官方評估指標(biāo)是Accuracy對B/C二選一選對了就是1錯了就是0。但只盯著Accuracy會掩蓋模型的很多問題——特別是類別不均衡和難易樣本混雜。我建議在驗證集上同時記錄Accuracy和每一類別的準(zhǔn)確率這樣能精確看出模型在label0和label1上的表現(xiàn)差異。pythondef evaluate(model, valid_loader, device): model.eval() total 0 correct 0 # 分別統(tǒng)計label0和label1的準(zhǔn)確率 label_correct {0: 0, 1: 0} label_total {0: 0, 1: 0} with torch.no_grad(): for batch in valid_loader: # 把batch里的a/b/c三路輸入搬到device input_ids_a batch[a_input_ids].to(device) attention_mask_a batch[a_attention_mask].to(device) # ... 同理b和c labels batch[label].to(device) score_ab, score_ac model( input_ids_a, attention_mask_a, # ... 其他輸入 ) # 判決哪個分?jǐn)?shù)高就選哪個 preds (score_ac score_ab).long().squeeze(-1) correct (preds labels).sum().item() total labels.size(0) for lbl in [0, 1]: mask (labels lbl) label_total[lbl] mask.sum().item() label_correct[lbl] (preds[mask] labels[mask]).sum().item() acc correct / total acc0 label_correct[0] / max(label_total[0], 1) acc1 label_correct[1] / max(label_total[1], 1) print(fAccuracy: {acc:.4f}, label0 acc: {acc0:.4f}, label1 acc: {acc1:.4f}) return acc代碼邏輯說明預(yù)測結(jié)果對應(yīng)原始標(biāo)簽的轉(zhuǎn)換邏輯是——原始label0表示B與A更相似即正確答案為B原始label1表示C與A更相似即正確答案為C。所以當(dāng)score_ac大于score_ab時預(yù)測為1否則預(yù)測為0。參數(shù)說明這個評估函數(shù)里max(label_total[lbl], 1)是防止某個batch里只有一個類別導(dǎo)致除零。實際場景中l(wèi)abel0和label1的數(shù)量基本均衡但如果你的數(shù)據(jù)在跑數(shù)據(jù)增強(qiáng)后發(fā)生偏移這個保護(hù)就很重要了。建議每完成一個epoch就評估一次保存驗證集Accuracy最高的模型作為最終模型。5. 法研杯2019相似案例匹配的避坑清單五個血淚經(jīng)驗5.1 把“字面相似”當(dāng)“案情相似”——最典型的翻車現(xiàn)場現(xiàn)象模型在驗證集上準(zhǔn)確率能到0.75左右但死活上不去0.80細(xì)看預(yù)測結(jié)果發(fā)現(xiàn)大量錯誤案例里兩篇文書包含大量相同詞語——比如都出現(xiàn)了“錢包”“手機(jī)”“當(dāng)鋪”。原因法律文書的官方模板和固定表述太多模型很容易學(xué)到“詞面重合度越高、兩個案子就越像”的捷徑。但CAIL2019-SCM的標(biāo)注是對最終罪名認(rèn)定的考量字面重復(fù)不等于案情重復(fù)。解決把預(yù)處理做扎實去掉文書抬頭、落款、被告人基本信息這些模板內(nèi)容。然后用TF-IDF做一個基線如果基線準(zhǔn)確率超過0.60說明數(shù)據(jù)里的“騙分特征”已經(jīng)被清得差不多了可以放心訓(xùn)練模型。如果TF-IDF基線還不到0.55回去檢查預(yù)處理——不要急著調(diào)模型。5.2 整段過長的文本直接撐爆顯存現(xiàn)象GPU顯存16GBbatch size只能設(shè)4訓(xùn)練速度奇慢且驗證集效果還不如batch size16跑出來的。原因序列長度設(shè)512導(dǎo)致padding率極高每一條樣本都由大量無效的[PAD]token填充。在batch size4的情況下這4條樣本里可能只有一半是有效長度另一半是padding等于浪費了大部分算力還在學(xué)“PAD位置沒有任何語義”。解決先統(tǒng)計數(shù)據(jù)集的文本長度分布把95分位的長度作為max_length的基準(zhǔn)。法研杯2019的數(shù)據(jù)集經(jīng)過清洗后95分位長度通常在350-400之間所以max_length384是最優(yōu)解。同時寫一個collate函數(shù)把batch內(nèi)的文本按長度排序再分桶減少padding占比。5.3 預(yù)訓(xùn)練模型選錯中文BERT差點讓我懷疑人生現(xiàn)象用bert-base-chinese跑了3個epoch驗證集Accuracy只有0.68比第二名方案報告的結(jié)果低了接近10個點。原因bert-base-chinese是字級別預(yù)訓(xùn)練對法律領(lǐng)域詞匯的表示能力不足。“盜竊”“搶奪”“侵占”這三個詞在通用語料中語義距離較遠(yuǎn)但在法律語義空間里是鄰近概念。字級別預(yù)訓(xùn)練模型捕捉不到這種領(lǐng)域內(nèi)的近義關(guān)系。而hfl/chinese-roberta-wwm-ext用了全詞掩碼Whole Word Masking把“盜竊”作為一個整體掩碼學(xué)到的表示明顯更適合法律文本。解決換用hfl/chinese-roberta-wwm-ext后同樣參數(shù)、同樣數(shù)據(jù)驗證集Accuracy直接跳到0.76。如果條件允許用法律領(lǐng)域的預(yù)訓(xùn)練模型效果會更好——但注意檢查模型的詞表是否覆蓋了法言法語中的生僻字以及模型的最大序列長度是否滿足你的需求。5.4 直接預(yù)測概率而不是差值——輸出層設(shè)計錯了現(xiàn)象驗證集Accuracy在0.75上下波動loss已經(jīng)降到很小了但預(yù)測結(jié)果的置信度分布很詭異——大量樣本的score_ab和score_ac都接近0.9。原因分類頭只學(xué)了每個絕對分?jǐn)?shù)的幅度沒有學(xué)到兩者之間的對比關(guān)系。最后用Argmax決定勝負(fù)時兩個接近0.9的分?jǐn)?shù)只需要一個微小擾動就會翻盤。解決最終判決用score_ab - score_ac的差值而不是單獨看某個score。同時可以在分類頭前加一個LayerNorm讓兩個分?jǐn)?shù)分布穩(wěn)定在同一尺度。之后在驗證集上統(tǒng)計差值分布——差值集中在0附近的樣本就是那些真正困難的案例可以用tips/tricks處理見第6章。5.5 復(fù)賽和初賽的數(shù)據(jù)分布不一致——換數(shù)據(jù)集直接掉點現(xiàn)象初賽訓(xùn)練的模型直接上復(fù)賽的無標(biāo)簽測試集分?jǐn)?shù)比baseline還差。用復(fù)賽半量標(biāo)簽重訓(xùn)后分?jǐn)?shù)也沒恢復(fù)到初賽水平。原因初賽和復(fù)賽的案由分布不同、文書長度分布不同、甚至文書的模板年份也可能不同司法文書格式在不同年份有細(xì)微修訂。初賽數(shù)據(jù)里高頻出現(xiàn)的“盜竊罪”在復(fù)賽里可能變成了“故意傷害罪”模型在初賽學(xué)到的“偷竊行為描述詞”特征在復(fù)賽中成了噪聲。解決從初賽數(shù)據(jù)里挑出與復(fù)賽案由分布最接近的子集按案由分層抽樣把模型在子集上繼續(xù)做一輪domain adaptation微調(diào)。如果沒有案由標(biāo)注可以先對所有數(shù)據(jù)做一次無監(jiān)督聚類按聚類的類別重新采樣。6. 推理階段的最后沖刺閾值調(diào)節(jié)、證據(jù)級輸出與工程落地的馴服技巧模型訓(xùn)練完成后推理階段還能撈回不少分?jǐn)?shù)。法研杯2019這類二選一任務(wù)最簡單的預(yù)測方式是比較score_ab和score_ac誰大。但實際部署時這個閾值不一定非要是0.5。先算差值diff score_ab - score_ac。在驗證集上統(tǒng)計diff的分布你會看到一個近似高斯分布。如果數(shù)據(jù)質(zhì)量高diff的正負(fù)區(qū)間和label的對應(yīng)關(guān)系會很清晰中間模糊地帶很窄。如果模糊地帶很寬說明模型對大量樣本缺乏區(qū)分信心此時可以引入一個拒絕預(yù)測機(jī)制當(dāng)|diff|小于某個閾值時讓投票規(guī)則或規(guī)則引擎介入而不是強(qiáng)行預(yù)測——這在司法輔助場景尤其重要寧可讓系統(tǒng)說“不確定”也不要給一個錯誤結(jié)論。另一個實用的技巧是證據(jù)級輸出——別只輸出一個分?jǐn)?shù)把模型attention map里權(quán)重最高的top-10詞找出來用正則提取出包含這些詞的句子在UI上展示“為什么模型認(rèn)為A和B更相似”。這對從業(yè)者的價值是用戶可以快速核驗?zāi)P偷呐袛嘁罁?jù)是否合理而不必盲信黑匣子。CAIL2020司法考試賽道上冠軍團(tuán)隊也用了類似思路把題目和法條依據(jù)同時展示出來。代碼做過一個很小的模塊幫用戶直接看到“案件重合點”pythonimport jieba import numpy as np def show_key_overlap(query_text, cand_text, top_k10): # 用簡單詞頻實現(xiàn)關(guān)鍵重合詞生產(chǎn)環(huán)境可以換attention權(quán)重 q_words jieba.lcut(query_text) c_words jieba.lcut(cand_text) q_counter {} for w in q_words: if len(w.strip()) 2: q_counter[w] q_counter.get(w, 0) 1 c_counter {} for w in c_words: if len(w.strip()) 2: c_counter[w] c_counter.get(w, 0) 1 overlap_words set(q_counter.keys()) set(c_counter.keys()) overlap_words sorted(overlap_words, keylambda x: (q_counter[x] c_counter[x]), reverseTrue)[:top_k] return overlap_words代碼邏輯說明這個函數(shù)用jieba分詞從兩篇文書中提取各自的關(guān)鍵詞取交集后按出現(xiàn)頻次排序。生產(chǎn)環(huán)境用attention權(quán)重替換詞頻統(tǒng)計展示效果會更精確。參數(shù)說明len(w.strip()) 2過濾掉了單字虛詞這在法律文本里很重要——“的”“了”“在”幾乎出現(xiàn)在每個句子中不加過濾全是噪音。top_k10是展示層的經(jīng)驗值超過10個關(guān)鍵詞用戶就看不過來了。再聊一下推理性能。如果有大量候選文書需要匹配比如從1000篇文書中找最相似的交互型模型就要跑1000次完整前向速度會成為一個瓶頸。常見做法是兩階段檢索第一階段用雙塔模型快速召回top-50候選第二階段用本文的交互型模型精排。這個組合在法研杯2019里不需要候選只有2個但在CAIL2020司法考試的開放場景里非常必要。最后我習(xí)慣做一次全量的錯誤分析——把驗證集預(yù)測錯誤的樣本打印出來逐條看。絕大多數(shù)錯誤集中在這幾類罪名一樣但犯罪情節(jié)差異巨大的罪名不同但事實描述極其相似的復(fù)賽新增案由在訓(xùn)練集中完全沒出現(xiàn)的??炊嗔司蜁靼走@個任務(wù)的難點從來不在模型結(jié)構(gòu)是否花哨而在于你是否理解法律文本的“相似”到底意味著什么。第二名方案能拿到那個分?jǐn)?shù)靠的也不是什么秘傳模型而是把數(shù)據(jù)、任務(wù)、模型三者對齊的工程耐心。法研杯2019相似案例匹配做完之后這個方案稍作修改就能遷移到CAIL司法考試賽道把多選分類的輸出頭換成閱讀理解式的span抽取把三元組輸入換成“題目備選答案對”其他訓(xùn)練技巧和避坑經(jīng)驗幾乎可以直接復(fù)用。如果你正準(zhǔn)備走類似的方向希望這篇文章能給到具體的幫助。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩在线视频9色| 久久久ww| 五月天激情四射| 深爱激情网婷婷| 色五月婷婷老师| 日韩av干| av免费在线看不卡无毒| 久久久WWW| 91九色首页| 热99视频| 亚洲AV成人一区二区在线观看| 五月成人天| 久久久久久久久久久久久久久久久精典| 玖玖资源天天无码| 五月婷婷之综合激情在线| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 亚洲日本韩国| 天天草天天摸| 色婷婷在线视频久| 婷婷色一二三区波多野结衣| AAA久久| 第四色五月激情网| 色色色色色色色色色色色色色色,网站| 69激情小说| 99天堂在线观看免费视频| 婷婷丁香五月天中文字幕| 久热99热| 日本wwww在线| 98国产精品综合一区二区三区| 天天操婷婷| 婷婷丁香五月天哟啪| 超碰九热| www.色婷婷| 伊人青涩网| 99热在线观看这里只有精品 | 综合久久综合五月天婷婷| 91久热| 桃色五月婷婷| 人人爽网| 色五月在线播放| 成人av中文字幕| 国产偷人爽久久久久久老妇APP | 九九aV| 成人网站免费sxj| 五月久久婷婷| 五月天精品| www,婷婷五月天,com| 99无码视频| 狠狠干狠狠操狠狠爱| 伊人婷婷色激情丁香| 操人无码| 丁香桃色网| 丁香婷婷人妻| 伊人激情AV一区二区三区| 涩涩涩五月天| 武则天精品久久| 日本久久婷婷| 五月婷婷丁香色吧网| 亚洲激情亚洲激情| 久久日韩婷婷五月| 婷婷综合婷婷| 成人视频网| 91久久色| 丁香五月天社区| 天天综合五月天| 国产欧美日韩综合精品一区二区| 激情网五夜婷婷| 五月丁了香蕉综合| 99在线视频操999| 日韩一级A片黄色| 人草人人| 激情欧美婷婷| 久久 婷婷 五月天| 亚洲综合在线伊人婷| 丁香五月影院| 五月婷婷手机在线| 五月六月丁香婷婷在线观看| 超碰在线成人| 热久久91| 热久精品| 夜夜 操无码| 五月天色社区| 免费黄色AV| 九九色网| yazhochengrenavwang| 综合超碰熟| 久久久久久婷| av操B网站| 99热久久这里只有精品| 六月婷婷综合网2| 久久五月激情综合| 九九亚洲| 婷婷五月花.97| 色丁香久久| 狠狠色噜噜狠狠狠888了| 日日爽日日操| 日韩婷婷| 激情九色| 青青操avbb| 天天爱天天日| 五月丁香六月婷婷婷婷| 亚洲久久婷婷丁香五月天| 综合久久久婷| 日本色色色| 大香蕉手机视频| 五月天激情综合| 激情丁香婷婷| 91窝窝| 夜色.cnm| 这里只有精品免费在线视频| 婷婷五月天奸女| 日韩美女羞羞网站在线观看| 五月激情啪啪| 99热在线播放| 日韩综合成人| 97se视频在线| 丁香五月综合首页| 色婷婷丁香综合中文字幕| 国产 亚洲 在线| 99惹| 婷婷丁香亚洲五月天| 久久五月丁香| 玖玖在线| 99在线精品视频| 粉嫩AV久久一区二区三区| 久久精品天| 久久66er久久| 丁香激情五月天| 99九九在线精品热动漫| 九九热re99re6在线精品| 六月激情网| 中文字幕日产A片在线看| 丁香五月香蕉| 9久久狠狠的| 性爱视频99| WWW.99热| 立川无码av| 激情综合综合综合| 五月天狠狠网| 色婷婷影院| 成人在线高清| 婷婷五六日| 婷婷社区五月天| 能看的AV| 丁香久月| 五月婷高清视频| www.久热| 色情终和网| 9久久久久久久久久久| 丁香五月天视频| 无码日本精品XXXXXXXXX | 正宗黄色毛片| 天天摸天天高潮天天爽| 99久久久免费| 十区av| 九九国产精视频| 五月婷婷激情| 95精品区一区二| 99日在线视频| 亭亭五月色男人| 青草视频在线观看视频 | 久久久97| 久色五月丁香视频| 激情电影五月婷婷| 亚洲色碰| 97人人操| 激情爱爱网站| 9热精品| 爱婷婷久久视频| 九九av| 99在线热| 亭亭五月色男人| 久久91久久精品久久| 久热超碰| 久久天堂网| 另类图片五月天| 日韩成人精品中文字幕电影| 天天色爽| 任你爽视频| 永久无码色| www.99热在线观看| 天天操中文字幕| 激情久久丁香| 在线观看欧美| 六月婷婷激情图片| 亚洲六月色| 丁J香六月首页| 激情五月婷婷伊人| 日韩黄色中文字幕| 五月婷六月丁| 大地资源色婷婷视频在线| 99免费热在线精品| 极品少妇XXXX精品少妇偷拍| 色五月丁香五月五月婷婷| 五月丁香六月婷婷激情网| 99丁香五月婷婷在线| 婷婷狠狠五月综合| 九九综合久久| 超级碰碰碰碰视频| 99热久久这里只有精品2010| 一区二区免费看| 小视频一区 | 思思热在线精品视频网站| 五月丁香| 人妻少妇色综合| 3DAV亚洲香蕉久久 一区二区| 99精品在线播放| av在线观看网址| 亚洲色vA| 色婷婷狠狠爱| 亚洲激情另类| 91AV婷婷| 超极99精品| 色色色图| 人妻九九九九| 五月丁香影院| 99久久免费精品| 99精彩视频在线观看| 这里只有精品99视频| 97操碰日本女人| 婷婷色情五月| 五月天色区| 激情综合网婷婷久久| 久久98热re| 九一99| 激情五月丁香激情综合网| 俺去也五月| 五月婷丁香| 久久婷婷五月综合网| 日本97在线视频| 国产六月婷婷| 久99久视频| 欧美 日韩 人妻 高清 中文| 婷婷97碰碰| 九九热在线视频,| 影音先锋四区| 97国产精品女人碰碰| 99久久9| 开心五月深爱五月丁香五月激情五月| www狠狠| 丁香五月激情五月| 97色婷婷| www.激情五月| 7777国产盗摄农村女人| 日日日,com| 噜噜视频| 97色干在线观看| 久久久激情视频| 色婷婷五月天激情| 日韩在线9| 中文字幕免费高清电视剧| 色婷丁香五月| 六月丁香五月婷婷| 91九色最新视频| 丁香婷婷黄网站| 色五月激情婷婷| 久久久精品人妻| 伊人三级激情| 开心五月综合| 色婷久久| 九九香蕉网| 色婷婷亚洲五月天| 国成人网| 97色伦另类图片小说视频| 99久久激情视频| 欧美啪啪五月天| 五月开心婷婷| A片试看50分钟做受视频| 色五月天激情| 91视频精品99| 激情五月婷黄版| 成人九九视频| 国产 码在线成人网站| 婷婷五月天奸女| 热久久66| 成人美女网| 人人爽天天莫| 五月丁香| 伊人99热| www.激情| 狠狠综合网| 五夜丁香| 射区导航| 三年高清大片免费观看国语| 九九综合色综合| www国产亚洲色婷婷com| 日本少妇裸体做爰高潮片| 激情网站五月| 夜夜撸日日操| WWW.夜夜操.com| 久久综合爱| 欧美色宗和激情| 婷婷五月天高清无码| 逼特逼在线免费播放| 青青热久精品视频在线观看| 大香蕉五月天| 亚洲婷婷月丁香五月| 五月天婷婷在线播放| 91色操| 色婷婷五月天激情在线观看| 久久99精品久久久| 秋霞AV淫| 91成人视频| 五月天激情图片| 丁香狠狠操| 热久久99热欧美国产亚洲| 人人综合色| 天天cha成人综合网| 欧亚成人A片一区二区| 久热只有这里有精品| 婷婷五月天成人网| 丁香五月天在线视频| 色色色色热| 丁香五月婷婷久久综合激情网 | 久久婷中文字幕| 亚洲天堂aaa| 国产精品第一国产精品| 少妇综合网| 婷婷激情五月视频| 黄色三级日本| ay2区| 久久五月天婷婷| 那里有AV网址| 久久久噜噜噜久久人妻| 丁香六月婷婷综合麻豆| 99久久国产综合精品五月天喷水\| 婷婷五月天成人基地| 国产精品大香蕉| 大波美女VA网站| 九九九激情综合| 天天色官网| 久久久九九视频精品18| 96精品久久久久久久久| 激情婷婷丁香五月天小说| 九九在线精点品| 影音先锋色色色资源色资源色| av大香蕉| 亚洲五月丁| 99色在线观看| 99综合免费视频| 亚州第一A片| 九九热99熟女| 婷婷久久五月| 日韩一级| 伊人玖玖网| 五月天婷婷av| 丁香五月天激情| 天天天天天操| 综合五月激情| 丁香六月婷婷| 五月天无码| 亚洲国产精品VA在线看黑人| 性生活久久人妻| 六月婷在线| 黄色AV日韩| bbwcuckold精品熟妇| 91碰碰碰| 亚洲色频| 丁香五月天激情五月天激情五月天激情网| 天堂在线观看视频| 九九在线这里只有精品视频| 亚洲免费av在线| 九九激情网| 九九视频这里只有精品在线播放 | 国产日韩欧美性爱| 日韩成人av在线| 色五月婷婷五月天| 五月天久久网站| 五月色色网| 五月天婷婷激情| 狠狠干 狠狠操| 大香蕉狠狠爱主页| 激情五月婷婷| 看久久性爱99视频| 六月婷婷激情| 国产99久| 久久九九99| 天天婷婷操| 色色丁香色五月| 思思re99视频在线观看| 99热无码| 无码人妻激情| 婷婷视频在线碰| 久久色五月| 欧美久久五月婷婷| 丁香五月综合无码趴趴| 久久久中文| 婷婷六月激情综合| 热的国产99热| 热热99爱爱| 99视频在线| 丁香六月情| 四月婷婷五月丁香| 久久九九99| 熟女色色一区二区| 欧美日韩99| 亚洲VA在线| 99riAv1国产在线观看| 亚洲日本韩国| 欧美99热| 丁香六月婷婷综合欧美| 日本色色网| av一区免费看| 裸睡玩奶头(高H)| 狠狠干五月天| 亚洲婷婷丁香五月视频| 欧美日综合| 久久久精品免费啪啪国| 日韩欧洲亚洲| 日日干天天爽| 五月丁香亚洲五月| 久久综合性| 97碰91| 色偷偷综合| 成人色五婷婷| 人人草成人视频| 色五月中文字幕| 在线理论片| 成人版视频在线观看| 婷婷激情五月综合在线视频| 九九这里只有精品在线视频| 久久婷婷五月综合色丁香| 国产精品99久久久久久久女警| 色婷婷天堂| 五月精品免费XXX| 97在线视频观看| AⅤ在线播放网| www.色五月| 国产avapp 网| 国产熟妇乱子伦hd| 久久九九@| 米奇影视五月天| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 丁香六月久| 狠狠狠狠免费| 99re热精品视频国| 日本不卡中文字幕| 成人毛片在线免费观看| 97超喷视频在线观看| 丁香色色网| 日韩高清成人| 99热这里| 99热首页| 久久五月天激情| 婷婷激情综合网| 天天爱天天做天天日| 五月丁香色婷基地综合久久| 狠狠干狠狠操狠狠爱| 亚洲午夜成人av电影网| 99噜噜噜在线播放| 丁香五月婷婷五月| 国产性爱亚洲是图| 色~性~乱~伦~噜| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 无码动漫av| 色五月激情问网站| 99在线看视频| 成人美女网| 九九色影院| 久久久久网站| 日B日潘金莲BB| 少妇高潮A片无套内谢麻豆传| 99九九视频| 久婷| 婷婷五月色| 国产9色在线/日韩| 在线看片av| 丁香久久五月婷综合| 激情图片五月天| 色五月婷婷影院| 五月婷婷自拍| 日本VA视频| 日韩操逼小电影| 99热只有精品在线观看| 五月开心啪啪| 天天精品视频在线观看视频| 五月婷婷福利| 操逼棍操逼| 婷婷激情丁香六月| 色丁香婷婷| 中文网av| 五月天婷婷在线观看| 五月激情天天干| 婷婷5月九九| 婷婷五月天欧美图片在线播放电驴| 亚洲激情五月丁香久久久久| 色欲资源网| 日日操,夜夜爽| 五月婷婷九| 成 人 色 色| 五月停停激情网| 青草激情综合| 色婷婷丁香五月| 激情爱爱网站超大免费| 色啪影院| 91超级碰| 亚洲午夜在线视频| 涩丁香91| 亚洲AV另类| 久久激情天堂| 99爱免费视频在线观看| 情婷婷五月天| 五月婷婷激情综合av| 色色性爱视频| 九九热中文| 99热这里有精力| www色色com| 69精品人人人人人人人人人| 九九九干精品| 成人在线免费网址| 9久久网| 久久婷婷人人| 五月丁香成人网| 亚洲激情图文小说| 天天檫天天爽| 婷婷婷婷婷婷婷五月丁香| 可以免费观看的AV| 五月丁香狠狠爱| 97色婷婷| 色婷婷丁香AV综合| 色丁香五月| 色婷婷丁香| 色七色九九| 国产精品久久久久久五月天加勒比| 另类五月激情| 综合色五月天| 中文字幕日产A片在线看| 综合久久激情久久| 久人操| 五月婷婷综合网| 五月婷婷伊人网| 久久婷婷五月综合色和| 中文字幕人妻在线| 91丨九色丨43老版熟女| 婷婷五月天成人视频| 伊人色五月| 天天射美女| 思思视频这里是精品| 麻豆123区| 亚洲aV写真天天综合网久久| 成人电影在线免费试看| 色色色五月婷婷| 五月婷婷另类| 婷婷爱综合| av五月天婷婷丁香| 婷婷五月av| 天天综合网站| 开心婷婷五月综合| 婷婷射综合| 九九热这里只有精品556| 夜夜撸天天日| 99色五月| 丰满老熟妇BBBBB搡BBB| 金品在线视频99| 天天日日人| 噜噜色com| 国产成人99久久亚洲综合精品| 国产又爽又猛又粗的视频A片| 婷综合六月| 超碰碰碰碰| 狠狠色噜噜狠狠狠888了| 激情图片久久| 国产精品久久久久久喷浆| 五月亭亭欧美女人| 婷婷五月天xxx| 开心激情综合| 丁香九月婷婷| 九九青草热| 好吊丝aV| 久久九九网| 日韩久久系列| 综合激情伊人影视在线| 天天插天天插天天插天天插| 激情综合五月天| 亚洲AV无码成人精品电影| 狠狠色婷婷7| 婷婷俺去也| 大地9中文在线观看免费高清| 99久久视频| 玖玖资源部在线播放| 婷婷成人五月天成人文学| 国产乱妇无乱码大黄AA片| 久久色五月天| 激情综合五月色丁香婷婷 | 92久久精品一区二区| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99热只有这里有精品| 婷婷五月花| 成人综合视频在线| 操熟女成人网| 五月丁香影院| 七七色色综合| 色五月视频,小说| 亚洲操人| 婷婷久久伊人| www夜夜操comwww| 丁香五月影院| 丁香五月婷婷激情网| 五月天婷婷视频小说| 午夜天天精品视频| 九九99在线观看视频| www.色婷婷.com| 婷婷成人综合| 欧美日本一区二区三区| 亚洲激情网| 婷婷爱爱蜜臀天天操| 99r这里| 九九99久久| 99在线视频精品| 久热这里只有精品99re| 青柠影视免费高清电视剧 | 国产69久久久欧美黑人A片| 精品人人操| 丁香五月婷婷在线| www.com五月天| 精品无码久久久久久久久| 99re视频在线播放| 日日夜夜天天| 超碰人人摸AV| 99热精这里只有精品| 五月综合无码| 久久综合五月天| 月婷婷婷婷五月| 久草x色在线观看99| 亚洲婷婷月丁香五月| 婷婷五月激情五月激情| 久久九九玖玖| 欧美激情综合五月色丁香| 中文字幕无线久必| 婷婷五月丁香激情色情| 国产亚洲99久久精品| 人妻22p| 中文字幕丰满人妻无码专区| 丁香五月激情月| 综合激情网激情五月。| 国产一级视频a| 婷婷五月天影视网址| 99热精品中文字幕| 依人大香蕉| 丁香六月久久| 亚洲av成人在线| 婷婷激情图片| 午夜丁香 婷婷| 五月丁香六月婷婷国产视频| 久久无意婷婷| 久久婷婷六月综合| 亚洲成人AV一区在线观看| 五月婷婷开心六月激情小说| 婷婷五月天亚洲综合| 这里只有免费的精品| 久久精品99国产精品日本| 色五月天.con| 久久久网站| 美女五月天婷婷| 九九在线视频| 色999五月色| 一二线视频 另类| 狠狠操.COM| 亚洲成人在线观看av| 婷婷五月天男人影院色色网| 人人操超碰| 超碰在线免费9| 色婷婷AV五月天| 婷婷激情五月天小说校园| 99国产视频网| 婷婷五月天情色| 黄网在线播放| 伊人在线视频| 天天肏天天肏天天肏| 怡红院精品视频久久久久久久久| 亚洲黄色精品| 这里只有精品亚洲| 亚洲成人免费在线| 777丁香六月青青草婷婷综合久月| 操碰色一区就去操| 婷婷五月花西瓜| 丁香五月婷婷色偷偷| 五月丁香在线| 五月丁香综合啪啪| 国产人妻人伦精品一区二区| 亚洲色色色色| 99日在线观看视频| 99热综合网| 狠狠做六月爱婷婷综合aⅴ| 能看的AV| 五月婷婷激情综合拍| 一本九九色| av在线免费网站 | 天天透天天摸天天舔| Av在线资源| 精品99在线观看| 久久婷婷视频| 欧美韩国日本| 丁香五月亚综合图片| 亚洲午夜一区二区| 激情五月天在线视频| 色婷丨日丨天丨综合久久| 久9综合| 99热这里都是精品| 色五月婷婷婷婷婷婷婷婷婷婷 | 丁香六月综合激情| 99精品在| 久久九九re热| 人妻在线网站| 99精品亚洲| 99啪| 婷婷视频在线| 亚洲婷婷五月天| 激情五月天婷婷激情| 超碰国产在线播放| 可以免费观看的AV| 精品人妻伦| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 婷婷五月天AV| 自拍盗摄 另类| 26UUU欧美激情一区二区| 91性高潮久久久久久久久| 欧美成人五月天| 99热主页日本| 久久五月婷综合| 天堂五月婷婷| 激情五月六月婷婷综合啪啪| 国精产品一区二区三区| 99精彩视频| 丁香五月激情鲁| 激情五月婷| 丰满老熟妇BBBBB搡BBB| 99精彩视频| 婷五月丁香俺| 月丁香久久久| 97在线视频观看| 天天天天天天天操| 99自拍视频网站| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99青青草| 久久婷婷五月天| 奇米影视在线视频| 26uuu亚洲| 久久这里都是精品| 婷婷基地成人五月天| 丁香五月婷婷综合91| 超碰99热| 五月天亭亭俺也| 激情婷婷五月亚洲| 综合激情在线观看| 色一情一乱一伦一区二区三区| 成人在线99| 激情婷婷狠狠干| 一区视频网站| 97人人操人人拍| 深爱五月婷婷| 91狠狠色丁香| 狠狠五月天激情| 天天骑日日爽| av第一二区| 日本精品人妻无码77777| 中文字幕AV网址| 99热99这里有免费的精品| 伊人久久99| 日韩久久日| 99热婷婷| 色五月婷婷操逼| 涩涩涩.com| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月丁香六月婷婷免费视频| 久久多色| 五月亭亭色| 日本黄色三级片内射| 色激情五月| 婷婷 色 丁香 夜| 国产成人va在线| 99综合视频在线| 玖玖在线| 伊人激情网| 99ER热精品视频| 精品色| 婷婷深爱五月| 色五月婷婷啪啪五月| 亚洲激情亚洲激情| 99精品久久久久久久| 日本久久九| 五月综合视频| 操久久网| 九九热视频在线观看| 都市激情小说婷婷| 丁香五月大片| 五月婷婷六月丁香免费| 欧美久久网| 婷婷五月综合网激情| 99精品视频在线观看| 噜噜五月天综合| 99热天堂| 婷婷欧美| 成人性爱无码| www.夜夜騎夜夜狠| 五月花成人网| 久久婷婷人人| 中文字幕在线资源| 色情激情五月| 小色小蛇伊人婷婷色香五月| 五月婷婷啪啪| 婷婷金品综合视频| 亚洲视频a| 香港九九六区八区99| 性爱网五月天| 操逼福利视频| 日本久久性| 精品一二三区久久AAA片| 婷婷五月六月激情| 97操操操| 超碰色热| 欧美精品999| 校园激情 亚洲| 日本人人草草| 精品夜夜澡人妻无码AV| 婷婷五月情| 这里只有精彩小视频视频网站| 96丁香婷婷九月蜜桃综合久久| www.婷婷.com| 99精品在| www.99热在线观看| 中国操逼99| 久久92| 久久草婷婷丁香网站| 天天肏天天肏天天肏| 婷婷五月天AV| 激情综合网激情五月天| 2020久久婷婷五月| 日韩精品一区二区亚洲AV观看| 超碰爱爱爱| 色婷五月| 六月婷欧美| 九色在线五月婷婷网址| 99超级碰免费视频| 久久少妇视频| anquye伊人| 亚洲xx网| 北条麻妃九九九国产精品视频| 婷婷丁香97| 丁香九月婷婷色| 婷婷五月激情四月综合| 一区二区传媒视频| 午夜成人片400| 色色丁香婷婷综合| 人人视频色| 亚洲精品色色| 激情五月色综合网| 色逼综合网| 天天综合网在线| 成人丁香| 久久久久综合激动五月天| 久操激情| 99久久久久久久| 色综合久久之分久久| 免费观看的av| 97五月久久丁香婷婷| 天天插AV丝袜中| 五月丁香狠狠爱婷婷综合| 深爱激情中文五月天av| 成人毛片在线免费观看| 五月停亭久久电影| A片试看50分钟做受视频| 九九热最新视频| 午夜成人综合| 婷婷激情五月色综合| 六月综和久久| 色噜噜狠狠色综合无码久久欧美| 丁香五月综合久久综合| 依人大香蕉在钱1| 五月丁香网站| 九九色色| 久久综合中文字幕| 国产在这里只有精品| 亚洲婷婷激情888精品久| av婷婷丁香 六月| 亚洲AV综合在线观看| 玖玖婷婷色五月| www.久操| 色综合女人99| 狠狠操狠狠色| 婷婷无五月无码视频| 丁香六月婷婷| 91久久久久久久久18| 五月丁香成人| 丁香五月天堂网| 五月天婷婷人妻| 天天射天天射一道本日本社区 | 97涩婷婷婷婷基地| 七月丁香五月婷婷在线| 亚洲国产精品二二三三区 | 激情婷婷五月社区| ..真实国产乱子伦毛片| 久久激丁香| 96精品成人无码A片观看金桔| 丰满老熟妇BBBBB搡BBB| 婷婷五月情| 另类激情中文| 日韩AAAAA| 久久人妻久久| 五月丁香婷草| 日韩av在线免费观看| 激情性爱五月| 综合久久高清| 丁香五月香蕉| 久综合色| 97人人超| 色婷婷99| 99久热这里只有精品| 久久作爱| 91丨九色丨熟女高潮| 色综合女人99| 色999;丁香五月| 日本人人干| 69久热| 色五月自偷自拍婷婷婷婷| 光棍影院日韩精品| 久9视频免费播放| 五月丁香婷草| 狠狠色婷婷7777久综合| 九九久久高清| 亚洲精品国产setv| 九九激情网| 激情丁香五月婷| 亚洲avjiujiur91| 99久久成人| 久久开心五月婷婷| 天天操电影院色狼性av| 五月婷婷六月丁香综合| 色色色99| 久久久婷婷五月亚洲97号色| 天天久久狠狠色综合| 五月丁香人妻| 四川BBB搡BBB搡多人乱亂| 精品一二三区久久AAA片| 日韩综合成人| 色色色色色日韩午夜激情| 色婷在线视频| 久久大香蕉同僚| 99热啪啪| 99 这里只有精品| 婷婷丁香五月天在线| 99爱在线视频| 久久99婷婷| 91超级碰碰碰| 丰满少妇乱A片无码| 色婷婷丁香AV综合| 日本3级片一区2区| 激情综合久久| 丁香五月网| 久草热视频在线观看| 五月婷婷啪啪啪| 丁香六月综合激情| 乱乱av| 成人一区在线观看| 丁香色综合| 激情五月第四色| 亚洲色 视频| 丁香六月激情| 色色性爱视频| 综合精品啪啪| 五月丁香久久呀| 丁香五月婷婷综合视频| www夜夜操wwwcon| 五月丁香大相交| 久久久久久人妻| 男人操女人高潮91视频| 色婷婷亚洲综合av| av网址在线| 激情婷婷综合| 五月激情婷婷丁香天堂| 性爱视频99| 天天久综合网永久入口18| 色综合久久综合| 五月天啪啪| 99热这里只有精品1998| 天天色天天日天天舔| 丁香五月性爱| AV操一操| 99开心五月五月丁香激情| 婷婷中文字幕版| 这里只有精品久久| 天天日天天色| 午夜福利8055| 色婷婷综合久色AV五色最新| 99热99热| 五月丁香婷婷六月| 五月婷婷 婷婷五月 一区二区 久久久| 狠狠综合色网| 一个色的综合| 色停停五月,在线观看| 91九色精品熟女内射| 天天插操| 久久性视频| 国产日日操夜夜操的肉棒视频| 久久激情五月天| 久久久国产精品黄毛片| 九一牛视频探花| 亚洲综合在线伊人婷| 婷婷 月 丁香| 色噜噜狠狠一区二区三区| 国产精品成人网址| 人人色人人摸人人看| 逼里香不卡| 色色色欧美| 99超碰人人| 天天色综合色| 九九99免费视频| 亚洲天堂婷婷| 亚洲成人色五月天| 日本欧美成人片AAAA| 国产欧美精品AAAAAA片| 激情综合五| 丁香五月五月婷婷五月天激情四射| 精品色色| 欧美婷婷色五月网| 婷婷狠狠五月综合| 婷婷五月在线影院| 亚州视频九九99| 久草热8精品视频在线观看| 99热在线里有精品| 五月婷色| 国产Va视频| 天天干天天爽| 五月天成人在线精品| 五月天婷婷成人网| 婷婷天天插天天爱| 欧美色婷婷| 五月丁香久久网| 色丁香五月婷婷| 六月五月丁香五月欧美| 五月激情六月婷婷| 欧美久热| 91啪啪视频| 婷婷五月天国产在线播放| 亚洲V国产V欧美V久久久久久| 日韩操人| 激情五月天色播| 婷婷六月香| 久久婷婷丁香五月一二三| 色欲久久久久久综合网综合网| 在线色婷婷| 婷婷丁香六月影视| 偷拍五月丁香| 丁香激情五月少妇| 久久五月婷天天干| 成人午夜天| 色五月开心婷婷| www.久久久久| 99九九热视频免费| 99久久精品视频女神1| 精品国产一区二区三区四区阿崩| 婷婷色色网| 91干视频| 综合久久伊人| 婷婷六月色播| 97五月婷| 日日干夜夜撸夜夜骑| 丁香六月激情| 婷婷涩涩五月天| 狠狠综合网| 热99.com婷婷| 热99这里只有精品视频| 江苏少妇性BBB搡BBB爽爽爽| 九九日本视频| 亚洲a色| 日本丁香久在线| 天天草比天天爽| 色婷婷色和| 五月WWW| 久久91久久精品久久| 思思99热这里只有精品6| 乱岳熟女50岁| 五月永久激情| 黄色片久久| www。五月天。com| 丰满人妻妇伦又伦精品国产| 五月婷婷伦理| 五月天偷拍| 天天天天天天天干| 日本狠狠色| 久久66成人网站| 色五月婷婷五月天| 色婷婷久久综合久色| 五月婷婷激情五月| 97人妻碰碰中文无码久热丝袜| 婷婷欧美综合| 99热在线资源| 天天色丁香| 91精品久久久久久久久久久久| 天天干天天做| 欧洲亚洲午夜| www.久久爱.com| 久久免费9| 激情五月天丁香| 91五月天| 丁香六月婷婷综合| 天天色,天天操,天天射| 久久精品99国产精品日本| 五月综合婷婷久久在线| 99精品久久久久久| 色五狠狠| 五月婷婷草| www.婷婷,com| 激情婷婷久久| 久热久| 婷婷免费精品视频| 欧美性做爰大片免费看办公室| 久久只这里有精品| 99欧美热| 欧美成人性爱网| 丁香影院五月综合| 色婷婷色99国产综合精品| 91人操人人人操人| 9久久精品| 国产夫妻操逼内射视频| 99热在线观看| 九九精品在线网| 都市激情亚洲| 婷婷的99视频网站| 2015好吊操| 欧美69久成人做爰视频| 岛国av电影网站| 色婷婷色和| 欧美 日韩 成人 在线| 激情久久久| 99精品国产乱码久久久人妻| 色五月丁香伊人| 亚洲Av成人在线观看| 日本综合色图| 内射激情在线| 国产内射婷婷| 影音先锋天天日| 久久有码| 九九这里是免费的视频5| 婷婷五月丁香基| 五月天婷婷视频| 婷婷射图五月天| 俺也去婷婷五月天第五色| 国模狼狼| 五月婷婷丁香| 精品丁香五月天在线播放| 丁香五月日啪| 久热一本| 激情综合五月丁香六月婷婷| 色色婷婷五月天| 丁香五月亚综合图片| 五月天激日本色情在线| 九色地址91视频| 六月婷婷色色网| 五月天婷婷视频| 婷婷色五月色| 激情图片婷婷| 国产精典视频在线观看| 日比视频91| 九九亚洲| 99操视频| 综合激情站| 亚洲mm色| 婷婷五月天AV网| 欧美激情伊人| 婷婷久综合| 操碰91| 久操激情| 人。妻久久| 久热中文字幕在线线观看| 婷婷久久五月天| 色婷婷综合电影| 丁香六月婷婷基地| 激情综合网色播五月| 五月婷婷激情综合| 天天爽天天摸| 天天舔夜夜操www com| 91九色无码日韩| 久久久精品99| 激情九月婷婷九月| 狠狠色综合网| 丁香五月天网友自拍啪啪啪视频| 天天综合91入口| 精品无码久久久久久久久| 日本色婷婷| 99这里只有免费的精品| 黑人无码一区| 99re6在线视频精品免费| 色综合伊人网| 丁香五月激情婷婷激情| 婷婷九九| 五月婷婷综合视频| 久久99网| 婷婷丁香社区网| 丁香六月婷婷久久综合| 久久久久久久久人妻| 日日日,com| 欧美激情久| 国产精自产拍久久久久久蜜 | 噜噜操操| 激情五月亚洲| 五月丁香六月婷婷精品| 另类图片五月天激情| 五月丁香六月| 9l视频自拍九色9l视频自拍九色9l社区 | 国产FREESEXVIDEOS性中国 | 激情五月婷婷综合网| 九色视频91| 色色性爱视频| WWW激情五月天| 97精品综合久久| 亚洲 成人 电影av在线观看| 人妻体体内射精一区二区| 伊人久久大香线蕉av一区| 欧美Va在线| 综合激情五月丁香9999久久精| 婷婷玖玖五月天| 色亭亭九月| 免费看欧美成人A片无码 | 中日韩美欧成人一区二区精品在线 | 99热这里只有精品首页| 国产性爱一级| 26uuu另类亚洲欧美日本一| 婷香五月网在线| 五月婷婷六月丁香综合| 毛v一区二区视频| 久九男女天堂| 色情综合网| 亚洲久热| 99免费| 婷婷综合在线观看视频| 五月情四婷婷| 影音先锋按摩| 亚洲成人中心| 亚洲无码AV片| 色天使久久综合| 丁香五月天堂网| 九九五月天| 在线观看欧美| 婷婷六月激情| 丁香五月六月激情| 5月婷婷视频网站综合| 久热伊人| 九九色色色| 中文在线视频久9| 超碰免费观看| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 99热国产这里只有| 成人av免费观看| www.9797国产| 一起肏在线视频| www.久操| 丁香五月 性爱| 日韩在线看AV| 在线观看免费观看在线9久| 99热精品在线| 亚洲色婷婷| 天天弄天天操| 色综合久| 99色精品| 九九亚洲| 五月丁香六月激情在线| 丁香激情久久| 99热都是精品| 色区久久| 91超碰在线观看| 在线观看亚洲AV| 激情综合网激情五月天| 六月婷婷中文字幕| 丁香色婷婷| 久久人人妻|