欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

金融問答兩段式架構(gòu):BM25召回、BERT重排與答案span抽取

金融問答兩段式架構(gòu):BM25召回、BERT重排與答案span抽取 簡介FinBERT-QA 是一套面向自然語言處理與信息檢索學(xué)習(xí)者的金融問答檢索方案聚焦于從大量金融段落中為查詢精準(zhǔn)定位答案這一任務(wù)。項目先用 Lucene 工具包為每個查詢召回前 50 個候選答案再以預(yù)訓(xùn)練 BERT 模型對候選答案重排并采用 Transfer and Adapt 思路先在通用問答數(shù)據(jù)上微調(diào)再借助 FiQA 數(shù)據(jù)集適配金融領(lǐng)域最終在 nDCG、MRR、Precision 三項排序指標(biāo)上平均提升約 20%。壓縮包共 62 個文件、約 142.71MB含 9 個 Python 腳本覆蓋數(shù)據(jù)處理、訓(xùn)練、預(yù)測與評測、23 個 pickle 序列化特征與模型文件、4 個 tsv 數(shù)據(jù)集與索引文件另有 2 個 Jupyter Notebook 用于檢索分析與數(shù)據(jù)流程演示配合 Dockerfile 與 requirements 可復(fù)現(xiàn)實驗環(huán)境。已有 2091 人學(xué)習(xí)下載適合想理解“召回重排”兩階段問答架構(gòu)、上手 BERT 微調(diào)與排序評估的中高級讀者參考。1. 金融問答為什么不能直接套用通用 BERT一句話里的數(shù)字和立場都是坑把在 SQuAD 上刷到 F1 90 以上的通用 BERT 直接搬到金融領(lǐng)域問答準(zhǔn)確率常常掉到及格線以下這是很多做信息檢索和問答的團隊踩過的第一個坑。金融文本里的答案往往不是一個干凈的實體而是一段帶條件的觀點、一組對比數(shù)字甚至是一句“要看情況”。FinBERT-QA 的思路不是把模型換得更大而是承認(rèn)金融問答本質(zhì)上是“先找對段落、再抽出答案”的兩段式任務(wù)用預(yù)訓(xùn)練 BERT 分別微調(diào)檢索器與閱讀器并在 FiQA 數(shù)據(jù)集上把這兩段各自校準(zhǔn)。這套拆分為什么站得住、兩段各自怎么實現(xiàn)值得從底層拆一遍。2. Retriever 的兩段式設(shè)計BM25 召回加 BERT 重排的工程動機先給結(jié)論FinBERT-QA 的檢索階段不是讓 BERT 直接在全量語料里算相似度而是先用 BM25 這類詞法檢索把候選段落從數(shù)萬條壓到幾十條再用微調(diào)后的 BERT 對這幾十條做相關(guān)性重排。這個設(shè)計不是偷懶而是被計算復(fù)雜度和金融語料特性同時逼出來的。2.1 為什么粗排不能省BERT 的平方復(fù)雜度與候選規(guī)模BERT 的 self-attention 對序列長度是平方復(fù)雜度把一個問題和一個段落拼成 512 長度的輸入跑一次前向在單張普通 GPU 上大約幾毫秒到十幾毫秒。FiQA 這類數(shù)據(jù)集里每個問題平均對應(yīng)近九十個候選答案段落如果對每個候選都跑一次 BERT 打分一個問題的檢索開銷就是幾百毫秒放到整個測試集上直接不可接受。更關(guān)鍵的是候選段落大多和問題毫無關(guān)系讓 BERT 去逐條判斷“不相關(guān)”是巨大的算力浪費。BM25 的價值在這里就體現(xiàn)出來了它靠詞頻和逆文檔頻率做倒排索引百萬級文檔的召回可以在毫秒級完成代價是它只認(rèn)字面匹配對同義改寫和隱含語義無能為力。金融問答里“美聯(lián)儲加息對銀行股的影響”和“利率上行如何傳導(dǎo)到金融板塊估值”這種同義表達(dá)BM25 很容易漏掉。所以合理的分工是BM25 負(fù)責(zé)高召回、低成本地把候選池縮小兩個數(shù)量級BERT 負(fù)責(zé)在這個小池子里做語義級的精排。常見的實現(xiàn)里召回階段取 top 50 到 top 100精排階段再截斷到 top 10 到 top 20 交給閱讀器。提示粗排的召回率是整條鏈路的硬上限。如果 BM25 的 top 100 里根本不含正確段落后面 BERT 再強也救不回來。調(diào)參時先盯 Recall100別急著看精排指標(biāo)。2.2 Pointwise、Pairwise、Listwise三種微調(diào)范式的目標(biāo)函數(shù)差異檢索器微調(diào)的核心問題是怎么把一個“問題-段落”對變成一個可訓(xùn)練的監(jiān)督信號。FinBERT-QA 里討論的三種范式差異不在模型結(jié)構(gòu)而在損失函數(shù)如何構(gòu)造樣本之間的關(guān)系。Pointwise 最直白把每個“問題-段落”對獨立送進(jìn) BERT做二分類判斷相關(guān)與否。它的好處是實現(xiàn)簡單、推理時可以并行打分缺點是它只學(xué)“這個段落相關(guān)嗎”不學(xué)“這個段落比那個段落更相關(guān)”排序能力靠分?jǐn)?shù)絕對值撐訓(xùn)練數(shù)據(jù)里正負(fù)比例失衡時容易退化成全部預(yù)測負(fù)類。Pairwise 把正樣本和負(fù)樣本組成一對只要求正樣本的分?jǐn)?shù)比負(fù)樣本高出一個 margin不關(guān)心分?jǐn)?shù)的絕對大小。這更貼合排序任務(wù)的目標(biāo)因為檢索評估看的是相對順序MRR、NDCG不是絕對相關(guān)性。缺點是樣本對的數(shù)量隨候選數(shù)平方增長訓(xùn)練時要控制采樣。Listwise 把一個問題下的所有候選作為一個列表用 softmax 把分?jǐn)?shù)轉(zhuǎn)成概率分布再用交叉熵對齊相關(guān)性標(biāo)簽。它最接近真實排序目標(biāo)但需要每個問題都帶完整的候選列表和相關(guān)性等級數(shù)據(jù)構(gòu)造成本最高。下面用 PyTorch 把三種損失的核心邏輯寫出來模型主體都是同一個 BERT 編碼器差別只在輸出層和 loss 上。import torch import torch.nn as nn from transformers import BertForSequenceClassification class PointwiseRetriever(nn.Module): def __init__(self, model_namebert-base-uncased): super().__init__() # 單塔結(jié)構(gòu)query 和 passage 用 [SEP] 拼接后一起進(jìn) BERT # num_labels2 表示相關(guān) / 不相關(guān)二分類 self.bert BertForSequenceClassification.from_pretrained( model_name, num_labels2 ) def forward(self, input_ids, attention_mask, token_type_ids, labelsNone): out self.bert( input_idsinput_ids, attention_maskattention_mask, token_type_idstoken_type_ids, labelslabels, ) # logits[:, 1] 是相關(guān)這一類的分?jǐn)?shù)拿來排序 return out.logits[:, 1], out.loss這段代碼的關(guān)鍵在num_labels2和最后的logits[:, 1]。二分類用的是標(biāo)準(zhǔn)交叉熵labels是 0/1 的硬標(biāo)簽。為什么不用回歸去擬合一個 0 到 1 的相關(guān)性分?jǐn)?shù)因為 FiQA 的相關(guān)性標(biāo)注本身是離散等級硬標(biāo)簽加交叉熵對標(biāo)注噪聲更魯棒回歸容易被個別標(biāo)錯的樣本帶偏。參數(shù)上token_type_ids在單塔結(jié)構(gòu)里其實可以全 0因為它區(qū)分不了 query 和 passage真正區(qū)分靠的是[SEP]的位置。def pairwise_loss(pos_score, neg_score, margin0.5): # pos_score / neg_score: [batch]正負(fù)樣本各自的打分 # 只要求正樣本比負(fù)樣本高出 margin不約束分?jǐn)?shù)絕對值 return torch.relu(margin neg_score - pos_score).mean()Pairwise 的 margin 取 0.5 是經(jīng)驗值。margin 太小模型學(xué)不到區(qū)分度margin 太大正樣本分?jǐn)?shù)被推得過高反而過擬合到少數(shù)簡單樣本。訓(xùn)練時每個 batch 里正負(fù)對的比例建議控制在 1:4 到 1:8負(fù)樣本從 BM25 召回但未標(biāo)注為相關(guān)的段落里采這就是所謂的“難負(fù)樣本”。def listwise_loss(scores, labels, tau1.0): # scores: [batch, num_candidates]每個問題下所有候選的分?jǐn)?shù) # labels: 同形狀相關(guān)性等級0/1 或分級 log_probs torch.log_softmax(scores / tau, dim-1) # 用相關(guān)性標(biāo)簽做加權(quán)正樣本越靠前 loss 越小 return -(labels * log_probs).sum(dim-1).mean()tau是溫度系數(shù)控制分布的陡峭程度。tau越小softmax 越接近 argmax訓(xùn)練越激進(jìn)tau越大分布越平滑梯度更穩(wěn)。Listwise 的坑在于如果 labels 全是 0/1 且正樣本只有一個log_softmax會把大量概率分給負(fù)樣本需要配合 label smoothing 或者對負(fù)樣本降權(quán)。2.3 訓(xùn)練數(shù)據(jù)構(gòu)造負(fù)采樣比例決定檢索器的實際表現(xiàn)模型結(jié)構(gòu)定下來之后真正拉開效果差距的是訓(xùn)練數(shù)據(jù)怎么造。FinBERT-QA 用的 FiQA 數(shù)據(jù)集只標(biāo)了哪些段落和問題相關(guān)沒標(biāo)“不相關(guān)”的負(fù)樣本負(fù)樣本得自己采。常見的做法是混合三種來源BM25 召回里排名靠前但未標(biāo)注相關(guān)的難負(fù)樣本、隨機從語料里抽的易負(fù)樣本、以及同一問題下其他不相關(guān)段落。難負(fù)樣本讓模型學(xué)會區(qū)分“看起來像但其實不對”的段落易負(fù)樣本防止模型把所有分?jǐn)?shù)都壓到負(fù)類。負(fù)正比不是越高越好。比例到 1:16 以上時pointwise 的交叉熵會被負(fù)類主導(dǎo)模型傾向于輸出低分排序時區(qū)分度反而下降。實踐中 1:4 到 1:8 是比較穩(wěn)的區(qū)間具體要看 BM25 的召回質(zhì)量。如果 BM25 本身召回就很差難負(fù)樣本里混進(jìn)了真正相關(guān)的段落模型會被教壞這時候要么先修 BM25要么把難負(fù)樣本的權(quán)重降下來。3. Reader 的抽取式答案機制SQuAD 式 span 預(yù)測如何在金融語料上收斂檢索器把候選段落排好序之后閱讀器的任務(wù)是從 top-k 段落里定位答案的起止位置。FinBERT-QA 的閱讀器沿用 BERT 在 SQuAD 上的做法把問題和段落拼成一個序列讓模型輸出兩個概率分布分別表示答案起點和終點落在每個 token 上的概率。聽起來簡單但金融語料的答案形態(tài)和 SQuAD 差別很大直接套用會出問題。3.1 起止指針網(wǎng)絡(luò)BERT 輸出如何變成兩個概率分布BERT 的最后一層對每個 token 輸出一個 768 維向量閱讀器在它上面接兩個線性層一個映射到起點 logits一個映射到終點 logits維度都是序列長度。訓(xùn)練時用真實答案的起止 token 位置做交叉熵推理時對所有合法的 (start, end) 組合算start_prob * end_prob取分?jǐn)?shù)最高的那個 span。這里有個容易忽略的細(xì)節(jié)起點和終點的聯(lián)合概率不是獨立的start end這個約束必須在解碼時強制。如果只對起點和終點分別取 argmax很可能得到start end的非法 span。常見的實現(xiàn)是在解碼時遍歷所有滿足start end且長度不超過max_answer_len的組合取聯(lián)合概率最大的。import torch from transformers import BertForQuestionAnswering model BertForQuestionAnswering.from_pretrained(bert-base-uncased) def decode_span(start_logits, end_logits, max_answer_len30): # start_logits / end_logits: [1, seq_len] start_probs torch.softmax(start_logits, dim-1) end_probs torch.softmax(end_logits, dim-1) best None seq_len start_probs.size(-1) for s in range(seq_len): # 強制 end start且答案長度受限 for e in range(s, min(s max_answer_len, seq_len)): score start_probs[0, s] * end_probs[0, e] if best is None or score best[0]: best (score.item(), s, e) return best # (score, start_idx, end_idx)max_answer_len的取值很關(guān)鍵。SQuAD 的答案大多是短語長度限制在 30 以內(nèi)效果很好但金融問題的答案經(jīng)常是一整句甚至幾句限制太短會把正確答案截斷在中間模型輸出的 span 分?jǐn)?shù)反而比錯誤答案低。常見的做法是根據(jù)數(shù)據(jù)集里答案長度的分位數(shù)來定比如取 95 分位作為上限。參數(shù)start_probs * end_probs用的是概率乘積等價的 log 形式是log_start log_end數(shù)值上更穩(wěn)避免長序列下概率下溢。3.2 從 FiQA 的觀點型答案到可抽取 span 的轉(zhuǎn)換FiQA 的答案標(biāo)注和 SQuAD 有一個本質(zhì)區(qū)別SQuAD 的答案是原文里連續(xù)的一段子串FiQA 的答案常常是“觀點”需要從多個段落里綜合標(biāo)注的是“這個段落相關(guān)答案大致在這段話里”。直接拿這種標(biāo)注訓(xùn)練 span 抽取模型學(xué)到的起止位置會不穩(wěn)定因為同一段話里可能有多個合理的答案片段。FinBERT-QA 的處理思路是把閱讀器訓(xùn)練和檢索器訓(xùn)練解耦閱讀器先在一個標(biāo)準(zhǔn)的 SQuAD 式抽取數(shù)據(jù)集上預(yù)訓(xùn)練學(xué)會“給定問題和段落定位答案 span”這個通用能力然后在 FiQA 上做微調(diào)時只用那些標(biāo)注了明確答案片段的樣本標(biāo)注模糊的樣本降權(quán)或丟棄。這相當(dāng)于承認(rèn) FiQA 的標(biāo)注噪聲不硬讓模型去擬合不可靠的起止位置。這個取舍的代價是閱讀器的訓(xùn)練樣本變少對長尾問題的覆蓋不足。一個補償手段是把檢索器召回的多個相關(guān)段落都送進(jìn)閱讀器讓閱讀器在多個段落上分別抽 span再按檢索分?jǐn)?shù)和 span 分?jǐn)?shù)加權(quán)融合。這樣即使單段落的標(biāo)注不精確多段落投票也能穩(wěn)定結(jié)果。3.3 答案后處理把 span 還原成可讀答案閱讀器輸出的是 token 索引要還原成文本還有幾步去掉[CLS]、[SEP]這類特殊 token處理 WordPiece 的子詞拼接比如fin和##ance要拼回finance再根據(jù)原始文本的字符偏移映射回原文。這一步看起來是純工程但出錯率很高尤其是金融文本里的數(shù)字和縮寫。數(shù)字尤其要小心。BERT 的 WordPiece 分詞器會把2023拆成202和##3把3.5%拆成3、.、5、%。如果答案恰好在這些 token 邊界上截斷還原出來就是殘缺的數(shù)字。常見的做法是在預(yù)處理階段對數(shù)字做歸一化或者在解碼后檢查 span 兩端是否落在數(shù)字中間如果是就擴展到完整的數(shù)字邊界。金融問答里一個數(shù)字錯了整個答案就失去意義這點比通用問答更敏感。4. FiQA 數(shù)據(jù)集的標(biāo)注結(jié)構(gòu)為什么這份數(shù)據(jù)決定了系統(tǒng)的上限聊完兩階段模型得回到數(shù)據(jù)本身。FinBERT-QA 選 FiQA 作為金融問答的基準(zhǔn)不是因為它大而是因為它的標(biāo)注結(jié)構(gòu)恰好覆蓋了“檢索 抽取”兩段式任務(wù)需要的全部監(jiān)督信號。理解這份數(shù)據(jù)的組織方式才能理解模型指標(biāo)為什么卡在某個水平上不去。4.1 問題-段落-答案的三元組結(jié)構(gòu)FiQA 的每條樣本可以拆成三層一個金融問題、若干候選答案段落、以及每個段落與問題的相關(guān)性等級。問題和段落來自真實的金融社區(qū)問答段落是用戶回答的原始文本相關(guān)性標(biāo)注由人工判斷。這種結(jié)構(gòu)的特別之處在于它同時提供了檢索信號段落相不相關(guān)和抽取信號答案在段落里的位置剛好對應(yīng) FinBERT-QA 的兩個階段。層級內(nèi)容對應(yīng)任務(wù)典型量級問題層金融領(lǐng)域自然語言問題輸入數(shù)百條段落層社區(qū)回答原文每條幾十到幾百字檢索數(shù)萬條相關(guān)性層段落與問題的相關(guān)等級檢索監(jiān)督每個問題近九十條候選答案層段落內(nèi)的答案片段標(biāo)注抽取監(jiān)督覆蓋部分段落表格里的“典型量級”按公開描述的量級給出具體數(shù)字以數(shù)據(jù)集官方發(fā)布為準(zhǔn)。問題數(shù)只有數(shù)百條意味著訓(xùn)練集很小模型很容易過擬合候選段落數(shù)萬條意味著檢索階段的負(fù)樣本空間很大BM25 召回的 top-100 里真正相關(guān)的可能只有個位數(shù)。這兩個特點疊加決定了 FinBERT-QA 必須靠預(yù)訓(xùn)練 BERT 的遷移能力來彌補數(shù)據(jù)量不足而不是從頭訓(xùn)練。4.2 劃分方式與標(biāo)簽噪聲為什么按問題劃分比按段落劃分更靠譜數(shù)據(jù)劃分看起來是小事實際上直接決定評估指標(biāo)可不可信。FiQA 的候選段落是跨問題共享的同一個段落可能同時出現(xiàn)在多個問題的候選列表里。如果按段落隨機劃分訓(xùn)練集和測試集同一個段落在訓(xùn)練時見過、測試時又出現(xiàn)模型會記住段落的表面特征而不是學(xué)會匹配指標(biāo)虛高。正確的做法是按問題劃分訓(xùn)練集和測試集的問題完全不重疊測試集里的問題在訓(xùn)練時從未出現(xiàn)過。這樣評估的是模型對未見問題的泛化能力接近真實上線場景。代價是測試集里會出現(xiàn)訓(xùn)練時沒見過的段落檢索器的詞表覆蓋和閱讀器的 span 定位都要真正泛化指標(biāo)會比按段落劃分低不少但這個低才是真實的。標(biāo)簽噪聲是另一個繞不開的問題。相關(guān)性標(biāo)注是人工判斷的不同標(biāo)注者對“這個段落算不算回答了問題”的標(biāo)準(zhǔn)不一致尤其是金融問題經(jīng)常有多個合理答案。這種噪聲在檢索階段表現(xiàn)為同一個問題的正樣本數(shù)量波動很大有的問題標(biāo)了十幾個相關(guān)段落有的只標(biāo)了一兩個。訓(xùn)練時如果對正樣本數(shù)量少的問題用同樣的損失權(quán)重模型會偏向正樣本多的問題。常見的補償是按問題做損失歸一化或者對正樣本過少的問題降采樣。4.3 MRR 與 NDCG評估指標(biāo)背后的排序邏輯檢索階段的評估不看準(zhǔn)確率看排序質(zhì)量因為下游閱讀器只消費 top-k。MRR 衡量的是第一個相關(guān)段落排在第幾位如果排第一貢獻(xiàn) 1排第二貢獻(xiàn) 0.5排第 n貢獻(xiàn) 1/n再對所有問題取平均。它關(guān)心的是“最快找到第一個對的”適合答案唯一或少數(shù)幾個的場景。NDCG 考慮的是整個排序列表每個位置的相關(guān)性貢獻(xiàn)按1/log2(位置1)折損再把所有位置加起來除以理想排序的得分。它關(guān)心的是“相關(guān)段落整體排得靠不靠前”對多個相關(guān)段落的場景更友好。金融問答里一個問題常有多個相關(guān)段落NDCG 比 MRR 更能反映真實體驗。這兩個指標(biāo)有個共同的盲區(qū)它們只評估檢索不評估最終答案對不對。檢索指標(biāo)高但閱讀器抽錯 span用戶看到的還是錯答案。所以完整的評估要分兩段看先看 Recallk 確認(rèn)正確段落進(jìn)了候選池再看閱讀器的 Exact Match 和 F1最后看端到端的答案準(zhǔn)確率。任何一段掉鏈子端到端指標(biāo)都會暴露。5. 訓(xùn)練與推理的常見坑從 loss 不降到答案跑偏的排查路徑這套兩階段架構(gòu)跑起來不難難的是訓(xùn)練過程中各種不報錯但效果不對的情況。下面幾條是實際調(diào)試?yán)锓磸?fù)出現(xiàn)的按“現(xiàn)象、原因、解決”拆開寫遇到時可以直接對照。第一條檢索器 loss 卡在 0.69 不動?,F(xiàn)象是訓(xùn)練幾個 epoch 后 loss 幾乎不變驗證集 MRR 和隨機猜差不多。原因是正負(fù)樣本比例嚴(yán)重失衡pointwise 的二分類被負(fù)類主導(dǎo)模型學(xué)會了全部輸出“不相關(guān)”。解決是先統(tǒng)計訓(xùn)練集的正負(fù)比把負(fù)正比壓到 1:8 以內(nèi)再檢查labels是不是真的按 batch 傳進(jìn)去了很多實現(xiàn)里 label 維度對不上會被廣播成全 0。第二條檢索指標(biāo)很高端到端答案準(zhǔn)確率卻很低?,F(xiàn)象是 Recall10 到了 0.8 以上但用戶看到的答案經(jīng)常答非所問。原因是閱讀器訓(xùn)練時喂的是“標(biāo)準(zhǔn)答案段落”推理時喂的是“檢索器實際召回的段落”兩者分布不一致閱讀器沒見過檢索器犯錯的樣本。解決是把檢索器在訓(xùn)練集上的召回結(jié)果直接作為閱讀器的訓(xùn)練輸入讓閱讀器學(xué)會在有噪聲的候選里定位答案這個做法本質(zhì)上是一種數(shù)據(jù)增強。第三條答案總是被截斷在半句話?,F(xiàn)象是閱讀器輸出的 span 明顯不完整經(jīng)常停在逗號或數(shù)字中間。原因有兩個一是max_answer_len設(shè)得太小二是 FiQA 的答案標(biāo)注本身就跨句而 span 抽取只能輸出連續(xù)片段。解決是先畫一下訓(xùn)練集答案長度的分布把上限設(shè)到 95 分位對于跨句答案在解碼后做一次后處理把 span 擴展到完整句子邊界或者讓閱讀器對多個段落分別抽取再拼接。第四條驗證集指標(biāo)虛高上線后大幅下降。現(xiàn)象是本地驗證 F1 很漂亮換一批真實問題就崩。原因是數(shù)據(jù)劃分按段落做了隨機切分訓(xùn)練集和測試集共享段落模型記住了段落表面特征。解決是改成按問題劃分確保測試集的問題在訓(xùn)練時完全沒見過改完指標(biāo)會掉一截但那才是真實水平。第五條金融數(shù)字被 tokenizer 切碎導(dǎo)致答案錯誤。現(xiàn)象是答案里的數(shù)字缺位或錯位比如3.5%變成5%。原因是 WordPiece 把數(shù)字拆成子詞span 邊界正好落在數(shù)字中間。解決是在預(yù)處理階段用占位符保護數(shù)字或者在解碼后檢查 span 兩端是否在數(shù)字內(nèi)部是則擴展到數(shù)字完整邊界。金融問答里數(shù)字錯一位答案就完全錯了這條比通用問答更值得較真。注意這五條里有三條的根因都在數(shù)據(jù)而不是模型。調(diào)參之前先把數(shù)據(jù)分布、劃分方式、tokenizer 行為查一遍比盲目換學(xué)習(xí)率有效得多。6. 設(shè)計取舍兩段式架構(gòu)的邊界在哪里什么時候該換路線兩段式架構(gòu)最大的價值是把一個復(fù)雜問題拆成兩個可獨立評估、獨立優(yōu)化的子問題。檢索器負(fù)責(zé)“找對”閱讀器負(fù)責(zé)“抽準(zhǔn)”任何一段出問題都能通過分階段指標(biāo)定位而不是面對一個端到端黑盒猜。這種可觀測性在工程上比多拿一兩個點指標(biāo)更重要。但它的邊界也很清楚。第一檢索器的召回上限就是整個系統(tǒng)的上限BM25 加 BERT 重排這套組合對詞法匹配依賴仍然很重遇到大量同義改寫或者跨語言場景粗排就會漏。第二閱讀器只能抽連續(xù) span對需要跨段落綜合、需要推理計算的金融問題無能為力比如“比較兩家公司近三年毛利率變化”答案不在任何單個段落里。第三兩階段意味著兩次推理延遲是單階段的近兩倍對實時性要求高的場景不友好。判斷要不要換路線我一般看兩個信號。一是 Recall100 長期卡在 0.7 以下說明粗排已經(jīng)成為瓶頸這時候該考慮換成稠密檢索或者混合檢索把語義召回補上。二是端到端錯誤里超過一半是“檢索對了但閱讀器抽錯”說明 span 抽取的范式不適合這批數(shù)據(jù)該考慮生成式閱讀器或者抽取加生成的混合方案。這兩個信號都比單純看 F1 更有指導(dǎo)性。驗證方法上我習(xí)慣把評估拆成三層先單獨跑檢索器看 Recallk 和 NDCG再單獨跑閱讀器在“給定正確段落”條件下的 EM 和 F1最后跑端到端。三層指標(biāo)一起看才能分清是檢索的問題還是閱讀的問題。只看端到端指標(biāo)出了問題根本不知道從哪下手。從那以后我每次接這類兩階段問答任務(wù)都強制先把這三層評估腳本跑通再動模型血淚經(jīng)驗是曾經(jīng)在一個項目里調(diào)了兩周閱讀器最后發(fā)現(xiàn)是檢索器把正確段落排到了第 30 位開外。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91人人操人人爱| 五月天色色色| 狠狠色成人影片| 五月天丁香久久综合| 这里只精品| 91狠狠色丁香婷婷综合久久精品| 色性综合| 久草热8精品视频在线观看| 九月婷婷激情| 欧美色五月| 91超碰人人操| 色视五月天婷婷| 天天插天天日| 久久精彩视频99| 五月天另类小说久久小说网| 色九九九综合| 开心日韩丁香婷婷五月| 国产欧美日韩综合精品一区二区| 99激情网| 日韩色色一区| 色婷婷五月天偷拍| 婷婷五月天成人网| 麻豆五月丁香婷婷| 人人操女人| 99小视频网站| 91黄址| 色婷婷在线播放| 九色婷婷| 少妇人妻人伦A片| 99热这里只有精品国产免费| 五月丁小婷婷激情四射| 99激情视频| 91精品久久久久久久久| 色五月av| 欧美婷婷综合| 色婷婷电影网| 五月天婷a在线| 天天爽免费视频| 色月丁| 天天综合网91| 热99视频| 久久婷狠狠色| 99燥99日| 97超碰在线免费观看| 中文字幕在线日亚州9| 欧美日韩99| 亚洲小说欧美激情| 五月天色综合| 伊人99久久| 五月天成人小说| 色爽九九| 欧美丰满熟妇BBB久久久| 99热这里只有精品2016| 婷婷九九| 亚洲成人日韩无码精品| 99性视频| 丁香五月Av| 国产9色在线/日韩| 丁香婷婷五月天成人| 九九热免费视频| 久色视频在线| 久久婷视频| 天天插天天日| 丁香美女五月天婷婷| 99啊精典免费视频| 五月丁香六月片| 九九大香蕉黄色影院| 久久xxxx| 久xxxx| 91狠狠综合久久| 婷婷五月天综合中文| 久久精品99久久| 激情AV网| 五月婷婷综合激情| 色热久| 色婷婷丁香AV综合| 9久久久| 99成人| 综合激情视频| 欧美视频在线观看噜噜| 99热大全在线观看| 97碰久久| 奇米色大香蕉| 五月天色小说| 婷色五月| 天天插综合| 99视频这里只有久久精品| 殴美日比视频| 91婷婷在线观看| 人与禽A片啪啪| 99精品久久久久| 色婷婷丁香五月丁香| 激情五月丁香六月综合AVXXXX| 婷婷五月天av| 五月天婷婷综合| 色五月婷婷久久大| www.精品99| 丁香五月成人自拍| 五月丁香久久激情综合| 人人爽网| 国产精产国品一二三在观看| 亚洲超碰在线| 久久五月网| 婷婷丁香激情五月天色色| 婷婷五月在线综合| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 热成人网| 丁香五月婷婷亚洲另类| 五月丁香六月婷婷中合网| 国产成人在线精品| 五月丁香啪啪综合| 超碰97人人操| 大香蕉伊人久久| 九热视频精品| 六月丁香色色色| av婷婷丁香| 欧美成人AAA片一区国产精品| 色色色色网站| 狠狠五月天| www.maotanji.com| 久久99久久99精品免观看粉嫩| 牛牛碰免费| 色五月婷婷五月久久| 五月丁香六月综合情在线观看| www.久久爱.c n| 色护士综合| 97人人干视频| 久久日曰| 色婷婷AV在线| 1024婷婷综合久久五月天| 五月色亭丁香| av无码电影| 色噜婷婷| 性爱人人网| 91久久免费| 丁香六月亚洲| 国产操B视频| 操日视频| 九色视频91| 人人干女人| 久久99日本精品视频免费观看| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 五月天婷婷色小说| 天天色激情| 无码激情精品色婷婷久久久久| 综合激情网五月激情| 99热99在线| 日日日,com| 99 频99热国里只有精品| 日本va欧美va欧美va精品| 26UUU一区二区| 狠狠色丁香久久久婷| 九九热这里只有精品556| 综合激情五月天| 91碰碰| 爆乳熟妇一区二区三区爆乳照片| 丁香蜜臀黄色婷婷五月天| 色丁香五月婷婷婷| 这里只有精彩亚洲视频推荐| 五月丁香六月婷婷久久肏| www99xxxx五月丁| 久久影视婷婷五月| 综合久| 91色综合网| 日韩成人网址| 丁香五月 六月婷婷首页| 射久久丁香五月| 五月成人天| 五月婷婷丁香| 色色亚洲| se.久久视频在线观看| 26.uuu丁香五月婷婷| 任你爽精品免费视频6| 日韩成人无码人妻| 五月婷婷免费在线观看| 能看的AV| 99久久6| 免费看欧美成人A片无码| 日99网站| 在线网黄| 婷婷五月天av网| 九九九九九999999| 人妻在线观看视频| 久久激情五月婷婷| 日本熟妇人妻在线| 天天综合在线网| www999日韩精品| 五月丁香综合啪啪| 人人操 色| 色婷丁香| 人人人va亚洲视频在线| 九九热黄色| 成人视频网| 91怕怕网| 九九热在线观看6| 五月丁香婷婷国产精品综合| 五月丁香成年黄色| 久久久97| 4438激情网| 五月天婷基地| 久色婷婷200| 俺去也五月天婷婷| 久久女人九九| 五月丁香久久久日婷婷久久婷婷日| 狠色色狠网| 五月天啪啪视频| 亚洲妇女熟BBW| 182TV大香蕉| 五月丁香婷婷爱激情综合网| 亚洲热综合| 狠狠操狠狠| 色97啪啪| 激情五月天在线观看色婷婷| 67194中文字幕| 99综合网| 在线播放成人网站| 六月婷婷色综合| 色色亚洲| 日韩啪啪网| 色五婷婷| 日韩AV中文在线观看| Www99热| 丁香五月天五码婷婷| 人人爱国产| 激情婷婷六月天| 色综合久网| 六月婷婷狠狠| 99re6久热只有精品6在线直播| 偷拍99在线视频观看| 婷婷99狠狠躁天天| 免费观看的av| 依人大香蕉在钱1| AV色五月婷婷| 丁香九月婷婷综合| 97热九九| jizzdr| 大香网伊人久久综合| Aα在线免费观看| 91啪级电影| 日本91在线| 九九99九九精品视频| 欧美在线骚货| 丁香六月综合| 亚洲婷婷在线播放十月| 婷久久| 99视频| 人妻射精AV| 婷婷丁香九月| 日本九九网| 婷婷五月天天aV| 欧美色婷婷| 操操啪| 久久99大全| 岛囯综合激情网| 人人操Av| 99re8在这里只有精品| 99爱99操| 超碰操网| 女婷久久| www,天天干| www.婷婷六月天| 色五月涩涩婷婷| 九九热内射| 99热思思在线观看| 国产美女无遮挡裸体毛片A片| 激情综合5| 三级三久久线久久99久目本WW| 激情九月丁香婷婷| 五月丁香六月婷婷的女人| www.色五月| 日韩av干| 色啦啦视频| 成人婷婷五月天| 亚洲操操操| 日本一道久久| 午夜丁香| 天天爽曰日爽| 97涩婷婷婷婷基地| 婷婷干五月综合在线播放| 超碰在线网站9| 丁香网五月网| 五月丁香久久激情综合| 五月天婷婷视频| 色玖玖网| 色综合久久44| 欧美啪啪9| 九九亚洲综合| 五月色色网| 人妻精品一区二区三区| 婷婷射图| 天天插天天射| 丁香婷五月| 男人操女人高潮91视频| 五月丁香人妻| 激情五月天。| 99热只有| 婷婷亚洲综合| 夜夜操狠狠操| 人妻久久久久久久久久| 丁香玖玖| 丁香五月成人| av在线色五月丁香婷区久| 99A片| 影音先锋777xfplay色资源网站| 亚洲视频久久| www激情| 99在线爽| 色婷婷亚洲综合av| 久99久在线| 丁香五月天激情| 激情五月天婷婷| ss五月天激情| 婷婷五月天首页激情| 丁香久久久| 婷婷五月大| 禁欲电影完整版在线播放| 思思re视频在线| 99干在线| 9久久精品| 大伊久久| 操操熟女| 丁香五月天堂| 五月开心深爱激情网| 日韩精品成人在线| 91丁香综合| 激情文学五月丁香六月婷婷| 丁香五月天导航| 丰满少妇乱A片无码| 婷婷丁香色情五月天| 182TV大香蕉| 另类激情综合| 99热99干| 青草青草久热这里只有精品| 操操综合网婷婷| 9l视频自拍九色9l视频在线观看| 婷婷开心青青草| 亚洲啪啪自拍| 97色干| 丁香五月综合狠狠| 中文字幕在线不卡| 色婷婷基地| 在线婷婷| 亚洲AV另类| 99这里| renrencaoav| 操操熟女| 婷婷五月花| 精品人妻一区二区| 九九热99精品在线| 色色色欧美| 九九精品9| 婷婷香蕉| 99色综合| 人人草人人爱手机视频看看| 色婷婷丁香五月| 777精品久无码人妻蜜桃| 激情五月婷婷在线观看| 欧美视频在线观看噜噜| 97成人丁香婷婷| 99网址在线观看| 99婷婷| 成人电影丁香六月天| 97操操操| 成人网页在线观看| 国自产拍偷拍精品啪啪一区二区| 激情综合区| 亚洲综合色棒| 丁香五月婷婷六月婷| 伊人久久大香蕉网| 成人片黄网站色大片免费毛片| 99玖玖免费视频| 五月丁香人人婷婷在线观看| 天天综合久久| 丁香五月婷婷超碰在线| 色五月激情问网站| 色一色综合| 五月激情婷婷在线| 中文字幕在线不卡| 99热精品在线在线| 婷婷免费成人视频| 天天色综和网| 色欲天天综合| 91婷婷搞| 成人av观看| 抽插特写| 丁香婷婷成年| www.夜夜| 五月丁香综合啪啪| 久热这里| 婷婷色色网| 五月天色色婷婷| 久久思思精品| 99re8这里只有精品99re8热视频| 色五月丁香激情视频| 九九热10| av久热| 亚洲精品成人片在线播| 五月天堂色色| 日本在线视频看se99| 丁香六月综合激情| 五月大香蕉| 国产 码在线成人网站| 99热国产免费| 丁香在线视频| 婷婷内射视频在线| 婷婷色色丁香五月天| 色五月丁香五月| 狠狠搞亚洲| 五月天婷婷色播在线网| 丁香婷婷六月天| 丁香五月激情六月欧亚激情综合导航| 日本高清久久| 激情五月天噢美| 人妻狠狠操| 天天射综合网站| 六月婷婷久久| 色播婷婷五月天| 久久综合综合久久| 99人人干| 色性综合| 六月丁香啪| 五月综合视频在线| sS丁香五月婷婷| 五月天综合缴情网网站0| 人妻久久久久久久久妻久久久久久久久| 99色综合| 深爱 五月天| 色情综合网| 色噜噜狠狠色综合AV兰草影视| 成人中文字幕在线| 五月丁香婷婷色| 丁香六月啪啪| 综合色五月天| 99热这里只有精品18| 丁香六月色婷婷| 婷婷丁香五月综合网上| 五月综合久久| 久久六月综合| 国产偷人爽久久久久久老妇APP| 国产精品人人做人人爽人人添| 亚洲乱码日产精品BD| 亚洲乱码日产精品BD| 琪琪色网在线| 色色色色区| 日韩精品超碰在线观看| 久久网站免费亚洲| 色色婷婷综合网| 色婷婷激情五月天| 国产精品电影| 色色欧美。| 亚洲国产黄色电影| 99操中文视频| va婷婷在线| 五月综合影院| 五月丁香六月婷婷网| 九九热10| 久久五月丁香| 91a片爽| 超碰在线观看9| 亚洲人成网亚洲欧洲无码久久| 五月婷婷六月爱| 五月六月婷婷| 日日夜夜天天综合| 玖玖婷婷色欲| 六月激情婷婷综合| 色色成人網| 五月天激情网页| 婷婷久月| 婷婷五月天色色| 果冻传媒A片一二三区| 日韩视频女神99| 99re在线精品视频| 五月丁香黄色| 久久久ww| 婷婷五月天综合亚洲| 色婷婷综合丁香五月天| 樱花99视频| 99综合色| 99久久激情视频| 五月婷久久| 狠狠色综合久久久久| 六月丁香婷婷色狠狠久久| 99久久99视频只有精品| 婷婷开心久久| 激情五月丁香亭亭| 激情丁香五月| 日本久久超碰| 超碰AAAAAAV| 播五月,色五月,开心五月播放器| 五月丁香婷婷六月| 久久九九re热| 久久视这里只有精品| 岛国AV网站| 啪啪激情网| 九热视频在线精品15| 五月Huangsewang| 99综合成人视频在线观看| 精品自拍97| 久久五月天婷婷| 91日婷婷在线| 色爱亚洲| 综合AV在线| 亚洲热视频在线| 国产黄色在线观看| 五月丁香婷婷三级| 日本久久综合| 婷婷五月天最新网址| 亚洲啪啪网| site:publishdd.com| 色婷婷色综合久久精品V| 深爱五月婷婷| 日韩免费乱轮网站| 色五月婷婷伊人| 99激情视频| 色婷婷亚洲婷婷| 99热个人在线| 亚洲成人在线免费| 丁香五月五婷| 五月亭亭六月色| 久久婷婷五月天丁香| 久久人妻视频| 五月丁香av在线| wWW九九在线播放| 91碰碰碰| 激情五月天啪啪| 人人爽人人爽人人爽人人爽| 超碰成人av| 99ER热精品视频| 色域五月婷婷丁香| 五月天婷婷激情春色小说| 99色精品| 九色视频九色九色91jiuseshipin| 色五月综合激情| 日韩操逼小电影| 日韩成人中文字幕| 色吊丝av中文字幕| 久久黄色片| 97色在线| 亚洲AV色婷婷人禽五月天| 五月天婷婷日日爱| 成人五月天丁香婷| 极品少妇婷婷五月| 成人国产欧美大片一区| 99久久综合| 91丨九色丨熟女| 九九热123| 99熟女视频| 五月婷婷和六月| 成人国产综合| 人人搡人人| 国外亚洲成AV人片在线观看| 久热这里只有精品99re| 丰满熟女人妻一区二区三| 夜夜涩涩涩| av久热| 毛片蕉地一二| 丁香婷婷久久| 99国产在线| 激情小说五月天| 思思re视频在线| XXXX岛国| VA日本视频| 91干在线视频| 97碰 在线视频观看| 伊人综合网站| 五月丁香色情| www.色综合.com| 婷婷五月情| bukadeavzaixian| 少妇被下春药玩弄A片| 激情网五月| 丁香六月亚洲综合| 26uuu欧美亚洲日韩| 激情五月天久久丁香| 香蕉狠狠爱视频| 久久日婷婷| 欧美日本国产| 婷婷伊人综合| 影音先锋男士资源网一区| 婷婷在线中文字幕| 综合久久婷婷99| 亚洲精品V天堂中文字幕| 人妻啪啪啪| 久久综合爱| 99精品免费视频| 婷婷五月综合亚洲| 激情六月天婷婷| 夜夜爽天天干| 涩婷婷五月天在线精品视频| 久久一热| 婷婷五月天激情AV影院| 亚洲夜夜操| 五月婷婷开心亚州在线| 婷婷在线播放av| 久久五月丁香婷婷| 欧美婷婷六月丁香综合色连续高潮抽搐| 五月天婷婷色色| 狠狠操狠狠爱| 激情五月天色网站| 久久这里只有精品5| 91大神操美女| 九九碰九九爱97超碰| 五月丁香激情综合网| 中美日韩成人在线| 激情五月婷婷| www色婷婷久久综合久色| 青草青草久热这里只有精品| 第四色色六月色综合| 亚洲激情无码久久| 五月丁香六月婷婷中文版| 操逼123网| 婷婷五月天伦理| 精品一区二区三区木瓜| se影音资源在线观看| 热99这就是精品视频| 亚洲色婷婷五月天| 国产97色在线 | 日韩| 伊人激情综合网| 亚洲热热视频| 99热在线观看| 无毒黄色网址| 色欲久久久久久综合网综合网| 久久WW| 丁香九月婷婷| 综合在线丁香五月| 婷婷五月无码| 激情另类综合| 亚洲日韩一页精品发布| 变态另类色图| 伊人玖玖婷婷| 思思热久久阴99| 五月天婷婷激情小说| 久久欧洲综合网| 亚洲五月婷婷| av在线资源| 五月丁香婷婷五月色| 天堂美国久久| 激情丁香九九五月综合网| 激情综合五月激情17| 同性gv国产精品一区二区| 蜜臀嫩草| 久久人人九九| 大学生高潮无套内谢视频| 日本在线播放97| 五月天基地| 色碰碰视频| 婷婷五月天,影院| 九九热99精品在线| 亚洲婷婷久久综合| 久久视频在线视频| 色色色色色日韩午夜激情 | 综合色婷婷| 色色色色色日韩午夜激情| 中文久久婷婷| 99热网站在线观看| 99re8这里只有精品99re8热视频| 中文AV在线播放| 丰满女老板BD高清A片| 青青色com久久| 色 免费网站视频| 一區四區歐美日韓| 婷婷成人视频| 九九在线精品| 最新无码专区| 殴美激情综合网| 久久香蕉婷婷五月天| 久久久天天啊| 亚洲日韩一页精品发布| 99久热精品在线| 婷婷激情五月天天天开心| 丁香五月激情六月| 五月丁香成人网| 九九综合久久| 五月婷丁香久久综合| 婷婷综合五月| 九九99精品视频在线观看| 97人妻碰碰中文无码久热丝袜| 丁香婷婷狠狠97| 97中文在线| 99热这里只有精品最新地址获取| 14色综合婷婷| 日本婷婷激情四射中文字幕在线观看| 9月色婷婷| 欧美性丁香色色五月天| 大香蕉婷婷丁香天堂AV| 91色呦哟| 九九精品视频免费在线| 天天摸天天舔天天天天爽| 99色综合| 色婷婷六月天| 欧美va欧美va差| 99这里只有精品视频| 亚洲区在线| 26UUU一区二区| 婷婷五月天激情小说| 国产欧美熟妇另类久久久 | 欧美熟女乱又伦| 久久99热这里只有精品| www91久久| 六月婷婷色宗合| 日日色综合| 综合久久五月| 激情五月天激情网| www.久久久.com| 婷婷久久在线| 九九热这里只有精品31| 激情开心五月天| 亚洲精品99| 五月丁香六月激情综合| 亚洲精品第一国产综合亚AV | 99热 免费| 99re热在线观看| 久久丁香综合精品综合| 色亚洲视频| av在线激情| 国产成人精品亚洲线观看| 丁香婷婷久久| 久热黄色| 夜色五月天| 色色婷五月天| 99精品视频在线观看| 色综合天堂| 99热首页| 日本女色人人| 啄木鸟黑丝一区二区| 五月天婷婷久久| 丁香五月 无码| 色9色| 天天干夜晚夜操| 91se在线视频| 婷婷午夜丁香| 夜夜久久综合网 | 激情网开心网| 欧美性生交XXXXX无码小说| 天天做综合| 538在线精品| 97碰91| 丁香五月激情婷婷| 国产成人精品一区二三区熟女在线| 色噜噜狠狠色综合AV兰草影视| AV在线大香蕉| 日本美女上人| 五月婷婷三级| 久久久久激情| 五月天成人综合| 草久私拍| 日日撸日日操| 9久久狠狠的| 五月婷婷和六月| 婷婷中文字幕| 五月天日日操夜夜操 | 婷婷综合玖玖五月| 色婷婷视频综合| 人人操婷婷| 色五月丁香伊人五月| 玖玖色综合色| 天天艹天天色| 五月婷婷激情| 午夜爱爱爱成人| 免费看欧美成人A片无码| 色亚洲婷婷| 五月婷婷激情网| 婷婷AV丁香| 日本乱子人伦在线视频| 那里有AV网址| 色婷婷综合网站| 丁香五月性爱| 五月婷婷色| 久久五月天精品视频| 五月丁香影视| 久热最新视频| Av在线不卡一区| 五月天偷拍| 丁香五月日韩| 色情丁香五月婷婷精品| 久久这里只有精品久久| 人人操日| 桃色Av色哟哟| AAA久久| 色丁香久综合在线久综合在线观看| 日日做A爰片久久毛片A片英语| 日韩按摩二区| 精品婷婷丁香五| www.婷婷五月天| 激情六月丁香| 99视频| 呦呦视频无码播放| 大香蕉人人网| 久99| 337p午夜影院| 九九热99精品| 日韩成人电影AV| 天天做天天爱天天爽在| 激情都市另类| 五月综合久久| 思思热久久阴99| 激情五月天久久| 色综合久久88色综合天天| 一起操 91N.com| 丁香婷婷网| 夜夜天天久久婷婷| 人人草碰| 思思热精品在线| 337p午夜影院| 97爱综合| 午夜丁香综合婷婷| 亚洲激情淫网| 91制片厂久久久国产电影| 少妇性按摩无码中文A片| 六月99天天婷婷激情综合| 9色91视频| 色五月激情婷婷| 狠狠人妻色综合| 狠狠干狠狠干| 99热在线观看免费精品| 人妻熟妇国产精品| 五月天操逼激情| 成人网站免费在线播放| 色播五月丁香婷婷| 亚洲人人操| 色狠狠综合| 五月丁香婷婷俺| 激情六月天婷婷| 国产偷人爽久久久久久老妇APP| 天天天天天天操| 99玖玖在线视频| 久久久GOGO无码啪啪艺术| 这里只有精品视频在线| 日本本土色网第一区| AV操一操| 成人短视频在线观看| 五月第四色| 久久婷婷成人视频| 激情碰碰碰| 九九视频这里只有精品| 丁香五月色欲| 蜜乳9188| 伊人狠狠色婷婷综合丁香一区| 婷婷五月天网| 五月天色丁香| 丁香五月六月婷婷自拍| 日韩精品无码AV| 亚洲色99| 999影院成人在线影院| 玖热精品综合视频| 婷婷碰碰| 色色色99| 影音先锋天天日| 伊人狠狠综合| 色婷婷99| 亚洲六月综合激情久久下卡| 色综合激情| 99热这里只有精品搜| 伊人大香五月天| 五月丁香婷久久| 丁香五月播播| 五月婷婷说| 久久久久婷婷五月热综合| 热久久色| www.99精品日操伊人乱碰在线| 色综合中文| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 五月婷婷六月丁香| 丁香五月91| 吉澤明步Av一區二區| 深爱五月激情网| 91大神操美女| 五月激情久久| 日本黄 色 片| 噜噜五月天综合| 免费视频无码| 婷婷综合色五月天| 五月丁香亚洲五月| 五月婷婷高清| 五月婷网| 超碰av天堂| 97超碰9久热婷婷热| 九九九九精品精| 99激情| 97人人操人人| 五月婷婷开心网| 五月花亭亭| 视色网在线播放| 天天色月| 精品99在线| 亚洲精品成人片在线播| 99热热热天天人人人超超碰| 99在线精品免费视频| 超碰免费在线| 婷婷伊人久久| 日韩成人电影在线播放| 天天摸天天透天天舔| 日本激情综合| 五月天成人在线| 人人干天天操五月丁香| 狠狠色五月激情| 天天做天天要天天爱| 91网站黄| 99色久| 91人无码久久久久久| 婷婷婷狠狠| 国产99久久久国产精品免费看| 另类小说色婷婷| 婷婷伊人网| 日韩久热| 9热视频在线观看| 婷婷 丁香 精品| 天天干电影| 深爱五月激情| 五月天激情国产综合婷婷| 五月激情天天干| 天天天操天天天日| 亚洲激情视频网| 丁香五月天精品| 午夜青草资源| 在线色五月婷婷| 五月天婷婷激情小说| 狠狠色丁香99| 天天 青草 制服丝袜 在线| 99噜噜噜在线播放| www.25五月婷婷| 丁香五月婷婷亚洲人| 五月婷五月婷伊人伊人五月婷| 99在线观看| 婷婷五月亚洲综合| 久99热| 婷婷八月激情| 另类综合激情| 色久五月| 国产精品婷婷午夜在线观看| 九九爱激情| 丁香桃色网| www.yw色| 欧美影院婷婷| 99热偷拍| 色婷婷99| 伊大人久久| 六月婷婷AV| 大香蕉九操| 亚洲综合激情五月久久| 六月丁香综合999| 99re热久久| 自拍盗摄 另类| 综合久久99| 伊人网碰碰| 日韩亚洲视频| 这里有精品| 国自产拍偷拍精品啪啪一区二区 | 丁香五月婷婷99| 97操在线资源| 超碰91人人操| 丁香五月六月久久综合 | 69热91天堂| 久久婷婷激情四射五月天| 国产97色在线| 欧美成人无码一区二区三区| 综合在线丁香五月| 九九亚洲视频| 久久总和99| 五月丁香天堂网| 色婷婷成人做爰A片免费看网站 | 1024欧美看片| 色域五月婷婷丁香| sisi热国产| 丁香六月天之亚州热女| 婷婷五月综合色拍| 99热成人| 日韩AV成人电影| 综合色影| 综合久色五月| 夜夜谢天天干| 五月天播播| 欧美97超碰| 97超碰在线免费观看| 五月丁香婷婷综合在线| 天天色,天天日,天天做| 91操片| 久久久国产精品黄毛片| www.久久久久久久久久久| 婷婷五月天成人五月天| 性生活久久人妻| 99操视频| 日操夜操天天操不卡| 97香蕉久久超级碰碰高清版 | 五月久久丁香| 香蕉久久国产AV一区二区| 国产成人精品一区二三区熟女在线| 99热只有精品在线| 丁香六月婷月91婷月| WWW五月| 国产毛片精品一区二区色欲黄A片| 碰碰碰97国产| 激情小说五月天| 天天成人综合视频| 久久久18| 欲求不满的人妻| 伊人激情| 亚洲综合色色色| 夜夜谢天天干| 婷婷色五月天色| 天天婷婷操| 天天色噜| 久在线88综合| 99操无码视频观看| 精久久色| 五月婷婷六月丁香综合在线| WWW色色色COM| 久久久久婷婷五月热综合| 五月婷婷综合在线视频小说| 九九色色| 日韩AV中文字幕在线| 激情五月综合六月丁香婷婷狠狠干| www.9797国产| 9国产在线视频| 国产成人综合网| 国产精品视频久久99| 天天干,天天日| 久久精品夜色噜噜亚洲a∨| 操逼福利视频| 91成人性爱视频| 五月丁香婷久久| 亚色网站小视频| 丁香五月欧美激情| 十二区无码| 欧美婷婷五月激情| 婷婷五月天AV在线| 色婷婷精品视频在线播放| 亚洲激情 久久| 98色花堂98t.R| www.99操.com| 新99思思视频| 男人天堂99| 欧美婷婷色五月网| 欧美色六月婷婷| 天天综合网在线| 中文字幕,综合,91| 五月综合色播播丁香婷婷| 激情五月婷婷| 九九综合| 成功精品影院| 香蕉五月婷婷| 九九视频热| AV九九| 亚洲色色色色色色色色色| 激情五月天综合网| 黄色AAAAAAA| www..com色爱| 亚洲国产精品VA在线看黑人| 五月丁香琪琪| 久久这里都是精品| 婷婷六久久| 久久在线人妻| 天天爽夜夜操| 97资源碰碰| 激情五月天综合网| 综合九色| 天天做天天爱综合| 91九色最新视频| 日韩黄黄| 九九热免费| 五月天综合激情网| 99九九在线视频| 亚洲欧洲一二| 激情综合丁香五月| www...com黄在线观看| 无码G高清天| 最近中文字幕大全免费版在线| 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 人妻久久久| 亚州综合色| 开心激情婷婷| 色婷婷无吗| 丁香婷婷色| 亚洲成人av在线观看 | 久久久久9| 九九黄色网| 中文字幕不卡+婷婷五月| 美国十月色婷婷在线观看| 日韩美一级毛卡片| 婷婷天天婷婷天天澡| 婷婷之玖玖| 五月丁香淫淫婷婷婷| 操b视频在线观看一区二区| 五月天另类小说久久小说网| 九九婷婷五月天| 五月婷婷欲色| 黄桃AV无码免费一区二区三区 | 91精品久久久久久久久| 久久天天| 9人人操人人看| 欧美色色色色色色色| 五月天丁香成人| 久久九区| 日日干五月天婷婷| 26UUU精品一区二区| 五月欧美色播| 天天操综合网| 亚洲俩性性爱图片久久第六页| 亚洲色色色| 大波美女VA网站| 1024在线一区| 五月天激情啪啪| 第九色区AV在线| 丁香五月激情视频| 久久精品五月| 激情綜合網址| 欧美综合123区| 这里只有精彩视频| 婷婷免费成人视频| 亚洲人妻av| 色狠狠综合网| 亚洲无码免费看| 噜噜国产| 亚洲另类婷婷综合| 欧美激情五月天| 婷婷丁香五月天在线视频| 91色性感五月婷婷丁香| 亚洲五月花| www综合久久| 日本色婷婷| 天干干夜夜操| 五月婷婷丁香日韩在线| 天天摸天天舔| 超碰成人在线观看| 激情五月婷| 五月婷婷干| 色级婷婷| 天堂久久婷婷| 播五月婷婷开心| www五月婷婷| 综合色激情| 9热视频在线观看| 99热免费| 五月丁香色婷| 91疯狂操操操操| 99热这里只有精品首页| 99成人网站| 丁香五月婷婷久久久| 97碰在线| 九九成人精品免费视频| 一二线视频 另类| 激情都市丁香婷婷| 婷婷亚洲综合| 变态 另类 在线| 噜噜狠狠色综无码久久合欧美| 成人电影在线免费试看| 五月丁香六月激情综合| se99视频| 91AV婷婷| 来吧亚洲综合网| 亚洲久久婷婷| 91青娱乐青青草| 日韩精品AV一区二区三区| 天天色域综合网| 99男人的天堂| 熟女少妇内射日韩亚洲| 婷婷五月六月丁香| 日本综合久| 丁香九月色| 综合色色网| 亚洲色情激情丁香五月| 91久久久久久久久久| 激情六月婷婷| 开心网五月色婷婷| 色色是色N一| 日本欧美999久久久三级片| 久久丁香五月婷婷| av免费人人| 91精品久久久久久77777| 99视频只有精品| 婷婷金品综合视频| 综合亚洲五月天| 色婷婷久久视屏| 五月丁香狠狠爱| 99精品在线| 五月天a婷婷伊人| 99噜噜噜| 草草女人亚洲| 97碰在线视频| 色五月激情基地| 丁香六月啪| 久久久五月天婷婷| 九九99久久| 综合色五月| 久久黄色网扯| 97在线/亚洲| 色色色色丁香| 超碰99在线| 丁香色婷婷| 欧美色色色色色色色色色色影视| 九九99在线| 中文字幕成人网站| 色色激情五月天| 日本人人干| 婷婷色影院| 五月丁香六月花| 色久婷婷五月| 另类视屏| 国产成人精品一区二三区熟女在线| 超碰在线免费9| 久久思思热视频| 久久这里精彩免费在线观看| 婷婷99丁香| seav天堂| 99无码| 五月综合激情| 九色色| 狠狠操天天操天天操| 操日视频| 超级碰碰一区| 亚洲亚洲人成综合网络| 五月天色色色| 五月天成人网在线观看| 色婷婷五月天天天做| 99综合| 五月婷婷色啪| 天堂久热| 午夜少妇在线观看视频| 99re在线观看| 成年人丁香五月| 五月天成人在线播放丁香| 这里只有精品日韩精品| 另类图片激情五月| 亚洲激情五月| 丁香亚洲色综合| 夜夜操加勒比| 成年人丁香五月| 九九色99| 日韩淑女人妻luan伦激情精品一区二| 99福利视频| 人人舔人人色人人高潮| 九九这里只有精品在线视频| 综合久久五月天| av五月丁香| 丁香狠狠色婷婷久久无码视频| 在线不卡视频| 大香蕉久久久久| www.婷婷| 色5月丁香婷婷| 六月综合在线| 五月中旬婷婷丁香六| 六月香五月婷| 思思网站| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 玖玖婷婷视频| 啪啪啪丁香五月| 96精品成人无码A片观看金桔| 国产这里只有精品| 色欲色香综合网| 99视频在线播放大全| 99色在线| 成人在线99| 天天干天天干天天操| 婷婷五月天成人基地| 久久婷婷欧美| 婷婷六月天精品| 五月激情另类| 色婷丁香五月| 99热这是里只有精品| 色五月丁香总合网| 婷婷基地成人五月天| 久久香蕉网| 久久这里只有精彩| 色婷五月婷婷| 另类五月婷婷| 五月丁香久久网|