欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

本地任務(wù)拆分實(shí)戰(zhàn):L0硬規(guī)則前置與L1模型兜底的兩級(jí)流水線

本地任務(wù)拆分實(shí)戰(zhàn):L0硬規(guī)則前置與L1模型兜底的兩級(jí)流水線 1. 為什么要在本地做任務(wù)拆分1.1 從一次線上事故說(shuō)起去年冬天我在做一個(gè)內(nèi)部工單自動(dòng)分派的小系統(tǒng)。需求本身不復(fù)雜用戶提交一段自然語(yǔ)言描述系統(tǒng)判斷它屬于哪個(gè)部門(mén)、緊急程度如何、要不要轉(zhuǎn)人工。最開(kāi)始我圖省事直接調(diào)了一個(gè)大模型接口把整段文本丟進(jìn)去讓它一次性輸出結(jié)構(gòu)化結(jié)果。上線第三天就出事了。有一張工單寫(xiě)著“機(jī)房空調(diào)外機(jī)異響已持續(xù)兩小時(shí)”模型把它分到了“行政后勤”緊急程度標(biāo)了“低”。實(shí)際上機(jī)房溫度已經(jīng)開(kāi)始爬升這種單子必須走基礎(chǔ)設(shè)施告警通道。事后復(fù)盤(pán)問(wèn)題不在模型能力而在于我把所有判斷都押在了一次推理上——沒(méi)有硬性規(guī)則兜底沒(méi)有中間校驗(yàn)?zāi)P洼敵鍪裁淳褪鞘裁?。這件事之后我重新設(shè)計(jì)了整條鏈路核心思路就一句話能用確定性規(guī)則解決的絕不交給模型模型只處理規(guī)則覆蓋不到的模糊地帶。這就是后來(lái)我一直在用的 L0 硬規(guī)則前置加 L1 模型兜底的兩級(jí)流水線。1.2 兩級(jí)流水線到底解決什么問(wèn)題先說(shuō)清楚這兩個(gè)層級(jí)分別是什么。L0 層是硬規(guī)則層由人工編寫(xiě)的確定性邏輯構(gòu)成。關(guān)鍵詞匹配、正則表達(dá)式、字典查詢、數(shù)值閾值判斷這些都屬于 L0。它的特點(diǎn)是快、準(zhǔn)、可解釋、零成本但覆蓋面有限遇到?jīng)]見(jiàn)過(guò)的表達(dá)方式就抓瞎。L1 層是模型兜底層用大模型或者小型的本地分類模型來(lái)處理 L0 沒(méi)命中的那部分輸入。它的特點(diǎn)是覆蓋面廣、能理解語(yǔ)義但慢、有成本、輸出不穩(wěn)定。兩級(jí)流水線的價(jià)值在于把大部分請(qǐng)求攔截在 L0只讓真正需要語(yǔ)義理解的請(qǐng)求進(jìn)入 L1。我實(shí)測(cè)下來(lái)在一個(gè)日均三千條工單的場(chǎng)景里L(fēng)0 能攔住大約七成剩下三成走 L1。這意味著模型調(diào)用成本直接砍掉七成響應(yīng)速度也上了一個(gè)臺(tái)階——L0 的判斷通常在毫秒級(jí)完成用戶幾乎無(wú)感。更重要的是可靠性。L0 的規(guī)則是我自己寫(xiě)的每一條都能追溯到具體的業(yè)務(wù)邏輯。即使 L1 出了問(wèn)題L0 仍然能保證核心場(chǎng)景不出錯(cuò)。這種“降級(jí)可用”的特性在本地部署環(huán)境里尤其重要。1.3 適合哪些場(chǎng)景不適合哪些場(chǎng)景這套架構(gòu)不是什么萬(wàn)能藥它有明確的適用邊界。適合的場(chǎng)景有幾個(gè)共同特征任務(wù)邊界清晰、存在大量可枚舉的模式、對(duì)響應(yīng)速度和成本敏感、需要可解釋性。比如工單分類、意圖識(shí)別、表單字段抽取、日志告警分級(jí)、內(nèi)容審核初篩這些都很適合。不適合的場(chǎng)景也很明顯。如果你的任務(wù)本身就是開(kāi)放式的比如讓模型寫(xiě)一篇文章、做一段創(chuàng)意文案那 L0 層幾乎幫不上忙硬套兩級(jí)流水線只會(huì)增加復(fù)雜度。另外如果任務(wù)量很小一天就幾十條請(qǐng)求那直接調(diào)模型更省事沒(méi)必要為了省那點(diǎn)成本去維護(hù)一套規(guī)則。還有一個(gè)容易被忽略的點(diǎn)L0 規(guī)則是需要持續(xù)維護(hù)的。業(yè)務(wù)在變用戶的表達(dá)方式在變規(guī)則也得跟著更新。如果你沒(méi)有精力去定期 review 規(guī)則命中率和誤判率那這套架構(gòu)的優(yōu)勢(shì)會(huì)隨著時(shí)間推移逐漸衰減。2. L0 硬規(guī)則層的設(shè)計(jì)與實(shí)現(xiàn)細(xì)節(jié)2.1 規(guī)則的組織方式優(yōu)先級(jí)隊(duì)列而非平鋪列表很多人寫(xiě)規(guī)則就是一堆 if-else 堆在一起能跑就行。但規(guī)則一多維護(hù)起來(lái)就是災(zāi)難。我的做法是把規(guī)則組織成一個(gè)帶優(yōu)先級(jí)的隊(duì)列每條規(guī)則有明確的優(yōu)先級(jí)、匹配條件和命中后的動(dòng)作。為什么用優(yōu)先級(jí)隊(duì)列而不是簡(jiǎn)單的順序執(zhí)行因?yàn)橐?guī)則之間可能存在沖突。比如一條規(guī)則說(shuō)“包含‘退款’關(guān)鍵詞就分到售后組”另一條規(guī)則說(shuō)“包含‘投訴’關(guān)鍵詞就分到客訴組”。如果一條工單同時(shí)包含這兩個(gè)詞按什么順序判斷就決定了最終結(jié)果。優(yōu)先級(jí)機(jī)制讓這種沖突變得可控——我明確知道哪條規(guī)則先跑哪條后跑。具體實(shí)現(xiàn)上我用一個(gè)列表來(lái)存儲(chǔ)規(guī)則對(duì)象每個(gè)對(duì)象包含這幾個(gè)字段class L0Rule: def __init__(self, name, priority, matcher, action, description): self.name name # 規(guī)則名稱用于日志追蹤 self.priority priority # 優(yōu)先級(jí)數(shù)字越小越先執(zhí)行 self.matcher matcher # 匹配函數(shù)返回布爾值 self.action action # 命中后的動(dòng)作返回分類結(jié)果 self.description description # 規(guī)則說(shuō)明方便后續(xù)維護(hù)規(guī)則列表按 priority 排序執(zhí)行時(shí)從前往后遍歷第一條命中的規(guī)則直接返回結(jié)果不再繼續(xù)往下走。這種“短路”機(jī)制保證了執(zhí)行效率也避免了多條規(guī)則同時(shí)命中時(shí)的歧義。2.2 匹配器的幾種常見(jiàn)寫(xiě)法匹配器是 L0 層的核心它決定了規(guī)則能不能準(zhǔn)確識(shí)別目標(biāo)。我常用的匹配器有這么幾類。關(guān)鍵詞匹配是最簡(jiǎn)單也最常用的一種。但直接寫(xiě)if 退款 in text太粗糙了容易誤傷。比如“退款政策是什么”和“我要申請(qǐng)退款”都包含“退款”但意圖完全不同。我的做法是結(jié)合上下文窗口來(lái)判斷——檢查關(guān)鍵詞前后一定范圍內(nèi)是否出現(xiàn)了特定的修飾詞。def keyword_matcher(keywords, context_windowNone, required_contextNone): def match(text): for kw in keywords: idx text.find(kw) if idx -1: continue if context_window and required_context: start max(0, idx - context_window) end min(len(text), idx len(kw) context_window) context text[start:end] if any(rc in context for rc in required_context): return True else: return True return False return match正則匹配適合處理有固定格式的內(nèi)容比如訂單號(hào)、手機(jī)號(hào)、身份證號(hào)。寫(xiě)正則的時(shí)候要注意不要追求一條正則搞定所有情況那樣只會(huì)寫(xiě)出誰(shuí)也看不懂的怪物。拆成多條簡(jiǎn)單的正則每條負(fù)責(zé)一種格式維護(hù)起來(lái)輕松得多。字典查詢適合處理枚舉值。比如部門(mén)名稱、產(chǎn)品類別這種有限集合直接建一個(gè)映射字典查詢速度是 O(1)。我一般會(huì)把字典單獨(dú)放在一個(gè) JSON 文件里方便非技術(shù)人員也能更新。數(shù)值閾值判斷在處理告警分級(jí)時(shí)特別有用。比如溫度超過(guò)多少度算緊急、響應(yīng)時(shí)間超過(guò)多少秒算超時(shí)這些都是明確的數(shù)值邊界用規(guī)則處理比模型靠譜得多。2.3 規(guī)則命中后的動(dòng)作設(shè)計(jì)命中規(guī)則之后做什么這個(gè)環(huán)節(jié)看似簡(jiǎn)單其實(shí)也有講究。我的原則是L0 層的輸出必須和 L1 層的輸出保持同樣的數(shù)據(jù)結(jié)構(gòu)。這樣上層業(yè)務(wù)代碼不需要關(guān)心結(jié)果是哪一層產(chǎn)生的統(tǒng)一處理就行。輸出結(jié)構(gòu)一般包含這幾個(gè)字段字段名類型說(shuō)明categorystring分類結(jié)果confidencefloat置信度L0 固定為 1.0sourcestring來(lái)源標(biāo)記L0 或 L1rule_namestring命中的規(guī)則名稱L1 時(shí)為 nullraw_inputstring原始輸入便于追溯source字段很重要。它讓下游系統(tǒng)知道這個(gè)結(jié)果是規(guī)則給的還是模型給的。規(guī)則給的結(jié)果可以直接信任模型給的結(jié)果可能需要人工復(fù)核或者二次校驗(yàn)。rule_name則在排查問(wèn)題時(shí)特別有用——我能快速定位是哪條規(guī)則命中了如果發(fā)現(xiàn)誤判直接改那條規(guī)則就行。2.4 規(guī)則維護(hù)的幾個(gè)實(shí)操心得規(guī)則寫(xiě)起來(lái)容易維護(hù)起來(lái)難。我踩過(guò)幾個(gè)坑這里分享一下。第一條每條規(guī)則必須有單元測(cè)試。規(guī)則多了之后改一條可能影響另一條。沒(méi)有測(cè)試覆蓋的話你根本不知道改動(dòng)會(huì)帶來(lái)什么后果。我的做法是給每條規(guī)則寫(xiě)至少三個(gè)測(cè)試用例一個(gè)應(yīng)該命中的、一個(gè)不應(yīng)該命中的、一個(gè)邊界情況的。第二條記錄規(guī)則命中日志。每次規(guī)則命中都記一條日志包含規(guī)則名稱、輸入文本、命中時(shí)間。這些日志是后續(xù)優(yōu)化的金礦——你能看到哪些規(guī)則命中率高、哪些規(guī)則從來(lái)沒(méi)被觸發(fā)過(guò)、哪些規(guī)則經(jīng)常誤判。第三條定期清理僵尸規(guī)則。業(yè)務(wù)變化快半年前寫(xiě)的規(guī)則可能現(xiàn)在已經(jīng)沒(méi)用了。我每個(gè)月會(huì)跑一次統(tǒng)計(jì)把連續(xù)三十天零命中的規(guī)則標(biāo)記出來(lái)確認(rèn)后刪除。規(guī)則庫(kù)越精簡(jiǎn)維護(hù)成本越低。第四條規(guī)則命名要有意義。不要用rule_001、rule_002這種命名用refund_request_with_order_id這種描述性的名字。半年后你回頭看能一眼看懂這條規(guī)則是干什么的。3. L1 模型兜底層的接入與調(diào)優(yōu)3.1 模型選型本地小模型還是遠(yuǎn)程大模型L1 層用什么模型這個(gè)決策取決于你的部署環(huán)境和精度要求。如果對(duì)數(shù)據(jù)隱私要求高、網(wǎng)絡(luò)環(huán)境不穩(wěn)定、或者需要極低延遲那就選本地部署的小模型。我常用的是參數(shù)量在 1B 到 7B 之間的指令微調(diào)模型量化后顯存占用可以壓到 4GB 以內(nèi)普通帶獨(dú)顯的機(jī)器就能跑。精度上肯定不如大模型但對(duì)于分類、抽取這類任務(wù)配合好的提示詞效果完全夠用。如果對(duì)精度要求高、任務(wù)復(fù)雜度大、且能接受一定的網(wǎng)絡(luò)延遲那就用遠(yuǎn)程大模型接口。但要注意遠(yuǎn)程調(diào)用意味著你的數(shù)據(jù)要出本地如果涉及敏感信息得先做脫敏處理。我的建議是先用本地小模型跑一版看效果能不能接受。能接受就用本地的省心省錢(qián)。實(shí)在不行再考慮遠(yuǎn)程方案。很多時(shí)候我們對(duì)模型精度的要求是被自己嚇出來(lái)的實(shí)際業(yè)務(wù)場(chǎng)景里85% 的準(zhǔn)確率可能就已經(jīng)夠用了。3.2 提示詞設(shè)計(jì)讓模型輸出結(jié)構(gòu)化結(jié)果L1 層的模型調(diào)用和普通聊天不一樣我需要的是結(jié)構(gòu)化的、可解析的輸出而不是一段自由文本。所以提示詞的設(shè)計(jì)要圍繞這個(gè)目標(biāo)來(lái)。我的提示詞模板一般包含這幾個(gè)部分你是一個(gè)任務(wù)分類助手。請(qǐng)根據(jù)用戶輸入的內(nèi)容判斷它屬于以下哪個(gè)類別 類別列表 - 售后咨詢 - 技術(shù)支持 - 投訴建議 - 其他 要求 1. 只輸出類別名稱不要輸出任何其他內(nèi)容 2. 如果無(wú)法判斷輸出“其他” 3. 不要解釋你的判斷理由 用戶輸入 {user_input}這個(gè)模板的關(guān)鍵在于約束輸出格式。我明確告訴模型只輸出類別名稱這樣我拿到結(jié)果后可以直接用字符串匹配來(lái)解析不需要復(fù)雜的后處理。但實(shí)際跑下來(lái)模型有時(shí)候還是會(huì)“話多”輸出類似“這個(gè)應(yīng)該屬于售后咨詢”這樣的內(nèi)容。所以我在解析層加了一層容錯(cuò)先嘗試精確匹配匹配不上就用關(guān)鍵詞模糊匹配再匹配不上就歸入“其他”并記錄日志。3.3 置信度處理模型說(shuō)“不確定”怎么辦模型輸出的置信度是個(gè)好東西但很多接口不直接提供。我的做法是通過(guò)多次采樣來(lái)估算置信度。具體來(lái)說(shuō)同一個(gè)輸入讓模型跑三次溫度參數(shù)設(shè)成 0.7 左右看三次結(jié)果是否一致。三次都一樣置信度標(biāo)為高兩次一樣置信度標(biāo)為中三次都不一樣置信度標(biāo)為低。置信度低的請(qǐng)求我不會(huì)直接采用模型結(jié)果而是轉(zhuǎn)人工復(fù)核。這樣雖然增加了一點(diǎn)人工成本但避免了模型胡猜導(dǎo)致的錯(cuò)誤。在實(shí)際系統(tǒng)里低置信度的請(qǐng)求占比通常不到 5%人工完全扛得住。還有一種情況是模型明確表示無(wú)法判斷。這時(shí)候我會(huì)檢查是不是 L0 層的規(guī)則覆蓋不夠考慮補(bǔ)充新規(guī)則。L1 層的“無(wú)法判斷”日志是 L0 規(guī)則優(yōu)化的最佳輸入。3.4 超時(shí)與降級(jí)策略L1 層是外部依賴不管是本地模型還是遠(yuǎn)程接口都有可能超時(shí)或失敗。必須有降級(jí)策略。我的做法是設(shè)置一個(gè)硬超時(shí)時(shí)間比如 3 秒。超過(guò) 3 秒沒(méi)返回直接放棄 L1走默認(rèn)兜底邏輯。默認(rèn)兜底邏輯很簡(jiǎn)單歸入“其他”類別標(biāo)記為“待人工處理”。同時(shí)我會(huì)記錄超時(shí)日志如果某個(gè)時(shí)間段超時(shí)率突然升高說(shuō)明模型服務(wù)可能出了問(wèn)題需要排查。這種監(jiān)控在本地部署環(huán)境里尤其重要因?yàn)楸镜胤?wù)的穩(wěn)定性往往不如云服務(wù)。還有一個(gè)細(xì)節(jié)L1 的調(diào)用要異步化。不要讓主流程阻塞等待模型返回。我的做法是把 L1 調(diào)用放到一個(gè)隊(duì)列里主流程先返回一個(gè)“處理中”的狀態(tài)等模型結(jié)果出來(lái)后再更新。這樣用戶體驗(yàn)更好系統(tǒng)吞吐量也更高。4. 兩級(jí)流水線的串聯(lián)與調(diào)度4.1 主流程的偽代碼實(shí)現(xiàn)把 L0 和 L1 串起來(lái)的主流程其實(shí)不復(fù)雜但有幾個(gè)關(guān)鍵點(diǎn)要注意。def process_task(user_input): # 第一步L0 規(guī)則匹配 l0_result l0_match(user_input) if l0_result is not None: log_hit(L0, l0_result.rule_name, user_input) return l0_result # 第二步L0 未命中走 L1 log_miss(L0, user_input) try: l1_result l1_predict(user_input, timeout3.0) if l1_result.confidence low: return fallback_result(user_input, reasonlow_confidence) return l1_result except TimeoutError: log_error(L1_timeout, user_input) return fallback_result(user_input, reasontimeout) except Exception as e: log_error(L1_error, str(e), user_input) return fallback_result(user_input, reasonerror)這段代碼里有幾個(gè)設(shè)計(jì)決策值得說(shuō)明。L0 命中后直接返回不再走 L1。這是性能優(yōu)化的關(guān)鍵。有人可能會(huì)想L0 和 L1 都跑一遍然后取置信度高的那個(gè)這樣不是更準(zhǔn)嗎理論上是的但代價(jià)是每次請(qǐng)求都要調(diào)模型成本翻倍速度也慢。而且 L0 規(guī)則是我精心設(shè)計(jì)的命中就意味著高置信度沒(méi)必要再讓模型確認(rèn)一遍。L1 的異常處理要細(xì)分。超時(shí)、報(bào)錯(cuò)、低置信度這三種情況的處理邏輯可能不同。超時(shí)可能是服務(wù)過(guò)載需要擴(kuò)容報(bào)錯(cuò)可能是代碼 bug需要修復(fù)低置信度可能是輸入太模糊需要優(yōu)化提示詞或補(bǔ)充規(guī)則。分開(kāi)記錄日志排查問(wèn)題時(shí)才能快速定位。兜底結(jié)果要包含足夠的信息。fallback_result不僅返回一個(gè)默認(rèn)分類還要帶上原因標(biāo)記。這樣人工復(fù)核的時(shí)候能知道這條為什么沒(méi)處理好。4.2 日志與監(jiān)控讓流水線可觀測(cè)兩級(jí)流水線跑起來(lái)之后你必須能回答這幾個(gè)問(wèn)題L0 命中率是多少L1 的平均延遲是多少兜底率是多少哪些規(guī)則從來(lái)沒(méi)命中過(guò)回答這些問(wèn)題靠的就是日志。我的日志體系分三層。請(qǐng)求級(jí)日志記錄每一次請(qǐng)求的完整處理路徑輸入文本、L0 是否命中、命中了哪條規(guī)則、L1 的返回結(jié)果、最終輸出、總耗時(shí)。這條日志是排查具體問(wèn)題的依據(jù)。統(tǒng)計(jì)級(jí)日志按小時(shí)或按天聚合L0 命中率、L1 調(diào)用量、L1 平均延遲、兜底率、各分類的分布。這些指標(biāo)反映了系統(tǒng)的整體健康度。規(guī)則級(jí)日志專門(mén)記錄 L0 規(guī)則的命中情況每條規(guī)則的命中次數(shù)、命中率、誤判反饋。這是優(yōu)化規(guī)則庫(kù)的依據(jù)。我一般用 SQLite 存這些日志查詢方便不需要額外部署數(shù)據(jù)庫(kù)服務(wù)。數(shù)據(jù)量大了之后可以換成 PostgreSQL 或者 ClickHouse。4.3 性能優(yōu)化讓 L0 更快讓 L1 更穩(wěn)L0 層的性能優(yōu)化空間其實(shí)不大因?yàn)樗緛?lái)就是毫秒級(jí)的。但有幾個(gè)小技巧可以讓它更快。把最常命中的規(guī)則放在最前面。優(yōu)先級(jí)隊(duì)列的順序直接影響平均匹配次數(shù)。我每個(gè)月會(huì)根據(jù)命中統(tǒng)計(jì)調(diào)整一次規(guī)則順序把高頻規(guī)則前置。匹配器里避免重復(fù)計(jì)算。比如多個(gè)規(guī)則都需要對(duì)文本做分詞那就把分詞結(jié)果緩存起來(lái)不要每個(gè)規(guī)則都重新分一次。用編譯后的正則。Python 的re模塊支持預(yù)編譯正則表達(dá)式編譯一次多次使用比每次重新編譯快很多。L1 層的優(yōu)化重點(diǎn)在穩(wěn)定性。設(shè)置合理的超時(shí)時(shí)間太短容易誤殺太長(zhǎng)影響體驗(yàn)。我的經(jīng)驗(yàn)值是本地模型 2 秒遠(yuǎn)程接口 5 秒。做好重試機(jī)制但重試次數(shù)不要超過(guò)兩次否則延遲會(huì)累積。監(jiān)控模型服務(wù)的資源占用本地部署時(shí)顯存和內(nèi)存是瓶頸要提前發(fā)現(xiàn)。4.4 一個(gè)完整的配置示例下面是我在一個(gè)實(shí)際項(xiàng)目里用的配置脫敏后分享出來(lái)。l0: rules_file: rules/department_rules.json enable_cache: true cache_size: 1000 l1: provider: local model_path: /models/classifier-7b-q4 max_tokens: 64 temperature: 0.1 timeout: 2.0 retry: 1 confidence_sampling: 3 fallback: default_category: 其他 notify_channel: internal_alert logging: level: INFO request_log: logs/requests.db stats_interval: 3600這個(gè)配置里confidence_sampling: 3表示采樣三次估算置信度。retry: 1表示失敗后重試一次。stats_interval: 3600表示每小時(shí)輸出一次統(tǒng)計(jì)日志。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 L0 規(guī)則誤判怎么排查規(guī)則誤判是最常見(jiàn)的問(wèn)題。表現(xiàn)是明明應(yīng)該分到 A 類的輸入被規(guī)則分到了 B 類。排查思路分三步。第一步找到命中的規(guī)則。通過(guò)請(qǐng)求日志里的rule_name字段定位是哪條規(guī)則干的。第二步分析誤判原因。把輸入文本和規(guī)則條件對(duì)照著看通常是關(guān)鍵詞匹配太寬泛或者上下文判斷邏輯有漏洞。第三步修復(fù)并加測(cè)試。修改規(guī)則后把這條誤判的輸入加進(jìn)測(cè)試用例防止以后回歸。我遇到過(guò)一個(gè)典型案例規(guī)則里寫(xiě)了“包含‘退’字就分到售后組”結(jié)果“退休金咨詢”被誤分到了售后。修復(fù)方法是把關(guān)鍵詞從“退”改成“退款”和“退貨”同時(shí)加上上下文判斷要求“退”字后面跟著“款”或“貨”。5.2 L1 模型輸出不穩(wěn)定的處理模型輸出不穩(wěn)定通常表現(xiàn)為同樣的輸入不同時(shí)間跑出來(lái)的結(jié)果不一樣。這可能是溫度參數(shù)設(shè)太高也可能是模型本身的問(wèn)題。先檢查溫度參數(shù)。分類任務(wù)建議設(shè)成 0.1 或更低讓輸出盡量確定。如果溫度已經(jīng)很低了還不穩(wěn)定那就是模型能力問(wèn)題考慮換模型或者補(bǔ)充 L0 規(guī)則來(lái)覆蓋這些不穩(wěn)定場(chǎng)景。還有一種情況是輸入本身有歧義。比如“這個(gè)怎么弄”這種沒(méi)有上下文的輸入模型確實(shí)沒(méi)法判斷。這種應(yīng)該歸入“其他”并轉(zhuǎn)人工而不是強(qiáng)行讓模型猜。5.3 兩級(jí)流水線的常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因排查方法解決方案L0 命中率突然下降業(yè)務(wù)輸入模式變化對(duì)比近期和歷史的輸入樣本補(bǔ)充新規(guī)則或調(diào)整現(xiàn)有規(guī)則L1 延遲升高模型服務(wù)過(guò)載檢查 CPU/GPU 占用率擴(kuò)容或降低并發(fā)兜底率升高L0 和 L1 都失效查看兜底原因分布針對(duì)性優(yōu)化 L0 或 L1同一輸入結(jié)果不一致溫度參數(shù)過(guò)高檢查模型配置降低溫度參數(shù)規(guī)則沖突多條規(guī)則同時(shí)命中查看規(guī)則優(yōu)先級(jí)調(diào)整優(yōu)先級(jí)或合并規(guī)則日志寫(xiě)入失敗磁盤(pán)滿或權(quán)限問(wèn)題檢查磁盤(pán)空間和文件權(quán)限清理日志或修復(fù)權(quán)限5.4 幾個(gè)我踩過(guò)的坑坑一規(guī)則里用了太寬泛的關(guān)鍵詞。比如“問(wèn)題”這個(gè)詞幾乎每條工單里都有用它做匹配條件等于沒(méi)匹配。關(guān)鍵詞一定要具體寧可多寫(xiě)幾條規(guī)則也不要用模糊詞??佣颂幚砜蛰斎?。用戶提交空字符串或者只有空格的內(nèi)容L0 和 L1 都可能出問(wèn)題。我的做法是在入口處加一個(gè)校驗(yàn)空輸入直接返回“無(wú)效輸入”不進(jìn)入流水線。坑三模型返回結(jié)果帶了多余字符。比如我要求輸出“售后咨詢”模型返回“售后咨詢?!倍嗔藗€(gè)句號(hào)。解析的時(shí)候要做 trim 和標(biāo)點(diǎn)清理不然匹配不上??铀臎](méi)有做并發(fā)控制。L1 層如果同時(shí)收到大量請(qǐng)求本地模型可能扛不住。我加了一個(gè)信號(hào)量來(lái)控制并發(fā)數(shù)超過(guò)閾值的請(qǐng)求排隊(duì)等待而不是直接壓垮模型服務(wù)??游逡?guī)則文件改了沒(méi)重啟服務(wù)。早期我把規(guī)則寫(xiě)死在代碼里改規(guī)則要重新部署。后來(lái)改成從 JSON 文件加載并且支持熱更新——檢測(cè)到文件修改時(shí)間變化就重新加載不用重啟。6. 從單機(jī)到生產(chǎn)擴(kuò)展與演進(jìn)方向6.1 規(guī)則庫(kù)的版本管理規(guī)則庫(kù)是這套系統(tǒng)的核心資產(chǎn)必須做版本管理。我的做法是把規(guī)則文件納入 Git 倉(cāng)庫(kù)每次修改都提交一次寫(xiě)清楚修改原因和影響范圍。這樣出問(wèn)題的時(shí)候可以快速回滾到上一個(gè)版本。同時(shí)我會(huì)給規(guī)則文件加一個(gè)版本號(hào)字段每次加載時(shí)記錄當(dāng)前版本。請(qǐng)求日志里也帶上版本號(hào)這樣排查問(wèn)題時(shí)能知道當(dāng)時(shí)用的是哪版規(guī)則。6.2 從單級(jí) L1 到多級(jí) L1當(dāng)業(yè)務(wù)復(fù)雜度上升后單級(jí) L1 可能不夠用。比如有些任務(wù)需要先分類再抽取字段這時(shí)候可以設(shè)計(jì)成 L1a 負(fù)責(zé)分類、L1b 負(fù)責(zé)抽取形成多級(jí)模型流水線。但要注意每增加一級(jí)延遲和成本都會(huì)上升。多級(jí) L1 只適合那些確實(shí)需要多步推理的復(fù)雜任務(wù)。簡(jiǎn)單的分類任務(wù)單級(jí) L1 就夠了。6.3 規(guī)則自動(dòng)挖掘的嘗試手動(dòng)寫(xiě)規(guī)則效率有限我嘗試過(guò)用歷史數(shù)據(jù)自動(dòng)挖掘規(guī)則。思路很簡(jiǎn)單把 L0 未命中的輸入收集起來(lái)用聚類算法找出高頻模式然后人工確認(rèn)后轉(zhuǎn)成規(guī)則。這個(gè)方法確實(shí)能發(fā)現(xiàn)一些我沒(méi)想到的模式但自動(dòng)挖掘出來(lái)的規(guī)則往往太具體泛化能力差。我的做法是把自動(dòng)挖掘作為輔助手段最終規(guī)則還是人工編寫(xiě)和確認(rèn)。6.4 本地部署的資源規(guī)劃本地跑 L1 模型資源規(guī)劃很重要。以 7B 模型量化到 4bit 為例顯存占用大約 4GB加上推理時(shí)的 KV Cache 和中間激活建議預(yù)留 6GB 顯存。CPU 推理的話內(nèi)存占用大約 8GB速度會(huì)慢很多只適合低并發(fā)場(chǎng)景。如果并發(fā)量高可以考慮用推理框架做批處理把多個(gè)請(qǐng)求合并成一批一起推理吞吐量能提升好幾倍。但批處理會(huì)增加單次延遲需要根據(jù)業(yè)務(wù)場(chǎng)景權(quán)衡。7. 一些個(gè)人體會(huì)這套兩級(jí)流水線我用了快一年最大的感受是不要迷信模型也不要排斥模型。規(guī)則和模型各有各的適用場(chǎng)景關(guān)鍵是把它們放在正確的位置上。L0 層讓我對(duì)系統(tǒng)有了掌控感。每一條規(guī)則都是我寫(xiě)的我知道它在做什么、為什么這么做。這種確定性在出問(wèn)題的時(shí)候特別寶貴——我能快速定位、快速修復(fù)而不是對(duì)著一堆模型輸出干瞪眼。L1 層則給了我應(yīng)對(duì)未知的底氣??倳?huì)有規(guī)則覆蓋不到的情況總會(huì)有新的表達(dá)方式出現(xiàn)這時(shí)候模型就是最后一道防線。它不完美但比沒(méi)有強(qiáng)。如果你也在做類似的任務(wù)拆分系統(tǒng)我的建議是先把 L0 做扎實(shí)再考慮 L1。很多人一上來(lái)就想著用模型解決一切結(jié)果系統(tǒng)又慢又貴還不穩(wěn)定。先把能確定的確定下來(lái)剩下的再交給模型這才是務(wù)實(shí)的做法。最后分享一個(gè)小技巧定期 review L1 的低置信度日志。這些日志里藏著 L0 規(guī)則優(yōu)化的線索。每次 review你都能發(fā)現(xiàn)幾條可以補(bǔ)充的規(guī)則。堅(jiān)持幾個(gè)月L0 的命中率會(huì)穩(wěn)步上升L1 的壓力會(huì)越來(lái)越小。這是一個(gè)正向循環(huán)越跑越順。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九爱这里只有精品| 久久久久久久久久久久久久久久一道本| 色五月大| 超碰99热| 在线视频九色97| 婷婷丁香成人色综合| 丁J香六月首页| 超碰人人操| 成人五月天丁香| 精品婷婷五| 五月丁香啪啪激情| 婷婷四色成人综合色视| 九九热婷婷| 五月丁香六月香香蕉| 激情五月天影院| 亚州美女| 婷婷色偷拍| 激情婷婷综合网| 色久影院| 欧美va| 色99热| 这里只有精品视频在线| 人人摸人人干| 青青操丝袜美腿| 狠狠干综合| 大战熟女丰满人妻AV| 99@久久@99精品视频| 欧美精品A片一区在线观看| 97人人超| 狠狠干综合网| 五月天激情久久| 天天综合天综合久久网| 亚洲AV成人精品日韩在线播放| 五月激情精品视频| 精品人妻久久久久久| 亚洲婷婷91丁香| 天天做天天爱天天高潮| 91ncm视频| 激情五月深爱五月| 色婷婷狠狠久久综合五月| 欧美日韩成人在线网| 婷婷丁香六月综合激情站| 激情 婷婷 丁香五月天| 九九九九九九九九九九九九九国产精品| 色综合播放| 精品国产乱码久久久久夜深人妻| 五月丁香六月婷婷在线| 色欲AVV| 久9精品| 五月天婷婷色在线视频免费观看| 综合网天天| 香蕉久久国产AV一区二区| 五月天丁香婷婷网| 99小视频在线| 婷婷娌伦网| 91操操| 97超级操操| 无码se| 日日夜夜久| 五月婷婷人人人操| 狠狠色丁香久久综合婷婷亚洲成人福利| 天天插天天狠| 五月综合激情| 日本操B片| 色婷婷导航| 婷婷色丁香六月| 国产成人+综合亚洲+天堂| 嫩草乱码一区三区四区| 91无码色色| 大香蕉伊人久久| 色丁香影院| 99综合网| www婷婷| 99热在线这里| 五月激情综合网婷婷| 久久这里精彩免费在线观看| 婷婷五月激情视频在线| 丁香九月激情在线视频| 亚洲色色色色| 最近中文字幕2019视频1| 久久久18| 另类视频一区| 99日视频在线| www,天天干| 精品一二三区久久AAA片| www.久9| 秋霞三级影视资源| 六月激情综合| 日韩九区| 91九色首页| 色婷婷操逼网| 免费观看的婷婷五月视频在线| 艳妇野外情欲放荡HD| 色婷婷手机在线| 丁香五月色| 国产欧洲欧洲精品久久| 丁香九月婷婷| 97福利视频| 97人人妻人人艹| 99热这里只有精品国产免费| 亚洲色视频| AV操逼网| 久久资源网五月婷| 久久综合婷婷| 日日夜夜狠狠| 99激情网| 激情六月综合| 欧美欧盟性爱网| 婷婷永久在线| 九九综合九| 深爱激情五月天| 天天日天天狠狠操| 亚洲AVwwwwwww| 91啪啪| 婷婷丁香五月综合网上| 国产高清精品色| 丁香婷婷网| 激情久久久久久久久久久| 免费黄色AV| 97色色综合| 五月激情婷婷女| 久久久人妻久久久| 六月婷婷色色色| 久久机热探花| 99热全是精品| 综合色五月天| 操操碰| 成人一级片| 69精品无码一区二区三区| 久久婷婷操| 国产成人精品123区免费视频| 国产亚洲99久久精品| 日韩综合天堂| 婷婷久热| 亚洲另类电影| 亚州日本欧州韩美高青高潮一| 被男人添B超爽视频| 亚洲色婷婷婷婷人人爽| 久久久久久久久久久久久久久久一道本| 六月婷婷狠狠| 久久五月网| 婷婷综合网| 99久久99九九九99九他书对| 五月天婷婷综合免费| 天天爽天天摸天天爱| 综合亚洲五月天| 五月婷婷av| 激情久久综合网| 欧美三级A做爰在线观看| 五月婷六月综合在线观看| 激情丁香五月天| 六月婷婷色色网| 五月丁香少妇A| 极品人妻VIDEOSSS人妻| 五月婷婷久| 欧美大香蕉视频| 亚洲性爱日韩无码| 69人人操人人爽| 婷婷五月天激情网站| 人妻中文字幕精品| 五月天精品视频| 狠狠夜夜五月丁香| 婷婷9月天| 久久这里都是精品| 丁香综合婷婷开心激情网| www.zbzhongsen.com| 婷婷五月天深爱| 91婷婷视频| 婷婷五月av| 9有码中文| 国产亚洲在线观看| 五月丁香六月花| 我想看国产大学生口爆吞精的视频| 啪啪 综合网| wwW天天干| 超碰色热| 久碰视频| 思思热在线播放| 国产精品电影网| 亚洲激情网| 久久这里99| 97在线日本| 99热亚洲精品| 久久色这里只有精品| 成人AV中文字幕| 亚洲九九视频| 思思久久99| 91狠狠综合久久| 三年高清大片免费观看国语| 亚洲五月天婷婷| 亚洲AV激情五月综合网| 色在线99| 在线观看免费观看在线9久| 五月天激情无码专区| 91久久精品无码一区二区三区| 夜夜操狠狠操| 婷婷五月激情的图片| 人人澡玖玖一| 日韩人人操| 九九亚洲视频| 这里只有精品免费观看网占| 久久婷婷五月国产激情综合片| 天天日日| 五月天婷婷基地| 视色综合| 欧美丁香婷婷天天操| 99热黄| 超碰狠狠操| 99小视频网站| va中文资源在线观看| 天久久久久| 五月天激情国产综合婷婷婷| 天天操无码| 亚洲99在线视频| 丁香六月激情| 人碰人人人玩91| www.zbzhongsen.com| 亚洲久热无码| 五月久久噜噜| 欧美激情综合| 国产91九色| 欧美亚洲色色色色| 色色色色综合网| 天天做天天爽| 婷婷五月天影视网址| 午夜丁香综合婷婷| 亚洲影院婷婷色| 九九在线精点品| 99爱在线免费视频| site:feetmall.com| 99亚洲精品视频在线观看| 最新婷婷五月丁香| 人人人操 超碰| 大香蕉啪啪网| WWW免费视频碰碰碰碰| 99色1| 亚洲色婷婷| 成人免费视频一区| 婷婷五月天天激情| 性爱技巧五月| 99婷五月| 国产熟妇乱子伦hd| 99国产精品久久久久久久久久久 | 人人播| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 日本欧美国产| 日日干日日| 婷婷五月图片小说网| 色色婷婷五月天| 日本色色网站| 免费AV在线| 69人人操人人爽| 9久热精品在线视频| 操一区| 久久香蕉影院| 大香蕉啪啪啪| 中文字幕视频在线播放| 97碰啪啪| 九月婷婷久久久| 五月天婷婷丁香导航| 高清无码视频网址| 开心五月网| 欧美婷婷色五月| 九九成人精品| 森林影视大全,最好看的2019年视频| 欧洲永久精品| 深情六月婷婷综合久久| 99精品这里只有免费视频| 色婷视频| 婷婷色网| 一夜福利不卡| 五月婷婷高清| 五月丁香999| 色必久悠悠影院| 五月天婷婷六月激情网| 亚洲精99| 亚州日本欧州韩美高青高潮一| 丁香五月天婷婷久久综合| WWW、日本色丁香co m| 天天操天天操天天操天天操天天操| 久99综合婷婷| 五月色天情| 成人小说 五月天 婷婷| 99视频只有这里精品| 丁香五月色五月| 婷婷色色五月| 青青草成人网| 少妇大叫太大太粗太爽了A片| 色婷婷色五月综合| 久久色五月天综合网| 五月色精品| 色婷婷a三区麻| 六月狠狠综合| 能看的av网站| 婷婷午夜精品久久久| 琪琪色五月天| 五月天.com| 五月开心网| www.五月丁香| 黄色中文字目| 久久一品区| 色在线免费观看| 大香蕉丁香| 91热网址| 开心五月综合激情网| 婷婷99| 六月色日韩| 中文字幕+乱码+中文字幕在线观看| 欧美久久五月婷婷| 婷婷五月美女直播| 九九久久99精品免费观看www| 狼人久草| 国产看真人毛片爱做A片| 成人AV在线中文版| 五月丁香婷婷综合视频| 日日夜夜狠狠婷婷色| 大波美女VA网站| 另类激情五月| 99亚洲精品| 欧美日韩成人在线| 五月婷婷开心丁香| 超碰九九热| 狠狠干综合| 午夜微拍福利| 色色免费网站| 久久久99精品| 欧美综合五月丁香六月婷| 激情小说五月天| 欧美性生交XXXXX无码小说| 影音先锋男士资源网一区| 五月婷婷九九热| 激情网站五月| 久久少妇视频| 久热这里只有| ww超碰在线| 婷婷色网站| 五月天激情综合网俺也去| 色婷婷综合中心| 久久怕怕视频| 天天爽天天操| 1区2区视频| 91热在线| 国产精品久久7777777精品无码| 99毛片| 熟妇无码乱子成人精品| 狠狠爱五月婷婷| 六月婷婷视频| 色婷精品91| 熟女人妻视频| 亚洲网视屏| 欧美英丁香开心快乐六月天网| 丁香 久久| 日本天天色| 婷婷五月六月丁香| 天天噜天天插| 美国十月色婷婷在线观看| 日本99久久| 色原狠狠综合| 丁香婷五月| 在线天堂9| αv中文字幕在线观| 五月天婷婷操逼视频| 五月丁香久久久日婷婷久久婷婷日| 激情五月影院| 国产婷婷婷| 成片免费播放| 日韩啊啊啊| CHINESE熟女老女人HD视频| 亚洲Av成人在线观看| 六月婷婷俺也去| 激情五月婷婷综合| 五月天婷婷影院| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 久热超碰| 人人干女人| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 五月丁香网站在线播放| 综合婷婷久久| 婷婷九色| 六月丁香久久| 在线播放人妻| 99热只有精品综合| 99久久www| 久月久在线视频| 久久天天天| 99无码视频| 男人大jjc女人免费视频| 开心六月婷| 亚洲人人操| 波多婷婷久久| 天天操夜夜夜拍拍拍| 婷婷精品在线| 亚洲视频1区| 天天日天天插天天操| 狠狠色五月| 嫩草视频。| 成人视频九九| 亚洲综合五月| 婷婷五月天亚洲综合| 五月丁香色婷婷基地| 婷婷爱五月天| www99热| 天天人人人人人人人人人人人| 五月天丁香啪啪网| 五月丁花色综合网| 国产成人精品一区二区三区视频| Av狠狠色丁香婷| 另类图片天天影视在线观看| 久久激情五月婷婷| 亚洲人妻Av| 综合 蜜月 婷婷| 天天做 天天爱| 欧美电影在线观看| 五月天激情小说电影| 五月色影院| www.黄色片-久久成人国产精品在线播放-999AV| 激情综合丁香五月| 午夜天天精品视频| 99久久综合精品五月天| 日韩中文字幕| 亚洲综合五月天综合| 激情综合五月天| 丁香六月开心| 狠狠色婷婷7777久| 电影蜘蛛女| 婷婷综合五月| 人妻熟妇国产精品| 亚洲精品视频在线| 婷婷丁香五月亚洲欧美| 免费观看的av| 欧美va国产va| 亚洲亚洲人成综合网络| 天天插天天| 夜色热久| 天天舔天天操| 国产成人AV在线播放| 五月激情综合网| 久久久jd| 久久久97| 色五月xxx| 99自拍视频在线观看| 五月丁色AV| 久久久久久久久久8888| 五月天婷婷丁香花| 婷婷丁香六月天| 婷婷五亚洲| 婷婷丁香五月天操逼| 99在线精品视频在线观看| 久久五月婷综合网| 国产激情在线| 99热精品在线观看| 激情内射人妻1区2区3区| 色婷婷色五月色丁香| 青青久在线视频免费观看| 亚洲久久婷婷| 激情五月天婷婷色色色色色色色色色色色 | 人人人操| 99超级碰免费视频| 五月婷婷啪啪网| 色亭亭九月| 色综合色色色| AV九九| 夜夜穞天天穞狠狠穞AV美女按摩| 九九免费在线视频| 五月香蕉网| 91人操| 天天开心天天色| 激情婷婷丁香| 99免费热视频| 婷婷在线综合| 99综合网| 大陆肏屄视频| 97影院一级片| 激情五月婷婷| http://www.sd-xiangsu.com/| 伊人婷婷91| 日本一级一级一级一级| 婷婷播播五月天| 9 9 9色色| 色玖玖综合| 99热只有精品综合| 开心色色五月天综合| 狠狠操狠狠做| 武则天精品久久| 亚洲乱码精品久久久久..| 激情丁香五月婷婷啪啪| 天天插天天射天天干| 高清不卡一区| 就爱操www com| 91免费试看| 超碰人人艹| 婷婷的五月天另类视频| 久婷自拍视频| 99精品久久| 狠狠色丁香久久婷婷综合五月| 色综合香蕉| 狠狠操天天干| 亚洲色99| 婷婷五月天激情网址| 日韩二区搞逼插逼毛片| 国产色色视频| 五月婷婷黄色| 超碰在线94| 五月综合色| www.久久av.com| 97人妻碰碰碰久| 亚洲六月综合激情久久下卡| 97精品欧美91久久久久久久| 淫荡工a| 黄网网站在线播放| 9精品国产在热久久| 五月丁香啪啪综合| 激情婷婷啪啪| 天天插天天草人人玩| www.久久久久久久久久久| 欧美激情综合| 久综合| 久草五月天电影网| 日本三级日本三级三级人妇四虎| 日韩中出视频| 99操逼| 丁香五月天中文字幕| 日韩三级片一区二区| 色婷婷五月天无码视频| 国产精产国品一二三在观看| 婷婷婷久久久| 五月综合色播播丁香婷婷| 色噜噜综合网| 伊人五月综合网| 女人被躁到高潮嗷嗷叫小| 综合久久久| 亚洲精色| 五月天久久婷婷婷| 97人人超| 九九人人自拍| 99青青草99| 99综合视频| 台湾无码A片一区二区| 六月婷婷亚洲| 色宗合,宗合网| 日韩人妻在线观看| 天久久久久| 蜜乳久AV| 日日干夜夜干| 色五月AV| 亚洲激情综合网| 激情www| 日韩按摩二区| 热久久思思热思思| 日日干天天射| 2017人人操| 微拍92| 欧美槡BBBB槡BBB少妇| 日本一道久久| 婷婷综合色图| 欧美色色色色色色| 思思热这里只有精品| 人人色AV| 日日干日日s| 亚洲精品网站色视频| 97色永久免费视频| 欧美大道不卡| 婷婷九月丁香天堂丁香天堂| www.久久久久久久久久.com| 丁香五月开心七月| 超碰在线网站9| 色色色热| 色综合色| 大香蕉伊人久久| 五月色婷婷综合| 色婷婷精品视频| 五月天伊人网| 日本va欧美va欧美精品88| 洗浴中心操B视频| 六月色色婷婷| 99成人无码| 99久久综合网| 国产探花AV在线| 2025中文在线视频字幕免费观看| 热久久色| 香蕉网久久| 91碰人人| 亚洲AV无码成人电影| 婷婷五月天性色| 中文字幕无线久必| 伊人大综合| 色色亚洲99com| 精品一区久热| 日本91在线播放| 天天干在线播放| 色五月婷婷777| 五月天伊人| 99视频| 色婷婷成人| 疯狂做受XXXX高潮A片| 天天干天天拍| 亚洲色就是色色色| 婷婷五月天丁香综合网| 色97啪啪| 九九热99视频在线| 新97人人上人人| 热99国产精品| 一区二区三区四区五区| 丁香五月天五码婷婷| 思思re视频在线| 色五月婷婷内射| 五月天狠狠网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 九九色区| 天堂中文国产| 婷婷激情五月天综合| 99久久这里只有精品免费官网| 午夜免费试看| 4399在线日本A片| 秋霞日本免费毛片A片| 亚洲色夜| 青青.com| 丁香5月啪啪| 激情五月天婷婷视频| 丁香五月亚洲天堂| 丁香五月天亚洲视频| 九九精品自拍| 嫩草AV久久伊人妇女超级A| 九九亚洲天堂| 婷婷丁香婷婷97| 婷婷五月电影| 亚洲亚洲激情| 综合色综合| 99精品综合视频| 一区二区三区视频| 另类图片五月天| A片试看50分钟做受视频| 久99久视频精品| 欧美性爱日韩性爱| 色色婷婷丁香五月天| 久久九九爽| 欧美天天干五月丁香| www.色色色色| 91九色国产| 五月天婷婷影院| 日本一级淫| 99视频在线观看视频| www色色色com| 婷婷综合成人五月天| 亚洲激情精品| 91九色视频| 极品人妻VIDEOSSS人妻| 丁香激情五月少妇| 五月在线婷色| 爱婷婷五月| 99热在线观看精品| 香蕉久久国产AV一区二区| 亚洲成人中文字幕| 婷婷五月天成人导航| 日韩欧美骚货| 成人日韩欧美| 熟妇国产| 久久综合丁香五月| 日日噜狠狠色| 激情深爱五月天| 天天色凹凸| 婷婷五月天色色| WWW.99热| 色婷婷视频在线| 婷婷五月天福利| 另类图片五月激情| 色综合爽| 99国产精品久久久久久久久久久| 精品夜夜澡人妻无码AV| 99热线观看9| 在线五月色播| 色色婷婷丁香五月天| 狠狠操狠狠爱| 婷婷色在线视频| 襙比视频| 成人精品在线| 99色在线免费观看视频| 91久热| 激情五月六月婷婷| 成人精品视频99在线观看免费| 午夜免费高清AV片| 婷婷综合网在线| 婷婷成人视频| 久久久99精品免费观看| 日韩精品一区二区亚洲AV观看| 激情小说五月天中文字幕| 色婷精品91| 97偷拍对白视频| 丁香五月丐人妻| 久久狠狠干| 国产亚洲AV人片在线| 久久精品性爱视频,| 亚洲精品99| 久久久久婷婷五月热综合| 激情综合文学| 亚洲综合视频天天精品| 久久人妻情侣| 激情综合区| 色综合久久44| 久久久精品色| 婷婷色五月综合丁香| av中文在线| 伊人狠狠干| 精品99在线观看| 亚洲色图五月丁香| 激情五月天在线观看色婷婷| 香蕉网婷婷| 激情五月丁香亭亭| 久久九九综合| 精品欧美性爱超级爽| 欧美丁香婷婷五月天| 五月综合激情| 人人操AV| 丁香成人视频| 亚洲成人网在线观看| 成人做爰高潮A片免费视频| 久久九九在线视频| 九九综舍久久| 五月丁香激情综合网| 色大综合| 狠狠爱五月婷婷| 超碰在线99| www夜夜操com| 久久草大香蕉| 久9精品视频在线| 久久综合五月| 人人澡天天色天天做| 九月婷婷人人操人人舔人人爱| 丁香五月天资源网| 丁香婷婷五月综合影院| 专区无日本视频高清8| 色色日本| 九九色院| 国产人妻人伦精品一区二区| 人人摸人人| 激情五月综合网| 无码少妇高潮喷水A片免费| 天天爽天天做| 综合激情婷婷| 免费日本aⅴ中文字幕 | 亚洲国产精品综合色区| 六月色播| 色综合久久久无码中文字幕999| 日韩精品一区二区亚洲AV观看| 99re这里只有精品免费| 百度4399有码精品V在线观看| 丁香色五月 97干| 99爱视频免费看| 亚洲、欧美、国产另类笫二区| 四季8848精品成人免费网站| 黄色片区子| 五月天成人在线播放丁香| 亚洲性爱电影| 超碰av在| 六月婷婷五月天| 天天干天干| 在线成人网站| av超碰在线| 丁香婷婷色五月| www.99热在线| 亚洲十月婷婷综合| 操一区| 免费观看高清无码| 婷婷丁香五月麻豆| 成人性爱精品视频| 99久久99视频只有精品| 亚洲一级AV在线免费播放| 激情丁香五月婷婷| 99国产精品久久久久久久久久久| 91啪级电影| www亚洲无码| 人妻丰满精品一区二区A片| 亚洲成人高清在线| 深爱激情av| 五月婷婷高清| 99日逼视频| 婷婷五月丁香色色| 丁香六月婷婷久久综合| 91无码视频| 激情VA视频| 日韩婷婷五月天| 激情综合五| 国产操逼视频网站| 丁香五月激情网| 中文AV在线观看| 丁香五月婷在线观看| 久久人妻乱子伦| 九九综舍久久| 亚洲天堂青草| 国产AV一区二区三区最新精品| av网址在线| 色婷婷色99国产综合精品| 99爱最新免费视频在线观看| 97人妻碰碰碰久| www.99热在线| 五月婷视频在线观看| 色九九综合| 日本爆乳片手机在线播放| 婷婷五月丁综合| 丁香5月综合啪啪| 性韩日色婷婷五月天激情啪啪XXX| 丁香六月婷| 婷婷久久婷婷色五月| 大香蕉久久视频久久视频 | 丁香六月婷婷综合缴| 激情综合五月色丁香婷婷| 精品一二三区视频立| 五月丁香婷草| 337久久| 一本大道嫩草AV无码专区| 婷婷射图| 天天爽夜爽| 色色色色色色97| 狠狠做五月婷婷| 综合激情啪啪| 国产av基地| 大香蕉久久婷婷精品综合| 99久久終合| 超碰成人影视| 免费视频WWW在线观看网站| 99九九久久| 99热这里全是精品| 大香网伊人久久综合| 99精品在线| 99精品综合| 天天摸天天舔| 九九無妻| 五月开心久久| 色情五月综合婷婷| 密黄站| 激情六月色| 婷婷激情五月天视频在线| 九九视频在线免费视频| 日日夜夜青青草| 狠狠肏综合网| 色婷婷色五月色丁香| 五月丁香激情婷婷综合字幕| 日本色婷婷综合| 免费视频舔| 日本激情ⅩXX免费视频| 激情久久综合| 99热r| 日本a片网址| 日韩成人精品中文字幕| 丁香五月激情宗合网| 色婷婷久久综合| 色人久夂| 色99网| 香蕉久久国产AV一区二区| 日韩大片艹艹| 色欧美影院| 婷婷综合97| 九九热av| 九九这里是免费的视频5| 色婷婷丁香综合中文字幕| 五月丁香成人| 欧美大香蕉视频| 超碰男人色| 东京热伊人| 久操b网| 日韩色色网| 亚色网站小视频| www.人人操人人看人人想人人摸 人人人人操,COM| 色综合色欲综合天天免费| 色五月开心开心五月激情五月| WWW.色婷婷.COM| 五月天激情无码| 国产欧洲欧洲精品久久| 狠狠爱婷婷丁香| 在线观看的av| 丁香五月天视频| 色色五月天婷婷| 狠狠CAO日日穞夜夜穞AV | 六月激情网| 五月丁香六月婷婷开心网| 成人小说 五月天 婷婷| 国精产品一区一区三区免费视频| 日韩免费视频| 丁香五月天堂婷婷| 狠狠爱婷婷五月天| 99五月婷| 91狠狠综合久久久| 99久久喉9| 丁香综合| 婷婷天堂伊人| 极品少妇XXXX精品少妇偷拍| 色综合色| 久久综合五月| 久久99久久99精品免观看粉嫩| 国产玖玖资源| 日本九九视频| 狼人久草| 综合五月婷婷| 青吴乐视频| 久久久久久9热不雅视频| 玖玖激情五月天| 激情综合自拍五月婷婷色五月| 五月天六月丁香| 精品少妇蜜臀91| 婷婷丁香五月婷婷| 另类激情首页| 久久538| 亚洲午夜在线视频| 日本久久99久久| 五月天激情小说婷婷| 丁香欧美| 久久er99| 99在线精品观看99| 亚洲精品国产A久久久久久| 青青草大香| 天天综合网~91综合网| 五月总合激情网| 久久五月婷天天干| AA久久| 色欲一区二区三区精品A片| 丁香五夜激情四射夜夜夜| 婷婷九月亚洲| 婷婷丁香五月激情图片| 五月婷婷亚洲色视频| 大香蕉久| 免费看片在线观看| 99这里有精品视频3| 思思久久99热只有频精品66| 婷婷综合一二三| 国产FREESEXVIDEOS性中国| 五月丁香婷婷色播无码| 天天激情5月天亚洲| 色噜噜狠狠狠综合曰曰曰| 亚韩在线视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 日韩av大全| 精品久久人妻热| 综合在线观看99| www.色婷婷| 婷婷网五月天| 亚洲成人人人操| ss视频xx91| 色七七色九九| 热99在线精品| 深爱激情网五月天| renre人人操国产超碰在线 | 丁香五月激情欧美| 4399无码视频| 婷婷五月丁香激情| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 午夜精品人妻无码一区二区三区| 婷婷五月天综合久久日美女| 伊人九九九久| 风流少妇A片一区二区蜜桃| 亚洲色婷婷| 思思久久精品| AV九九| 五月天另类小说| 色综合天天天天做夜夜| 五月婷婷在线视频观看| 五月天丁香网站| 婷婷五月天六月丁香| 99热这里只| 深爱五月激情五月| 婷婷涩涩五月天| 9999久久久久| 色色婷婷五月| 久久小视频| 女人高潮内射99精品| 91打屁股免费看| 日本色色色色色色色色一色二色| 一区二区无码视频| 黑人熟妇一区二区三区| 久久综合五月天| 亚洲成人色五月婷婷综合| 色欲天天综合网| 亚洲天堂AV免费片| 那里有AV网址| 久久激情四射| 大伊香蕉玖玖爱| 亚洲综合视频天天精品| 色五月婷婷五月丁香五月激情五月视频| 久久人妻情侣| 色哟哟www| AA丁香综合激情| 熟妇无码乱子成人精品| 日本无码专区| 久久久免费图片视频| 97人妻碰碰碰久久香蕉| 97碰碰在线看视频免费| 久久婷婷色情7777网站| 日韩啪| 99热网站| 色婷丨日丨天丨综合久久| 色情五月停停丁香| 色香欲综合| 亚洲视频一区| 日韩成人av在线| 久久一级AV| 色色色五月天激情资源| 婷婷五月色花丁香社区| 情涩婷婷五月天| 26uuu最新地址| 精品无码片| 狠狠草天天草| 亚卅毛片| 丁香六月婷| 99色精品| 色婷婷狠狠干芒果TV| 色综合色| 久久网日本| 婷婷激情五月视频| 九九色逼| 婷婷激情五月综合丁香社| 丁香六月婷婷久久综合| 色婷九九九| 色婷丨日丨天丨综合久久| 五月丁香婷婷五月| 国产精产国品一二三在观看| 色色五月天丁香婷婷| 五月花亭亭| 婷婷伊人网| 久久xx| 亚洲影院婷婷色| 97人人草| 天天色激情| 日韩成人综合网| OYIWbGcPu8H| 色碰碰视频| 婷婷瑟瑟五月天| 久久久五月天| 色吧99| 六月婷伊人| 97干在线视频| 五月亭亭欧美女人| 91色情播放| 天天做天天爱天天爽| 狠狠五月天| 亚洲色色五月天| 亚洲夜夜操| 99在线免费视频| 五月丁香婷婷综合网色欲| 森林影视大全,最好看的2019年视频 | 碰碰人人漕| 99re6久热只有精品6在线直播| 天天天天操| 丁香婷婷久久激情| 久久xxxx| 天天干天天日日| 丁香婷婷六月| 色色五月天丁香| www.色九月| 婷婷涩五月| 粉嫩AV久久一区二区三区| 久久有码| 午夜69成人做爰视频| 青草网在线观看| A在线观看| 99久久久久| www.伊人天堂偷偷婷婷| 99在线观看| 啪啪综合| av久热| 99操| 婷婷五月天激情小说| 日日鲁鲁夜夜爽爽| 日本不卡高字幕在线2019| 狠狠色激情在线| 激情五月天婷婷| 干亚洲天堂| 日本色色影片| 九九热国产| 婷婷自拍| 性爱视频久久| 婷婷五月天综合网| 亚洲精品视频在线| 99精品视频在线6| 亚洲99精品九九在线| 色五月综合| 棕合影院色色| 五月婷婷色播| 都市激情五月婷婷综合| 丁香五月玖玖| 丁香五月AV| www.激情五月天.com| 婷婷五月激情四射手| 亚洲天码视频www蛋播视频| 丁香五月成人自拍| 天天干天天爽| 丁香啪啪| 欧美,日韩成人在线| 啪啪婷婷五月天激情| 色丁香综合影院| www.99热国产| 丁香五月成人社区| 9久久婷婷国产综合精品性色| 狠狠精品干练久久久无码中文字幕 | 丁乡久久| 亚洲激情网| 天天久| 伊人五月天97| 99国产精品久久久久久久久久久| 六月婷伊人| 色播五月天天| 色吊操色妞| 79精品视频在线观看,| 丁香婷婷六月激情| 婷婷五月天国产性感美女演员久久久久| 久re热视频| 九九草热在线观看| 操操人人| 精品国产a| 激情五月天综合网| 色婷五月天| 性爱视频99| 99爱免费在线观看| 99热丁香| 99re视频在线播放| 国产 A片 自拍| 91九色国产| 99精品无码网站| 久久98热re| 丁香婷婷综合影院| 亚洲日日操| 丁香五月婷婷亚洲综合精品| 亚洲中文字幕在线观看| 99色在线视频| 五月丁香大相交| www.99色在线| 六月婷婷av| 成 人 色 色| 天天爱天天操| 久久精品女人天堂AAA| 激情精品久久| 五月丁香91| 午夜福利成人AV91| 五月天婷婷黄色视频| 9热在线观看| 岛国资源站| 久久99色色| 丁香网站| 如何安全看伊人婷婷| 天天搡日日搡aaaaⅩ| 999九九九久久久99HD| 色综合久久88色综合天天99| 精品人妻午夜一区二区三区四区| 婷婷六月成人| 婷婷伊人激情婷婷| 久久a热| 人妻av在线| 九色视频91疯狂| 伊人色综合久久久| 桃色五月天| 五月丁香婷婷婷激情爱爱| 日本色婷婷综合| 91色色五月天| 这里只有九九精品| 五月天综合在线网| 丁香五月丁香伊人| 狠狠操狠狠色| 啄木鸟丝袜美女福利视频| 婷婷97C| 99热这里只有精品99| 婷婷色色色| 狠狠色综合网站久久久久| 中文字幕在线人妻| 开心深爱激情网| 二级黄色毛片| 九九99在线免费在线观看视频| 97干在线| 777精品久无码人妻蜜桃| 五月丁香婷婷无码A∨| 日日操夜夜擼| www一区二区三区| 成人永久免费视频在线观看| 99色天堂| 99在线精品免费视频| 婷婷五月天激情影片| 九九综合五月欧美| 99热九九热| 亚洲日韩26uuu| 婷婷亚州综合| 丁香九月婷| 97色色色色色色色色色色色色色| 婷婷五月综合丁香久久| 色五月激情网| 996er在线观看| 色综合77777| www.9797国产| 看黄的网站18禁| 色婷婷香蕉在线| 操操自拍| 一區四區歐美日韓| www狠狠com| 国产精产国品一二三在观看| 久色网五月| 亚洲最大在线| 丁香六月婷婷缴情欧美| 影音先锋人妻出差| 在线观看免费狠狠色丁香香综合| 日韩999| 五月亭亭直播| 99热在线观看免费中文| 日韩久久日| 99久久久| 丁香婷停五月激情综合深爱| 在线五月婷| 在线不卡视频| 久久精彩视频| 天堂草在线观| 丁香亭亭久久| 日本久久爽| 国产欧美日韩综合精品一区二区| 密桃激情五月天综合网| www.91.com黄| 丁香五夜激情四射夜夜夜| 天天色色婷婷| 五月婷婷大香蕉| 99热欧美偷拍| 丁香婷婷婷| AV在线不卡播放| 五月婷成人| 免费观看日韩成人av| 色色9 9| 4399无码视频| 操操啪| 99热自拍| 日韩九区| www.色五月| 99噜噜| 久久色六月| 亚洲午夜在线视频| 九九aV| 婷婷久久综合久| 另类 在线| 99爱视频| 国産精品| 91成人电影| 色五月色五天色情网| 丁香 久久| 99热丁香| 91热在线| 久99热| 激情综合五月天| 激情五月综合| 婷婷色情网| 欧美天堂久久| 亚洲久热| 激情五月婷婷网在线观看| 成人精品一区二区三区四区五区| 亚洲人成网亚洲欧洲无码久久| 99色区| 夜夜爽日日躁| 五月丁香久久综合91| 久久综合网免费视频| 丁香五月电影| 欧美色小说婷婷| 人人操五月天| 五月天社区| 久九色| 国产精品大香蕉| www.99操.com| 在线中文字幕av| 开心婷婷中文字慕| 人人爱天天摸摸天天爱| 五月停停激情网| 色色五月天丁香| 噼里啪啦完整版中文在线观看| 碰99在线| 久久人人看| 亚洲 小说 欧美 激情 另类|