欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

拋棄向量數(shù)據(jù)庫(kù):用反饋回路打造自進(jìn)化搜索排序系統(tǒng)

拋棄向量數(shù)據(jù)庫(kù):用反饋回路打造自進(jìn)化搜索排序系統(tǒng) 做搜索的人大概都有過(guò)這種經(jīng)歷被人問(wèn)“你這里有向量檢索嗎”問(wèn)得多了自己也開(kāi)始懷疑——是不是不上向量數(shù)據(jù)庫(kù)搜索就是原始人。但我在實(shí)際項(xiàng)目里反復(fù)試過(guò)幾輪之后結(jié)論反而變了大多數(shù)業(yè)務(wù)場(chǎng)景需要的根本不是另一個(gè)向量空間而是一個(gè)能根據(jù)用戶(hù)行為不斷修正自己的搜索系統(tǒng)。關(guān)鍵詞能解決大部分問(wèn)題真正缺的是反饋回路。于是就有了Sirchmunk這個(gè)實(shí)驗(yàn)項(xiàng)目它完全不走向量數(shù)據(jù)庫(kù)路線(xiàn)核心是一套自進(jìn)化排序機(jī)制讓一個(gè)普通的倒排索引系統(tǒng)越用越聰明。這篇文章是深度解析系列的第一篇我把整體架構(gòu)和核心設(shè)計(jì)思路完整拆開(kāi)講。適合誰(shuí)看被向量檢索成本折騰得頭疼的工程師、想自建站內(nèi)搜索或垂直搜索引擎的人、還有做文檔檢索和知識(shí)庫(kù)工具的技術(shù)同學(xué)。不需要你有多少算法背景只要寫(xiě)過(guò)搜索相關(guān)代碼就能跟上思路。1. 為什么我選擇拋棄向量數(shù)據(jù)庫(kù)1.1 向量檢索聽(tīng)起來(lái)很美落地卻是一堆維護(hù)債先聲明我不反對(duì)向量檢索也不覺(jué)得它沒(méi)有應(yīng)用場(chǎng)景。但很多情況下引入向量庫(kù)的決策根本經(jīng)不起推敲。向量庫(kù)要解決的核心問(wèn)題是“語(yǔ)義相似”也就是說(shuō)用戶(hù)輸入“怎么修水管”系統(tǒng)能檢索到“管道疏通技巧”這種沒(méi)有共同關(guān)鍵詞的文檔。聽(tīng)起來(lái)確實(shí)很誘人仿佛搜索瞬間有了理解力??梢坏?shí)際部署問(wèn)題就來(lái)了。首先是存儲(chǔ)和內(nèi)存開(kāi)銷(xiāo)向量維度動(dòng)輒幾百上千一千萬(wàn)條文檔就是幾十億個(gè)浮點(diǎn)數(shù)光是內(nèi)存成本和分片規(guī)劃就能讓人頭疼半天。其次是召回穩(wěn)定性問(wèn)題向量檢索的結(jié)果隨數(shù)據(jù)分布波動(dòng)極大經(jīng)常出現(xiàn)“看起來(lái)相關(guān)、實(shí)則答非所問(wèn)”的情況而且很難排查原因。最麻煩的是冷啟動(dòng)語(yǔ)義模型需要大量領(lǐng)域語(yǔ)料訓(xùn)練小團(tuán)隊(duì)冷啟動(dòng)根本訓(xùn)不出好效果。我見(jiàn)過(guò)不少項(xiàng)目花大力氣把向量庫(kù)接入主鏈路結(jié)果因?yàn)檎Z(yǔ)義召回質(zhì)量不穩(wěn)定線(xiàn)上效果反而比原來(lái)倒排索引還差。最后不得不把向量召回比例從50%降到10%再后來(lái)退化成“只在搜索無(wú)結(jié)果時(shí)兜底”。這不是向量技術(shù)本身的問(wèn)題而是場(chǎng)景不匹配。1.2 倒排索引能把多少事干好把向量庫(kù)請(qǐng)出主鏈路之后我重新審視了傳統(tǒng)的倒排索引發(fā)現(xiàn)它被嚴(yán)重低估了。關(guān)鍵詞精確匹配、布爾過(guò)濾、字段加權(quán)、短語(yǔ)匹配、結(jié)構(gòu)化過(guò)濾這些能力在絕大多數(shù)業(yè)務(wù)搜索里已經(jīng)能扛住80%以上的需求。比如電商搜索“男士白色T恤”用戶(hù)真正想要的就是標(biāo)題和類(lèi)目里同時(shí)命中這三個(gè)詞的商品。你給他做語(yǔ)義向量反而會(huì)把一些只看過(guò)“純棉上衣”的奇怪結(jié)果推上來(lái)。倒排索引的優(yōu)勢(shì)在于可控和透明。每個(gè)結(jié)果為什么被召回是因?yàn)槟膫€(gè)詞命中了權(quán)重加在哪個(gè)字段上了全部可以查清楚。性能也好內(nèi)存索引加合理分片單機(jī)能支撐很大的數(shù)據(jù)量。更重要的是倒排索引天然支持結(jié)構(gòu)化信息融合比如發(fā)布時(shí)間、內(nèi)容熱度、作者權(quán)重這些字段可以一起加入打分。那倒排索引的短板在哪在于靜態(tài)。文檔一旦建好索引TF-IDF、BM25這些權(quán)重就固定了?!坝脩?hù)搜什么是熱門(mén)詞”“哪些詞組合經(jīng)常一起出現(xiàn)”“不同用戶(hù)群對(duì)同一結(jié)果的偏好差異”這些信息完全沒(méi)有被利用起來(lái)。傳統(tǒng)搜索引擎花了三十年優(yōu)化靜態(tài)相關(guān)性但始終缺一個(gè)自我修正的旋鈕。1.3 真正的差距在“反饋回路”不在“向量空間”把向量庫(kù)去掉之后我把注意力轉(zhuǎn)移到了一個(gè)更本質(zhì)的問(wèn)題上如果說(shuō)傳統(tǒng)倒排索引是“一錘子買(mǎi)賣(mài)”那搜索系統(tǒng)能不能像人一樣通過(guò)每次查詢(xún)和點(diǎn)擊的結(jié)果來(lái)調(diào)整自己的判斷用戶(hù)搜了“冰箱不制冷”點(diǎn)開(kāi)了某篇文章下次再有類(lèi)似查詢(xún)系統(tǒng)應(yīng)該更傾向于把這類(lèi)文章往前提。用戶(hù)搜“手機(jī)”卻反復(fù)點(diǎn)開(kāi)“手機(jī)殼”的鏈接那系統(tǒng)應(yīng)該學(xué)到這個(gè)領(lǐng)域里“手機(jī)”和“手機(jī)殼”存在強(qiáng)關(guān)聯(lián)。這個(gè)思路就是Sirchmunk的核心立意——自進(jìn)化。它不靠復(fù)雜的語(yǔ)義模型不依賴(lài)向量空間而是建立一條完整的反饋閉環(huán)查詢(xún)?nèi)罩具M(jìn)入系統(tǒng)點(diǎn)擊行為被采集系統(tǒng)自動(dòng)判斷哪些結(jié)果好哪些結(jié)果差再把這些判斷轉(zhuǎn)化為倒排索引里的詞項(xiàng)加權(quán)和文檔加權(quán)讓下一輪搜索排序更符合用戶(hù)真實(shí)意圖。所以這個(gè)系統(tǒng)的設(shè)計(jì)目標(biāo)是輕量、可解釋、可持續(xù)進(jìn)化。不需要昂貴的GPU資源不需要大規(guī)模向量索引一臺(tái)普通服務(wù)器就能跑起來(lái)而且效果會(huì)隨著使用量的增加逐漸提升。這比單純堆疊向量檢索要有意思得多。2. 整體架構(gòu)與數(shù)據(jù)流設(shè)計(jì)2.1 一句話(huà)說(shuō)清架構(gòu)Sirchmunk采用分層設(shè)計(jì)總共四層內(nèi)容解析層負(fù)責(zé)把原始文檔變成可檢索的結(jié)構(gòu)化數(shù)據(jù)索引存儲(chǔ)層負(fù)責(zé)維護(hù)倒排索引和各類(lèi)權(quán)重檢索排序?qū)迂?fù)責(zé)接收query并產(chǎn)出結(jié)果列表反饋進(jìn)化層負(fù)責(zé)采集用戶(hù)行為并更新權(quán)重。四層各司其職重點(diǎn)在最后一層它把整個(gè)系統(tǒng)從“靜態(tài)索引”變成了“活系統(tǒng)”。協(xié)作流程可以用文字描述清楚用戶(hù)發(fā)起查詢(xún)查詢(xún)經(jīng)過(guò)解析和詞項(xiàng)切分進(jìn)入檢索排序?qū)优判驅(qū)油瑫r(shí)讀取靜態(tài)相關(guān)性分?jǐn)?shù)和動(dòng)態(tài)反饋權(quán)重計(jì)算出最終得分并返回結(jié)果列表用戶(hù)對(duì)結(jié)果產(chǎn)生點(diǎn)擊、跳過(guò)、停留等行為行為日志被異步寫(xiě)入反饋存儲(chǔ)進(jìn)化層定期消費(fèi)這些日志離線(xiàn)計(jì)算詞項(xiàng)權(quán)重的增量更新到索引存儲(chǔ)中。這個(gè)流程的巧妙之處在于把在線(xiàn)檢索和離線(xiàn)學(xué)習(xí)解耦。用戶(hù)查詢(xún)走的是低延遲路徑反饋學(xué)習(xí)走的是異步批處理路徑兩者互不阻塞。即使進(jìn)化層正在大量計(jì)算在線(xiàn)搜索也不會(huì)受影響。2.2 內(nèi)容理解與索引構(gòu)建先讓文檔變成可檢索的結(jié)構(gòu)文檔進(jìn)入系統(tǒng)后第一件事是解析和結(jié)構(gòu)化。每篇文檔至少提取四類(lèi)信息基礎(chǔ)字段標(biāo)題、正文、作者、發(fā)布時(shí)間、詞項(xiàng)列表經(jīng)過(guò)去停用詞、歸一化處理的詞、字段權(quán)重標(biāo)記哪些詞出現(xiàn)在標(biāo)題、哪些在正文、附加信號(hào)閱讀量、點(diǎn)贊數(shù)、內(nèi)容分類(lèi)。索引存儲(chǔ)采用兩層結(jié)構(gòu)。第一層是倒排表保存每個(gè)詞項(xiàng)到文檔列表的映射關(guān)系列表里記錄每篇文檔中該詞的詞頻和字段位置。第二層是文檔權(quán)重表保存每篇文檔的基礎(chǔ)分和動(dòng)態(tài)分。動(dòng)態(tài)分初始為空隨著反饋積累逐漸填充。構(gòu)建過(guò)程中有個(gè)容易被忽略的細(xì)節(jié)詞項(xiàng)歸一化。中文分詞得到的基礎(chǔ)詞常常包含大量變體“筆記本”和“筆記本電腦”、“搜索”和“搜尋”如果不做一定程度的歸一后續(xù)反饋學(xué)習(xí)會(huì)把它們當(dāng)成完全無(wú)關(guān)的詞項(xiàng)造成數(shù)據(jù)稀疏。Sirchmunk維護(hù)一個(gè)輕量同義詞映射在索引構(gòu)建和查詢(xún)解析時(shí)同時(shí)做擴(kuò)展。2.3 檢索排序多信號(hào)融合的打分模型排序是整個(gè)系統(tǒng)最核心的出口。Sirchmunk的打分公式采用雙軌結(jié)構(gòu)最終得分 靜態(tài)相關(guān)性得分 動(dòng)態(tài)反饋得分靜態(tài)相關(guān)性得分沿用經(jīng)典信息檢索的框架包括詞頻、逆文檔頻率、字段加權(quán)標(biāo)題權(quán)重高于正文、時(shí)間衰減等。公式本身不復(fù)雜但它是整個(gè)排序的“地基”在系統(tǒng)冷啟動(dòng)初期幾乎完全依賴(lài)它來(lái)保證基本質(zhì)量。動(dòng)態(tài)反饋得分是自進(jìn)化機(jī)制的載體。每篇文檔在每個(gè)詞項(xiàng)下都有一個(gè)實(shí)時(shí)權(quán)重反饋得分就是被命中詞項(xiàng)權(quán)重的累計(jì)值。這個(gè)權(quán)重初始為1.0不干預(yù)靜態(tài)排序。但隨著用戶(hù)行為數(shù)據(jù)積累進(jìn)化層會(huì)不斷調(diào)整它某些詞項(xiàng)與文檔的關(guān)聯(lián)被驗(yàn)證為強(qiáng)相關(guān)時(shí)權(quán)重上升被驗(yàn)證為弱相關(guān)甚至負(fù)相關(guān)時(shí)權(quán)重下降。檢索時(shí)系統(tǒng)先通過(guò)倒排索引粗召回候選集再用打分公式計(jì)算每個(gè)文檔的最終分?jǐn)?shù)最后截?cái)喾祷豑op N。整個(gè)過(guò)程沒(méi)有復(fù)雜的機(jī)器學(xué)習(xí)模型邏輯清晰便于排查。2.4 數(shù)據(jù)流動(dòng)的完整閉環(huán)用一個(gè)具體例子串聯(lián)整個(gè)過(guò)程。用戶(hù)輸入“跑步膝蓋疼”查詢(xún)解析階段把query切分為“跑步”“膝蓋”“疼”三個(gè)詞同時(shí)通過(guò)同義詞映射擴(kuò)展出“慢跑”“膝關(guān)節(jié)”“疼痛”等關(guān)聯(lián)詞。倒排索引召回一批同時(shí)包含這些詞的文檔靜態(tài)分先篩掉明顯低質(zhì)的動(dòng)態(tài)分再把近期被驗(yàn)證“跑步膝蓋”關(guān)聯(lián)強(qiáng)的文章往上提。用戶(hù)看到結(jié)果后點(diǎn)擊了第三篇《跑步膝的預(yù)防與恢復(fù)》停止?jié)L動(dòng)看了很久。這個(gè)行為被記錄為一條正反饋日志查詢(xún)“跑步膝蓋疼”點(diǎn)擊文檔ID、點(diǎn)擊位置、停留時(shí)長(zhǎng)。當(dāng)晚進(jìn)化任務(wù)啟動(dòng)系統(tǒng)發(fā)現(xiàn)“跑步”和“膝蓋疼”這兩個(gè)詞在近期查詢(xún)中頻繁組合而這篇被點(diǎn)擊的文章在“膝蓋”“疼痛”兩個(gè)詞項(xiàng)下的權(quán)重明顯偏低于是自動(dòng)上調(diào)這兩個(gè)詞對(duì)應(yīng)這篇文檔的動(dòng)態(tài)權(quán)重。第二天另一位用戶(hù)搜“膝蓋疼原因”那篇文章就出現(xiàn)在更靠前的位置。到這里自進(jìn)化的完整閉環(huán)就生效了。3. 自進(jìn)化引擎的核心機(jī)制3.1 反饋信號(hào)從哪里來(lái)行為信號(hào)的采集質(zhì)量直接決定進(jìn)化效果。Sirchmunk的埋點(diǎn)設(shè)計(jì)遵循“最小必要”原則不采集任何個(gè)人標(biāo)識(shí)信息只聚合統(tǒng)計(jì)會(huì)話(huà)級(jí)行為數(shù)據(jù)。每條日志記錄查詢(xún)?cè)~、展現(xiàn)列表含順序、點(diǎn)擊位置、點(diǎn)擊文檔ID、停留時(shí)間、是否翻頁(yè)、是否二次搜索。正反饋的判定標(biāo)準(zhǔn)點(diǎn)擊且停留時(shí)間超過(guò)閾值比如5秒或者點(diǎn)擊后沒(méi)有在短時(shí)間內(nèi)返回搜索頁(yè)重新查詢(xún)。負(fù)反饋的判定標(biāo)準(zhǔn)文檔在結(jié)果列表中被展現(xiàn)但未被點(diǎn)擊或者用戶(hù)點(diǎn)擊后很快返回并修改了查詢(xún)?cè)~。修改查詢(xún)?cè)~這個(gè)動(dòng)作非常有價(jià)值它在某種程度上說(shuō)明原始結(jié)果沒(méi)有滿(mǎn)足用戶(hù)需求。這里要特別指出一個(gè)常見(jiàn)誤區(qū)點(diǎn)擊量高不等于結(jié)果質(zhì)量好。用戶(hù)可能點(diǎn)擊了一篇標(biāo)題黨文章進(jìn)去兩秒鐘就跳出了。所以停留時(shí)長(zhǎng)和二次搜索信號(hào)必須與點(diǎn)擊信號(hào)聯(lián)合使用否則系統(tǒng)會(huì)被誤導(dǎo)把那些“看起來(lái)誘人但內(nèi)容空洞”的結(jié)果不斷往前推。3.2 自動(dòng)標(biāo)注把點(diǎn)擊行為變成訓(xùn)練信號(hào)有了行為日志下一步要把日志轉(zhuǎn)換為自進(jìn)化引擎可消費(fèi)的訓(xùn)練信號(hào)。Sirchmunk使用“偽相關(guān)反饋”機(jī)制它不需要人工標(biāo)注而是通過(guò)行為模式推斷相關(guān)性。具體做法是對(duì)同一類(lèi)查詢(xún)按詞項(xiàng)聚類(lèi)聚合行為數(shù)據(jù)統(tǒng)計(jì)每個(gè)被點(diǎn)擊文檔的平均停留時(shí)長(zhǎng)和點(diǎn)擊率。高于基線(xiàn)值的結(jié)果標(biāo)記為正樣本低于均值且展現(xiàn)量足夠的結(jié)果標(biāo)記為負(fù)樣本。然后從正樣本文檔和負(fù)樣本文檔中提取詞項(xiàng)統(tǒng)計(jì)詞項(xiàng)在不同標(biāo)簽文檔中的分布差異得到每個(gè)詞項(xiàng)的“糾偏方向”。比如某查詢(xún)?cè)~“蘋(píng)果”既然歷史數(shù)據(jù)表明用戶(hù)更多點(diǎn)擊“水果蘋(píng)果”相關(guān)文檔而非“手機(jī)蘋(píng)果”系統(tǒng)就會(huì)自動(dòng)給“水果”“營(yíng)養(yǎng)”這些詞項(xiàng)在相應(yīng)文檔上增加權(quán)重同時(shí)降低“手機(jī)”“系統(tǒng)”的權(quán)重。這個(gè)推理過(guò)程完全由數(shù)據(jù)驅(qū)動(dòng)不需要預(yù)先定義規(guī)則。自動(dòng)標(biāo)注的置信度控制很重要。單條點(diǎn)擊行為充滿(mǎn)噪聲必須積累到足夠樣本量才更新權(quán)重。Sirchmunk設(shè)置一個(gè)最小樣本閾值只有當(dāng)某個(gè)詞項(xiàng)對(duì)在近7天內(nèi)積累了至少20次有效行為才考慮對(duì)其權(quán)重進(jìn)行調(diào)整。3.3 權(quán)重迭代更新算法權(quán)重更新采用在線(xiàn)增量式迭代。每個(gè)詞項(xiàng)在每篇文檔上有一個(gè)動(dòng)態(tài)權(quán)重更新的核心公式是新權(quán)重 舊權(quán)重 × (1 調(diào)整幅度)調(diào)整幅度由三部分構(gòu)成該詞項(xiàng)在當(dāng)前窗口內(nèi)的實(shí)際點(diǎn)擊率與基線(xiàn)點(diǎn)擊率的差值、樣本量置信系數(shù)、步長(zhǎng)系數(shù)。步長(zhǎng)系數(shù)默認(rèn)在0.02到0.05之間防止單次更新幅度過(guò)大導(dǎo)致排序結(jié)果劇烈抖動(dòng)。舉個(gè)例子。某個(gè)詞項(xiàng)初始權(quán)重1.0在近7天內(nèi)參與了500次展現(xiàn)其中點(diǎn)擊150次點(diǎn)擊率30%。系統(tǒng)基線(xiàn)點(diǎn)擊率是12%整體搜索結(jié)果的平均點(diǎn)擊率。差值18%乘以步長(zhǎng)0.03得出調(diào)整幅度0.0054新權(quán)重更新為1.0054。單看這個(gè)值很小但關(guān)鍵是持續(xù)性如果這個(gè)詞項(xiàng)在連續(xù)多個(gè)周期都保持高于基線(xiàn)的表現(xiàn)權(quán)重會(huì)通過(guò)復(fù)利效應(yīng)逐步累積到1.2甚至1.5排序位置就會(huì)有顯著變化。為了防止權(quán)重?zé)o限膨脹或衰減到影響基本相關(guān)性系統(tǒng)給每個(gè)權(quán)重設(shè)置了上下界默認(rèn)下限0.3上限3.0。超過(guò)邊界的詞項(xiàng)對(duì)停止更新只保留一個(gè)衰減標(biāo)記。這個(gè)約束非常關(guān)鍵沒(méi)有它長(zhǎng)尾場(chǎng)景中某些詞項(xiàng)會(huì)被點(diǎn)擊噪聲推動(dòng)到極端值徹底扭曲排序結(jié)果。3.4 如何評(píng)估系統(tǒng)真的在變好自進(jìn)化引擎需要可量化的驗(yàn)證否則就成了“看起來(lái)在動(dòng)不知道動(dòng)得對(duì)不對(duì)”。Sirchmunk維護(hù)一套評(píng)估體系核心指標(biāo)包括整體點(diǎn)擊率CTR、無(wú)點(diǎn)擊查詢(xún)占比、平均首次點(diǎn)擊位置、搜索結(jié)果跳出率。這些指標(biāo)在進(jìn)化前后形成了可對(duì)比的時(shí)間序列。更嚴(yán)格的方式是保留一個(gè)固定回歸查詢(xún)集。上線(xiàn)前準(zhǔn)備50到100個(gè)代表性查詢(xún)?cè)~記錄它們?cè)谙到y(tǒng)初始版本下的Top 10結(jié)果。每次權(quán)重更新后跑同一批查詢(xún)對(duì)比結(jié)果排序的變化。如果某些查詢(xún)結(jié)果出現(xiàn)明顯劣化比如核心關(guān)鍵詞結(jié)果從第1名掉到第5名之后系統(tǒng)會(huì)觸發(fā)告警方便人工介入。實(shí)際運(yùn)營(yíng)中還要注意區(qū)分短期波動(dòng)和真實(shí)進(jìn)化。搜索行為有明顯的日周期和周末效應(yīng)周一的點(diǎn)擊模式跟周六完全不同。所以對(duì)比評(píng)估必須使用同周期數(shù)據(jù)或者經(jīng)過(guò)季節(jié)性修正。簡(jiǎn)單做法是固定以最近7天結(jié)果作為評(píng)估窗口不拿昨天和上周直接對(duì)比。4. 最小可落地版本實(shí)操指南4.1 技術(shù)選型與數(shù)據(jù)結(jié)構(gòu)Sirchmunk的早期原型完全可以在單臺(tái)服務(wù)器上運(yùn)行。編程語(yǔ)言選Python倒排索引存內(nèi)存字典文檔元數(shù)據(jù)存本地?cái)?shù)據(jù)庫(kù)反饋日志存輕量級(jí)鍵值存儲(chǔ)。這個(gè)組合不是為了生產(chǎn)環(huán)境的高性能而是為了快速驗(yàn)證自進(jìn)化邏輯是否成立。等效果驗(yàn)證了再考慮橫向擴(kuò)展和索引持久化。核心數(shù)據(jù)表有六張。文檔表保存doc_id、標(biāo)題、正文、發(fā)布時(shí)間、分類(lèi)等基礎(chǔ)字段。詞項(xiàng)表保存詞項(xiàng)ID、歸一化詞、詞頻。倒排表保存詞項(xiàng)到文檔列表的映射關(guān)系和局部權(quán)重。文檔權(quán)重表保存文檔當(dāng)前的總權(quán)重和靜態(tài)分。反饋日志表保存查詢(xún)?cè)~、展現(xiàn)列表、點(diǎn)擊位置、停留時(shí)長(zhǎng)。動(dòng)態(tài)權(quán)重表保存詞項(xiàng)在文檔維度上的動(dòng)態(tài)權(quán)重和最近更新周期。建表時(shí)有一點(diǎn)經(jīng)驗(yàn)值得分享動(dòng)態(tài)權(quán)重表不要以詞項(xiàng)為唯一粒度要結(jié)合文檔維度。也就是說(shuō)“跑步”這個(gè)詞不是一個(gè)統(tǒng)一的權(quán)重它在不同類(lèi)型的文檔上權(quán)重不同。這樣設(shè)計(jì)才能實(shí)現(xiàn)精準(zhǔn)進(jìn)化否則系統(tǒng)只能知道“跑步重要”卻不知道在什么內(nèi)容語(yǔ)境下重要。4.2 核心模塊代碼骨架自進(jìn)化引擎的代碼不復(fù)雜核心就三個(gè)函數(shù)檢索打分函數(shù)、反饋聚合函數(shù)、權(quán)重更新函數(shù)。檢索打分函數(shù)負(fù)責(zé)將靜態(tài)分和動(dòng)態(tài)分合并。偽代碼如下def score_doc(query, doc, field_boosts): static_score 0.0 dynamic_score 0.0 matched_terms [] for term in query.terms: if term in doc.term_freqs: tf doc.term_freqs[term] idf log((total_docs 1) / (doc_freq[term] 1)) 1 static_score tf * idf * field_boosts.get(term.position, 1.0) dyn_weight dynamic_weights.get((doc.doc_id, term), 1.0) dynamic_score dyn_weight matched_terms.append(term) # 查詢(xún)?cè)~命中率低于一半時(shí)大幅降權(quán)避免部分匹配過(guò)度參與 if len(matched_terms) len(query.terms) * 0.5: static_score * 0.4 dynamic_score * 0.4 return static_score dynamic_score * dynamic_ratio反饋聚合函數(shù)從日志表讀取近N天數(shù)據(jù)計(jì)算每個(gè)詞項(xiàng)對(duì)的表現(xiàn)。關(guān)鍵步驟是分組聚合按“查詢(xún)核心詞 文檔”分組統(tǒng)計(jì)展現(xiàn)量、點(diǎn)擊量、平均停留時(shí)長(zhǎng)再與基線(xiàn)做對(duì)比得到偏移方向。權(quán)重更新函數(shù)實(shí)現(xiàn)增量迭代更新加上平滑和限幅def update_weights(aggregated_data, step_size0.03, min_weight0.3, max_weight3.0): for (term, doc_id), metrics in aggregated_data.items(): ctr metrics.clicks / max(metrics.impressions, 1) delta (ctr - baseline_ctr) * step_size # 平滑處理防止單次波動(dòng)過(guò)大 smoothed delta * 0.3 previous_delta * 0.7 old dynamic_weights.get((doc_id, term), 1.0) new old * (1 smoothed) dynamic_weights[(doc_id, term)] clamp(new, min_weight, max_weight)這三個(gè)函數(shù)加上一個(gè)定時(shí)任務(wù)就構(gòu)成了最小閉環(huán)。定時(shí)任務(wù)每天運(yùn)行一次讀取昨天的日志更新動(dòng)態(tài)權(quán)重重新計(jì)算部分排序結(jié)果。4.3 關(guān)鍵參數(shù)設(shè)置與調(diào)優(yōu)經(jīng)驗(yàn)參數(shù)調(diào)優(yōu)是讓自進(jìn)化引擎真正穩(wěn)定的關(guān)鍵。第一個(gè)參數(shù)是步長(zhǎng)系數(shù)我建議從0.03起步。步長(zhǎng)太大反饋的一點(diǎn)點(diǎn)波動(dòng)都會(huì)被放大排序結(jié)果每天大變步長(zhǎng)太小進(jìn)化速度太慢運(yùn)營(yíng)一兩周都看不到明顯改善。0.03是一個(gè)相對(duì)均衡的起點(diǎn)之后根據(jù)系統(tǒng)表現(xiàn)微調(diào)。第二個(gè)參數(shù)是基線(xiàn)點(diǎn)擊率。不要拍腦袋定一個(gè)固定值應(yīng)該按查詢(xún)類(lèi)型分別統(tǒng)計(jì)。精準(zhǔn)查詢(xún)?nèi)绠a(chǎn)品型號(hào)的點(diǎn)擊率天然高于模糊查詢(xún)?nèi)纭霸趺醋龊贸浴苯y(tǒng)一基線(xiàn)會(huì)誤傷后者。Sirchmunk的做法是按查詢(xún)?cè)~長(zhǎng)度和熱度分桶為每個(gè)桶維護(hù)獨(dú)立基線(xiàn)。第三個(gè)參數(shù)是數(shù)據(jù)窗口長(zhǎng)度。太短的窗口1到3天容易受到臨時(shí)熱點(diǎn)干擾太長(zhǎng)30天以上又會(huì)讓進(jìn)化響應(yīng)變慢。7天是一個(gè)合理默認(rèn)值兼顧靈敏度和穩(wěn)定性。遇到突發(fā)事件導(dǎo)致熱門(mén)話(huà)題突增時(shí)系統(tǒng)可能短暫“失控”但窗口回滾后權(quán)重會(huì)迅速恢復(fù)正常。還有一個(gè)實(shí)用經(jīng)驗(yàn)權(quán)重更新不要全量覆蓋建議保留上一版本權(quán)重快照。一旦發(fā)布后第二天出現(xiàn)明顯效果回退可以快速回滾到舊版而不是緊急重算本輪更新。這跟代碼發(fā)布保留release分支是一個(gè)道理。4.4 迭代節(jié)奏和發(fā)布策略自進(jìn)化引擎的發(fā)布策略跟傳統(tǒng)代碼發(fā)布完全不同。權(quán)重更新不是一次性事件而是一個(gè)持續(xù)過(guò)程。初期建議每日更新一次放在凌晨低峰期運(yùn)行。運(yùn)行完成后跑一遍回歸查詢(xún)集自動(dòng)對(duì)比主要指標(biāo)的波動(dòng)。連續(xù)觀察兩周如果整體點(diǎn)擊率提升且回歸集沒(méi)有明顯劣化就可以把更新頻率降到每周兩次。引入這個(gè)系統(tǒng)時(shí)最忌諱的就是“一步到位”心態(tài)。不要一上來(lái)就把動(dòng)態(tài)權(quán)重比例調(diào)到50%那會(huì)讓用戶(hù)和業(yè)務(wù)方都摸不著頭腦。我建議采用灰度漸進(jìn)策略第一周動(dòng)態(tài)權(quán)重占比10%第二周20%根據(jù)線(xiàn)上反饋逐步增加。這個(gè)比例上限通常設(shè)置在30%到40%比較合理保留靜態(tài)相關(guān)性作為基本盤(pán)?;貪L機(jī)制要提前準(zhǔn)備。Sirchmunk在設(shè)計(jì)時(shí)就支持動(dòng)態(tài)權(quán)重一鍵清零清零后系統(tǒng)完全退化為傳統(tǒng)靜態(tài)排序。這給了運(yùn)營(yíng)人員極大的安全感。實(shí)際運(yùn)營(yíng)中遇到任何異常第一動(dòng)作就是清零觀察而不是花時(shí)間調(diào)試權(quán)重?cái)?shù)據(jù)。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 權(quán)重膨脹導(dǎo)致“偏科”自進(jìn)化系統(tǒng)最常見(jiàn)的病叫做“偏科”某些熱門(mén)詞項(xiàng)關(guān)聯(lián)的文檔權(quán)重被不斷推高最終形成馬太效應(yīng)導(dǎo)致搜索結(jié)果里永遠(yuǎn)是那幾篇老文章。根因是權(quán)重更新公式中存在正反饋循環(huán)點(diǎn)擊越多權(quán)重越高權(quán)重越高越靠前越靠前點(diǎn)擊越多。解決辦法有兩個(gè)方向。方向一是在權(quán)重更新時(shí)引入“熱度懲罰”文檔的動(dòng)態(tài)總分越高單次調(diào)整幅度越小。方向二是對(duì)同一文檔名下的詞項(xiàng)權(quán)重做歸一化所有詞項(xiàng)權(quán)重之和不超過(guò)一個(gè)上限。實(shí)際運(yùn)營(yíng)中我發(fā)現(xiàn)方向二更有效因?yàn)樗鼜慕Y(jié)構(gòu)上限制了膨脹空間。具體做法是周期任務(wù)掃描文檔權(quán)重表對(duì)超限文檔統(tǒng)一按比例壓縮。5.2 點(diǎn)擊噪聲和高跳出率干擾來(lái)自爬蟲(chóng)、誤觸和無(wú)意識(shí)點(diǎn)擊的噪聲行為如果直接進(jìn)入訓(xùn)練信號(hào)會(huì)給系統(tǒng)注入大量虛假信息。排查這類(lèi)問(wèn)題有個(gè)標(biāo)志性現(xiàn)象某個(gè)詞項(xiàng)權(quán)重出現(xiàn)不合邏輯的猛漲相關(guān)文檔的停留時(shí)長(zhǎng)卻遠(yuǎn)低于平均水平。針對(duì)這個(gè)問(wèn)題的過(guò)濾策略要在三個(gè)層級(jí)同時(shí)發(fā)力。會(huì)話(huà)層過(guò)濾高頻訪(fǎng)問(wèn)、無(wú)明顯行為序列的客戶(hù)端事件層過(guò)濾停留時(shí)長(zhǎng)低于2秒的點(diǎn)擊數(shù)據(jù)層過(guò)濾單文檔單日點(diǎn)擊超過(guò)正常范圍的異常聚集。過(guò)濾后的數(shù)據(jù)只保留置信度高的信號(hào)處理速度慢一點(diǎn)沒(méi)關(guān)系準(zhǔn)確率是第一位。5.3 冷啟動(dòng)期沒(méi)有反饋怎么辦新上線(xiàn)系統(tǒng)最尷尬的是沒(méi)有行為數(shù)據(jù)自進(jìn)化引擎空轉(zhuǎn)。這個(gè)階段最容易犯的錯(cuò)誤是急于使用動(dòng)態(tài)反饋結(jié)果被少量初始行為帶偏。Sirchmunk的方案是雙軌制初始階段動(dòng)態(tài)權(quán)重全部為1.0排序完全依賴(lài)靜態(tài)相關(guān)性人工為最核心的20個(gè)高頻查詢(xún)配置種子權(quán)重確保首批結(jié)果質(zhì)量在線(xiàn)。種子配置不需要多先人工挑10個(gè)詞項(xiàng)明確哪些文檔應(yīng)該排在前面手動(dòng)設(shè)置權(quán)重。等真實(shí)用戶(hù)行為積累到一定量級(jí)后逐步釋放自動(dòng)學(xué)習(xí)比例。一般上線(xiàn)兩周后種子權(quán)重的作用就減弱了取而代之的是真實(shí)反饋。5.4 反饋抖動(dòng)與平滑處理系統(tǒng)運(yùn)行一段時(shí)間后經(jīng)常出現(xiàn)“昨天好好的今天全部亂了”的現(xiàn)象。這通常不是算法邏輯出錯(cuò)而是窗口內(nèi)的數(shù)據(jù)源發(fā)生了變化。比如某個(gè)詞突然上了熱搜大量新類(lèi)型內(nèi)容涌入舊詞項(xiàng)權(quán)重依舊延續(xù)導(dǎo)致排序偏離。處理手法是雙平滑。第一層是數(shù)據(jù)平滑單周期計(jì)算出的調(diào)整量要按照時(shí)間衰減加權(quán)越久遠(yuǎn)的數(shù)據(jù)權(quán)重越低。第二層是參數(shù)平滑立即更新的權(quán)重不是直接替換而是采用EMA滑動(dòng)平均新權(quán)重只占30%權(quán)重上一周期權(quán)重占70%。這組參數(shù)的效果非常明顯投入后抖動(dòng)率普遍下降一半以上。以下是幾個(gè)高頻問(wèn)題的速查表問(wèn)題現(xiàn)象可能原因排查方向某詞項(xiàng)權(quán)重快速趨近上限點(diǎn)擊噪聲未被過(guò)濾或樣本量過(guò)小檢查事件層過(guò)濾規(guī)則提高最小樣本閾值搜索結(jié)果頻繁搖擺窗口期數(shù)據(jù)變化大或步長(zhǎng)過(guò)大降低步長(zhǎng)加長(zhǎng)窗口啟用EMA平滑新文檔永遠(yuǎn)排不上前動(dòng)態(tài)權(quán)重過(guò)度保護(hù)老文檔引入時(shí)間衰減因子降低老文檔權(quán)重上限點(diǎn)擊率提升但跳出率也提升標(biāo)題黨內(nèi)容被正反饋放大加入停留時(shí)長(zhǎng)和二次搜索負(fù)反饋信號(hào)全站效果低于靜態(tài)版本動(dòng)態(tài)權(quán)重占比過(guò)高修正過(guò)度降低動(dòng)態(tài)權(quán)重比例回滾上一版權(quán)重我在實(shí)際使用中最大的體會(huì)是自進(jìn)化系統(tǒng)真正的難點(diǎn)不在排序算法而在數(shù)據(jù)管道和防跑偏設(shè)計(jì)。當(dāng)你把注意力從“怎么用向量模型理解語(yǔ)義”轉(zhuǎn)移到“怎么讓系統(tǒng)自己學(xué)會(huì)調(diào)整”這件事上搜索系統(tǒng)就從一個(gè)靜態(tài)組件變成了一個(gè)可以持續(xù)養(yǎng)的業(yè)務(wù)資產(chǎn)。Sirchmunk目前只是第一版架構(gòu)后面還有分詞優(yōu)化、詞項(xiàng)聚類(lèi)、跨查詢(xún)遷移學(xué)習(xí)等一堆可以展開(kāi)的方向。如果你正在被“不上向量庫(kù)就做不好搜索”的論調(diào)困擾不妨試試這條更務(wù)實(shí)的路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲成人网无码| 五月婷婷啪啪| 97极品在线| 五月天综合久久| 任我干视频在线观看| WWW夜夜| 伊人久久婷婷| 超碰九九热| 日熟女| 玖玖婷婷视频| 老司机日日夜夜青草| 人人97碰| 26UUU欧美激情一区二区| 九九99香蕉在线视频播放| 五月天国产婷婷精品视频在线| 亚洲成人电影在线免费观看| 97干97色| 色婷五月天| 色优久久| 99re思思久久| 小视频在线亚洲| www.激情| 丁香五月激情婷婷激情| 男女啪啪做爰高潮无遮挡| 婷婷五月天直播| 五月丁香激情综合| 婷丁香久综合| 伊人激情AV一区二区三区| 天天激情综合| 五月丁香六月片| 婷婷狠狠五月综合| 久久色吧| 国产9色在线/日韩| 狠狠色丁香五月婷巨| 波多野结衣成人作品在线| 欧美丁香婷婷五月天| 丁香六月婷婷久久亚洲天堂| 91精品久久久久久久久| 成人版视频在线观看| 六月丁香啪啪啪| bbwcuckold精品熟妇| 国精产品一区一区三区免费视频| 激情五月婷婷五月| 香蕉久久六月| 五月天成人综合| www.久久五月天.com| 丁香五月婷婷操逼| 婷婷久久五月天丁香| 婷婷五月av| 欧美成人AAA片一区国产精品| 都市激情小说婷婷| 色五月婷婷影院| 五月天精品| 久久久久人妻中文| 超碰色婷婷| 激情五月小说婷婷| 色婷婷五月中文字幕在线dvd| 综合五月丁香97| 99人碰碰碰| 天天色综合色色色色色。| 99热网精品| 五月天激情婷婷| 影音先锋xfplay资源男人网| AV六月丁香| 91狠狠色丁香婷婷综合久久精品| 日本无va视频| 99WWW免费视频| 丁香六月综合激情| 色色 9| 欧美毛卡| 免费看欧美成人A片无码| 综合久久人妻| 伊人五月婷婷| 成人VAV视频在线观看| 九九视频在线观看| 色五月激情五月天| 精品国产va久久久久| 六月成人网| 久久婷婷视频| 日日操夜夜爽天天天| 色婷婷精品视频在线播放| 五月婷婷影院| 色婷婷五月网| 久久九九怡红院| 激情婷婷丁香色五月| 色五月欧美| 五月激情婷婷开心| 大香蕉啪啪啪| 99热99精品| 欧美色一级色| 色色 亚洲| 久久久思思热| 日韩精品成人在线| 欧美色综合天天久久综合精品| 新激情五月天天在线网| 五月激情婷婷色| av在线观看网站| 伊人网色婷婷五月天| 亚洲1区| 色丁香五月| 国产色婷婷亚洲| 亚洲精品在线视频| 99在线免费视频播放| 专区无日本视频高清8| 99啪| 99热都是精品| www狠狠| 亚洲小视频免费看| 亚洲综合婷婷五月| 免费在线a| 人妻丰满精品一区二区A片| 啪到高潮激情丁香五月| 51成人| 99re8热精品免费视频| 婷色五月天| 亚洲综合婷婷| 天天在线久久综合 | 婷婷丁香六月综合激情站| 五月丁香婷婷啪啪网| 婷婷在线网| 欧美性爱五月天| 99a级片| 美女五月天| 色狠狠色狠狠| 成人婷婷深爱综合网| 欧美色狠婷久| 国产熟女一区二区三区五月婷| 九月丁香婷婷基地| 97人碰人操| 亚洲五月婷| 亚洲婷婷基地| 玖玖综合网| 最新丁香六月婷婷| 五月天激情网页| 日日撸天天干| 伊人五月人妻精品| 色色色视频免费无码| 另类的婷婷| 天天日夜夜欢| 婷婷五月天黄色网址| 五月天丁香欧美激情| 国产三级在线播放| 亚洲在线成人| 99久久99久久综合| 婷婷狠狠干| 婷婷丁香五月天激情| AV九九| AV成人在线播放| 色五月婷婷亚洲最大| 开心综合激情综合| 色噜噜狠狠狠综合曰曰曰| 嫩BBB槡BBBB搡BBBB视频| 五月丁香六月婷婷亚洲激情综合| 色热久资源| 激情综合自拍五月婷婷色五月| 成人网站在线观看视频| 免费国产VA国产免费| sesesesezonghe| 国产精品久久在线观看技巧| 思思热久久爱| XX久久| 99国产精品久久久久久久久久久| 中文成人在线| 97碰碰碰免费公开在线视频| 青草视频在线播放| 色吧网综合| 熟美女麻豆| 熟妇人妻中文字幕无码老熟妇| 办公室少妇激情呻吟A片在线观看| 99超超碰| 在线综合91| 99黄色在线视频精品熟女| 国产激情久久久| 狠狠做五月| 六月激情婷婷色| 日韩激情人伦人| 色婷婷丁香五月天在线观看| 日本超碰在线| 亚洲国产精品二二三三区 | 琪琪色网在线| www,com,五月色色| 色网站99| 亚洲精品色| CHINESE熟女老女人HD视频 | 久久久久人妻| 大香蕉视频婷婷| 99热在线看| 婷婷在线精品| 亚洲国产色色| 五月色婷婷综合| 搡BBBB搡BBB搡18| 色五月婷婷1| 激情婷婷五月天伊人在线观看 | 四月婷婷五月丁香| 丁香五月AV| 97超碰色| 欧美狠狠一在草| 99视频只有这里精品| 中文字幕在线免费| 九九婷婷五月天| 婷婷五月天av| 久久婷婷五月综合| 中文字幕高清av| 黄网在线免费观看| 99精品久久久久久久婷婷久久 | 996热re视频精品视频| 我爱宗和色| 这里只有精品视频99| 成人在线视频网| 五月天色小说| www,久久久| 激情五月婷婷在线| 亚洲久久激情| av久热| 播丁香五月婷婷欧美| 日韩久久视频| 五月天激情网页| 91丨九色丨白浆秘| 99精品丰满| 五月丁香婷婷综合在线| 99热色精品| 碰97 久| 成年人夜夜喷水| 五月丁香亚洲综合网| 国产avapp 网| 亚洲天堂婷婷丁香| 亚洲中文字幕AV| 99热这里只有精品国产首页| 五月婷婷综合在线| 9精品视频在线观看| 色五月五月丁香| 中文av网| 亚洲精品影视| 91九色欧美| 91碰免费视频| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 欧美一级色| av网站中文| 日本天天操| 婷婷综合激情| 婷婷色九月| 狠狠色噜噜狠狠狠888| 99热色综合| 九九视频精品在线免费| 激情丁香五月婷婷| 九九香蕉网| www.9797国产| 激情丁香五月天图片| 高清无码一区二区三区四区| 五月婷久久| 乱码操操| 91在线日| 六月婷婷七月丁香| 丁香五月五月婷婷| 亚洲九九视频| 激情五月丁香激情综合网| 综合网网欲色| 日韩日比视频| 另类五月激情| 亚洲国产精品成人午夜| 5月婷婷视频网站综合| 色婷婷六月天| 99久久人人| 无码人妻一区二区三区四区| 久久免费精彩视频| 亲子乱AV一区二区三区下载| 五月天色不卡| 狠狠干.com| 国产色色在线| 91色婷婷综合久久中文字幕二区| 在线不卡中文字幕| 色婷婷狠狠| 图片区 小说区 区 亚洲五月| 九久9精品| 激情五月婷黄版| 五月婷婷精品视频| 天天天天天天噜| 婷婷久久综合久| 天天肏在线观看| 婷婷性爱五月天| 99se丁香| 人妻肉射免费观看| 国产精品久久久久久久久久免费| 99er这里只有精品| 五月丁香| 欧美色99| 超碰色综合| 丁香综合久久| 五月好婷婷| 亚洲情综合五月天| 国产黄色一级片| 九一99| 日本V在线观看不卡视频网站| 天天日狠狠| www婷婷| 亚洲综合1024| 91超级碰在线视频| 久热69| 天天天天天天操| 99视频综合网| 99视频这里有精品免费观看| 九 九九九AV| 99色最新在线视频网站| av婷婷丁香| 婷婷开心激情综合五月天| 午夜大香蕉| 激情五月天婷婷图| 99在线精品视频| 婷婷色影院| 丁香六月激情四射| 五月天天堂久久| 天天天天干| 91精品综合久久久五月天| 丁香婷婷色情社区成人小说| 五月婷久久综合| 婷婷五月骚厕所| 激情内射人妻1区2区3区| 色亚洲中文| 婷婷丁香久久| 五月亚洲激情| 成人精品视频99在线观看免费| 婷婷亚洲激情在线观看视频| 99碰碰| 五月婷婷av| 97操视频| 黄色激情久久| 91丨九色丨东北熟女| 99操视频| 99久久99九九99九九九| 久久这里面只有精品视频| 激情综合亚洲| 色婷丁香五月| 欧美性色A片免费免费观看的| 伊人五月婷婷| 极品人妻VIDEOSSS人妻| 日日夜夜综合| 91丨九色丨国产打屁股网站| 五月性色| 人人人操 超碰| 天天操九九插| 天天综合网~91| 色丁香婷婷| 182.t午在线观看| www.丁香五月| 久久婷婷免费| 激情五月天 婷婷| 黄久久久| 九九精品热| 男人的天堂999| 色色激情| 日夜夜天天| 国产干逼片| 99操逼| 婷婷五月六月丁香| 婷婷五月丁香啪啪| 天天日天天做天天舔 | 可以看的av| 欧美丁香婷婷天天操| 亚洲精品一区中文字幕乱码| 婷婷五月久久| 丁香社92视频| 五月婷激情影院| 天天综合五月| 91狠狠综合久久| 九九精品视频免费在线| 国产精品久久久久久久久久| 99热这里只有精品最新网址| 激情中文在线| 婷婷亚洲综合| 久热这里只有精品视频6| 久久99精品久| 五月丁香婷草| 丁香五月天天| 久久精彩视频18| www、色色色| 色综合香蕉| 人妻九九九九| 六月婷婷网| 婷婷色色综合| 五月丁香中文字幕| 91要啪| 天天日天天爽| 欧美丁香六月激情视频| 久久aaaaa| 91大神操美女| 天天操夜夜夜夜爽| 91色色色视频| 亚洲成人一区| 激情五月天开心网丁香无码| 超爽内射| 99热这里只有精彩| 嫩BBB槡BBBB搡BBBB视频| 欧美色色色色色色色色| 人人爱操| 一本道综合网| 国模九区| 人人操插| 丁香五月骚喷水视频| 五月天大香焦| 超碰在线精品| 激情小说五月天中文字幕| 丁香五月婷婷激情中文| 婷婷天天日婷婷| WWW.夜夜| www.五月婷婷久久.com| 亚洲 在线 另类| 五月天久久91| 大香蕉久久| 亚洲丁香五冃97色| 99热这里只有精品1025| 东北婷婷五月天| 99热超碰天堂网| 色99视频| 天天婷婷色六月| 九九综合伊人| 婷婷综合性爱网| 伊人久久大香蕉网| 日韩欧美四五区| 亚洲AV成人无码电影| 色综合色色色| 婷婷丁香色无五月| 97操操| 综合色七七| 五月婷婷六月丁香综合| 99视频在线观看视频| 久久久五月天网站| 99无码| 婷婷五月天综合色| www.日本久久videos| 色婷婷伊人激情在线观看| 色婷婷偷拍| 天天做天天爰天天爽天天无遮挡| 日本免费91| 五月婷婷色| 亚洲天天操| site:hcxsz888.com| 大香蕉婷婷婷| 五月亭亭开心网| 五月天久久丁香| 五月香婷婷| 夜色.cnm| 思思热在线视频精品| 亚洲中文乱字字幕在线永久| 婷婷五月天激情在线观看| 99日本视频| 99re热视频这里只精品| AV在线观看网站| 婷婷激情丁五月| 爆乳熟妇一区二区三区爆乳照片| 99惹 精品在线| 欧美激情综合| 丁香五月婷婷视频| 色五月婷婷激情五月| 天堂资源欧日浪女在线播放| 激情综合五月丁香六月婷婷| 婷婷五月在线观看| 亚洲婷婷五月天| 涩涩婷婷五月| 久久永久网址| 日本WWW九九九| 日韩AV免费看| 99爱在线免费视频| 久久与婷婷| 久久机热思思热| 欧亚洲在线高清视频| 亚洲在线成人| 成人中文网| 97人人操在线| 噜噜视频| 五月婷六月天| 狠狠操.com| 91在线视频综合| 五月丁香色停停啪啪啪| 91Chinese在线| 色五月亚洲| 五月丁香色播| 激情婷婷五月女| 五月婷婷成人| 亚洲色图五月丁香五月婷婷| 久久人妻熟女一区二区| 99这里只有| 亚洲六月婷婷| 涩涩涩.com| 另类五月婷婷| www.狠狠| 99在线视频资源| 五月天婷婷无码| 激情五月天婷婷| 婷婷五月天堂| 伊人玖玖婷婷| 深爱激情丁香五月| 五月丁香六月婷婷玖玖| 天天色情站| 五月天丁香久久| 婷婷亚州综合| 久草丁香婷婷1024| 中文字幕日产A片在线看| 狠狠色综合网| 婷婷五月丁香欧洲| 综合网天天| 99er6热在线观看精品6| 激情五月六月婷婷综合啪啪| 婷婷色婷婷亚洲成人| 国产资源在线视频| 久久婷婷的综合色丁香五月| 激情五月天天| 天堂成人A片永久免费网站| 色综合久久久久| 丁香五月天婷婷激情| 欧美激情凹凸丁香网| a v色婷婷| 精a品a视a频| 日本97在线视频| 大香蕉福利导航| 超pen个人视频97| 五月天社区| a在线观看| 激情久久久久久久久久| 夜夜躁爽日日| 亚洲天天| 国产色色色色| 99色免费视频| 日本九九热| 六月婷五月丁香| 色七色九九| 亭亭五月丁香综合欧美| 中文字幕AV在线播放| 亚洲无码yw| 69精品无码一区二区三区| 91九色 熟| 日韩在线观看网址| 强辱丰满人妻HD中文字幕| 丁香五月激情啪啪| 五月丁香六月婷婷啪啪| 99热在线播放| 久久精品性爱| 99爱在线免费视频| 色五月激情| 久久综合九九| 国产精品久久..4399| 一区二区免费看| 这里只有精品视频| 婷婷 伊人 久久| 五月丁香六月激情综合| 婷婷综合五月| 婷婷五月天基地| 播五月开心婷婷欧美综合| 思思热99热| 五月天激情小说欧美激情| 久久久精品色色色| 玖玖资源站蜜臀| 日日爱699| 五月好婷婷| 婷婷六月色播| 丁香成人视频| 色五月av| 99精品一二三四视频| 激情五月综合色婷婷| 激情五月天激情网| 都市激情五月婷婷综合| 天天cha成人综合网| 色五月激情综合| er99免费视频在线| 亚洲99手机免费看视频| 五月综合缴情网| 99性视频| 91九色欧美| 久久久性爱视频| 五月婷婷色影院| 婷婷色网站| 思思精品视频| 激情五月婷| 国产精品涩涩涩视频网站| 成人视频网| 国产精自产拍久久久久久蜜| XX色综合| 五月天操逼激情| 久9精品视频在线| 丁香五月婷婷老师网站| 九九99男女视频在线观看| 我去色色网五雨天| 爆乳熟妇一区二区三区爆乳| 全亚洲最大的婷婷五月天网站COM| 婷色人人狠| 免费99情趣网视频| 丁香五月激情六月| 亚洲激情97五月天| 99激情视频| 大香蕉久艹| 国产日韩欧美性爱| 免费观看全黄做爰的视频| 99天堂在线观看免费视频| www.1024久久| www.综合久久.com| 亚洲激情av| 婷婷五月天改成什么了| 99性感视频| 九九这里都是精品| 九月综合| 综合网五月| 丰满人妻妇伦又伦精品国产| 婷婷综合久久综合| www.9797国产| 色婷婷99| 九九视频精品在线免费| 五月丁香淫淫婷婷婷| 色五月大| 色色性爱视频| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色五月涩涩婷婷蜜桃| 色婷丨日丨天丨综合久久| 激情五月天无人视频在线| 综合XX网| 天天色综网| 激情综合五月丁香| 婷婷丁香成人色综合| 久久综合综合综合| 五月玖玖| 国产日批视频| 婷婷五月无码| 五月丁香六月香香蕉| 婷婷综合在线| 亚洲182在线观看| 五月激情射| 五月婷婷另类| 中文字幕 久久9999| 五月婷婷综合丁香视频| 九九热在线99| 久久丁香综合香蕉| 99亚洲视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 综合激情五月天| 极品少妇XXXX精品少妇偷拍| 丁香花五月天婷婷成人社区| 激情久久久久久久久久久| Xx色综合| 久久66成人网站| 色婷婷69| 精品一二三区久久AAA片| 黄色aa观看aaguochan| 久久久.COM| 丁香五月婷婷成人色区| 欧美婷婷综合| 激情深爱五月天| 91综合视频丁香| 91avse| 婷婷五月天va| 99热97| 色综合五月| 大香蕉婷婷婷| 免费亚洲婷婷中文字幕| 九九草热在线观看| 99在线精品视频| 99热最新网址| 九九九九成人| 综合网色| 久久色五月天综合网| 日本精品99网站| 少妇人妻丰满做爰XXX| 97艹| WWW夜夜| 婷婷激情五月综合| 九九在线精点品| 婷婷五月天大香蕉在线视频观看| 无码激情| 国模淫穴色图| 日本色色图| 一本久久婷婷| 久热欧美| 六月丁AV| 天天干一干| 中文字幕久久婷九女同| 成人精品一区二区三区四区五区 | 五月婷婷丁香综合,亚洲天堂| 99操中文视频| 天天干天天爽天天操| 六月丁香av| Blackedraw视频一区二区| 五月天婷婷綜合院| 国产精品久久久久久五月天加勒比| 日韩人妻无码精品| 婷婷综合中文字幕| 91婷婷丁香| 久久欧洲综合网| 91日韩在线| 亚洲9久久精品| 激情五月丁香五月| 欧美成人性爱网| 久热九九| 伊人色综合久久久| 色婷婷五月亚洲| 五月天综合在线| 99热99日天天干| AV伊人青草丁香六月| 亚洲视频色婷婷| 亚洲乱码日产精品BD| 99色精品| 婷婷五月天a| 亚洲这里只有精品| 久久国产高清| 五月婷色丁香| 九九香蕉网| 狠狠色婷婷丁香五月| 久久黄色免费视频| 久久色五月| 亚洲天堂婷婷| 综合亚洲六月婷婷在线| 噜噜噜久久| 丁香五月天操B| 五月丁香久久| 欧美乱码国产一级A片| 色五月婷婷777| 欧美在线视频99| 色情婷婷五月天| 爽tv | 亚洲人妻av| 五月丁香六月婷婷姐| 青青久在线视频免费观看| 国产成人av在线| 这里精品| 青柠影视免费高清电视剧| 色欲av伊人久久大香线蕉影院| 婷婷色正月| 国产乱子轮XXX农村| 妇激情基地| 人人视频人人干人人做| 亚洲日韩操B| 99久久99视频只有精品| 六月婷婷视频| 亚洲成人av在线观看| 五月丁香婷色| 五月丁香婷婷色| 亚洲有码在线视频| 六月丁香影院| 国产美女无遮挡裸体毛片A片| 99操视频| 人人综合久| 大香蕉久久久久久久久| 99色热视频| 天天干,夜夜爽| 色狠狠999综合| 天天做好综合色| 一级片操逼视频| 99丁香五月婷| 人妻av在线| 97干在线看| 另类综合婷婷五月天欧美视频| 亚洲精品一区无码A片| 精品思思久久| 日本三级中国三级99| 久七香蕉| 丁香五月婷久久| 久久久久久五月天| 五月丁香六月婷婷不卡免费无码 | 99在线热| 99精品一二三四视频| 96色婷婷| 狠狠色婷婷六月激情网| AA片在线观看视频在线播放 | 国产精品色婷婷久久久精品| 色五月女| 高清a片基地| 天天干夜夜欢| 国产又爽又猛又粗的视频A片| 九九综合视频在线观看| 99超级碰免费视频| 亚洲无码成人| www.9797国产| www,com,五月色色| 色色色色色网| 丁香香蕉婷婷| 天天插天天插天天插天天插| 中文字幕高清av| 五月婷婷人妻| 亚洲成人电影在线免费观看| 亚洲色综合性| 99视频在线9| 色狠狠色狠狠| 成人做爰A片免费看网站找不到了| 久久er免费视频| AV九九| 91九色视频在线观看| 人人色婷婷| 六月婷婷青青青视频| 开心五月天激情网站| 国产在线网址1| 亭亭五月天黑人2014| 97操操网| 五月天激情综合10p| 99人妻碰碰久久久禁片| 男人综合网| 婷婷成人基地| 色五月婷婷、老熟女| 熟妇人妻中文字幕无码老熟妇| 久久这里都是精品免费| 六月丁香网| 天天人人综合| 婷婷色播婷婷| 欧美va视频不用播放器的va视频网| 五月丁香激情综合网| 天天综合久久| AA丁香综合激情| 99热 免费| 五月天综合| 狠狠色婷婷7| 久热9| 五月婷婷开心深| 亚洲黄色影视| www.狠狠狠.com| 国外亚洲成AV人片在线观看| 久久这里只有精品16| 91夫妻网站九色| 欧美天天干天天草| 97色综合视频| 欧美25p| 91色干| 亚洲操精品| 影音先锋色婷婷| 色综合色色| 亚州精品色情无码A片| 色五月欧美| 秋霞午夜理论| 六月成人网| 天天情色五月天| 婷婷丁香色女人| 日本色视| www.久久99热地址发布| 久久婷婷激情| 六月婷婷天天操夜夜爽视频| 亚洲中文字幕av| 色五月亚洲五月天| 五月婷婷电影院| 丁香久久久| 人妻激情网| 97色热| 99人妻碰碰碰久久久久禁片| 激情五月婷| 天天爽天天日人人爱| 黑人巨粗进入警花疼哭A片| 99热这里只有精品1998| 亚洲久久天堂| 综合在线色婷婷| 99热亚洲精品| 亚洲九区| 99热这里只有在线播放| 黄色中文字目| 色深爱五月| 欧美色图天堂网色| 99久久性爱| 五月天激情综合首页| 日本少妇裸体做爰高潮片| 日本熟妇人妻在线| 免费在线观看av网站| 色婷婷激情| 五月丁香六月婷婷啪啪| 思思热这里只有精品| 秋霞网在线观看理论91| 婷婷黄色网| 五月婷婷综合视频| 亚洲精品亚洲人成人网| 极品人妻VIDEOSSS人妻| 激情五月婷婷色播网| 丁香五月激情综合婷综| 丁香五月天啪啪| 丁香五月第九色| 日本玖玖在线| 婷婷操超碰| 色色是色N一| 亚洲网站观看视频| 人妻啪啪啪| 日本3级片偷拍网站| 欧美成人精品三区综合A片| 丁香婷在线| 波多野结衣AV无码Porn| 五月婷婷久久综合| 激情婷婷六月| 成人网站av免费网站推荐| 五月丁香天堂网| 第四色婷婷五月| 婷婷性爱综合| 亚洲精品视频在线| 色五月丁香激情| 人人超碰99| 亚洲综合激情五月久久| 2025天天爽天天摸| 97爱综合| 开心五月深爱五月| 色狠狠色狠狠| 99热网址| 色五月激情五月| 精品人妻久久久久| 丁香六月婷婷综合激情欧美| 亚洲精品白浆高清久久久久久 | www.色婷婷。com| 嫩草视频| 丁香五月婷婷啪| 综合网激情五月天| 99热精品网| 性爱视频99| 五月婷婷我| 人人操人人操919999| 五月丁香久久| 很很干天天干| 激情五月天婷婷激情| 日本波多野结衣视频| 黄网免费观看| 丁香久久五月天视频在线观看| 99九九热视频免费| 久久性爱视频| 九九99视频| 91天天操天天干天天射| 内射人妻视频国内| 婷婷激情六月视频| 久久这有这里精品| 婷五月天六| 久久HD| 五月婷婷综合久久| 五月丁香六月婷婷亚洲天堂网站| www,setingting| 激情五月天色网站| 欧美丁香五月天| 婷婷五月激情欧美| 亚洲黄网AV| 伊人狠狠丁香婷婷综合尤物| 天天噪夜夜爽| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99九九视频| 国外亚洲成AV人片在线观看| 狠狠操狠狠插| 丁香五月婷婷色综合基地| 91人碰| 免费观看欧美成人AA片爱我多深| 日本美女五月天| 狠狠人人| 在线观看亚洲视频影院| 国产黄色在线| 99色色网| 婷婷精品性性性性性性性| 天天曰夜夜爽| 99久久高清视频| 丁香色色网| 人人草人人看| 国产婷婷综合在线免费视频| 国产婷婷五月天| 黄页免费一级视频懂色| 99热18| 99re这里只有| 五月丁香六月激情狠狠| 五月婷婷偷拍| seuuu婷婷| 九九热精品视频| 激情六月综合| 九九热再线九九视频免费在线观看| 色婷亚洲五月丁香| 黄色热99| 99黄色性生活| www.99热视频| 狠狠色官网| 2017人人操| 日韩啪啪视品| 九九在线精品| 天天干天天操天天射| 天天操,天天插| 欧美久热| 久操人| 亚洲国产精品VA在线看黑人| 爱射综合| 91婷婷五月天嫩女| 亚洲天堂AAA| 色99网| 久久九九经典| 99原创自拍视频在线观看| 综合久久婷婷| 亚洲第一第二网站| 日日干日日s| 99久久9| 九九超日本| WW婷婷五月天com| 91精品综合久久久久久五月丁香| 丁香婷婷成人网| 337p午夜影院| 伊人婷婷五月天| 色婷婷综合影院| 色欲色欲久久宗合网| 超碰人人在线| 伊人婷婷大香蕉| 逼里香不卡| 26uuu欧美亚洲日韩| 九九av| 色天堂在线| 五月天婷婷色综合| 99国产精品白浆在线观看免费 | 99色精品| www.婷婷久久五月天| 99∨VTV| 日本九九九九| 九九热最新| 婷婷色爱| 欧美色六月婷婷| 大香蕉啪啪啪| 热久国产| 久草五月婷| 操日本99| 嫩草AV久久伊人妇女超级A| 色九月婷婷| 99这里有精品视频| 婷婷五月天另类网站| \\五月天婷婷激情| 99精品国产在热久久| 96精品久久久久久久久| 久久激情婷婷| 中文字幕操比影片| 中文字幕 中文字幕明步| 99热这里只有精品4| 9热精品| 丁香婷婷色五月激情综合| 久久婷婷五月天激情唯美| 国产裸舞福利资源在线视频| 五月色婷| 五月天狠狠色| 久热re在线视频| 亚洲在线网站| 丁香五月-激情综合| 少妇高潮呻吟A片免费看软件| 激情五月天视频| 99九九在线| 色色亚洲| 色播五月婷婷| 日本五月婷| 五月丁香婷婷三级| 五月婷在线色视频| 婷婷五月免费观看| 色色热99| 九九国产视频| 热久久91| 色色色婷婷| 婷婷五月天你懂的| av一区免费看| 青青久久五月天丁香婷婷| 五月日韩中文字幕| 亚洲日本韩国| 成功精品影院| 色色色网站| 高清无码视频网址| 九九亚洲视频| 色五月婷婷综合| 激情人妻综合| 日本色久| 欧洲色色| 欧美成人精品A片免费一区99| 婷婷操婷婷干婷婷射| 欧美va在线| 开心五月深爱婷婷| 婷婷激情五月天小说校园| WWW.色婷婷.COM| www。88热在线视频免费观看| 色婷婷内射| 丁香五月天在线视频| 996er在线观看| WWW,五月天| 五月婷婷在线短视频| 9久热| 亚洲综合激情五月久久| 日韩黄黄| 婷婷伊人綜合中文字幕小说| www.激情| 五月婷婷在线短视频| 人人爽天天莫| 色色色色欧洲| 99精品视频免费在线播放| 久久这里都是精品免费| av 一区三区四区| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99日本黄站| 天堂A∨在线| 91狠狠综合久久| 婷婷综合网| 天天爱天天爽| 婷婷五月天丁香| 乱岳熟女50岁| 色色五月婷婷| 少妇高潮呻吟A片免费看软件| 天堂无码人妻精品AV一区| 欧美日本免费一道免费视频 | 任你草| www夜夜| 激情五月天婷婷| 99久久国产宗和精品1上映| 中文字幕日本最新乱码视频| 三级毛片视频| www.lchjjc.com| 丁香五月婷婷激情蜜桃| WWW、日本色丁香、co m| 欧美激情久| 大香蕉狼人久久| 99九色视频在线观看| 色综合色| 青青操avbb| 日本特黄aaaaa| 五月色婷婷激情| 五月天激情啪啪| 天天插综合网| 五月丁香啪综合| 激情综合五月| www.超碰在线| 亚洲精品又粗又大又爽A片| 97精品欧美91久久久久久久| 九九热视频这里只有精品| 久色激情| 色婷婷五月在线| 日本色色色| 99久久综合网| 国产精产国品一二三在观看| 蜜臀久久99精品久久久久久酒店| 激情五月最新网址| 婷婷色偷拍| www色五月| 超碰三级秋霞| 婷婷性爱无码视频| 99re在线这里只有精品视频首页| 色婷婷狠狠| 九色七七| 亚洲国产精品VA在线看黑人| 国产乱子轮XXX农村| 99色人| 亚洲激情| 色色五月天丁香| 噜噜色五月| 激情五月丁香激情综合网| 99综合激情久久精品久久| 六月丁香激情| 色五月综合激情| 性爱视频久久| 97色精品视频| 久久婷婷亚洲无码一起| 在线看片av| 五月丁香六月日逼| 这里只有精品在线免费视频| 丁香六月婷婷| 大香蕉九九| 99综合| 色五月激情| 色色操| 99热草草| 婷婷综合网性| 亚洲色情久久| 噜噜噜色噜噜| 九九热在线视频观看| 婷婷五月丁香综合| 久久99视频| 国产乱子轮XXX农村| 五月婷婷久久爱| 激情五月,激情综合网| 综合狠狠伊人| 五月天婷婷永久免费视频| 六月婷婷色| 久久五月天婷婷| 精品一二三区久久AAA片| www.久9| 久久久18| 99热大片| 另类激情中文| 色综合天天综合成人网| 日韩在线看AV| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 婷婷成人综合| 国色天香成人网| 婷婷伊人綜合中文| 五月丁香综合啪啪| 色婷丨日丨天丨综合久久| 五月亭亭直播| 九九色热| 久久五月婷天天干| 婷婷五月天AV在| 天天爽天天爽天天爽天天爽天天爽| 色噜噜狠狠狠综合曰曰曰| www.日韩国产| 亚洲精品久久久久AV无码| 热久久婷婷| 亚洲综合在线视频| 亚洲中文乱字字幕线在永久| 久久Xx| 色999亚洲人成色| 丁香五月综合激情久久潮喷| 另类精品视频在线观看| 色播丁香五月婷婷操:屄| 六月婷婷久久| www.久久久.com| 天天综合网站| 青青草五月天| 色婷婷五月影视| 狠狠激情五月天| 婷婷丁香五月亚洲| 99操九九网| 殴美激情综合网| 内射丰满人妻| 日韩av在线免费观看| 中国丰满熟女A片免费观| 99免费在线视频| 激情涩涩网| 激情五月天激情五月天| 久久激情网| 九九九九九九九九九九九九九国产精品 | 亚洲人成网站999综合| 91丨九色丨43老版熟女| 亚洲激情免费视频| 99自拍网| 性爱激情综合网| 啪啪激情网| 五月花婷婷丁香| 色婷网| 99视频综合| 五月天堂婷婷| 思思久久青草热| AV九九| 在线亚洲综合| 青青.com| 色婷婷丁香| 亚洲人妻AV| 在线看av| 婷婷丁香五月天色区| 五月天婷婷伊人| 亚洲三A| 91九色国产在线| 婷婷五月天亚洲丁香| 五月婷婷色五月| 亚洲人成网站999久久久综合| 五月激情五月丁香| 婷婷婷婷婷婷婷婷| 国产精品久久久久久久久久| 欧美在线视频免费播放| 99这里只有精品在线观看| 色丁香久久| 一级视频网址| .操區COm| 丁香五月激情网| 91无码一区人妻A片蜜| 婷婷99狠狠躁天天| 婷婷丁香五月高清| 人人操AV| 中文字幕五月久久婷| 欧美综合激情五月| 99热国产精品| 人人操人| 久久丝丝热| 精品久久人妻| 国产性av| 久/久精品99看9| 亚洲这里只有精品| 精品夜夜澡人妻无码AV| 日韩综合久久| 视频色色色色色色| 欧美操人| 操操国产| 亚城区在线| 久久视频在线视频| 一区二区乱码视频| 国产色五月| 无码人妻少妇色欲AV一区二区 | 天天色视频| 亚洲狠狠色丁香婷婷综合久久| 色,激情五月天| www.五月天| a免费在线| 婷婷5月色| 噜噜噜狠狠色综|