欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

記憶系統(tǒng)基準(zhǔn)測(cè)試:自建記憶圖0.831 vs Memora 0.801,差異全解析

記憶系統(tǒng)基準(zhǔn)測(cè)試:自建記憶圖0.831 vs Memora 0.801,差異全解析 最近我做了一輪記憶系統(tǒng)基準(zhǔn)測(cè)試把自己的記憶圖實(shí)現(xiàn)和 Memora 放在同一組數(shù)據(jù)集上對(duì)比自建方案得分 0.831Memora 得分 0.801。差距不到 0.03這個(gè)結(jié)果不能說(shuō)自研方案全面勝出更不能說(shuō)明 Memora 不行。它真正說(shuō)明的是兩套方案在記憶抽取、存儲(chǔ)結(jié)構(gòu)和召回鏈路上的側(cè)重點(diǎn)不一樣。這篇內(nèi)容就是把這輪測(cè)試從數(shù)據(jù)集設(shè)計(jì)、評(píng)測(cè)方法到實(shí)際復(fù)現(xiàn)步驟完整拆開(kāi)適合正在做長(zhǎng)期記憶、用戶畫像、多輪對(duì)話記憶或 RAG 增強(qiáng)的開(kāi)發(fā)者看。最值得關(guān)注的不是那個(gè) 0.83 對(duì) 0.80 的結(jié)果而是“為什么會(huì)出現(xiàn)這種差異”以及“換一個(gè)數(shù)據(jù)集之后結(jié)果會(huì)不會(huì)翻過(guò)來(lái)”。1. 先搞清楚這次評(píng)測(cè)在測(cè)什么能力1.1 記憶圖不是把文檔塞進(jìn)向量庫(kù)很多人提到 AI 記憶第一反應(yīng)就是 embedding 加向量檢索。向量庫(kù)確實(shí)能解決“哪段文本和當(dāng)前問(wèn)題語(yǔ)義最接近”但它解決不了“A 和 B 是什么關(guān)系”“C 項(xiàng)目用了哪些組件”“過(guò)去五次對(duì)話里用戶的偏好是否發(fā)生過(guò)變化”這類需要跨片段關(guān)聯(lián)的問(wèn)題。記憶圖的思路是先把文本里的實(shí)體、關(guān)系、事件、屬性抽取出來(lái)形成類似“張三 - 就職于 - 某公司”“項(xiàng)目X - 依賴 - 框架Y”的三元組結(jié)構(gòu)再用圖去維護(hù)這些關(guān)系。相比純向量檢索記憶圖有幾項(xiàng)天然優(yōu)勢(shì)關(guān)系型問(wèn)題可以直接沿著邊回答不需要把所有相關(guān)文本都塞進(jìn)上下文。同一實(shí)體的多條事實(shí)可以合并形成長(zhǎng)期畫像。多跳查詢比向量檢索更可控比如先找到“項(xiàng)目X的負(fù)責(zé)人”再找“這個(gè)負(fù)責(zé)人還負(fù)責(zé)過(guò)哪些項(xiàng)目”。但這不意味著圖可以替代向量。實(shí)際工程里更常見(jiàn)的是圖加向量的混合方案向量負(fù)責(zé)候選召回圖負(fù)責(zé)關(guān)系擴(kuò)展和結(jié)構(gòu)化篩選。1.2 Memora 這類方案解決什么問(wèn)題Memora 在帖子標(biāo)題里是作為對(duì)照出現(xiàn)的。我沒(méi)有辦法確認(rèn)它當(dāng)前版本的所有功能只能把它理解為一個(gè)側(cè)重長(zhǎng)期記憶管理的方案通常這類系統(tǒng)會(huì)把歷史內(nèi)容整理成人設(shè)、偏好、事件時(shí)間線或者按會(huì)話摘要來(lái)組織記憶。這類方案的優(yōu)勢(shì)在“開(kāi)箱即用”接入成本低不需要自己設(shè)計(jì)抽取 Schema也不需要維護(hù)一套實(shí)體對(duì)齊邏輯。你只要把內(nèi)容丟進(jìn)去它自己會(huì)生成可檢索的記憶單元。適合快速驗(yàn)證一個(gè)想法也適合那些不想在圖結(jié)構(gòu)上投入太多精力的團(tuán)隊(duì)。但“開(kāi)箱即用”的另一面是“內(nèi)部邏輯不可控”。你很難知道它到底抽取了哪些關(guān)系也很難在丟分時(shí)定位是抽取問(wèn)題、召回問(wèn)題還是生成問(wèn)題。這也是我堅(jiān)持自建記憶圖做對(duì)比的原因我想知道自己可控的部分到底能比通用方案高多少。2. 評(píng)測(cè)方法和數(shù)據(jù)設(shè)計(jì)比分?jǐn)?shù)更重要2.1 評(píng)測(cè)集是怎么構(gòu)造的這一輪測(cè)試用的不是公開(kāi) benchmark因?yàn)槲蚁胍氖恰百N近長(zhǎng)期記憶場(chǎng)景”的數(shù)據(jù)而不是通用問(wèn)答數(shù)據(jù)。我構(gòu)造的數(shù)據(jù)集包含三塊內(nèi)容20 份虛擬用戶檔案覆蓋工作經(jīng)歷、技術(shù)偏好、社交關(guān)系。一批項(xiàng)目會(huì)議記錄里面有明確的負(fù)責(zé)人、時(shí)間節(jié)點(diǎn)、依賴關(guān)系和決策理由。多輪技術(shù)選型討論涉及候選方案、最終結(jié)論和替換原因。這 20 份檔案不是單獨(dú)存在的它們之間互相有引用。比如用戶 A 是用戶 B 的項(xiàng)目負(fù)責(zé)人用戶 B 在會(huì)議里提到過(guò)某個(gè)老系統(tǒng)而這個(gè)老系統(tǒng)又出現(xiàn)在用戶 C 的履歷里。之所以這樣設(shè)計(jì)是為了制造跨文檔、跨會(huì)話的關(guān)系型問(wèn)題不然記憶圖根本沒(méi)有發(fā)揮空間。最終我從這些材料里整理出 80 道記憶問(wèn)題分為四類問(wèn)題類型示例數(shù)量事實(shí)型哪個(gè)項(xiàng)目在 3 月進(jìn)入測(cè)試階段20偏好型用戶 A 更傾向使用哪類數(shù)據(jù)庫(kù)20關(guān)系型用戶 B 和用戶 C 在哪家公司共事過(guò)20多跳型用戶 A 負(fù)責(zé)的項(xiàng)目依賴了誰(shuí)主導(dǎo)開(kāi)發(fā)的工具20事實(shí)型和偏好型相對(duì)容易靠向量檢索摘要通常就能答對(duì)。關(guān)系型和多跳型才是區(qū)分兩套系統(tǒng)的關(guān)鍵。2.2 打分標(biāo)準(zhǔn)怎么定我采用的做法是對(duì)每個(gè)問(wèn)題由同一個(gè)答案生成模型分別讀取兩個(gè)系統(tǒng)召回的記憶塊生成回答然后由一個(gè)裁判模型按 0 到 1 分打分。打分規(guī)則不是只看“語(yǔ)義是否差不多”而是拆成三個(gè)維度是否包含正確答案中的核心實(shí)體。實(shí)體之間的關(guān)系是否表達(dá)正確。是否引入了與問(wèn)題無(wú)關(guān)的錯(cuò)誤信息。每個(gè)維度可以得 0 分或 0.5 分三個(gè)維度相加后換算到 0 到 1。比如“哪個(gè)項(xiàng)目在 3 月進(jìn)入測(cè)試階段”正確答案是“訂單系統(tǒng) 3 月進(jìn)入測(cè)試階段”。如果系統(tǒng)回答了“訂單系統(tǒng)在 3 月進(jìn)入開(kāi)發(fā)階段”實(shí)體對(duì)了但關(guān)系錯(cuò)誤只能拿約 0.33 分。最終得分是 80 道題的平均值。自建記憶圖是 0.831Memora 是 0.801。只看總分會(huì)覺(jué)得差距很小但分項(xiàng)差異其實(shí)更明顯關(guān)系型問(wèn)題上自建方案領(lǐng)先約 0.05事實(shí)型問(wèn)題上 Memora 反而略微領(lǐng)先。2.3 不能只憑一個(gè)總分下結(jié)論0.831 和 0.801 的差距大概在 0.03。如果樣本量不是 80 道題而是 20 道題這個(gè)差距很容易被一兩個(gè)隨機(jī)結(jié)果翻轉(zhuǎn)。所以這次對(duì)比更像一次工程測(cè)試而不是嚴(yán)格的學(xué)術(shù) benchmark。它不能證明誰(shuí)的架構(gòu)更好只能說(shuō)明在這個(gè)數(shù)據(jù)集分布下自建記憶圖的整體召回略好。關(guān)系型問(wèn)題確實(shí)是圖的優(yōu)勢(shì)區(qū)。兩者的絕對(duì)差距不大說(shuō)明通用記憶方案并沒(méi)有被“吊打”??催@類評(píng)測(cè)時(shí)先看數(shù)據(jù)集分布再看分項(xiàng)分?jǐn)?shù)最后才看總分??偡种贿m合判斷“有沒(méi)有明顯短板”。3. 0.831 與 0.801 的差異到底從哪來(lái)3.1 抽取粒度和結(jié)構(gòu)化程度不同自建記憶圖在抽取階段就強(qiáng)制輸出三元組比如{subject: 訂單系統(tǒng), relation: 進(jìn)入階段, object: 測(cè)試} {subject: 用戶B, relation: 曾經(jīng)主導(dǎo), object: 日志組件}這種結(jié)構(gòu)化輸出的好處是關(guān)系型問(wèn)題可以走圖查詢而不是靠語(yǔ)義相似度猜。Memora 這類方案通常會(huì)把記憶整理為自然語(yǔ)言摘要比如“用戶 B 之前主導(dǎo)過(guò)日志組件該組件在訂單系統(tǒng)里被使用”。當(dāng)問(wèn)題明確要求“誰(shuí)主導(dǎo)了日志組件”時(shí)摘要型記憶也能答對(duì)但當(dāng)問(wèn)題變成“用戶 A 負(fù)責(zé)的項(xiàng)目依賴了誰(shuí)主導(dǎo)開(kāi)發(fā)的工具”時(shí)摘要里可能沒(méi)有現(xiàn)成路徑只能靠語(yǔ)言模型自己把多個(gè)摘要串起來(lái)容易丟中間環(huán)節(jié)。分項(xiàng)數(shù)據(jù)也印證了這一點(diǎn)多跳型問(wèn)題上自建記憶圖得分 0.79Memora 是 0.74。差距不算大但穩(wěn)定出現(xiàn)在不同隨機(jī)種子下。3.2 召回鏈路不同我的召回鏈路是先向量、后圖擴(kuò)展。具體來(lái)說(shuō)用向量檢索撈出和問(wèn)題相關(guān)的 5 條三元組。把三元組里的實(shí)體作為種子節(jié)點(diǎn)做一跳鄰居擴(kuò)展。擴(kuò)展后的節(jié)點(diǎn)再次映射回文本記憶塊。最后把原始文本和三元組結(jié)構(gòu)一起送給生成模型。Memora 的召回方式更接近“直接檢索記憶塊”沒(méi)有額外的關(guān)系擴(kuò)展。這也是為什么它在事實(shí)型問(wèn)題上表現(xiàn)不差因?yàn)槭聦?shí)型問(wèn)題通常只需要命中一段話但遇到需要拼接兩段記憶的問(wèn)題時(shí)它會(huì)稍微吃虧。圖擴(kuò)展不是越多越好。我在測(cè)試?yán)镌囘^(guò)二跳擴(kuò)展結(jié)果多跳型分?jǐn)?shù)沒(méi)漲事實(shí)型分?jǐn)?shù)反而掉了因?yàn)槎従訋нM(jìn)來(lái)很多與問(wèn)題無(wú)關(guān)的歷史信息生成模型被噪聲干擾了。3.3 有些差距來(lái)自數(shù)據(jù)偏差和裁判偏差我必須承認(rèn)這組測(cè)試數(shù)據(jù)本身更偏向圖結(jié)構(gòu)。20 份檔案和會(huì)議記錄里人物關(guān)系和項(xiàng)目依賴關(guān)系都寫得很明確實(shí)體名稱也相對(duì)規(guī)范。如果換成大量口語(yǔ)化聊天記錄實(shí)體抽取會(huì)難很多圖方案的優(yōu)勢(shì)會(huì)被削弱。裁判模型也可能存在偏好。如果裁判模型本身就擅長(zhǎng)處理結(jié)構(gòu)化輸出它可能會(huì)給三元組結(jié)果更高的分。為了降低這種偏差我在兩個(gè)系統(tǒng)里都只讓生成模型輸出自然語(yǔ)言答案裁判看不到候選是來(lái)自三元組還是摘要。但模型內(nèi)部的偏好仍然沒(méi)法完全消除。所以更穩(wěn)妥的說(shuō)法是這 0.03 的差距一部分來(lái)自關(guān)系召回的真實(shí)優(yōu)勢(shì)另一部分來(lái)自數(shù)據(jù)分布和評(píng)測(cè)方法帶來(lái)的偏差。4. 自己復(fù)現(xiàn)一版最小記憶圖4.1 環(huán)境準(zhǔn)備這個(gè)方案不需要很高的硬件條件。我用的環(huán)境是Python 3.10 或更高版本。一個(gè)可以用 API 調(diào)用的 LLM負(fù)責(zé)抽取和答案生成。圖存儲(chǔ)用 NetworkX數(shù)據(jù)量不大時(shí)內(nèi)存足夠。向量索引用輕量方案即可比如 Chroma 或基于 TF-IDF 的檢索器。如果只是做實(shí)驗(yàn)不需要上 Neo4j。NetworkX 配合 JSON 持久化足夠跑完 80 道評(píng)測(cè)題。等到圖節(jié)點(diǎn)到幾十萬(wàn)級(jí)別時(shí)再換正式圖數(shù)據(jù)庫(kù)也不遲。4.2 抽取記憶三元組第一步是把原始文檔切成長(zhǎng)度合適的文本塊。我按段落切而不是按固定 token 切這樣可以盡量保證一個(gè)完整事實(shí)不被切斷。然后對(duì)每個(gè)文本塊調(diào)用 LLM抽取三元組。示例 Prompt 大致是這樣請(qǐng)從下面的文本中抽取與長(zhǎng)期記憶相關(guān)的事實(shí)只保留客觀事實(shí)不要推測(cè)。 輸出 JSON 數(shù)組每項(xiàng)包含 subject、relation、object。 如果同一主體有多個(gè)賓語(yǔ)分別輸出多條三元組。 文本{text}對(duì)應(yīng)的 Python 骨架import json def extract_memory(llm, text): prompt ( 請(qǐng)從下面的文本中抽取與長(zhǎng)期記憶相關(guān)的事實(shí)只保留客觀事實(shí)不要推測(cè)。\n 輸出 JSON 數(shù)組每項(xiàng)包含 subject、relation、object。\n 如果同一主體有多個(gè)賓語(yǔ)分別輸出多條三元組。\n 文本\n text ) resp llm.generate(prompt, temperature0) triples json.loads(resp) return [(t[subject], t[relation], t[object]) for t in triples]這里有兩個(gè)容易注意不到的地方。第一溫度必須設(shè)成 0 或接近 0。記憶抽取是確定性問(wèn)題不希望模型每次對(duì)同一段文本輸出不同實(shí)體。第二Prompt 里要限制“不要推測(cè)”。沒(méi)有這個(gè)約束模型會(huì)腦補(bǔ)出材料里不存在的關(guān)系比如把“項(xiàng)目 A 可能使用項(xiàng)目 B”當(dāng)成確定事實(shí)。這類幻覺(jué)會(huì)直接影響后續(xù)召回質(zhì)量。4.3 構(gòu)建圖索引和向量索引拿到三元組后先做一輪實(shí)體名歸一化否則“NVIDIA”“nvidia”“英偉達(dá)”會(huì)被當(dāng)成三個(gè)節(jié)點(diǎn)。import networkx as nx graph nx.MultiDiGraph() def normalize_entity(name): name name.strip().lower() # 這里可以加規(guī)則去掉公司后綴、全角轉(zhuǎn)半角、同義詞映射等 return name for subj, rel, obj in triples: s normalize_entity(subj) o normalize_entity(obj) graph.add_node(s, typeentity) graph.add_node(o, typeentity) graph.add_edge(s, o, relationrel)同時(shí)把每個(gè)三元組成一種可檢索的文本memory_units [] for subj, rel, obj in triples: memory_units.append(f{subj} {rel} {obj})這些文本寫入向量索引。我用的是 Chroma因?yàn)楸镜剡\(yùn)行省事。生產(chǎn)環(huán)境可以換成更重的向量庫(kù)但實(shí)驗(yàn)階段不必過(guò)度設(shè)計(jì)。4.4 用圖擴(kuò)展召回相關(guān)記憶召回階段的核心邏輯是先用向量找種子再用圖做擴(kuò)展。def recall(question, vec_index, graph, top_k5, max_hops1): seed vec_index.query(question, ktop_k) candidates set(seed) if max_hops 1: for node in seed: neighbors graph.neighbors(node) candidates.update(neighbors) # 也可以把入邊節(jié)點(diǎn)加入進(jìn)來(lái)這里簡(jiǎn)化處理 result [] for item in candidates: if item in graph.nodes: for edge in graph.out_edges(item, dataTrue): result.append(edge) return result這一步是記憶圖相對(duì)純向量檢索的核心差異。向量只負(fù)責(zé)“找到相似”圖負(fù)責(zé)“從相似實(shí)體繼續(xù)往外走”。需要注意 hop 數(shù)量的選擇。我實(shí)測(cè)下來(lái)max_hops1 最穩(wěn)。擴(kuò)展成二跳會(huì)有提升但伴隨著噪聲變多生成答案時(shí)經(jīng)常把不是重點(diǎn)的歷史信息也帶進(jìn)去。如果你的問(wèn)題集里多跳問(wèn)題很少建議直接從一跳開(kāi)始。最后把命中的三元組和對(duì)應(yīng)原始文本塊一起拼進(jìn) Prompt交給生成模型基于以下記憶內(nèi)容回答問(wèn)題。請(qǐng)直接給出答案不要解釋推理過(guò)程。 記憶內(nèi)容 {retrieved_memories} 問(wèn)題{question}4.5 評(píng)測(cè)打分評(píng)測(cè)打分階段我用另一個(gè) LLM 實(shí)例做裁判。裁判輸入包括問(wèn)題、標(biāo)準(zhǔn)答案、系統(tǒng)生成答案。裁判不會(huì)看到存儲(chǔ)結(jié)構(gòu)避免格式偏好。def judge(question, ground_truth, answer): prompt f對(duì)比標(biāo)準(zhǔn)答案和模型回答從三個(gè)維度打分。 1. 是否包含核心實(shí)體如果是打0.5否則0。 2. 實(shí)體關(guān)系是否正確如果是打0.5否則0。 3. 是否包含錯(cuò)誤信息如果沒(méi)有打0.5包含則0。 輸出JSON包含維度分和總分。\n問(wèn)題{question}\n標(biāo)準(zhǔn)答案{ground_truth}\n模型回答{answer} result llm.generate(prompt, temperature0) return json.loads(result)這里有一個(gè)公平性問(wèn)題如果裁判和生成模型是同一個(gè)模型裁判可能對(duì)同模型的表達(dá)方式更友好。我在這次測(cè)試?yán)餂](méi)有完全隔離只用了不同 Prompt 和不同會(huì)話。嚴(yán)謹(jǐn)?shù)脑u(píng)測(cè)應(yīng)該使用不同廠商的模型或至少使用不同系列的模型。5. 哪些參數(shù)真的會(huì)影響最終分?jǐn)?shù)5.1 關(guān)鍵參數(shù)清單以下參數(shù)是我在調(diào)這輪評(píng)測(cè)時(shí)實(shí)際關(guān)注過(guò)的參數(shù)推薦初始值影響抽取溫度0溫度高會(huì)引入實(shí)體幻覺(jué)文本切片方式按段落切按 token 切容易切斷實(shí)體關(guān)系向量召回 top_k5太小會(huì)漏掉關(guān)系種子太大會(huì)引入噪聲圖擴(kuò)展 hop10 就是純向量檢索2 開(kāi)始噪聲明顯生成答案溫度0評(píng)測(cè)階段必須可復(fù)現(xiàn)抽取模型和生成模型同梯隊(duì)抽取能力差會(huì)直接拖低后續(xù)所有環(huán)節(jié)評(píng)測(cè)樣本量至少 30 題少于 30 題的差距基本沒(méi)有統(tǒng)計(jì)意義5.2 怎樣判斷結(jié)果穩(wěn)定如果只看一次評(píng)測(cè)0.831 對(duì) 0.801 可能只是偶然。我建議至少跑三到五次每次更換隨機(jī)種子或者打亂問(wèn)題順序。然后看兩點(diǎn)總分均值差是否保持同向。關(guān)系型和多跳型的分項(xiàng)是否穩(wěn)定領(lǐng)先。如果總分有時(shí)贏、有時(shí)輸說(shuō)明兩套系統(tǒng)在目標(biāo)數(shù)據(jù)集上能力接近沒(méi)必要折騰自建方案。如果關(guān)系型穩(wěn)定領(lǐng)先但事實(shí)型落后就要評(píng)估你的實(shí)際場(chǎng)景更需要哪類記憶能力。還要記得做一次“零樣本基線”不接任何記憶系統(tǒng)直接把問(wèn)題丟給生成模型。這能告訴你多少問(wèn)題是靠模型常識(shí)答對(duì)的。如果零樣本基線已經(jīng)到 0.7說(shuō)明你的記憶系統(tǒng)只貢獻(xiàn)了 0.1 的提升這時(shí)得換個(gè)更難的數(shù)據(jù)集。6. 常見(jiàn)踩坑和排查順序6.1 分?jǐn)?shù)偏低先查哪個(gè)環(huán)節(jié)我踩過(guò)最深的坑是自建記憶圖得分反而低于 Memora。最后排查發(fā)現(xiàn)問(wèn)題不在圖模塊而在抽取環(huán)節(jié)。Prompt 里沒(méi)加“不要推測(cè)”模型抽出了大量“可能、也許、傾向于”這類事實(shí)導(dǎo)致問(wèn)答時(shí)答案雖然流暢但實(shí)體和關(guān)系跟標(biāo)準(zhǔn)答案對(duì)不上。如果分?jǐn)?shù)異常按下面的順序排查先看抽取結(jié)果。直接打印 10 條三元組看是否覆蓋了原始文本里的關(guān)鍵實(shí)體。再看召回結(jié)果。對(duì)某一道關(guān)系題把命中的三元組單獨(dú)輸出看是否包含標(biāo)準(zhǔn)答案里的實(shí)體。然后看生成結(jié)果。如果召回里有正確答案但生成答錯(cuò)可能是 Prompt 拼接方式有問(wèn)題或上下文太長(zhǎng)導(dǎo)致模型忽略關(guān)鍵信息。最后判斷裁判是否誤判。抽取 10 道低分題人工復(fù)核確認(rèn)打分是否合理。大多數(shù)記憶系統(tǒng)問(wèn)題都出在抽取和召回而不是生成。6.2 公平對(duì)比需要控制哪些變量做 A/B 對(duì)比時(shí)最容易犯的錯(cuò)誤是只換了記憶庫(kù)其他環(huán)節(jié)全都放任不管。這會(huì)導(dǎo)致分?jǐn)?shù)差異根本說(shuō)不清來(lái)源。建議至少固定以下變量生成答案的模型必須相同。裁判模型必須相同。所有模型溫度設(shè)成 0。兩套系統(tǒng)面對(duì)的是同一版原始文本。問(wèn)題順序最好打亂避免“先問(wèn)了 A再問(wèn) B”時(shí)模型上下文互相影響。另外要防止數(shù)據(jù)泄漏。評(píng)測(cè)問(wèn)題不能提前進(jìn)入記憶庫(kù)否則就變成了“開(kāi)卷考試”。我在構(gòu)造評(píng)測(cè)集時(shí)會(huì)把 80 道題的問(wèn)題文本單獨(dú)隔離確保記憶圖只看到原始檔案和會(huì)議記錄不看到問(wèn)題和答案。7. 真正落地時(shí)比分?jǐn)?shù)更重要的幾件事7.1 增量更新比一次性索引更關(guān)鍵評(píng)測(cè)環(huán)境里記憶是靜態(tài)的文檔一次性寫入然后開(kāi)始提問(wèn)。生產(chǎn)環(huán)境不一樣用戶每說(shuō)一句話每來(lái)一份文檔都要更新記憶。這時(shí)圖方案的優(yōu)勢(shì)會(huì)變成負(fù)擔(dān)同一個(gè)實(shí)體的新事實(shí)可能和舊事實(shí)沖突比如用戶之前說(shuō)“部署在 AWS”后來(lái)改成“遷移到自建機(jī)房”。如果不做沖突處理圖里會(huì)同時(shí)存在兩條矛盾邊召回時(shí)模型既看到舊信息又看到新信息答案就會(huì)搖擺。我建議給每條邊加上時(shí)間戳和來(lái)源 ID查詢時(shí)優(yōu)先取最新時(shí)間戳。這個(gè)處理在實(shí)驗(yàn)里不會(huì)影響 0.831 和 0.801 的差距但直接影響上線后的體驗(yàn)。7.2 隱私和刪除能力決定了能不能上線記憶系統(tǒng)存的是用戶歷史這意味著必須有刪除能力。向量庫(kù)里刪除一條記錄相對(duì)簡(jiǎn)單圖結(jié)構(gòu)里刪除一個(gè)實(shí)體要同時(shí)刪除它關(guān)聯(lián)的所有邊。更麻煩的是一條記憶可能來(lái)自多條來(lái)源比如“用戶 B 主導(dǎo)日志組件”既出現(xiàn)在會(huì)議紀(jì)里也出現(xiàn)在用戶 B 的簡(jiǎn)歷里。刪除時(shí)如果只刪一個(gè)來(lái)源另一個(gè)來(lái)源又會(huì)讓這條記憶復(fù)活。所以在建圖時(shí)就要保留來(lái)源列表而不是只存三元組。每條邊維護(hù)一個(gè) source_ids 列表刪除請(qǐng)求到來(lái)時(shí)把所有關(guān)聯(lián)來(lái)源都清掉再判斷是否刪除節(jié)點(diǎn)。這個(gè)能力如果后期補(bǔ)會(huì)很痛苦。7.3 不是所有場(chǎng)景都適合記憶圖這次測(cè)試?yán)镒越ㄓ洃泩D略微領(lǐng)先不代表它適合所有項(xiàng)目。如果你的場(chǎng)景只是“讓 AI 記住用戶喜歡喝什么咖啡”一個(gè) JSON 文件就夠了不需要圖。如果對(duì)話歷史短每次問(wèn)答只需要最近幾輪也不需要用記憶圖直接把上下文拼進(jìn) Prompt 反而更簡(jiǎn)單。記憶圖最適用的場(chǎng)景是大量歷史信息、跨文檔關(guān)系、關(guān)系型提問(wèn)頻繁、需要定期更新和沖突合并。不符合這些條件時(shí)Memora 這類通用方案更省事。最后留一句我這輪測(cè)試的總結(jié)0.831 對(duì) 0.801 的結(jié)果說(shuō)明自建方案在關(guān)系記憶上有一定優(yōu)勢(shì)但這優(yōu)勢(shì)建立在可控的抽取、規(guī)范的實(shí)體歸一化和合理的圖擴(kuò)展之上。真要在項(xiàng)目里落地最該盯住的不是誰(shuí)比誰(shuí)高 0.03而是歷史更新、沖突合并和刪除鏈路有沒(méi)有做好。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97人人搞| 人妻激情视频| 操操天堂| 国产44页| 色婷婷视频| 亚洲九九九九| 97热九九| 婷婷综合网| 精品久久9| 日本成人噜噜噜| 色色婷婷丁香五月天| 天天肏天天爽夜夜爽| 成人在线视频一区| 91丨九色丨高潮丰满日本| 九九九九九九热| 婷婷射婷婷舔| 久久精品99久久久久久久久| 午夜色婷婷| 人妻中文字幕精品| 九九热在线观看视频| xx色综合| 激情黄色小说色五月| 男人天堂亚洲综合| 丁香狠狠操| 91人人网| 99性视频| 久久五月天婷婷视频 | 色五月AV| 欧美色色色色色色色| 色色五月婷婷狠狠| 热99在线精品| 久久av电影| 综合九九久久| www.99视频| 99热99在线| 丁香五月婷婷天堂大香蕉| 婷婷五亚洲| 91视频久久久| 國語久久婷| 欧美超级视频97| 亚洲第一综合| 色噜噜,噜噜色| 99久久天堂婷婷| www,久久久| caobi四区| 97国产精品女人碰碰| 色婷婷综合网| 久噜久噜| 激情欧美婷婷| 婷香狠狠爱五月| 色婷婷AV久久久久久久| 91人妻PORNY九色大屁股| 丁香五月五月婷婷| 能直接看的AV网站| 久热黄色| 在线不卡视频| 五月天社区婷婷丁香社区| 欧洲婷婷五月天| 伊人天堂婷婷| 丁香婷婷久久| 午夜婷婷久久 | 久99视频在线观看| 五月丁香亚洲婷婷| 六月五月丁香五月欧美| 天天摸,天天爽| 9久久精品| 丁香五月激情图片| 婷婷激情五月综合| 另类 在线| 夜夜嗨一区二区三区直播内容| 色婷婷久久综合中文久久一本| 天天人人综合| 五月丁香激情婷婷| 亚洲AV电影美洲AV电影| 99热久久这里只有精品| 天天艹夜夜艹| 亚洲六月色婷婷| 亚洲九N| 丁香五月在线自慰| 99这里| 老司机午夜福利视频金瓶梅| 久热99热| 久久婷婷电影| 九九9久九9国产视频| 久久婷婷网| www.狠狠操.con| 久久久久久久久久久97| 婷婷丁香大香蕉| 日日操天天操| 久99久视频| 成人电影在线免费试看| 色综合久久88色综合天天| 99热这里只有精品8| 夜丁香五月婷婷| 色五月激情视频在线综合| 婷婷五月欧美综合| 精品久久久人妻| 激情影院免费视频婷婷五月天| 91丨九色丨丰满人妖| 操逼视频网址| 五月激情丁香啪啪| 91无码色色| WWW久久久| 这里只有精彩亚洲视频推荐| 色高清无码视频| 成人看片网站| 色五月丁香五月| 激情久久月| 久久精彩视频| 午夜一区| 亚洲噜色| 五月丁香花激情综合网| 久久久久思思热| 99色丁香婷婷综合网| 噜综合| 婷婷综合视频| 色三级色三级| 色五月五月婷婷| 99久久終合| 亚洲 在线 另类| 天天综合网站| 色色色综合网| 大香蕉啪啪啪| 色婷婷99| www.操.com| 少妇2做爰HD韩国电影| 久久草婷婷丁香网站| 无码四色色色| 人妻系列久久久久久久久久久| 色吧综合网| 丁香五月综合激情啪啪| 色丁香五月天| 超碰99在线| 亚洲AV成人精品日韩在线播放| 五月丁香好婷婷A片网| 综合亚洲AV| 日本三级日本黄色| 91丨九色丨老熟女激情| 91九九九九九九| 免费视频WWW在线观看网站| 五月婷六月| 996er热| www.婷婷五月天.com| 成人必爱视| 五月天婷婷黄色视频| 亚洲婷婷91丁香| 99久精品视频| 在线网黄| 九九激情综合| 97干在线| 日日干日日s| 激情深爱婷婷网| www.av视频xx999.com| 色色99| 少妇丁香婷婷 | 包操45分钟网站| 9l视频自拍九色9l视频自拍九色9l社区| 操97免费超级视频| caop在线视频| 4399伦理午夜| 人妻熟妇国产精品| 久99久视频精选| 九七色色六月丁香| 久热99| 五月丁香在线综合| 婷婷色中文| 超碰2021| 香蕉99网| 中文字幕综合网| 九九热99视频| 六月婷婷狠狠色在线观看| 婷婷伊人无码| 五月婷婷啪啪网| 欧美五月丁香| 婷婷五月天久久久| 中文av网| 噼里啪啦完整版中文在线观看| 天天插天天射| 极品人妻VIDEOSSS人妻| 超黄亚洲瑟瑟网站| 欧美噜噜免费观看| 国产性色蜜乳| 99热在线看片| 久草五月天| 激情五月丁香五月| 97色吧| 色插人人| aa久久| 5月婷婷综合| 五月天丁香啪啪综合| Se.婷婷五月天| 97色五月天| 五月婷婷六月婷| 人妻久久久久久久 | 狼友视频在线观看18| 激情五月六月婷婷| 九月婷婷人人操人人舔人人爱| 丁香五月 激情文学| 狠狠干综合网| 综合99在线| 99热99热| 丁香五月网址| 三级毛片视频| 99碰视频| 69婷婷丁香午夜| 五月丁香六月婷婷亚洲视频| 久99热| 婷婷五月在线视频| 97操碰在线视频| 婷婷丁香人妻天久久| 天天激情夜夜干| 六月久久狠狠| 97五月久久丁香婷婷| site:jszngf.com| 激情性爱五月| 五月婷婷偷拍| 欧美噜噜免费观看 | 日韩在线观看网址| 丁香六月婷婷综合啪啪| 亚洲 无码 中文字幕 中出 | 天天成人丁香美女AV| 婷婷五月天视频| 色私五月婷婷| 丁香五月天激情婷婷丁香六月| 国产精品色一哟哟| 深爱激情丁香五月| 狠狠干综合| 曰韩五月丁香色婷婷无码| 极品九九九九九九| 色婷婷五月网| 99这里| 国内精品免费一区二区2009| 色色五月天丁香| 激情丁香五月激情婷婷| 97干在线| 亚洲黄网在线| 国产日批视频免费播放| 天天干天天插| 丁香五月婷婷图片综合| aⅤ79成人片| 热99只有里视频| 天天插综合| 国av网| 天天操无码| 深爱五月天 开心网| 狠狠干综合| 丰满少妇猛烈A片免费看观看 | 色五月丁香五月| 色婷婷久久| 婷婷九月在线| 五月天婷婷久久综合| 五月婷人妻| 免费AAAAA网| 美腿丝袜AV天堂网| 91碰碰碰| AV激情五月| 久久五月婷综合网| www.com五月天| 综合久久婷婷99| 五月丁香激情欧洲啪啪| 五月丁香亚洲综合网| 9 9热这里有精品| 99热国产这里只有精品| 热久久这里只有三级视频| 国内久久久精品99| 婷婷五月天综合中文| 五月婷婷二月丁香| h亚洲| 色婷婷久久| 丁香六月天| 欧美成人AAA片一区国产精品| 欧美日韩123| 婷婷六月色丁香视频在线观看| 亚洲欧美999| 色九月婷婷| 九九99免费视频| 99在线精品视频| 久久无码成人| 五月婷婷黄色| 久久精品视频在这里有| 亚洲久久天堂| 五月婷婷成人网首页| 久久99精品久久久久久噜噜| 神马欧美精| 久久66成人网站| 99无码视频| 99久超碰| h亚洲| 亚洲免费av观看| 日韩AV色色色| 天天射天天插天天干| 这里只有精品亚洲| 久草天堂| 综合色色网| 夜夜撸夜夜骑| 欧美大片免费播放器| 色九月| 久久怕怕视频| 欧美大肥婆大肥BBBBB| 婷婷性爱| 99热精品在这里| 亚州综合色| 五月激情五月婷婷五月天在线| 99热这里只有精品99| 日韩99视频| 五月婷婷丁香网| WW婷婷五月天com| 免费99情趣网视频| 激情丁香五月婷婷| 激情五月,婷婷五月,丁香五月| 日韩无码色色| 欧美性生交XXXXX无码小说| 天天爽人人综合免费7799| 在线视频99| 深夜婷婷 丁香| 亚洲亚洲激情| 色色五月婷婷| 成人va在线观看视频| 三级三久久线久久99久目本WW| 成人一级片| 日韩淑女人妻luan伦激情精品一区二| 欧美人人超级碰| 激情五月丁香五月| 婷婷久久精品| 97色啪| 日本一级特黄大片AAAAA级| 国产精品VA在线| 99超碰在线免费| 天天干天天干天天干天天干天| 91啦丨九色丨刺激中文| 伊人激情影院| 大香蕉五月婷婷| 欧美日韩成人在线| 91九色在线视频| 99热这是里只有精品| 99久re热视频精品98| 五月丁香综合啪啪啪啪啪| 日本99视频| 99热最新网址| 久久女婷| 色婷婷六月精品| 五月丁香六月| 成人av免费观看| 可以看的av| 狠狠干2007| 91肏肏肏| 天天插天天爱| 五月天婷婷爱| 超碰人人色| 亚洲五月六丁香激情| 色色无码| 亚洲精品乱码久久久久久综合| 成人做爰A片免费看网站找不到了| 五月丁香久久综合| 国产精产国品一二三在观看| 开心五月色婷| 91精产品自偷自偷综合| 九九热精品视频| 精品九九视频| 色色五月综合| 日韩成人电影AV| 色婷婷成人| 青青艹b| 99视频在线观看网址| 五月 激情视频| 97在线综合| 91chinese在线| 丁香婷婷啪啪啪| 成人精品网站在线观看| 色色色999| 婷婷久久精品| www.久久99| 狠婷婷五月| 色婷婷先锋| 五月天婷婷在线视频| 天天干天天操天天上| 色婷婷在线影院| 第四色大香蕉| 99人人干人人| 九九综合| 五月丁香亚洲综合| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 伊人九热| 婷婷久久五月天| 午夜无码精品色综合久久| 日本人妻操| 九九热av| 五月激情综合深爱| 五月香婷婷| 国产欧美日韩综合精品一区二区| 99激情视频| 人人爽人人射-美女久久久久久久久久-成人AV| 丁香婷婷综合影院| 91九色国产| 久色中文| 综合激情四射一theav| 丁香 久久| 色婷婷香蕉| 久久视频这里99| 久久天堂婷婷五月| 五月婷在线| 五月天综合缴情网网站0| 91天堂网综合| 五月婷婷色五月| 精品无码av丁香五月激情| www.五月天| 婷婷五月天基地| 开心 五月 综合| 婷婷五月丁香色色| 中美日韩成人在线| 蜜臀嫩草| 欧美成人无码高清一区二区三区| 免费观看2018www黄色操逼网站| 大香蕉婷婷| 97人人干| 亚州操操| 久草a片| 97色色色视屏| 99操不停| 久久婷婷五月综合| 99看片| 伊人网啪啪| 亚州色色色| 国产又爽又猛又粗的视频A片 | 99热在线精品观看| 亚洲综合1024| www狠狠| 激情五月深爱婷婷| 色婷婷激情小说网| 99噜噜噜在线播放| 这里只有精品视频在线| 蜜乳国产网站| 色婷婷综合五月| 六月丁香六月婷婷欧美| 激情五月小说婷婷| 五月情涩综合婷婷| 日本色婷婷综合| www.久久婷婷| 欧美久热| 亚洲这里只有精品| 激情六月天婷婷| 国产伊人五月天| 五月天激情网址| 国产性av| 性一交一乱一交A片久久四色| 综合久久六月| 就爱射中文字幕资源网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 日韩无码人妻一区二区三区综合| 九九性爱网| 内射干少妇亚洲69XXX| 色色哒五月婷婷六月丁香| 色婷婷www| 欧亚中文A V| 亚洲亚洲人成综合网络| 五月色综合| 色综合色色色| 天天操夜夜爱| 逼逼AV| 丁香六月婷婷综情欧美| 五月天婷婷基地综合网| 中文在线视频久9| 鲁鲁色五月| 亚洲热热视频| 激情小说五月天| 夜夜操夜夜操| 噜噜噜精品欧美成人在线观看| 伊人五月婷婷| www日本熟妇99在线视频| 色99网站| 色色色色色色色色网站| 亚洲综合成人网| 亚洲欧美婷婷五月色综合| 婷婷五月天美女视频| 亚洲av免费在线| 五月婷婷深深爱| 99热综合色图| 亚洲成人另类| 婷婷色色综合| 疯狂做受XXXX高潮A片| 激情五月综合网| 玖玖婷婷五月| 五月丁香婷婷综合久久| 狠狠色综合网| 色婷婷久久综合| 丁香五月婷婷偷拍| 玖玖爱综合网| 五月天六月婷婷| 五月婷婷影| 可以观看的AV| 九九热再线九九视频免费在线观看| 九月av| 久久在线大香蕉| 丁香五月www| 99热久久日本| 1024久婷| 天堂美国久久| 久久99大| 大香蕉久久久久久久久| 五月激情久久| 丁香五月天堂网AV| 婷婷五月综合在线| 超碰免费人妻| www.99久| 图片区 小说区 区 亚洲五月| 欧美久久婷婷| 九九精品热| 婷婷五月在线观看| 免费看欧美成人A片无码| 丁香五月激情综合| 丁香婷婷天堂| 色吊操色妞| 另类亚洲电影| 欧美超级视频97| 久热黄色| 狠狠爱综合网| 丁香色五月婷婷17C| 成人五月天在线观看| 狠狠夜夜五月丁香| 五月婷婷花| 激情综合4月| 婷婷五月花免费视频在线| www.五月激情.com| 人人操A| 六月婷婷狠狠做| av操一操| 国产成人综合在线| 激情五月天色播| 99re久久| 欧美性猛交 XXXX 乱大交| 天堂久热| 六月婷色| 色五月涩涩婷婷蜜桃| 丁香五月婷婷姐| 国模淫穴色图| 国产激情在线| 激情丁香婷婷| 99re热视频这里只精品| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 99热精品在线播放| 九九视屏| 日本在线视频播放91| 第四色激情网| 色99在线视频| 九月丁香婷婷基地| 五月丁香激情综合啪啪| 婷婷在线精品| www.日韩艹| 六月色婷婷欧美| 开心激情网在线| 女高怪谈在线观看| 九月丁香婷婷| av婷婷丁香| 男同91| 伦乱人妻| 久青青久| 色五婷婷开心缴| 婷婷丁香六月| CHINESE熟女老女人HD视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 991精品在线视频| 99超级碰免费视频| 97五月天婷婷| 五月天成人综合| 婷婷色丁香五月| 狠狠操狠狠插| 九九成人电影婷婷| 一级二级色大片| 五月婷婷开心深| 五月天精品综合| 超碰二区| 丁香花综合永久入口| 中文字幕无码人妻少妇免费视频| 操操操91| 天天色爽| 精品色色| 操操操B| 色色欧美色色| 丁香婷婷六月天| 夜夜操少妇| 婷婷无码五月天| 色情成人五月天| 色婷婷情片| 五月丁香久久久日婷婷久久婷婷日| 五月天综合视频网| 五月丁香免费视频| 日本综合99| 伊人久久婷婷| 天天色天天爽| 五月婷婷啪啪网| 97碰碰叉| 九月丁香八月婷婷加勒比| 大香蕉伊人丁香五月| 欧美槡BBBB槡BBB少妇| 日韩久操婷婷| 婷婷五月天激情综合婷婷五月天激情综合| 国色天香伊人狠狠色| 婷婷九月色| 777影视理论片大全在线观看| 123草逼网| 99日韩| 久热这里只有精品99re | 五月花激情网| 开心五月综合激情网| 婷婷五亚洲| 99热这里是精品| 国产性爱在线| 久久这里只有精彩| 欧美久热| 久久精品视频在这里有| 国产毛片精品一区二区色欲黄A片 欧美交换配乱吟粗大25P | 五月激情婷婷播播网| 天天搞天天爽| 天天色中文字幕女优AV| 大功率国产在线| 思思热在线观看| 色五月婷婷在线观看第一页舔| 亚洲小视频免费看| 激情五月天综合网| 婷婷五月丁香第四色超碰在线| 97干婷婷| 國語久久婷| 女同激情久久av久久| 人妻性爱av网站| 天天日天天爽| 26uuu在线观看| 色狠狠999综合网| 一区二区无码视频| 99热这里只有精品3| 少妇大叫太大太粗太爽了A片| www999日韩精品| 激情五月天免费视频| 天天爽天天| 狠狠色狠狠色综合日日91| 伊人五月成人| 婷婷久久五月| 91婷婷丁香五月| 狠狠干五月丁香| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 9l久久久视频| 97操碰| 人人综合久| 婷婷五月天视频| 成人一区在线观看| 丁香六月AV| 亚洲热视频在线| 五月天婷婷影院| 日韩在线婷婷五月天综合| 伊人久久丁香狠狠婷婷综合香蕉| 热99视频| 666555。COm毛片| 色五月婷婷大| 六月成人网| 亚洲五月天综合| 亚洲午夜av| 亚洲无码成人网| 六月激情网| 伊人五月天男人的天堂在线| 超碰在线成人| 色婷五月婷婷| 99爱精品| 91啪级电影| 尤物一区二区| 色婷亚洲| bukadeavzaixian| 丁香五月婷婷香| 五月婷婷www| se影音资源在线观看| 激情五月天。| 青青草原福利在线| 九九精品碰| 色噜噜狠噜噜视频| 91丨九色丨老农村| 操人久久| 97人人干| 人妻丰满精品一区二区A片| 五月丁香好婷婷姑娘综合网| 日本操B视频| 婷婷丁香五月,狠狠综合| 色婷婷亚洲综合网站| 婷婷五月天激情免费在线观看| 婷婷久久图片| 婷婷午夜精品久久久| 天堂网色色| 棕合影院色色| 色色综合无码| 国产真实乱了老女人视频| 99re这里只有精品首页| 99视频综合网| 2017人人操| 久久九九综合| 99热官网| 五月婷婷伊人久久| 激情婷婷五月天丁香| 久色精品| 色播五月丁香婷婷| 色爱爱综合网| 美女激情综合| 久久永久网址| 操91| 深爱激情网五月天| 久久综合色情网站| 可以看的AV| 99re思思热在线视频| 欧美性爱五月天| 天天操夜夜肏| 97人人操com| 超碰大香蕉网| 五月婷庭丁香在线| 亚洲激情网| 丁香五月婷婷动漫| 五月丁香亭亭激情操逼网| 思思热久久久在线| 91网站黄| 五月婷婷深深爱| 国产热精品| ...婷婷五月综合不卡,国产在线手机| 另类天堂| A A色色| 丁香五月婷婷欧美激情-中文天堂最新版在线观看 | 99∨VTV| 狠狠狠夜夜夜| 综合色播| 五月婷婷 婷婷五月 一区二区 久久久| 五月天激情图片| 婷婷五月激情的图片| 97操碰人免费| 亚洲精品电影| 九九热这里只有国产精品| 欧美在线视频免费播放| av国产精品| 色婷婷丁香五月综合| 五月天激情久久| 日本高清久久| www,av好吊操| 丁香六月开心| 婷婷丁香五月基地| 99re8在这里只有精品| 色激情综合狠狠婷婷| 激情丁香五月婷婷啪啪| 九艹在线| 天天综合网~91| 国产色色网站网址| 网站免费一站二站| 亚洲成人无码片| 中文AV在线播放| 激情四射五月天偷偷看婷婷| 色五月婷婷丁香五月| 亚洲欧洲中文日韩久久AV乱码| 色香欲综合| 丁香五月天色婷婷| 九九热在线视频观看| 538在线精品| 丁香六月婷婷姐网| 亚洲国产成人裸舞| 狠狠草综合网| 99操视频| 成人在线二区| 色五月激情五月| 91色逼| 色综合香蕉视频| 热99.com婷婷| 性一交一乱一交A片久久四色| 超碰99热精品| 99热99| 婷婷综合精品| 九九精品婷| 狠狠干.com| 六月婷婷激情图片| 97激情五月天| 婷婷五月天777| 第五色婷婷| 日韩超碰在线| 99九九久久| 夜夜嗨一区二区三区直播内容| 另类图片五月天激情| 狠狠色丁香综合| 亚洲五月天综合色| 99热日本| 婷婷丁香花五月天| 五月天伊人网| 任你草| 婷婷天堂综合网| 蜜臀av在线成人电影| 五月丁香花开综合网| 在线观看中文字幕亚洲| 91碰碰| 97caop| 97AV人人插人人操| 亚洲精品乱码久久久久久综合| 92久操视频| 五月激情另类| 九九久久精品| 91丨九色丨丰满人妖| 日本操逼九九九九58日本操逼| 九九九九精品精| 色五月丁香婷婷| 久久精品99久久久久久| 色综色五月天婷婷| 婷婷五月天激情在线观看| 五月丁香婷婷色| 国产成人在线不卡AV| 91VIP在线观看| 琪琪色网在线| 婷婷色九月| 九九成人视频| 色欲一二三| 台湾佬天天日丁香婷婷五月天| 99久热这里有精品| 一起肏在线视频| 91九色PORNY大屁股| 五月网站| 五月色综合| 99热8| 99ri精品视频在线观看| 激情五月色播五月| 伊人久久丁香婷婷六月五月综合| 99爱视频精品在线观看| 网色99| 91无码视频| 4438激情网| 天天操天天国产三级片处女学生妹| 婷婷丁香九色| 日韩ww| 美女久久婷婷| 思思久久99| 99亚州综合精品成人网| 少妇高潮一区二区三区99欧美| 91人人爽久久涩噜噜噜| 日本五月天一页| 可以免费看AV网站| 狠狠干激情五月| 很很操很很操| 91蜜桃婷婷狠狠久久综合9色| 五月天社区婷婷丁香社区| 91一道本| 人操人| 伊人喵咪a V| 九九精品9| 免费在线观看av网站| 变态 另类 在线| 性爱综合网| 色五月婷婷五月天| 久热婷婷| 大地9中文在线观看免费高清| 五月丁香六月激情| 五月丁香成人网| 国产又爽又猛又粗的视频A片| 国产激情久久久| 丁香婷婷综合激情五月色| 欧美顶级少妇做爰HD| 欧美69久成人做爰视频| 亚洲99精品九九在线| 超碰免费人人肏| 99碰碰。| 色域五月丁香| 色香蕉婷婷| 日韩av高清| 久久久色情| 婷婷五月天你懂的| www.91在线观看| 吊色AV男人的天堂| 成人av中文字幕| 丁香五月婷婷亚洲人| 婷婷欧美色| 干婷婷五月天| 欧美激情-区二区三区| 天天色宗合| 五月天婷婷丁香视频| 久久精品亚洲热| 四色五月婷婷| 97热精品| 深爱五月激情五月| 丁香六月天| 久久激情五月| 欧美婷婷丁香社区在线播放| 看逼中文字幕| 日日噜噜久久婷婷五月天| 色五月之第四色| 26uuu青青| 亚洲综合丁香婷婷六月天| 天天舔天天| 欧美激情凹凸丁香网| 色婷亚洲| 丁香五月色网| 日本色色色| 亚洲人妻av伦理| 人人摸人人操人人爱| av免费在线看不卡无毒| 丁香狠狠干| 中文字幕在线人妻| 色婷婷影视| 九九九激情网| 日本片日本片祼观看网站在线看中文版网页在线看| 婷婷激情五月| 屁股翘好撅高迎合跪趴| 婷婷香蕉视频| 丁香五月综合婷婷| 好好日激情五月天| 丁香婷婷久久综合在线| 超碰在线观看9| 色99网站| 96自拍视频九色在线观看| 九月av在线| 丁香五月婷婷久久久| 玖玖九九9999在线观看视频精品| 热久91| 殴美日韩成人| 国产精品人妻在线网址| 色噜噜狠狠色综合伊人| 色五月天成人在线| 天天天摸夜夜夜玩| 五月天婷婷在线观看| 影音先锋色婷婷| 少妇人妻偷人精品无码视频新浪 | 婷婷狠狠色| 操碰91| 成人美女网| 波多野结衣AV无码Porn| 天天插天天草人人玩| 精品人妻一区二区三区四区不卡在| 激情五月综合网| 啪啪日本欧美| VA色婷婷| 玖玖精品资源| www久久99| 丁香五月狠狠在线观看| 亚洲成人在线免费| 成人丁香婷婷五月天| 久久久久婷婷| 日本不卡一区二区三区| 国产日韩av片| 欧美黑人巨大猛烈cuckold| 五月狠狠| 日本九九九九| 五月天婷婷激情在线色图| 天天拍天天做视频| 五月婷婷九| 青柠影视免费高清电视剧| 久久婷婷丁香| 色婷婷五月天在线| 亭亭五月色男人| 免费观看日韩成人av| 五月伊人综合| 婷婷五月天激情网| av色婷婷| 九九爱精品网站| 婷婷激情伍月网| 夜夜爽天天干| 日本欧美成人片AAAA| 日韩99视频| 久久精品永久免费| 久久综合九九| 五月婷狠狠| 综合另类视频| 5月婷婷激情网| 开心五月天激情网| 全高清无码视頻| 丁香五月乱中文字幕| 五月色丁香| 久久玖玖综合| 亚洲综合色五月| 亚洲激情综合| 中文字幕丰满人妻无码专区| 四虎婷婷五月天| 日本色色色| 丁香五月婷婷亚洲另类| 亚洲婷婷婷| 日本婷婷| 欧美天堂久久| 丁香婷婷色六月| 在线只有精品| 婷婷五月天激情小说| 激情五月,激情综合网| 婷婷五月天桃花网| 996er在线观看| 91色噜噜狠狠狠狠色综合| 91熟妇大香蕉| 婷婷色日本| 久久久人妻| 99热这里都是精品| 人妻精品一区二区三区| 9九九久久精品无码专区| 婷婷精品| 五月婷精品| www99xxxx五月丁| 婷婷九月激情| 色五月婷婷五月| 五月丁香91| 开心五月婷婷| 婷婷五月天成人视频| 狠狠999| AA片在线观看视频在线播放 | 99精品丰满| 欧美激情 日韩无码 婷婷 五月天| 99色中文| 色偷偷狠狠| 色色色色色色网站| 色五月激情问网站| 亚洲视频色色| 色爱综合网| 日韩丁香涩| 99久久九九| 六月综合在线| 激情综合五月天| 97色视频网| 中文字幕日韩无码制服诱或| 日本视频99| 日本在线观看91| 国产在线黄色| 综合网五月天123| 操日视频| 三人荫蒂添的好舒服A片| 久久性都花花世界成人免费视频| 五月丁香啪。| 性 色 婷婷| 欧美性丁香色色五月天干干| 97精品人人A片免费看| 激情小说婷婷小说| 婷婷激情五月色综合| 人人操婷婷| 日本在线噜噜| 蜜桃婷婷丁香综合久久开心亚洲| 国产日批视频免费播放| 中文AV网站| www.激情.com.| 丁香五月激情欧美| 激情婷婷丁香色情五月天| 天天狠狠夜夜狠狠2023| 色噜久| 日韩激情人伦人| 五月丁香久久久久| 综合久久丁丁香婷| 六月香五月婷| 五月婷婷,六月婷婷| 99这里有精品视频3| 久久免片| 六月丁香啪啪| 丁香五月天色婷婷| 激情五月天噢美| 亚洲操操| 久久五月天综合视频网站| 国产精品涩涩涩视频网站| 激情文学天天| 99精品偷自拍| 丁香六月成人网| 五月婷婷很很色| 婷婷综合激情五月综合| 操大屄五月天视频| 欧美色色色色色色色| 午夜成人av在线| 激情五月色播五月| 啪啪操超碰| 99综合久久| 六月色日韩| 疯狂做受XXXX高潮A片| 国产精品久久久久久五月天加勒比| www.ywav| 精品乱码久久久久| 26uuu成人网| 五月丁香性| 色婷婷超碰| 97天堂| ri电影在线| 先锋影音av色五月天资源站| 久久久99精品| 97人人干。| 婷婷午夜精品久久久| 97黑人精品区| 久久综合激情| 狠狠香婷婷五月| 大香伊人久色| 欧美综合丁香网| 日本天堂网站99| 色欲久久久久久综合网综合网| 日韩 中文 欧美| 五月婷婷AV| 婷婷六月色丁香视频在线观看| 一区二区成人电影免费播放| 婷婷色五月色| 99狠狠色| 激情久久综合| 人妻系列久久久久久久久久久 | 操逼六区| 五月丁香亚洲综合| 五月婷婷激情四季| 国产精品久久久爽爽爽麻豆色哟哟| 婷婷激情区| 九九九九九九九九九九九九九国产精品| 婷婷五月骚厕所| 天天日日| 久碰婷婷视频| ri电影在线| 99视频日韩| 98永久精品| Va另类视频| 99er免费在线观看| 中字幕视频在线永久在线观看免费| 久久婷婷五月天激情唯美| 激情五月婷婷| 丁香五月六月激情久久| 亚洲AV影片在线观看| 一级操逼内射在线视频| 老师把我爽高潮了免费A片| 99在线免费视频| 丁香啪啪| 婷婷丁香91综合| 免费视频无码| 665566 无码| 亚洲色情网站| 婷婷永久在线| 超碰婷婷色| 丁香六月婷婷综合激情欧美| 人妻爽爽爽久久久久久久久| 日本丰满久久| 五月丁六月香| 香蕉综合在线| 综合久久综合五月天婷婷| 综合激情婷婷| 色婷婷五月视频| 中文字幕AV在线播放| 无码激情AAAAA片-区区| 超碰99久久| 九九热经典视频在线观看| 久久9精品| 成人 AV播放| 久热久操久热久草国产91| 综合一本道| 操操操操操操婷婷五月天| 婷婷情色开心五月天99| 丁香五月婷婷综合精品素人| 亚洲五月天天| 射琪琪| 中文字幕免费高清电视剧| 婷婷激情五月综合| 久久婷婷五月国产激情综合片| 婷婷激情中文综合| 91久久婷婷| 色色网站在线| 久久99婷婷| 成人性生活免费观看。| 五月丁香六月成人| 99热精国产这里只有精品| 色婷婷情片| 久久精品一区二区三区四区| 丁香六月婷婷综合缴| 色9色| 婷婷欧美激情综合| A片试看50分钟做受视频| 91九色熟女| 成人精品人妻| 亚洲欧美成人在线观看| 开心激情综合| 色噜噜狠噜噜视频| 婷婷五月天影视网址| 99久re热| 狠狠爱成人综合网| 97婷婷狠狠| 俺去也在线视频| 激情五月天婷婷免费观看| 五月情涩综合婷婷| 国产激情av| 婷婷色成人| 99r久久这里只有精品| 99人人操人人爱久久久| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 一夜福利不卡| 丁香五月香蕉| 色婷婷综合在线| 激情婷婷护士激情| 嫩草AV久久伊人妇女超级A| 五月丁香久久综合| 九九精品热播| 五月天社区| 99热这里只有精品9| 日本的α片xxxwww| 777.色色| 我爱婷婷五月天综合88| 色婷婷色人人射| 婷婷综合激情五月中文字幕| 久久九九@| 久久五月丁香| 五月天成人综合| 国产密乳av一区二区三区四区| 色欲五月天| 色婷婷AV五月天| 色五月视频,小说| 色婷婷五月天激情在线观看| 欧美私人家庭影院| 九玖欧洲亚洲| 蜘蛛女免费观看完整版高清电影| WWW99热| 婷婷伊人五月丁香天堂网| 全部老头和老太XXXXX| 深爱激情六月天| 日韩成人电影在线播放| 色综合激情| 襙逼网| 五月丁香福利| 26uuu四色| 熟女五月天久久综合| 丁香五月亚洲婷婷| 欧美xx激情视频在线观看| 五月天成人在线播放| 中文字幕,综合,91| 激情AV网| 9色小视频在线观看| www.五月丁香| 五月婷婷xxx| 99精品小视频| 嫩模草| 亚洲激情综合| 久久久久9| 婷婷伊人久久| 婷婷五月综合久久中文字幕| 五月婷婷视频28| 婷婷激情五月综合丁| 操操操av| www.99免费视频| 啪色综合| 国色天香伊人狠狠色| 9色在线| 久久综合综合久久| 久久丝袜婷婷| 超级碰碰碰碰视频| 五月五月婷婷| 欧美日韩五月婷婷| 伊人无码高清| 精品无码久久久久久久久| 丁香五月影院| 久久xxxx| 大香蕉综合网| 婷婷91| 丁香五月性爱| 久久伦乱| 婷婷五月天综合久久| 任你操精品免费| 六月丁香婷婷综合在线| 日韩五月丁香| 婷婷五月激情丁香| 99热这里只有精品在线| 99热这里只要精品免费| 丁香五月成人在线| 思思热99er在线视频| 天天看片日日夜夜| 十月丁香婷婷| 五月人妻婷婷| 婷婷五月激情基地| 六月亚洲婷婷6月中文字幕| 秋霞午夜理论| 婷婷丁香五月天欧美| 丁香六月激情综合网| 久久只这里有精品| 丁香激情婷婷网| 九九精品网| 亚洲五月停停| 丁香九月综合激情| 婷婷五月激情欧美| www.maotanji.com| 91久久1118| 婷婷六月色| 99色色网| 婷婷在线网| 国产精品18久久久| 亚洲AV影片在线观看| 日韩人人操|