欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RAGFlow四層存儲架構(gòu)深度解析:元數(shù)據(jù)、對象存儲、檢索與緩存協(xié)作調(diào)優(yōu)

RAGFlow四層存儲架構(gòu)深度解析:元數(shù)據(jù)、對象存儲、檢索與緩存協(xié)作調(diào)優(yōu) 1. 從一次檢索延遲抖動說起RAGFlow 四層存儲到底在解決什么問題前陣子幫一個朋友排查他們知識庫問答系統(tǒng)的性能問題現(xiàn)象很典型白天上班時段用戶提問的響應(yīng)時間從平時的 1.5 秒飆到 8 秒以上晚上又恢復(fù)正常。他們用的是 RAGFlow 做檢索增強生成底層掛了一堆 PDF、Word、Excel 文檔數(shù)據(jù)量大概幾十萬份。我上去看了一圈發(fā)現(xiàn)瓶頸根本不在大模型推理而是出在存儲層的協(xié)作上——元數(shù)據(jù)查詢把數(shù)據(jù)庫打滿了對象存儲的讀取又頻繁超時檢索層拿不到完整的切片信息緩存層因為鍵設(shè)計不合理命中率低得可憐。這件事讓我意識到很多人用 RAGFlow 只關(guān)心“怎么把文檔喂進去、怎么把答案吐出來”卻完全忽略了它內(nèi)部那套四層存儲架構(gòu)是怎么運轉(zhuǎn)的。RAGFlow 的四層存儲——元數(shù)據(jù)、對象存儲、檢索、緩存——不是四個獨立的模塊而是一條環(huán)環(huán)相扣的數(shù)據(jù)流水線。任何一層設(shè)計不當(dāng)整條鏈路的延遲都會被放大。這篇文章我就把這四層拆開揉碎講清楚每一層存什么、為什么這么存、層與層之間怎么協(xié)作、實際部署時哪些參數(shù)必須調(diào)、哪些坑我踩過。不管你是剛接觸 RAGFlow 的新手還是已經(jīng)在生產(chǎn)環(huán)境跑了一段時間的老手應(yīng)該都能從里面找到對自己有用的東西。先說清楚 RAGFlow 是干什么的它是一個開源的 RAG檢索增強生成引擎核心能力是把非結(jié)構(gòu)化文檔解析成結(jié)構(gòu)化切片再通過向量檢索和關(guān)鍵詞檢索混合召回最后交給大模型生成答案。而支撐這套能力的底層就是我今天要講的四層存儲體系。理解這四層你才能知道為什么有時候檢索結(jié)果不準、為什么解析大文件會卡死、為什么緩存明明開了卻沒效果。2. 四層存儲的整體設(shè)計與協(xié)作邏輯2.1 為什么是四層而不是一層很多人第一反應(yīng)是不就是存?zhèn)€文檔和向量嗎搞這么復(fù)雜干嘛我一開始也這么想直到自己動手搭了一套才明白這四層分別對應(yīng)了四種完全不同的數(shù)據(jù)特征和訪問模式硬塞進一個存儲里必然顧此失彼。元數(shù)據(jù)是典型的結(jié)構(gòu)化小數(shù)據(jù)特點是頻繁更新、需要事務(wù)、要支持復(fù)雜條件查詢比如“找出所有屬于某知識庫、狀態(tài)為已解析、創(chuàng)建時間在某個區(qū)間內(nèi)的文檔”。這種需求用關(guān)系型數(shù)據(jù)庫最合適RAGFlow 默認用的是 MySQL。對象存儲存的是原始文件和解析后的中間產(chǎn)物比如 PDF 原文件、解析出來的圖片、表格截圖。這些數(shù)據(jù)體積大、寫入一次讀取多次、幾乎不更新用 S3 兼容的對象存儲或者本地文件系統(tǒng)最劃算。檢索層存的是向量和全文索引特點是數(shù)據(jù)量大、需要近似最近鄰搜索、對內(nèi)存和磁盤 IO 要求高。RAGFlow 默認用 Elasticsearch 或 Infinity 來承載向量和關(guān)鍵詞索引都放在這里。緩存層則是為了擋住那些高頻重復(fù)的查詢比如同一個問題被不同用戶反復(fù)問、同一個文檔切片被多次召回。用 Redis 做 KV 緩存把熱數(shù)據(jù)的訪問路徑縮短到毫秒級。提示這四層不是 RAGFlow 獨創(chuàng)的而是所有成熟 RAG 系統(tǒng)的通用架構(gòu)。理解了這個分層邏輯你去看其他 RAG 框架也能一通百通。2.2 一次完整問答請求在四層之間的流轉(zhuǎn)我拿一個真實場景走一遍你就明白它們怎么協(xié)作了。假設(shè)用戶問“公司差旅報銷標準是多少”系統(tǒng)內(nèi)部發(fā)生的事是這樣的第一步請求先到緩存層。系統(tǒng)把問題做歸一化處理后生成一個緩存鍵去 Redis 里查。如果之前有人問過一模一樣的問題直接返回緩存的結(jié)果整個流程結(jié)束耗時可能只有幾十毫秒。第二步緩存沒命中進入檢索層。系統(tǒng)把問題轉(zhuǎn)成向量在 Elasticsearch 里做向量相似度搜索同時用關(guān)鍵詞做全文檢索兩路結(jié)果做融合排序召回最相關(guān)的若干個切片。這一步會返回切片的 ID 和元數(shù)據(jù)引用。第三步拿著切片 ID 去元數(shù)據(jù)層查詳細信息。元數(shù)據(jù)庫里存著每個切片屬于哪個文檔、在文檔中的位置、原始文本內(nèi)容等。這一步是精確查詢走主鍵索引很快。第四步如果切片關(guān)聯(lián)了圖片、表格等富媒體內(nèi)容元數(shù)據(jù)里只存了引用路徑真正的文件在對象存儲里。系統(tǒng)按需從對象存儲拉取這些文件用于后續(xù)的多模態(tài)處理或展示。第五步把召回的所有內(nèi)容拼成提示詞交給大模型生成答案然后把答案寫回緩存層供后續(xù)相同問題復(fù)用。你看四層各司其職任何一層慢了都會拖累整體。我朋友那個案例問題就出在第二步和第三步之間——檢索層返回了大量切片 ID但元數(shù)據(jù)層的查詢沒有走索引導(dǎo)致每次都要全表掃描數(shù)據(jù)庫連接池瞬間被打滿。2.3 各層選型的核心考量與替代方案RAGFlow 默認的組合是 MySQL MinIO Elasticsearch Redis但這套組合不是唯一解。我整理了一張對照表把每層的職責(zé)、默認選型、可替代方案和選型要點列清楚存儲層核心職責(zé)默認選型可替代方案選型關(guān)鍵點元數(shù)據(jù)層文檔、知識庫、切片的結(jié)構(gòu)化信息MySQLPostgreSQL事務(wù)支持、索引能力、連接池管理對象存儲層原始文件、圖片、表格等大文件MinIO本地文件系統(tǒng)、S3 兼容服務(wù)吞吐量、成本、與解析器的兼容性檢索層向量索引、全文索引ElasticsearchInfinity、Milvus召回率、延遲、內(nèi)存占用緩存層高頻查詢結(jié)果、會話狀態(tài)RedisMemcached命中率、過期策略、內(nèi)存淘汰選型時最容易踩的坑是盲目追求“高性能”組件。比如有人覺得 Elasticsearch 太重換成 Milvus 只做向量檢索結(jié)果發(fā)現(xiàn)關(guān)鍵詞檢索沒地方放了又得額外搭一套反而更復(fù)雜。我的建議是除非你有明確的性能瓶頸和對應(yīng)的優(yōu)化能力否則先用默認組合跑通再根據(jù)監(jiān)控數(shù)據(jù)做針對性替換。3. 元數(shù)據(jù)層整個系統(tǒng)的“戶口本”怎么設(shè)計才不拖后腿3.1 元數(shù)據(jù)到底存了哪些東西元數(shù)據(jù)層是 RAGFlow 的“戶口本”所有實體的身份信息都在這里。具體來說它管理著這幾類核心表知識庫表記錄每個知識庫的名稱、描述、創(chuàng)建者、權(quán)限配置、使用的嵌入模型和解析器配置。文檔表記錄每份文檔屬于哪個知識庫、文件名、文件類型、大小、解析狀態(tài)待解析/解析中/已完成/失敗、解析進度、創(chuàng)建和更新時間。切片表這是數(shù)據(jù)量最大的一張表記錄每個切片的所屬文檔、在文檔中的順序、原始文本內(nèi)容、token 數(shù)量、是否啟用、關(guān)聯(lián)的向量 ID。任務(wù)表記錄解析任務(wù)的執(zhí)行狀態(tài)、重試次數(shù)、錯誤信息用于斷點續(xù)傳和失敗重試。我實測下來一個中等規(guī)模的知識庫約 1 萬份文檔、每份平均 50 個切片切片表大概有 50 萬行記錄。這個量級用 MySQL 單表完全扛得住但如果到了千萬級切片就必須考慮分庫分表或者換用更適合的存儲了。3.2 索引設(shè)計為什么你的元數(shù)據(jù)查詢會慢回到我朋友那個案例他的問題就出在索引上。RAGFlow 默認會在切片表的文檔 ID 字段上建索引但檢索層返回的是一批切片 ID如果這批 ID 沒有走主鍵索引而是走了其他低效的查詢路徑就會出問題。我建議你在部署后做一件事打開 MySQL 的慢查詢?nèi)罩景验撝翟O(shè)成 200 毫秒跑一輪完整的問答流程看看哪些元數(shù)據(jù)查詢進了慢查詢。常見的慢查詢有兩類第一類是“按文檔 ID 查所有切片”如果文檔 ID 字段沒索引每次都要全表掃描。解決辦法是給文檔 ID 加普通索引。第二類是“按狀態(tài)查待解析文檔”解析服務(wù)會定期輪詢待解析的文檔如果狀態(tài)字段沒索引輪詢一次就要掃全表。解決辦法是給狀態(tài)字段加索引并且考慮用組合索引狀態(tài) 創(chuàng)建時間。-- 給切片表的文檔ID字段加索引 ALTER TABLE chunk ADD INDEX idx_document_id (document_id); -- 給文檔表的狀態(tài)和創(chuàng)建時間加組合索引 ALTER TABLE document ADD INDEX idx_status_created (status, created_at);注意加索引不是越多越好。每加一個索引寫入時就要多維護一份索引數(shù)據(jù)。切片表是寫入密集型的索引過多會拖慢解析速度。我的經(jīng)驗是切片表上的索引不要超過 3 個。3.3 元數(shù)據(jù)與對象存儲的引用關(guān)系怎么維護元數(shù)據(jù)層和對象存儲層之間靠“引用路徑”來關(guān)聯(lián)。文檔表里存著原始文件在對象存儲中的路徑切片表里存著關(guān)聯(lián)圖片、表格的路徑。這個設(shè)計的關(guān)鍵在于路徑的生成規(guī)則必須穩(wěn)定且唯一。RAGFlow 默認的路徑規(guī)則大概是這樣的{知識庫ID}/{文檔ID}/{文件名}。這個規(guī)則保證了即使兩個知識庫里有同名文件也不會互相覆蓋。但我在實際使用中發(fā)現(xiàn)一個問題如果文檔被刪除后重新上傳文檔 ID 會變舊路徑下的文件就成了孤兒文件白白占用對象存儲空間。解決辦法是定期跑一個清理任務(wù)對比元數(shù)據(jù)表和對象存儲中的文件列表把沒有元數(shù)據(jù)引用的文件標記出來確認無誤后刪除。這個任務(wù)不要做得太頻繁一周一次就夠了因為對象存儲的列表操作本身比較慢。3.4 元數(shù)據(jù)層的高可用與備份策略元數(shù)據(jù)層是整個系統(tǒng)的單點一旦掛了所有文檔和切片信息都查不到檢索層即使有向量索引也沒用因為不知道向量對應(yīng)的是哪個切片。所以元數(shù)據(jù)層的高可用必須做好。我推薦的方案是 MySQL 主從復(fù)制加定期全量備份。主庫負責(zé)寫從庫負責(zé)讀這樣解析服務(wù)寫元數(shù)據(jù)不會影響檢索服務(wù)的讀。備份用mysqldump每天凌晨跑一次全量binlog 保留 7 天萬一出問題可以恢復(fù)到任意時間點。# 每日全量備份腳本示例 mysqldump -h 主庫地址 -u 用戶名 -p密碼 --single-transaction \ --databases ragflow /backup/ragflow_$(date %Y%m%d).sql # 保留最近7天的備份 find /backup -name ragflow_*.sql -mtime 7 -delete--single-transaction這個參數(shù)很關(guān)鍵它保證備份期間不鎖表不會影響線上寫入。我見過有人不加這個參數(shù)結(jié)果備份一跑解析服務(wù)就卡住因為表被鎖了。4. 對象存儲層大文件怎么存、怎么取、怎么省成本4.1 對象存儲里到底放了什么對象存儲層是 RAGFlow 的“倉庫”存放的是體積大、不常變的數(shù)據(jù)。具體包括原始文檔文件用戶上傳的 PDF、Word、Excel、PPT、圖片等。解析中間產(chǎn)物文檔解析過程中生成的圖片、表格截圖、公式渲染圖等。切片關(guān)聯(lián)的富媒體如果切片里包含圖片或表格這些內(nèi)容會單獨存成文件切片里只保留引用路徑。導(dǎo)出文件用戶導(dǎo)出的問答記錄、知識庫快照等。這些數(shù)據(jù)的共同特點是單個文件可能很大幾十兆的 PDF 很常見但讀取頻率不高而且一旦寫入基本不會修改。這正是對象存儲最擅長的場景。4.2 MinIO 部署的關(guān)鍵參數(shù)怎么調(diào)RAGFlow 默認用 MinIO 做對象存儲部署時有幾個參數(shù)必須根據(jù)你的數(shù)據(jù)量調(diào)整存儲桶的命名和分區(qū)。MinIO 本身是扁平的桶結(jié)構(gòu)但你可以通過路徑前綴來模擬分區(qū)。RAGFlow 默認按知識庫 ID 做一級前綴這個設(shè)計是合理的因為不同知識庫的數(shù)據(jù)天然隔離刪除知識庫時直接刪對應(yīng)前綴就行。糾刪碼配置。MinIO 默認開啟糾刪碼把每個對象切成數(shù)據(jù)塊和校驗塊。默認配置是 4 個數(shù)據(jù)塊加 4 個校驗塊也就是 50% 的冗余。如果你的數(shù)據(jù)量很大且對成本敏感可以調(diào)成 6 加 2 或者 8 加 2冗余度降到 25% 左右。但要注意糾刪碼配置在初始化后就改不了了必須一開始就規(guī)劃好。單文件大小限制。MinIO 默認支持最大 5TB 的單文件但實際使用中超過 1GB 的文件上傳和下載都會很慢。我建議在 RAGFlow 的上傳入口做限制超過 200MB 的文件先壓縮或者拆分再上傳。# MinIO 啟動參數(shù)示例糾刪碼模式 minio server /data{1...8} --console-address :9001這個命令表示用 8 塊盤做糾刪碼默認就是 4 數(shù)據(jù)加 4 校驗。如果你只有 4 塊盤那就是 2 數(shù)據(jù)加 2 校驗冗余度還是 50%。4.3 對象存儲的讀取優(yōu)化預(yù)簽名 URL 與 CDN對象存儲的讀取延遲比本地文件系統(tǒng)高這是它的固有特性。RAGFlow 在展示切片關(guān)聯(lián)的圖片時如果每次都從對象存儲拉取用戶體驗會很差。優(yōu)化手段有兩個預(yù)簽名 URL。RAGFlow 可以生成帶簽名的臨時訪問鏈接前端直接用這個鏈接去對象存儲拉文件不經(jīng)過后端服務(wù)器中轉(zhuǎn)。這樣既減輕了后端壓力又利用了對象存儲本身的帶寬。預(yù)簽名 URL 的有效期默認是 1 小時可以根據(jù)需要調(diào)整但不要設(shè)太長否則有安全風(fēng)險。CDN 加速。如果用戶分布在不同地域可以在對象存儲前面掛一層 CDN把熱門的圖片和文件緩存到離用戶最近的節(jié)點。不過 RAGFlow 的場景里圖片訪問的重復(fù)率不高CDN 的收益有限除非你的知識庫有大量用戶頻繁查看同一批文檔。提示預(yù)簽名 URL 的生成需要用到對象存儲的密鑰這個密鑰必須妥善保管。我見過有人把密鑰硬編碼在前端代碼里結(jié)果被人掃到后惡意上傳文件。正確做法是密鑰只存在后端前端通過接口獲取臨時鏈接。4.4 對象存儲的成本控制與生命周期管理對象存儲的成本主要來自存儲量和請求次數(shù)。存儲量方面原始文件和解析產(chǎn)物會越積越多必須做生命周期管理。我的做法是原始文件永久保留因為重新解析時還要用。解析中間產(chǎn)物保留 30 天超過后自動刪除因為重新解析時可以再生成。導(dǎo)出文件保留 7 天用戶下載后基本不會再需要。MinIO 支持通過生命周期規(guī)則自動清理配置如下LifecycleConfiguration Rule IDexpire-intermediate/ID Filter Prefixintermediate//Prefix /Filter StatusEnabled/Status Expiration Days30/Days /Expiration /Rule /LifecycleConfiguration請求次數(shù)方面最大的消耗來自列表操作。有些監(jiān)控工具會頻繁調(diào)用列表接口統(tǒng)計文件數(shù)量這個要避免。統(tǒng)計文件數(shù)量應(yīng)該從元數(shù)據(jù)層查而不是去對象存儲列表。5. 檢索層向量與關(guān)鍵詞如何協(xié)同召回5.1 檢索層存了什么、為什么需要它檢索層是 RAGFlow 的“大腦”負責(zé)從海量切片中快速找到與問題最相關(guān)的那幾個。它存兩類索引向量索引。每個切片經(jīng)過嵌入模型處理后變成一個高維向量通常是 768 維或 1024 維向量索引支持近似最近鄰搜索能在毫秒級從百萬級向量中找到最相似的若干個。RAGFlow 默認用 Elasticsearch 的 dense_vector 類型來存向量。全文索引。切片的原始文本經(jīng)過分詞后建立倒排索引支持關(guān)鍵詞匹配。全文索引擅長處理精確匹配的場景比如用戶問“XX 型號的參數(shù)”關(guān)鍵詞匹配能準確找到包含這個型號的切片。為什么兩種索引都要因為它們的擅長場景不同。向量檢索擅長語義相似比如用戶問“怎么報銷”能召回“差旅費用申請流程”這樣的切片關(guān)鍵詞檢索擅長精確匹配比如用戶問“ABC-123 的規(guī)格”能準確找到包含這個型號的切片。兩者融合才能兼顧召回率和準確率。5.2 向量索引的參數(shù)怎么調(diào)Elasticsearch 的向量索引有幾個關(guān)鍵參數(shù)直接影響召回率和延遲dims向量維度必須和嵌入模型的輸出維度一致。RAGFlow 默認用的嵌入模型輸出 768 維如果你換了模型這個參數(shù)必須同步改。改錯了會導(dǎo)致索引構(gòu)建失敗或者檢索結(jié)果完全不對。index_type索引類型常用的是 HNSW 和 IVF。HNSW 召回率高但內(nèi)存占用大IVF 內(nèi)存占用小但召回率略低。RAGFlow 默認用 HNSW因為 RAG 場景對召回率要求高。m 和 ef_constructionHNSW 的兩個核心參數(shù)。m 是每個節(jié)點的連接數(shù)越大召回率越高但內(nèi)存占用越大ef_construction 是構(gòu)建時的候選集大小越大索引質(zhì)量越高但構(gòu)建越慢。我的經(jīng)驗值是 m 取 16、ef_construction 取 200這個配置在召回率和資源消耗之間比較平衡。{ settings: { index: { knn: true, knn.algo_param.ef_search: 100 } }, mappings: { properties: { vector: { type: dense_vector, dims: 768, index: true, similarity: cosine, index_options: { type: hnsw, m: 16, ef_construction: 200 } } } } }ef_search是檢索時的候選集大小越大召回率越高但延遲越大。默認 100 是個不錯的起點如果發(fā)現(xiàn)召回不夠可以調(diào)到 200但延遲會明顯上升。5.3 混合檢索的融合策略RAGFlow 的混合檢索不是簡單地把向量結(jié)果和關(guān)鍵詞結(jié)果拼在一起而是有一套融合排序邏輯。我拆解過它的實現(xiàn)核心思路是先分別做向量檢索和關(guān)鍵詞檢索各取前 N 個結(jié)果N 通常是 50 到 100。然后對兩路結(jié)果做歸一化把分數(shù)映射到 0 到 1 之間。最后用加權(quán)求和的方式融合向量檢索的權(quán)重通常設(shè) 0.7關(guān)鍵詞檢索設(shè) 0.3。這個權(quán)重不是固定的可以根據(jù)你的數(shù)據(jù)特點調(diào)整。如果你的知識庫以自然語言文檔為主向量權(quán)重可以調(diào)高到 0.8如果以結(jié)構(gòu)化數(shù)據(jù)、型號參數(shù)為主關(guān)鍵詞權(quán)重可以調(diào)到 0.5。融合后的結(jié)果還要做去重因為同一個切片可能同時被兩路召回。去重后取前 K 個K 通常是 5 到 10交給大模型。5.4 檢索層的性能監(jiān)控與擴容檢索層的性能瓶頸通常出現(xiàn)在兩個地方索引構(gòu)建和查詢并發(fā)。索引構(gòu)建是 CPU 和 IO 密集型的解析大量文檔時Elasticsearch 的寫入壓力會很大。我建議把索引構(gòu)建和查詢分開部署用不同的節(jié)點角色。Elasticsearch 支持 hot-warm 架構(gòu)熱節(jié)點負責(zé)寫入和查詢溫節(jié)點只負責(zé)存儲這樣能顯著降低查詢延遲。查詢并發(fā)方面Elasticsearch 的默認線程池配置適合中小規(guī)模如果并發(fā)查詢超過 100 QPS需要調(diào)整thread_pool.search.size和thread_pool.search.queue_size。但更根本的解決辦法是加緩存把高頻查詢的結(jié)果緩存起來減少對檢索層的直接壓力。監(jiān)控指標重點關(guān)注三個查詢延遲的 P99 值、索引構(gòu)建的吞吐量、節(jié)點的 CPU 和內(nèi)存使用率。P99 延遲超過 500 毫秒就要警惕了超過 1 秒基本可以確定有問題。6. 緩存層命中率上不去等于白搭6.1 緩存層緩存了什么緩存層是 RAGFlow 的“捷徑”把高頻訪問的數(shù)據(jù)放在內(nèi)存里避免每次都走完整的檢索流程。它緩存的內(nèi)容主要有三類問答結(jié)果緩存。用戶問過的問題和對應(yīng)的答案以問題文本的哈希值為鍵。這是收益最大的緩存因為很多問題是重復(fù)的命中后直接返回省掉了檢索和大模型推理的全部開銷。檢索結(jié)果緩存。問題對應(yīng)的召回切片列表以問題向量或問題文本為鍵。即使答案不能直接復(fù)用比如大模型有隨機性檢索結(jié)果也可以復(fù)用省掉檢索層的開銷。會話狀態(tài)緩存。多輪對話的上下文以會話 ID 為鍵。這個緩存的生命周期比較短通常 30 分鐘過期。6.2 緩存鍵怎么設(shè)計才能提高命中率緩存命中率低十有八九是鍵設(shè)計有問題。我見過最離譜的設(shè)計是直接用用戶原始問題做鍵結(jié)果“報銷標準是什么”和“報銷的標準是什么”被當(dāng)成兩個不同的問題緩存完全沒命中。正確的做法是先歸一化再生成鍵。歸一化包括去掉首尾空格、統(tǒng)一標點符號、把全角字符轉(zhuǎn)半角、去掉語氣詞比如“請問”“麻煩問一下”。歸一化后再做哈希這樣語義相同的問題就能命中同一個緩存。但歸一化也有個度過度歸一化會導(dǎo)致不同問題被誤判為相同。比如“北京報銷標準”和“上海報銷標準”如果只去掉地名就變成同一個問題了。所以歸一化規(guī)則要根據(jù)你的業(yè)務(wù)場景定制不能一刀切。注意緩存鍵里不要包含用戶 ID 或會話 ID否則每個用戶的緩存都是獨立的命中率會極低。除非你的業(yè)務(wù)要求不同用戶看到不同答案否則緩存應(yīng)該跨用戶共享。6.3 緩存過期與淘汰策略緩存的過期時間設(shè)置是個權(quán)衡設(shè)太短命中率低設(shè)太長數(shù)據(jù)更新后用戶還看到舊答案。我的經(jīng)驗是分場景設(shè)置問答結(jié)果緩存1 小時過期。知識庫更新頻率不高的話可以設(shè) 6 小時。檢索結(jié)果緩存30 分鐘過期。因為檢索結(jié)果對數(shù)據(jù)變化更敏感。會話狀態(tài)緩存30 分鐘過期每次訪問刷新過期時間。淘汰策略用 Redis 的 allkeys-lru也就是內(nèi)存滿了之后淘汰最近最少使用的鍵。這個策略適合緩存場景因為熱數(shù)據(jù)會被頻繁訪問冷數(shù)據(jù)自然被淘汰。# Redis 配置示例 maxmemory 4gb maxmemory-policy allkeys-lrumaxmemory要根據(jù)你的服務(wù)器內(nèi)存來設(shè)一般不要超過物理內(nèi)存的 70%留出空間給其他進程。6.4 緩存穿透、擊穿、雪崩的應(yīng)對這三個問題是緩存層的經(jīng)典難題RAGFlow 場景下也會遇到緩存穿透查一個不存在的問題緩存和數(shù)據(jù)庫都沒有每次都要走完整流程。解決辦法是把空結(jié)果也緩存起來設(shè)一個較短的過期時間比如 5 分鐘這樣短時間內(nèi)重復(fù)查同一個不存在的問題就不會穿透。緩存擊穿某個熱鍵過期瞬間大量請求同時打到檢索層。解決辦法是用互斥鎖只讓一個請求去檢索其他請求等待結(jié)果?;蛘邔徭I設(shè)置永不過期通過后臺任務(wù)定期更新。緩存雪崩大量鍵在同一時間過期請求全部打到檢索層。解決辦法是在過期時間上加隨機抖動比如原本 1 小時過期改成 1 小時加減 5 分鐘隨機。# 緩存過期時間加隨機抖動的示例 import random def get_expire_time(base_seconds): jitter random.randint(-300, 300) # 正負5分鐘抖動 return max(60, base_seconds jitter)這個簡單的改動能有效避免雪崩我實測下來效果很明顯。7. 四層協(xié)作的實戰(zhàn)調(diào)優(yōu)與常見問題排查7.1 一次慢查詢的完整排查過程回到開頭我朋友那個案例我完整走了一遍排查流程你可以參考這個思路第一步看監(jiān)控大盤確認是檢索層慢還是元數(shù)據(jù)層慢。發(fā)現(xiàn) MySQL 的 CPU 使用率飆到 90%基本鎖定是元數(shù)據(jù)層的問題。第二步打開 MySQL 慢查詢?nèi)罩景l(fā)現(xiàn)大量“按文檔 ID 查切片”的查詢耗時超過 1 秒。用EXPLAIN分析執(zhí)行計劃發(fā)現(xiàn)走了全表掃描。第三步檢查索引發(fā)現(xiàn)切片表的文檔 ID 字段確實沒索引。加上索引后查詢耗時降到 10 毫秒以內(nèi)。第四步進一步排查為什么會有這么多按文檔 ID 查切片的請求。發(fā)現(xiàn)是檢索層返回切片 ID 后元數(shù)據(jù)層沒有批量查詢接口而是一個一個查。改成批量查詢后請求數(shù)量減少了 90%。這個案例的教訓(xùn)是性能問題往往不是單一原因而是多個小問題疊加。索引缺失是主因但查詢方式不當(dāng)放大了影響。7.2 常見問題速查表我把實際運維中遇到的問題整理成了一張速查表方便你快速定位現(xiàn)象可能原因排查方法解決辦法問答響應(yīng)慢元數(shù)據(jù)查詢慢看 MySQL 慢查詢?nèi)罩炯铀饕?、改批量查詢檢索結(jié)果不準向量索引參數(shù)不當(dāng)檢查 dims 和 index_type調(diào)整 HNSW 參數(shù)緩存命中率低緩存鍵設(shè)計不合理統(tǒng)計命中率、抽樣看鍵歸一化問題文本解析大文件卡死對象存儲寫入慢看 MinIO 監(jiān)控限制文件大小、分片上傳內(nèi)存占用高向量索引占用大看 ES 節(jié)點內(nèi)存調(diào)低 m 值、加節(jié)點緩存雪崩過期時間集中看 Redis 鍵的 TTL 分布加隨機抖動7.3 我踩過的三個坑第一個坑是對象存儲的路徑規(guī)則改了之后沒做數(shù)據(jù)遷移。早期版本的 RAGFlow 路徑規(guī)則和后來不一樣升級后發(fā)現(xiàn)舊文件的引用路徑失效了切片里的圖片全部顯示不出來。解決辦法是寫了個遷移腳本把舊路徑的文件復(fù)制到新路徑下同時更新元數(shù)據(jù)里的引用。這個坑的教訓(xùn)是升級前一定要看變更日志涉及存儲路徑變更的必須提前規(guī)劃遷移方案。第二個坑是緩存沒有做版本控制。知識庫更新后緩存里的舊答案還在用戶看到的是過時信息。解決辦法是在緩存鍵里加入知識庫的版本號知識庫更新時版本號遞增舊緩存自然失效。這個改動很小但效果立竿見影。第三個坑是檢索層的分片數(shù)設(shè)置不當(dāng)。Elasticsearch 默認 5 個分片我一開始沒改結(jié)果數(shù)據(jù)量上來后單個分片太大查詢變慢。后來改成按數(shù)據(jù)量動態(tài)設(shè)置分片數(shù)每 10GB 數(shù)據(jù)一個分片查詢延遲明顯下降。但分片數(shù)也不能太多否則每個查詢要合并的分片結(jié)果太多反而增加開銷。7.4 生產(chǎn)環(huán)境的部署建議如果你準備在生產(chǎn)環(huán)境部署 RAGFlow我的建議是元數(shù)據(jù)層用 MySQL 主從架構(gòu)主庫寫從庫讀配置連接池最大連接數(shù)不低于 100。對象存儲用 MinIO 集群模式至少 4 個節(jié)點開啟糾刪碼配置生命周期規(guī)則自動清理中間產(chǎn)物。檢索層用 Elasticsearch 集群至少 3 個節(jié)點熱溫架構(gòu)分離向量索引的 m 值根據(jù)內(nèi)存情況在 16 到 32 之間調(diào)整。緩存層用 Redis 哨兵模式或集群模式配置 maxmemory 和 LRU 淘汰策略關(guān)鍵緩存加隨機過期時間。這四層之間的網(wǎng)絡(luò)延遲要盡量低最好部署在同一個內(nèi)網(wǎng)環(huán)境??鐧C房部署會顯著增加延遲尤其是檢索層和元數(shù)據(jù)層之間的交互非常頻繁。8. 關(guān)于四層存儲協(xié)作的一些個人體會我在實際使用中發(fā)現(xiàn)很多人把 RAGFlow 當(dāng)成一個黑盒出了問題就重啟重啟不好就重裝從來不深究底層發(fā)生了什么。但 RAG 系統(tǒng)的性能問題十有八九都能在四層存儲的協(xié)作中找到答案。元數(shù)據(jù)層的索引、對象存儲的路徑規(guī)則、檢索層的向量參數(shù)、緩存層的鍵設(shè)計這四個地方任何一個沒調(diào)好都會在用戶側(cè)表現(xiàn)為“回答慢”或“回答不準”。踩過幾次坑之后我養(yǎng)成了一個習(xí)慣每次部署完 RAGFlow先跑一輪基準測試記錄四層各自的延遲和吞吐量作為后續(xù)對比的基線。這樣一旦線上出現(xiàn)性能波動我能快速判斷是哪一層出了問題而不是盲目地到處改配置。最后再分享一個小技巧如果你不確定緩存該不該開、該緩存什么可以先只開問答結(jié)果緩存觀察一周的命中率。如果命中率低于 20%說明你的用戶問題重復(fù)率不高緩存收益有限如果高于 50%再考慮加檢索結(jié)果緩存。不要一上來就把所有能緩存的都緩存了那樣只會增加復(fù)雜度和排查難度。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天射射夜| 啪啪六月婷婷| 国产精产国品一二三在观看| 天天插天天插天天插天天插| www.激情五月天.con| 国产精品成人在线| 色婷婷A| 成人在线不卡| 99热这里只有精品中文字幕| 五月天激情小说| 图片区 小说区 区 亚洲五月| 这里只有精品视频| 夜夜爽天天干| 久久综合五月天| 久草丁香婷婷1024| 婷婷va| 美女天天久久| 99ri精品视频在线观看| 日本天堂免费99| 欧美久久一级内射wwwwww.| 精品,99| 人妻激情在线| 无码操B| 五月丁香啪啪啪| 色综合久网| 日韩一级一片内射视频4K| 激情噜噜噜| 激情五月天噢美| 色婷婷在线电影| 久久99热这里只有精品| 5月婷婷激情在线| jiqingtaose五月天| 激情五月婷婷综合网| 麻豆雪千夏| 99re热精品视频国| 丁香五月久久社区| 无码橾| 中文字幕性爱视频| 99热精品在线观看| 99视频久久免费视频| 日本操片| 操操啪| 日日日日做夜夜夜夜无码| 五月婷婷三级| 天天色综合综合| 婷婷99狠狠躁天天躁| 五月激情天天干| 五月天色网站| 亚洲国产色色| 五月六月丁香激情| 激情五月天婷婷五月天| 天天婷婷| 深爱五月天| www,com,五月色色| 在线中文字幕av| 激情五月天婷婷在线网址发给我| 99久热视频在线| 婷婷六月丁| 婷婷亚洲综合| 丁香五月婷婷性爱| 丁香花五月天| 婷婷五月花西瓜| 五月婷婷视频| 五月丁香婷婷久久| 亚洲欧洲中文日韩久久AV乱码| 可以免费观看的AV| 九九色婷婷五月天| 日噜噜色| 懂色av蜜臀av粉嫩av永陈冠希| 3p久久| 免费视频WWW在线观看网站| 99综合视频一体| av超碰在线| www.久9| www.yw尤物| 婷婷丁香六月| 色五月婷婷大| 大香蕉久久婷婷| 亚洲免费婷婷| 亚洲国产网址| 91人妻色色网| 婷婷激情小说网| 欧美丁香婷婷五月天| www.婷婷| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品| 九月婷婷综合在线| 欧洲亚洲免费视频9| 丁香婷婷六月天| jiqingliuyuetian| 99在线精品视频| 夜精品无码A片一区二区蜜桃| 丁香五月天天久久综合小说| 欧美五月婷婷| 夜夜做天天爽| 久热伊人| 久热9热| 1024婷婷综合久久五月天| 丁香婷婷激情五月色| 久久精品只有这| 久久婷婷五月天激情四射| 亚洲精品久久久久久久久久吃药| 欧美色宗和激情| 丁香婷婷噜噜| 99性爱| www.com在线操视频免费观看| 天天肏屄夜夜爽| 人人色AV| 五月色色激情网| 91操在线视频| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 六月婷婷综合| 99视频在线精品免费观看2| 嫩草视频在线观看| 久色资源| 日本天堂网站99| 久久大香蕉同僚| 国产日批视频| 九九狠狠干| 色导航色婷婷五月天在线观看| 国产欧美日韩综合精品一区二区| 五月天婷婷无码| 五月天色五月| 激情婷| 大波美女VA网站| PORNY九色9l自拍视频成人| 韩日另类| 欧洲日韩一区二区三区| 九九99视频| 日韩啪啪视频| wWwCom夜操wwW| 99色在线视频观看| 播播网色播播| www.99视频| 午夜丁香婷婷| 亚洲九区| 99ri在线观看视频| 热久久91| 丁香五月另类色婷婷麻豆| 99亚洲无码| 26uuu欧美激情另类| 天天爽—爽| 久久久人妻不卡| 在线中文字幕视频| 亚洲区视频| 久久精品4| 丁香婷婷综合激情五月色| 夜夜爽77777妓女免费下载| 五月天色婷婷综合| 婷婷五月天亚洲综合| 淑女丝袜bi操逼123| 欧美三级欧美一级| 色婷婷六月性 | 色伊人啪| 1024日韩| 激情综合五月色在线| 综合色99| 9九热视频| 超碰在线视屏| 五月婷成人网| 欧美成人A片AAA片在线播放| 五月婷婷中文字幕| 国产精品人成A片一区二区| 亚洲五月天激情| www.色婷婷| 激情5月婷婷| 91成人看| 国产精品色婷婷99久久精品| 色色色99| 五月婷伊人| 99成人网站| 99色啊| 逼逼AV| 丁香五月区| 可以免费观看的av| 99久久婷婷国产综合| 99燥99日| 婷婷激情综合色五月久久图片| 久超超碰| 丁香婷婷六月天| 色婷婷精品小视频| 欧洲亚洲精品| 青青草成人网| www.91av.com| 婷婷99狠狠躁天天| 狠狠干天天内射| 亭亭五月天黑人2014| 噜噜吧天天爱| 欧美97色| 激情涩播| 亚洲永久免费| 久色网五月| 婷婷六月色| 五月丁香操婷逼| 99超级碰碰| 六月婷婷激情| 午夜成人在线免费视频| 天天干,天天舔| 热99国产精品| 色播播婷婷| 欧美内射AA| 九九婷婷五月天| 丁香五月婷婷天堂大香蕉| 欧美一级毛卡片无码| 精品牛仔裤超碰| 丁香五月aV| 婷婷激情图片| 99热久久这里只有精品| 香蕉久日夜| 婷婷在线综合| www.久久99| 这里只有精品99视频| 操骚货在线| 丁香五月性| 婷婷五月娱乐在线| 五月丁香综合久久| 性一交一乱一交A片久久四色| 色色五月婷婷| www.99久| 丁香五月婷综合| 日韩久操婷婷| 思思热热久久| 国产成人一区二区三区在线观看| 久久人人超| 婷婷色情小说| 国产成人片| 99热精品10| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 国产午夜精品一区二区三区四区| 97碰啪啪| www.久久综合| 国产成人AV不卡| 婷婷色中文字幕| 婷婷五月天日本无码| 国产婷婷综合在线免费视频| 久色大香蕉| 伊人大香五月天| 第四色五月婷婷| 九九成人电影婷婷| 99热国内| 婷婷五月天精品| 韩日AV片| 九九精品视频在线6| 日本九九九九| 任你日视频| 天天色综网| 国产高清av黄色看片| 色色激情| 性爱综合网| 五月婷婷草| 五月香六月婷| 日本99视频| 久久婷婷人人| 日日夜夜干| 婷婷丁香黄色| 亚洲成人婷婷| 亚洲中文字幕在线观看| 五月丁香婷婷成人伊人网| caop在线视频| 男人天堂99| 激情九九这里只有精品| 99色综合| 天天做天天干天天综合网| 激情第四色| 伊人影院久久网| 色色色色色色色色色999| 六月激情婷婷| 亚洲熟妇AV综合网五月丁香伊人| 超碰99在线| 99re这里只有精品99| 五月天婷婷成人| 狠狠狠狠狠狠草| 9这里只有精品| 日韩AV无码影片| 6月丁香婷婷激情| 激情性爱五月天| 色五月欧美| 久久99热在线观看| 伊人婷婷91| 激情婷婷啪啪| 久久九九99视频| 99热这里只有精品 搜| 极品人妻VIDEOSSS人妻| 激情小说色五月| 97超级操操| 婷婷五月丁香综合激情| 大香久久伊人网| 色五婷婷开心缴| 99热人人操人人操| 免费97碰碰| 激情综合网五月| 色综合色五月| 久热2025无码| 五月停亭久久电影| 日本99在线| 超碰人人操人人干| 成人免费120分钟啪啪| 久久er九九| 日本操天堂| 激情综合五月色丁香婷婷| 20253AV| 十月色综合| 卡视频1区2区| www色五月| 这里只有精品视频99| 91凹凸在线| 超碰人人操在线| 99色热| 色色五月天婷婷| 日本五月丁香| 日韩美女在线视频19| 丁香综合婷婷五月天| 91丨九色丨熟女丰满| 99久热| 国产裸舞福利资源在线视频| 成人精品免费在线观看| 热五月婷婷| 天天做天天爱高潮片| 97人人超| 色偷偷色婷婷| 国产精品久久99| 1024操逼| 亚洲男女激情| 性色播| 黄色录像网点| 天天色图| 五月伊人视频在线看| 色婷婷亚洲综合网站| 色色五月天婷婷丁香| 色婷婷影院| 超碰成人黄色网| 色五月丁香婷婷| 亚洲精品亚洲人成人网| 日本三级第一页| 婷婷久久免费| 五月色婷婷AV| 思思99久久| 激情五月婷| 激情综合网激情五月丁香| 97欧美在线| 天天操夜夜操| 久久这里只精品| 六月丁香视频网站| 久久人人九| 疯狂做受XXXX高潮A片| 天天爱夜夜爽| 久久五月激情网| 久久婷婷东京热| 久久小视频免费| 丁香五月激情啪啪啪啪| 欧美色频| 蜜桃人妻无码AV天堂三区| 日本女天天爽| www.婷婷,com| 亚洲精品又粗又大又爽A片| 色情五月综合婷婷| 婷婷激情五月天亚洲综合| 任你干嘛免费视频播放| 男人先锋久久| 欧美99| 人人爱国产| 天天看片日日夜夜| 婷婷色丁香五月| 伊人天堂婷婷| 久久激情五月婷婷| 99热丁香| 欧美综合激情丁香五月六月婷| 99人这里只有精品| 色婷婷影视| 中文字幕婷婷在线| 色99久草在线| 91九九| 97色97干| 色五月丁香婷婷| 丁香五月aV| 99爽视频| 大香蕉人人网| 五月婷婷久草| 国产美女无遮挡裸体毛片A片| 亚洲av免费在线| 狠狠插狠狠| 亚洲色色在线| 26uuu视频欧美| 人妻视频在线| 超碰三级片| 操逼电影免费看| 熟女人妻一区二区三区免费看| 乱码操操| aaa久久| 久久五月天激情| 极品精品一区二区三区在线| 国产毛片精品一区二区色欲黄A片| 夜夜操狠狠操| 五月天色不卡| 色五月激情五月| 亚洲 六月 综合| 五月丁香拍拍激情综合| 亚洲视频色色| 桃色五月婷婷| 亚洲无码成人网| 99网址在线看| 五月婷婷中文字幕| 4399在线日本A片| 大香蕉啪啪啪啪啪啪| 亚洲综合色成丁香五月色| 国产美女无遮挡裸体毛片A片 | 99碰视频| 五月天久久www| 视频久久9| 久热视频97AV在线观看| 婷婷五月天淫荡| 国产精品久久久爽爽爽麻豆色哟哟| 久久精彩免费视频| 五月大香蕉| 婷婷色导航| 狠狠色噜噜狠狠狠狠综合| 4399成人黄A片| 97碰在线| 婷婷成人五月天| 九九视频在线| 色噜噜狠狠色综合日日| 丁香六月综合激情| 成人国产欧美大片一区| 91色性感五月婷婷丁香| 久久久久视剧HD| 五月天丁香花婷婷| 久久精品综合色| 99玖玖在线视频| 色综合久久中文| 欧美五月婷婷| 99久超碰| 色色国产| AV在线不卡播放| 色色色色色色色色色影院| 免费看欧美成人A片无码| 狠狠操综合| 高清一区二区三区日本久| 最近免费中文字幕大全高清大全1| 操骚货在线| 人人草人人爱| 丁香婷婷五月份| 成人在线免费网址| 日本熟妇精品99| 天天爱天天日| 色色免费网战视频| 丁香六月久久| 五月丁香六月欧美综合网站| 95精品区一区二| 97干在线免费| 日本精品99| 99热热九九| 久久九九在线视频| 激情伊人| 丁香六月五月天| 亚洲精品国产熟女久久久| 久久艹 五月天| 中文字幕五月久久婷婷| 区区久久妻| 婷婷五月天色综合翘| 婷婷五月天男人影院色色网| 色狠狠婷婷| 久99视频| 四虎99热在线观看网站| 在线视频另类| 在线观看玖玖资源免费观看| 五月婷婷深深爱| 青青草成人网| 玖玖综合色区在线观看| 99久久网站| 五月丁香婷婷综合| 婷久久久| 91久久久久久久| 日本噜噜色网| 99热在线看| 五月激情小说网| 熟惀91九色在线| 美腿丝袜AV天堂网| ss五月天激情| 欧美草久久五月天91| 丁香婷婷基地| 超碰69天堂| 91婷婷在线| 久久成人天| 亚卅毛片| 97色 五月天丁香| 丁香婷婷色色| 另类综合国产| 五月婷av| 亚洲成Av人片乱码色第1集| 色,激情五月天| 成人性爱精品视频| 激情综合久久| 狠狠色婷婷色| 天天爽日日搞| 一起草Av| 99久久五月婷婷| 五月天无码| 丁香婷婷色六月| 亚洲色99| 2020日日干| 人人综合五月人人婷婷| 夜夜爽天天爽| 九热免费视频| 天天日,天天干,天天操| 91.www综合| 婷婷 伊人 久久| 丁香六月激情综合网| 92久久| 五月停亭久久电影| 婷婷五月激情六月丁香| 日本99在线视频| 成人国产欧美大片一区| 色婷婷成人| 99热在线观看精品| 五月天久久婷| 97久久香草精品视频| 亚洲成人黄色网| 狠狠情色| 色丁香久综合在线久综合在线观看| 久久xxxx| 精品成人无码A片观看香草视频| 狠狠爱婷婷丁香| 五月社区婷婷激情| 亚洲精品视频在线| 99热插| 丁香五月丁香伊人| 欧美在线| 琪琪理论片| 亚洲AV成人在线| 在线超碰精品| 9婷婷内射| 国产高清视频91九九九久久久| 婷婷字幕在线| 丁香五月天堂网AV| 粉嫩av蜜桃av蜜臀av| 色五月综合网| 日日想日日夜日日操| 五月丁香色狠狠干大屄| 男人天堂亚洲综合| 日比网免费国产| 99热这里全是精品| 97深爱伊人综合| 久久玖玖综合| 金品在线视频99| 激情六月天婷婷| 五月天亚洲综合网| 婷婷狠狠爱| 99热精品在线| 九九热最新| 亚洲精品久久久久久久久久吃药 | 超碰五月婷婷五月天| 少妇人妻偷人精品无码视频新浪 | 五月天婷婷视频30| 色婷婷激情Av久久久| 狠狠擼综合| 五月婷婷影| 婷婷中文在线| 五月天成人小说| 九九精品在线视频观看| 狠狠操狠狠插| 激情99。| 中文字幕无线久必| 色5月婷婷| 色色五月天 亚洲| 婷婷深爱网| 伊人大香蕉毛片| 亚洲第一精品网站| 丁香五月激情综合婷综| 天天爱综合网| 色五月激情| 深爱激情五月婷婷| 日本婷婷丁香五月| 91精品刘玥| 丁香五月亚综合图片| www.99热在线| 人妻无码精品一区| 五月丁香婷婷激情| 91日综合欧美| 五月天淫乱视频| www.97干视频| 九九综合色| 久热这里只有精品在线观看 | 激情亚洲婷婷| 夜夜爽天天爽| 亚洲噜色| 91视频免费后入强操| 免费看欧美成人A片无码| 婷婷综合色| 欧美99热| 天天搞天天色综合| 五月天堂色色| 五月天婷婷色在线视频免费观看| 亚洲人妻av伦理| 婷婷射图五月天| 五月亭亭色| 婷婷金品综合视频| 亚洲性爱区无码区| 99re在线精品视频| 久久久99精品免费观看| 婷婷六月天| 少妇丁香婷婷 | 丁香六月激情综合| 成人精品一区二区三区四区五区 | 久久9热综合| 99日韩| 五月永久激情| 欧美色偷拍| 无码任你操| 五月丁香色狠狠干大屄| 六月婷欧美| 开心五月婷婷| 色五月婷婷九月| 丁香五月综合久久八| 五月丁香婷婷狠狠操| www.五月婷婷.com| 79成人网| 九月激情综合| 4438亚洲欧美| 91精品婷婷国产综合久久| 丁香亚洲婷婷五月| 九九99精品视频| 国产偷人爽久久久久久老妇APP| 婷婷五月天亚洲| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 97超碰色| 久久综合99| 五月天久久91| 色播五月丁香婷婷| www..999热久| 影音先锋五月天婷婷丁香在线观看| 色婷婷五月在线| 精久久色| 色丁香五月天射婷婷爱婷婷| 欧美激情 日韩无码 婷婷 五月天| jiZZdr| 在线只有精品| 青青草婷婷五月天| 色色无码| 超碰免费大香蕉| WWW.夜夜| 五月丁香六月婷婷精品| WWW·色色色·COM| 男人大jjc女人免费视频| 婷婷91| 思思热精品在线视频| 久久久er热| 久久色五月| 91操女| 99久热| 碰碰91| 五月婷婷丁香俺日污视频| 人人色性网| 97人人看| 激情综合网站| 久久九九激情五月天| 丁香婷婷久久| 99热综合| 综合AV在线| 亚洲这里只有精品| 天天爽综合网| 五月丁香激情婷婷综合| 激情五月综合六月丁香婷婷狠狠干| 另类激情四射| 一起草av在线观看| 996re热精品视频| 亚洲日本韩国| 五月婷婷激情| 久久色情| 色五月AV| 26uuu成人网| 日韩久久色| www.五月天婷婷| 日日日日操| 99久久er| 久久婷婷亚洲五月天| eeuus五月婷| 9久久精品| 香蕉操亚洲| 五月丁香婷婷啪啪网| 在线一起草av| 99超超碰| 人人色人人弄人人操| 欧美丰满熟妇BBB久久久| 婷婷开心激情| 人妻久久久久久久 | 九九在线精点品| 婷婷欧美激情| 热99这就是精品视频| 国产精品香蕉| 婷婷色基地| 99操逼| 久久黄色片| 色婷婷五月天视频在线| 久久艹网| 丁香五月www| 99综合入口| 久热re视频在线观看网站| 被男人添B超爽视频| 中文幕无线码中文字蜜桃| 婷婷五月天激情四射| 免费黄色视频网址| 亚洲亚洲人成综合网络| 五月天婷久久| 婷婷综合久久综合| 91久久免费| 91九色小视频| 婷婷精品视频| 777久久精品| 五月婷婷久久爱| 这里只有精品在线播放| 99思思热只有在这里看| 天天久| 99久精品视频| 狠狠综合网| 久草热8精品视频在线观看| 激情五月四色| 激情综合网站| 五月天丁香久久| 黄色AV日韩| 丁香香五月激情免费视频| 婷婷婷五月天最新综合你懂的| 九九色99| 久久Xx| 激情五月天综合| 五月丁久久| 久久精品五月| 久久五月视频| 五月精品免费XXX| 久久99热免费最新版| 俺去也五月天婷婷| 欧美日韩二区在线| 久久看婷婷| 夜夜人妻五月天| 这里只有精彩视| 五月婷啪啪| 国产午夜精品一区二区三区嫩草| 久碰久| www超碰| 天天狠狠色噜噜| 婷婷丁香人妻天天爽| 五月成人网站| 色亭亭九月| 色婷婷丁香| 久久婷婷欧美| 92久久| 日本无码专区| 婷婷伊人久久| 丁香婷婷五月综合欧美另类| 久久99激情| 99久久国产成人精品| 五月天婷婷婷| 97在线精品| ady狠狠入| 丁香六月天AV| 99精彩视频| 风流少妇A片一区二区蜜桃| 免费看片在线观看| 99人这里只有精品| 无码色| 99精品视频在线观看| 色五月婷婷激情基地| 欧美狠狠一在草| 激情五月婷婷五月丁香五月开心五月| 第四色五月天| 超碰激情五月| 狠狠干天天内射| 色色色综合| 国产精品久久久爽爽爽麻豆色哟哟| 五月天丁香成人社| 丁香五月色情| 五月丁香六月激情| 免费人人操| 国内婷婷丁香社区在线播放| 丁香狠狠色婷婷| 69凹凸成人综合网| 日韩三级片一区二区| 狠狠色噜噜狠狠狠888| 免费无码毛片一区二区A片| 欧美日韩成人在线观看| 99免费视频网| 久久综合九九| 色五月天堂| 99热免费精品| 99婷婷狠狠成为人免费视频| 婷婷色在线| 夜丁香五月婷婷| 亚洲婷婷五月天| 99热新网址| 开心五月网 | 色婷婷久久久| 免费成片在线观看| 婷婷深爱五月丁香网| 99激情视频| 中文字幕,综合,91| 亚洲A色| 成人无码髙潮喷水A片| 日韩欧美一级大黄网站| 开心激情婷婷| 九九热99精品| 99热这里有精品2| 狠狠干婷婷| 婷婷五月丁香综合亚洲| 亚洲视频操| 丁香五月97视频| 狠狠狠五月婷婷六月丁香| 伊人无码高清| 秋霞电影一级黄| 色婷丁香| 91成人电影| 五月婷婷视频在线观看| 亚洲啪| 97色婷婷五月天| 天天射影院| 国产Va视频| 开心五月天激情网| 婷婷五月天堂| 五月婷婷六月天| 精品人妻伦一二三区久久| 99人人看| 丁香六月婷婷综合欧美| 爆乳熟女-区二区三区| 日韩精品无码99| 亞洲自怕| 天天草天天日| 91人妻九色大屁股| 热久久视频99| 99精品视频播放| 婷婷五月丁香婷婷| 色色色激情网| 亚洲丁香网| 一本到不卡高清DVD| 色五月婷婷天天操夜夜操| 99精品视频免费观看近期发布| 丁香狠狠| 香蕉AV777XXX色综合一区| 五月婷婷六月丁香激情综合网| 午夜性做爰电影| 天天干狠狠操| 丁香五月婷婷国产av| 婷婷五月天天aV| 色五月天 丁香| 这里有精品2| 高清国产AV| 五月天久久网站| 九九热啪啪| 中文字幕在线免费观看视频| 色综合区| 九月丁香婷婷| 色五月婷婷久久爱| 欧美情色一区| 五月丁香婷婷开心| 激情国产综合| 久热黄色| 第四色婷婷日本| 狠狠爱综合网| 婷婷激情丁五月| 日韩小视频在线99| 五月天色五月| 精品久久久999| 第四色五月天| 五月停停直播| 激情五月成年| 天天狠狠六月婷丁香影院| 午夜婷婷久久 | 丁香五月天黄色片| 久久99综合| 人妻肉射免费观看| 五月婷婷丁香大香蕉| 色欲影香| 色婷婷视频| 99国产99| 一区二区乱码视频| 亚洲Va成人| 九九一区| 天天噜噜| 综合五月草| AV网在线| 久久久久久久97| 99视频精品在线| 五月开心激情网| 色婷婷色综合激情91| 激情五月天影院| 五月天婷爱综合| 婷婷色五月大香蕉在线观看| 婷婷五月情| 国产色五月| 久久9精品视频| 日日做A爰片久久毛片A片英语| 狠色狠色综合久久| www.精品99| 人妻丰满精品一区二区A片| 五月天影院| 婷婷五月综合社区| 国产精品VIDEOSSEX久久发布| 操操操操操电影网| 九月激情综合| 精品亚洲国产成AV人片传媒| 午夜激情五月天| 91色在线/日韩| 久久激情五月| 精品五月天| 99操免费视频| 99精品视频在线观看| 色五月婷婷亚洲| AV在线免费播放| 精品久久久91久久影视网| 99re这里只有精品视频了| 六月丁香啪啪啪| 五月J香蕉婷婷| 婷婷射图| 啪啪六月婷婷| 九九热亚洲中文在线观看免费| 日本欧美啪啪| 五月婷婷丁香六月| 97碰人人操| 日韩六十路91性交电影| 九九精品99| 五月婷九月| 99色在线| 五月丁香六月色| 天天爽综合| 啪色综合| 亚洲欧美成人在线观看| 久久精品4| www久热com| 五月天色狠狠| 激情爱爱网站| 91VIP在线观看| 婷婷五月成人| 色狠狠综合| 久色婷婷200| 噜噜噜噜在线| 天天做天天爱天天爽夜夜揉| 97色色综合| 五月四色激情| 国产一区二区三区影院| 久久与婷婷| 可以看的AV网站| 婷婷色香六月综合激情| 开心婷婷五月天综合| 五月激情射| 久久5 9视频免费观看| 天天草天天爽| 五月丁香婷婷在线| 99.N在线视频| 人妻无码精品一区| 色五月色五天色情网| 丁香五月天欧洲在线| 午夜亚洲国产精品av一区二区| 影音先锋91视频| 热热色色五月天婷婷| 二色av| 开心激情综合| 91九色丨国产丨爆乳| 天天综合网站| 久热网在线视频| 婷婷五月天激情影片| 四虎婷婷五月天| 久热精品视频在线观| 九九操操| 久久色五月天| 草草影院爱爱| 日韩AV中文字幕在线| 日本偷拍九九九| www.seqingwuyuetian| 精品人妻伦九区久久AAA片| 激情五月天在线视频| 色婷丁香| 综合99久久| 六月丁香综合| 激情欧美丁香五月| 狠狠色综合精品视频在线| 五月天综合婷婷| 婷婷五月天电影在线| 丁香五月婷婷天| 色久五月| 五月丁香在线国产| 色婷婷六月激情| 热99精品视频在线观看| 婷婷五月激情综合| 91丨九色丨高潮丰满日本| 开心五月婷婷婷美女| 精品九九久久| 婷婷99狠| www.9色色色| 99ri国产精品| 色原狠狠综合| www.久久久久久| 婷婷欧美激情| 丁香六月婷婷综合啪啪| 91日日日| 九九综合九九| 丁香花五月天激情| 99啪| 99热最新精品| 激情久久四色| 日日婷婷不卡| 丁香五月婷婷亚洲另类| 婷婷五月18永久免费视频| 99热99色| 亚洲婷婷五月| 色九月婷婷| 天天色粽合合合合合合合| 国产精自产拍久久久久久蜜| 精品少妇人妻AV无码专区偷人| 婷婷五月五月丁香| 激情五月狠狠喔| 色色五月婷婷久久| 久久XX| wuyuedingxiang99| 婷婷激情五月综合基地| 丁香五月亚洲婷婷| www.henhengan| 深爱综合网| 大香蕉网站,大香蕉综合| 久久久99久久| 成人无码精品1区2区3区免费看| 97色婷婷| 996黄色片| 男人天堂99| 五月天激情国产综合婷婷婷就去爱| 天天做天天爱天天爽在| 99黄色| 五月丁香六月激情| 九九無妻| 男人操女人高潮91视频| 超级碰91| 99ri精品视频在线观看| 啪啪干伊人婷婷| 丁香美女主播视频在线观看| 天天日天天插| 色噜噜婷婷| 9热成人在线视频| 激情综合网激情五月天| 色色色激情| 五月婷在线视频免费播放| 五月丁香啪啪网| 天天日天天爽| 五月丁香婷久久| 99re热99| 丁香五月骚喷水视频| 欧美成人精品一区二区 | 做爱夜夜干天天操| 五月丁香操亭亭网| 伊人激情啪啪| 日本女色人人| 影视av久久久噜噜噜噜噜三级| 99热免费网站| 五月丁香免费看| 一起草av| 色婷婷精品视频在线播放| 色色狼人综合| 婷婷五月丁香伊人网| 强伦轩人妻一区二区电影| 久久久网站| 99婷婷五月天激情| 熟女色专区| 高清无码视频网址| www.久久| 激情淫乱男女| 女人天堂av| 欧美黄色AA片哗啦啦啦| 亚洲成人网站在线观看| 色五月开心久久网| 五月丁色AV| 久久丁香五月| 九九在线精品| 99热天堂| 丁香六月色香蕉视频| 婷婷五月天电影网| 亚洲精品又粗又大又爽A片| 色五月天丁香婷婷色| 激情播丁香| 美女五月狠狠| 中国操逼99| 狼人久草| 这里只有精品视频99| 日日操天天操| 一起肏在线视频| 人妻在线中文字幕久久| 婷婷丁香成人| 9精品国产在热久久| 电影《战争与艾拉》免费观看| 欧美婷婷五月天| 香蕉久久国产AV一区二区| 99热播放| 99精品大片| 国产精产国品一二三在观看 | 伊九九三级区| 亚洲色热| 在线免费视频caop| 婷婷精品视频| 久久九九色| 另类小说五月天| 久久婷.com| 五月亭亭狠狠| AV网在线| 五月天婷婷三级黄| 九九这里有精品| 综合天堂AV久久久久久久| 男人的天堂999| 欧洲色色| 日本97人人| 天天 青草 丝袜制服 在线| 欧洲亚洲精品| 99热爱爱干干日| 色色AV色色色东莞| 91精品刘玥| 五月天综合区| 99操碰| 中文字幕成人| 播五月丁香三月婷婷| 婷婷五月天综合久久日| 日日婷婷不卡| 97五月天| jiujiu热在线视频| 五月婷婷啪啪综合网| 91麻豆国产三级精品福利在线观看| 一區四區歐美日韓| 思思热精品在线| 在线视频你懂得| 九九AV在线| 亚洲精品网址| 五月丁香婷婷AV| 国产三级在线播放| 丁香五月天啪啪激情综和网| 日本无码专区| 婷婷五月天国产手机在线视频观看| www.五月丁香| 26uuu青青| 五月丁香六月婷综合成人综合| 丁香五月色五月| 欧美影院| 光棍影院日韩精品| 噜噜视频| 激情性爱婷婷| 深爱开心激情| www,色综合| 色婷婷亚洲五月天| 日韩无码人妻一区二区| 欧美五月婷婷| 日日噜噜久久婷婷五月天| 99热精品无码| 五月天婷婷激情四射综合| 思思热精品在线| 五月婷婷六月丁香首页| 亚洲日日日| 97色啪| 五月婷婷啪啪啪| 99碰网站| 激情久久五月天| 99啪啪视频| 五月丁香婷婷综合网| 婷婷五月激情网| 天天射美女| 天天艹天天综合网| 久久曰曰| 久久只有精品| 99视频这里有精品| 五月综合缴情网| 婷婷激情五月天桃花网| 九热视频| 亚洲性爱电影| 级情九色| 婷婷五六月丁香| 国产欧美精品AAAAAA片| 夜夜夜夜做天天天做无码视频| 婷婷伊人五月天| 五月天婷婷丁香六月| 久久影视婷婷五月| 香蕉国产2013| 99 热国产在| 国产一区二区三区影院| 第四色26uuu| 人人操91色| 网色99| 亚洲人人96@| 亚洲av| 亚洲综合五月天婷婷| 亚洲成人高清在线| 久/久精品99看9| 日本精品。999| 99欧美热| 五月丁香婷婷综合网| 丁香六月色婷婷| 午夜不卡久久精品无码免费 | 婷婷六月伊人| 99热九九在线| 婷婷五月激情综合| 九九免费精品在线视频| 新激情五月天| z色五月播播久久| 激情久久综合| 五月丁香综合啪啪| 99.色| 久久亚洲天堂| 色五月色图| 六月亚洲婷婷6月中文字幕| 4438亚洲欧美| 五月天六月色| 激情AV| 色色色综合网| 日韩五月丁香| jiqingtaose五月天| 色婷婷五月天av在线| 五月激情天| 综合婷婷六月| 久热在线观看视频9| 婷婷伊人网| 麻豆五月丁香婷婷| 91碰| 日韩成人不卡| 影音先锋四区| 五月天色导航| 九九视屏| 无码人妻少妇色欲AV一区二区| 99色免费观看全部| 久久久999精品| 男人大jjc女人免费视频| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香六月婷婷开心| 人妻中文av| 婷婷久久综合| 色欲色香综合网| bbwcuckold精品熟妇| 综合 蜜月 婷婷| 天天干天天操天天爽| 终合激情网| 777久久综合视频| 91丨人妻丨国产丨丝袜| 26uuu美女三级视频| 日本高清久久| 天天干天天色天天干| caop在线视频| 激情婷婷激情在线不卡| 91婷婷在线| 亚洲情a| 97成人丁香婷婷| 极品嫩草| 五月天激情小说| 六月婷婷综合| 性婷婷| 中文字幕av在线| 久久综合九色综合88i| 五月丁香啪啪啪| 99色综合| 天天日天天日天天搞| 色八月婷婷| www五月天com| 大香伊人久色| 久久亚洲婷婷| 五月婷婷丁香啪啪| 天天操天天日天天操| 天天色一道本综合婷婷| 色99自拍| 丁香八月综合激情| 天天爽天天干| 五月婷精品| 深爱1激情网| 欧美日韩AAAAA| 亚洲午夜视频| 怡红院AV亚洲一区二区三区H | 亚洲丁香花色| 婷婷五月丁香色综合| 日韩国产在线精品| 婷婷97| 五月天综合视频|