欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

RAG2SQL實(shí)戰(zhàn):用Vanna構(gòu)建自然語言數(shù)據(jù)庫(kù)查詢助手

RAG2SQL實(shí)戰(zhàn):用Vanna構(gòu)建自然語言數(shù)據(jù)庫(kù)查詢助手 說實(shí)話我寫這篇文章之前剛被業(yè)務(wù)同事堵在工位上要數(shù)據(jù)。需求很簡(jiǎn)單幫我看下華東區(qū)上個(gè)月退貨率超過10%的品類有哪些。難倒是不難但類似的臨時(shí)查詢我一天能接到七八個(gè)每一個(gè)都要打開終端、連數(shù)據(jù)庫(kù)、回憶表結(jié)構(gòu)、手寫SQL、調(diào)試報(bào)錯(cuò)、導(dǎo)出Excel……真正花掉的時(shí)間一半在寫SQL一半在理解業(yè)務(wù)口徑。后來我陸續(xù)試過一些自然語言查數(shù)據(jù)庫(kù)的工具也試過直接把表結(jié)構(gòu)丟給大模型讓它寫SQL效果都不算穩(wěn)定。直到我接觸了Vanna AI這個(gè)方向才算找到一套讓我愿意在項(xiàng)目里落地的方法。它屬于RAG2SQL技術(shù)路線簡(jiǎn)單理解就是先檢索、再生成SQL不是讓模型憑空猜你的表結(jié)構(gòu)而是先把數(shù)據(jù)字典、建表語句、歷史SQL都喂進(jìn)知識(shí)庫(kù)查詢時(shí)把最相關(guān)的那部分上下文拉出來再讓大模型生成SQL。這篇文章我打算把RAG2SQL的原理、Vanna的完整工作流程、最小可用案例、以及我實(shí)際踩過的坑都攤開來講適合正在做數(shù)據(jù)問答、內(nèi)部取數(shù)工具或者純粹想給團(tuán)隊(duì)省點(diǎn)事的開發(fā)者參考。這個(gè)工具解決的核心問題很清楚讓非技術(shù)人員能用自然語言查數(shù)據(jù)庫(kù)同時(shí)讓技術(shù)人員不用再為重復(fù)性取數(shù)需求寫一堆一次性SQL。它不是替代分析師的玩具而是一個(gè)帶資料進(jìn)考場(chǎng)的AI取數(shù)助手。1. 為什么數(shù)據(jù)庫(kù)問答不能只靠大模型硬猜1.1 裸模型生成SQL失敗率高的根源很多人第一次嘗試自然語言查數(shù)據(jù)庫(kù)都會(huì)走一條彎路把建表語句直接丟給大模型然后問幫我查一下各區(qū)域去年四季度的銷售額??茨P蜕傻腟QL語法標(biāo)準(zhǔn)、邏輯清晰、注釋齊全你覺得穩(wěn)了。復(fù)制到數(shù)據(jù)庫(kù)里一執(zhí)行報(bào)錯(cuò)unknown column sales_amount。這是最典型的失敗場(chǎng)景。問題不在于大模型不懂SQL而在于它對(duì)你的數(shù)據(jù)表一無所知。你的表叫orders還是t_order_info金額字段叫amount還是final_price時(shí)間字段是create_time還是gmt_create這些信息模型從哪拿如果你把整個(gè)庫(kù)的DDL一股腦塞進(jìn)上下文大型庫(kù)動(dòng)輒幾十張表、每張表幾十個(gè)字段很快就把上下文窗口撐爆??芍蝗粌蓮埍淼腄DL又覆蓋不了復(fù)雜的業(yè)務(wù)查詢需求。這就是傳統(tǒng)Text-to-SQL方案在真實(shí)生產(chǎn)環(huán)境里總是差一口氣的原因不是不聰明是真的看不見。1.2 傳統(tǒng)Text-to-SQL的四個(gè)共性短板我整理了一下傳統(tǒng)方案的問題基本逃不出這四類。第一不知道表結(jié)構(gòu)。模型只能靠訓(xùn)練時(shí)學(xué)過的通用知識(shí)去猜字段名猜對(duì)了是運(yùn)氣猜錯(cuò)了是常態(tài)。第二不理解業(yè)務(wù)口徑。同一個(gè)字段業(yè)務(wù)上可能有兩種定義比如新增用戶是指注冊(cè)時(shí)間落在當(dāng)天的人還是當(dāng)天首次下單的人這種口徑差異不寫進(jìn)文檔模型永遠(yuǎn)不可能知道。第三沒有歷史記憶。老經(jīng)驗(yàn)是團(tuán)隊(duì)里資深分析師寫SQL時(shí)會(huì)復(fù)用以前寫過的經(jīng)典查詢。模型沒有這個(gè)以前寫過的SQL庫(kù)每次都在裸奔。第四復(fù)雜查詢?nèi)菀谆糜X。多表join、窗口函數(shù)、時(shí)間區(qū)間嵌套模型一旦記不清字段名就會(huì)編造列名、編造縮略寫法SQL看起來像模像樣實(shí)際是空中樓閣。1.3 RAG2SQL的核心思路讓模型帶著資料進(jìn)考場(chǎng)RAG全稱Retrieval Augmented Generation檢索增強(qiáng)生成。原本這是為了緩解大模型知識(shí)過時(shí)、容易胡編亂造而提出來的通用架構(gòu)。RAG2SQL就是把它專門用在SQL生成場(chǎng)景里。思路也非常直白模型不是不知道你的庫(kù)長(zhǎng)什么樣嗎那我提前把庫(kù)的知識(shí)整理好存進(jìn)向量數(shù)據(jù)庫(kù)每次收到自然語言問題先把問題轉(zhuǎn)換成向量去庫(kù)里檢索出最相關(guān)的幾條DDL、業(yè)務(wù)文檔、歷史SQL問答對(duì)然后把這些檢索到的資料塞進(jìn)prompt再讓模型生成SQL。類比來說傳統(tǒng)Text-to-SQL是讓實(shí)習(xí)生不看資料直接閉卷考試RAG2SQL是允許他帶著你整理好的業(yè)務(wù)手冊(cè)和過往案例進(jìn)考場(chǎng)。閉卷靠猜開卷靠查答案質(zhì)量自然不是一個(gè)量級(jí)。Vanna AI就是沿著這個(gè)思路做得比較完整的一個(gè)開源實(shí)現(xiàn)訓(xùn)練階段沉淀知識(shí)問答階段檢索增強(qiáng)最后把生成的SQL放到真實(shí)數(shù)據(jù)庫(kù)里去執(zhí)行、返回結(jié)果。2. Vanna AI到底怎么工作一次查詢的內(nèi)部旅程2.1 兩階段生命周期訓(xùn)練期與問答期Vanna的運(yùn)轉(zhuǎn)邏輯可以拆成兩個(gè)階段這個(gè)理解透了后面用起來就很有數(shù)。訓(xùn)練期做的事情是把你的數(shù)據(jù)庫(kù)資產(chǎn)轉(zhuǎn)化為模型能檢索的知識(shí)。它支持喂三類素材建表語句DDL、業(yè)務(wù)文檔比如字段說明、指標(biāo)口徑、歷史SQL問答對(duì)。每一類都會(huì)被文本向量化后存儲(chǔ)到向量庫(kù)里。這個(gè)階段的核心產(chǎn)出不是一個(gè)新模型而是一個(gè)屬于你自己數(shù)據(jù)庫(kù)的知識(shí)索引。問答期做的事情是接收自然語言問題走三步第一步將問題向量化在知識(shí)索引里檢索出最相關(guān)的上下文比如與問題最匹配的兩張表的DDL、一條歷史SQL、一段業(yè)務(wù)口徑說明第二步把用戶問題、檢索到的上下文、少量示例拼成結(jié)構(gòu)化的prompt送給大模型生成SQL第三步執(zhí)行SQL并返回結(jié)果。如果是ask()完整接口還會(huì)自動(dòng)生成對(duì)應(yīng)圖表。這里有個(gè)關(guān)鍵點(diǎn)Vanna本身不訓(xùn)練模型也不微調(diào)模型。它只是把檢索生成的管線串了起來。生成能力來自底層大模型檢索能力來自向量庫(kù)而把這兩者結(jié)合得夠不夠好取決于你喂的訓(xùn)練素材。2.2 訓(xùn)練素材三件套DDL、文檔、SQL樣本我強(qiáng)烈建議在每個(gè)項(xiàng)目剛開始時(shí)就先規(guī)劃好這三類素材而不是臨時(shí)想到哪喂到哪。DDL是最底層的地基。每張表至少有一條CREATE TABLE語句字段注釋盡量寫清楚。Vanna在生成SQL時(shí)會(huì)根據(jù)用戶問題檢索出相關(guān)的表結(jié)構(gòu)帶回prompt里讓模型知道有哪些字段可用。沒有DDL模型就瞎編。業(yè)務(wù)文檔是消除歧義的關(guān)鍵。舉個(gè)例子庫(kù)里的銷售額字段是含稅還是不含稅月活的去重口徑是什么這些不能靠模型猜要在文檔里用一句話寫清。你看我的經(jīng)驗(yàn)里數(shù)據(jù)字典文檔和DDL的權(quán)重其實(shí)差不多很多SQL生成錯(cuò)誤根因不是模型不行而是業(yè)務(wù)口徑?jīng)]有量化成文字。SQL樣本是參考答案。歷史上正確的自然語言問題與SQL對(duì)應(yīng)關(guān)系每一條都可以被訓(xùn)練。模型檢索到相似問題后會(huì)參考這個(gè)樣例的寫法比如分組方式、時(shí)間過濾條件、表關(guān)聯(lián)關(guān)系從而更穩(wěn)定地輸出正確SQL。這也是RAG2SQL比單純告訴模型表結(jié)構(gòu)要穩(wěn)得多的原因。2.3 一次查詢的完整拆解我以華東區(qū)上個(gè)月各品類退貨率為例走一遍內(nèi)部流程。用戶輸入這句話之后Vanna先對(duì)問題進(jìn)行向量化得到文本嵌入向量。然后在知識(shí)索引里做相似度檢索它可能命中的是有關(guān)聯(lián)的訂單表、商品品類表的DDL一條歷史SQL——統(tǒng)計(jì)退貨率時(shí)用的是return_flag Y還有一條文檔說明退貨率 退貨訂單量 / 總訂單量統(tǒng)計(jì)口徑以退款完成為準(zhǔn)。檢索到這些內(nèi)容后Vanna會(huì)組裝成一個(gè)prompt大體結(jié)構(gòu)是你是專業(yè)的SQL生成助手以下是當(dāng)前數(shù)據(jù)庫(kù)的相關(guān)表結(jié)構(gòu)、業(yè)務(wù)規(guī)則和歷史案例請(qǐng)根據(jù)用戶問題生成一條可執(zhí)行的SQL。模型讀完上下文生成的SQL就會(huì)使用檢索到的真實(shí)字段名、正確的口徑、以及相似SQL里的寫法而不是憑空發(fā)揮。SQL生成之后Vanna會(huì)交給執(zhí)行器在已連接的數(shù)據(jù)庫(kù)上運(yùn)行。如果配置了只讀賬號(hào)在這個(gè)環(huán)節(jié)就很重要。最后返回查詢結(jié)果如果有圖表生成能力還會(huì)自動(dòng)判斷用什么圖表展示合適。整個(gè)流程看起來像一次簡(jiǎn)單的問答但背后的知識(shí)檢索、上下文組裝、SQL執(zhí)行每一步都是獨(dú)立的可調(diào)環(huán)節(jié)這也是它比直接讓模型寫SQL更可控的原因。3. 從零跑通一個(gè)最小案例3.1 安裝與環(huán)境準(zhǔn)備動(dòng)手之前先把環(huán)境準(zhǔn)備好。我習(xí)慣用Python 3.9以上的版本單獨(dú)建虛擬環(huán)境避免污染全局環(huán)境。安裝只需要一行pip命令Vanna會(huì)把它依賴的向量庫(kù)、SQL執(zhí)行引擎等組件一起拉下來。pip install vanna裝完之后需要確定兩件事用哪個(gè)大模型后端生成SQL用哪個(gè)向量庫(kù)存訓(xùn)練素材。在Vanna的體系里這兩者可以分開選它的多繼承設(shè)計(jì)讓你可以自由組合。比如常見的組合是某商用模型接口配一個(gè)本地向量存儲(chǔ)但這部分配置和廠商強(qiáng)相關(guān)不同人的選擇可能不一樣。我的建議是不要糾結(jié)于某個(gè)特定廠商先理解背后的組合方式再按官方文檔換成自己的配置能力強(qiáng)得多。from vanna.chromadb import ChromaDB_VectorStore # 你的大模型后端類按所選模型服務(wù)商的接入方式替換 from vanna.llm import YourProviderBackend class MyVanna(ChromaDB_VectorStore, YourProviderBackend): def __init__(self, config): ChromaDB_VectorStore.__init__(self, configconfig) YourProviderBackend.__init__(self, configconfig) config { api_key: 你的模型服務(wù)Key, model: 你選擇的模型名, embedding_function: 你的向量模型配置, collection_name: sales_knowledge } vn MyVanna(configconfig)這段代碼在真實(shí)使用時(shí)要根據(jù)你選的后端替換YourProviderBackend。它想說明的是向量檢索這頭基本不用動(dòng)重點(diǎn)是把模型后端接對(duì)。接好后調(diào)用幾個(gè)JSON配置就完成了初始化。3.2 準(zhǔn)備測(cè)試數(shù)據(jù)庫(kù)并訓(xùn)練知識(shí)為了不影響任何現(xiàn)有環(huán)境我建議先把整個(gè)流程跑在一個(gè)本地文件型數(shù)據(jù)庫(kù)上。比如用Python自帶的SQLite建立一個(gè)銷售相關(guān)的小庫(kù)只有幾張表字段也精簡(jiǎn)非常適合驗(yàn)證RAG2SQL的完整鏈路。建好庫(kù)之后進(jìn)入訓(xùn)練環(huán)節(jié)。Vanna的訓(xùn)練接口有三種對(duì)應(yīng)前面說的三類素材。我這里用實(shí)際文本演示一下。vn.train(ddl CREATE TABLE orders ( id INTEGER PRIMARY KEY, customer_id INTEGER, region TEXT, category TEXT, order_amount REAL, return_flag TEXT, created_at TIMESTAMP ); ) vn.train(documentation 退貨率統(tǒng)計(jì)口徑退貨率 退貨訂單數(shù) / 總訂單數(shù)。 退貨訂單以 return_flag Y 為準(zhǔn)。 金額單位均為元。 ) vn.train(sql 去年華東區(qū)各品類總銷售額: SELECT category, SUM(order_amount) FROM orders WHERE region 華東 AND created_at date(now, -1 years) GROUP BY category )注意train(ddl...)、train(documentation...)、train(sql...)這三種喂法參數(shù)名決定了訓(xùn)練素材的類型。喂完之后這些內(nèi)容會(huì)被切塊、向量化、存儲(chǔ)起來。整個(gè)過程很快基本就是計(jì)算嵌入向量的時(shí)間。這里有一個(gè)細(xì)節(jié)我要提醒SQL樣本的訓(xùn)練格式是問題描述 冒號(hào) SQL語句。Vanna會(huì)把冒號(hào)前面的自然語言問題也作為檢索的錨點(diǎn)這樣用戶后續(xù)提問時(shí)才能命中這條樣本。如果只喂SQL不寫對(duì)應(yīng)問題檢索時(shí)就沒有可以匹配的入口效果大打折扣。3.3 問出第一個(gè)問題訓(xùn)練完成連接數(shù)據(jù)庫(kù)就可以用自然語言提問了。vn.connect_to_sqlite(sales.db) result vn.ask(過去一年華東區(qū)各品類的總銷售額是多少)ask返回的內(nèi)容通常包含三類信息生成的SQL、執(zhí)行結(jié)果數(shù)據(jù)、以及生成的圖表如果你配置了圖表能力。拿SQL打印出來看一眼你會(huì)發(fā)現(xiàn)它用的字段名、表名、過濾條件都是對(duì)的不是模型腦補(bǔ)的。如果你只想先看SQL不執(zhí)行也可以用generate_sql接口先確認(rèn)SQL沒問題再執(zhí)行。這在調(diào)試期特別有用相當(dāng)于在模型和數(shù)據(jù)庫(kù)之間加了一道人工檢查。3.4 快速包一個(gè)Web界面給團(tuán)隊(duì)用命令行運(yùn)行只是驗(yàn)證流程真正給業(yè)務(wù)方用必須有個(gè)界面。Vanna官方提供了基于開源Web框架Streamlit的示例應(yīng)用你可以直接當(dāng)模板使用。我的習(xí)慣是寫一個(gè)簡(jiǎn)單的問答頁面左側(cè)放歷史對(duì)話記錄右側(cè)是聊天輸入框用戶提問后把vn.ask的結(jié)果渲染成SQL代碼塊、數(shù)據(jù)表格和圖表。由于vn對(duì)象是同一個(gè)訓(xùn)練好的知識(shí)自動(dòng)生效不需要額外處理狀態(tài)。import streamlit as st st.title(數(shù)據(jù)庫(kù)問答助手) question st.chat_input(用一句話描述你想查的數(shù)據(jù)) if question: sql, df, figure vn.ask(question) st.code(sql, languagesql) st.dataframe(df) st.plotly_chart(figure)到這里一個(gè)最小閉環(huán)已經(jīng)走通了業(yè)務(wù)同事打開網(wǎng)頁打字提問拿到表格和圖表不用再來煩你寫SQL。這個(gè)體驗(yàn)是很多團(tuán)隊(duì)真正決定引入它的一瞬間。4. 讓結(jié)果更精準(zhǔn)訓(xùn)練策略與檢索調(diào)優(yōu)4.1 知識(shí)資產(chǎn)的質(zhì)量決定了問答的下限我測(cè)試過的很多案例里RAG2SQL效果不穩(wěn)定九成問題出在訓(xùn)練素材上而不是大模型上。這里說的質(zhì)量首先是指業(yè)務(wù)口徑寫得足夠明確。一個(gè)字段被不同部門用了兩種口徑你必須在文檔里寫清楚默認(rèn)用哪種或者明確提示模型如果問題里未特別說明默認(rèn)取口徑A。其次DDL要帶注釋。Vanna檢索的是文本塊字段注釋越完整語義匹配越準(zhǔn)。相反如果你喂的是一段沒有注釋、字段名全是a1、b2的機(jī)器建表語句模型檢索到了也看不懂。建議把注釋直接寫在DDL里或者在建表語句后面附加兩行字段說明。文本拼接在訓(xùn)練效果上完全沒問題。再者SQL樣本要控制數(shù)量和質(zhì)量。我見過有人一股腦喂幾百條歷史SQL結(jié)果檢索出來的樣例五花八門模型反而被帶偏。我的經(jīng)驗(yàn)是每個(gè)典型查詢場(chǎng)景選兩三條質(zhì)量最高的即可重點(diǎn)覆蓋多表join、復(fù)雜聚合、時(shí)間區(qū)間過濾這幾種易錯(cuò)場(chǎng)景。4.2 向量檢索命中率不高怎么辦如果生成的SQL里字段名對(duì)不上或者表選錯(cuò)了首先要懷疑檢索環(huán)節(jié)沒命中。你可以自己去知識(shí)庫(kù)里查一下把用戶問題向量化看最相關(guān)的top-k條內(nèi)容都是什么。很多向量庫(kù)都有類似query()接口能直接返回相似文檔片段。我遇到最多的問題是上下文搜到的東西太泛比如問題問的是品類退貨率但檢索結(jié)果混入了幾條不相關(guān)的通用DDL分散了模型的注意力。這時(shí)候可以調(diào)低返回的上下文條數(shù)比如從默認(rèn)的10條降到5條讓最相關(guān)的片段占主導(dǎo)。如果你的問題文本很長(zhǎng)也可以做一次簡(jiǎn)單的關(guān)鍵詞提取再檢索丟掉幫我請(qǐng)問這類干擾詞命中率會(huì)高不少。另外如果某種提問方式反復(fù)出現(xiàn)但檢索始終不理想最有效的辦法就是加一條人工構(gòu)造的SQL樣本把那類問題釘在知識(shí)庫(kù)里。這是RAG方案最容易理解的優(yōu)勢(shì)——知識(shí)庫(kù)是活的隨時(shí)能打補(bǔ)丁。4.3 幾類高頻查詢的寫法建議自然語言查數(shù)據(jù)庫(kù)高頻場(chǎng)景其實(shí)很固定針對(duì)性優(yōu)化好這些場(chǎng)景團(tuán)隊(duì)使用滿意度就已經(jīng)很高。時(shí)間區(qū)間類比如上個(gè)月近90天去年Q4模型需要能推算日期并翻譯成SQL條件。最佳做法是在文檔里寫清楚庫(kù)內(nèi)時(shí)間字段命名規(guī)則并提供一兩條帶date(now, -1 years)或BETWEEN的SQL樣本。否則模型可能自作主張用LAST_DAY或EXTRACT導(dǎo)致查詢結(jié)果口徑不對(duì)。聚合對(duì)比類比如各區(qū)域本月環(huán)比增長(zhǎng)涉及同表自關(guān)聯(lián)或子查詢屬于容易出錯(cuò)的一類。我建議專門訓(xùn)練兩條樣例SQL把環(huán)比這個(gè)業(yè)務(wù)詞的對(duì)應(yīng)寫法固定下來。只要問題里有環(huán)比檢索就能命中樣例基本不會(huì)再翻車。多表join類尤其是事實(shí)表和維度表關(guān)聯(lián)關(guān)鍵是把主外鍵關(guān)系寫進(jìn)文檔比如orders表的category_id關(guān)聯(lián)category表的id。模型知道這層關(guān)系后join條件就不會(huì)亂寫。我也測(cè)試過一些窗口函數(shù)場(chǎng)景比如按月份累計(jì)銷售額模型在有了DDL和一兩條例句后生成SUM(...) OVER (PARTITION BY ... ORDER BY ...)的成功率明顯高于直接裸問。這也印證了RAG2SQL的核心價(jià)值它不是讓模型憑空變得更聰明而是把每個(gè)查詢場(chǎng)景需要的知識(shí)提前放到它手邊。5. 踩坑實(shí)錄與排查手冊(cè)5.1 高頻問題速查表我把實(shí)際操作中遇到過的問題整理成一張表你可以對(duì)照排查?,F(xiàn)象大概率原因處理方式生成的SQL里字段名不存在訓(xùn)練DDL缺失或檢索未命中相關(guān)表確認(rèn)DDL已訓(xùn)練手動(dòng)檢索知識(shí)庫(kù)看是否命中表選錯(cuò)了多張表結(jié)構(gòu)相似檢索到無關(guān)的DDL在文檔里明確表的使用場(chǎng)景增加區(qū)分性描述SQL語法正確但結(jié)果和預(yù)期差很遠(yuǎn)業(yè)務(wù)口徑未定義模型自行理解口徑補(bǔ)充口徑文檔并用SQL樣本鎖定正確算法同樣的問題一次成功一次失敗向量檢索結(jié)果存在不穩(wěn)定性降低top-k數(shù)量增加高質(zhì)量SQL樣本每次提問響應(yīng)很慢查詢復(fù)雜或檢索上下文太長(zhǎng)精簡(jiǎn)訓(xùn)練文檔控制每次送入prompt的片段長(zhǎng)度連接數(shù)據(jù)庫(kù)執(zhí)行時(shí)報(bào)權(quán)限錯(cuò)誤數(shù)據(jù)庫(kù)賬號(hào)權(quán)限不足檢查賬號(hào)是否有查詢所需表的SELECT權(quán)限5.2 安全邊界別把數(shù)據(jù)庫(kù)交給AI裸奔聊到這里必須提安全。讓大模型生成SQL并執(zhí)行最大的隱患不是它不聰明而是它可能生成危險(xiǎn)SQL。我們團(tuán)隊(duì)落地時(shí)定了兩條鐵律第一AI執(zhí)行SQL的數(shù)據(jù)庫(kù)賬號(hào)必須是只讀賬號(hào)最小權(quán)限原則只能SELECT不能INSERT、UPDATE、DELETE、DDL第二限制返回行數(shù)和查詢超時(shí)避免某條SQL循環(huán)關(guān)聯(lián)或全表掃描拖垮庫(kù)。在代碼層面Vanna允許你重寫run_sql方法在真正執(zhí)行前加一道檢查邏輯比如攔截非SELECT開頭的語句、限制返回行數(shù)。我建議無論如何都加上這一層不要完全信任模型生成的SQL。它生成DELETE FROM orders的概率極低但不是零這種風(fēng)險(xiǎn)不值得賭。def run_sql(self, sql): if not sql.strip().lower().startswith(select): raise Exception(僅允許執(zhí)行查詢語句) # 強(qiáng)制限制返回行數(shù) cursor.execute(sql LIMIT 1000) return cursor.fetchall()另外包含敏感字段的表要么不在訓(xùn)練DDL里出現(xiàn)要么在文檔里明確說明脫敏邏輯。自然語言問答系統(tǒng)往往會(huì)被內(nèi)部人員高頻使用數(shù)據(jù)權(quán)限過濾如果做不好容易把不該開放的數(shù)據(jù)暴露給所有人。我的做法是在視圖層控制給AI連接的不是原始表而是已經(jīng)過濾好權(quán)限的只讀視圖。這樣即使SQL寫對(duì)了也讀不到越權(quán)數(shù)據(jù)。5.3 表結(jié)構(gòu)變更后的連鎖反應(yīng)數(shù)據(jù)庫(kù)表結(jié)構(gòu)調(diào)整是整個(gè)方案里最容易忽略的問題。我遇到過這樣的情況新版本上線后某張表加了字段、改了命名但知識(shí)庫(kù)里存的還是舊DDL。模型根據(jù)舊DDL生成的SQL要么報(bào)錯(cuò)要么算出來的結(jié)果和真實(shí)表對(duì)不上排查很久才發(fā)現(xiàn)是訓(xùn)練數(shù)據(jù)沒更新。RAG2SQL工具本身不會(huì)自動(dòng)感知表結(jié)構(gòu)變化它只知道你喂給它什么。所以只要涉及DDL變更就要把對(duì)應(yīng)表的訓(xùn)練記錄刪掉重新訓(xùn)練最新DDL。Vanna提供了刪除訓(xùn)練數(shù)據(jù)的接口可以做刪舊增新兩步操作。我習(xí)慣在表結(jié)構(gòu)變更后跑一個(gè)同步腳本對(duì)比數(shù)據(jù)庫(kù)元信息發(fā)現(xiàn)變化就自動(dòng)重訓(xùn)對(duì)應(yīng)表的DDL。增量訓(xùn)練反而很簡(jiǎn)單新表上線、DDL補(bǔ)充直接訓(xùn)練進(jìn)去就行不需要全量重建模型。這也是RAG方案相比微調(diào)方案的又一大優(yōu)勢(shì)——知識(shí)更新成本極低。6. 它適合解決什么問題又解決不了什么6.1 我覺得最合適的落地場(chǎng)景折騰了這么一圈說點(diǎn)實(shí)在的判斷。RAG2SQL最適合的場(chǎng)景是內(nèi)部數(shù)據(jù)取數(shù)簡(jiǎn)單報(bào)表探查。典型畫像就是團(tuán)隊(duì)里業(yè)務(wù)人員經(jīng)常要數(shù)據(jù)數(shù)據(jù)分析師被臨時(shí)取數(shù)需求占用了大量時(shí)間管理者想自己拉數(shù)看但不想學(xué)SQL。如果你把它做成一個(gè)內(nèi)部工具讓業(yè)務(wù)同事直接問上個(gè)月各區(qū)域新增客戶數(shù)排行它能生成SQL、執(zhí)行、返回圖表那是實(shí)打?qū)嵉男侍嵘?。?duì)數(shù)據(jù)分析師來說它也能當(dāng)半個(gè)寫SQL的副駕駛定個(gè)復(fù)雜報(bào)表先用自然語言描述需求讓它生成初版SQL自己再做修改速度會(huì)比從零開始敲快很多。成本方面現(xiàn)在大模型API的單次調(diào)用成本不高絕大多數(shù)內(nèi)部使用場(chǎng)景是完全可以接受的。相比招人寫報(bào)表這個(gè)方案性價(jià)比很突出。6.2 不建議硬上的場(chǎng)景RAG2SQL不是萬能鑰匙。首先它不適合寫操作任何需要修改數(shù)據(jù)的場(chǎng)景都不要用它其次它不適合復(fù)雜ETL和跨系統(tǒng)數(shù)據(jù)管道那種多步驟、強(qiáng)依賴、需要事務(wù)保障的任務(wù)還是老老實(shí)實(shí)寫代碼調(diào)度再次它對(duì)超大規(guī)模高并發(fā)查詢也不合適它生成的SQL不一定是最優(yōu)執(zhí)行計(jì)劃經(jīng)常需要人工review和加索引。還有一點(diǎn)容易被忽略如果你們的表結(jié)構(gòu)極其混亂、字段名完全沒有作用、業(yè)務(wù)口徑誰也說不清楚那RAG2SQL幫不了你。它的前提是知識(shí)可以被整理如果你的知識(shí)本身就是一團(tuán)漿糊喂給模型也是漿糊。我在接某個(gè)模擬項(xiàng)目時(shí)光整理數(shù)據(jù)字典就花了半天但整理完之后整個(gè)問答效果直接上了一個(gè)檔次。6.3 我對(duì)這類工具的定位判斷我個(gè)人試下來的感受是RAG2SQL是對(duì)數(shù)據(jù)分析流程的一次真實(shí)改進(jìn)但它不會(huì)威脅數(shù)據(jù)分析師的飯碗。它把寫SQL這個(gè)執(zhí)行過程的成本壓縮了但知道該分析什么、怎么驗(yàn)證分析結(jié)果、怎么推動(dòng)數(shù)據(jù)決策這件事依然需要人來做。工具負(fù)責(zé)把自然語言翻譯成SQL人負(fù)責(zé)判斷翻譯得對(duì)不對(duì)、結(jié)果能不能用。這也是為什么我在內(nèi)部推廣時(shí)反復(fù)強(qiáng)調(diào)用這個(gè)工具的人可以不懂SQL但一定要理解業(yè)務(wù)。對(duì)著一個(gè)錯(cuò)誤口徑查出來的正確SQL結(jié)果也沒意義。最后再分享一點(diǎn)實(shí)操體會(huì)我踩過幾次坑之后掌握了一個(gè)比較舒服的工作流先花半天把核心表的DDL、數(shù)據(jù)字典和五到十條經(jīng)典SQL樣本全部訓(xùn)練進(jìn)去然后拿最近一個(gè)月真實(shí)的業(yè)務(wù)取數(shù)需求做一輪測(cè)試查漏補(bǔ)缺。發(fā)現(xiàn)問題就直接在知識(shí)庫(kù)里補(bǔ)文檔、補(bǔ)樣本基本兩輪迭代之后常見查詢的正確率就穩(wěn)定在很可用的水平。后續(xù)每遇到一類新的查詢需求我也會(huì)習(xí)慣性把對(duì)應(yīng)的優(yōu)秀SQL沉淀成訓(xùn)練樣本。這個(gè)知識(shí)庫(kù)越用越值錢因?yàn)樗恋淼牟恢皇荢QL還有這個(gè)團(tuán)隊(duì)對(duì)業(yè)務(wù)口徑的統(tǒng)一理解。當(dāng)團(tuán)隊(duì)里新來的同學(xué)也能通過這個(gè)助手直接拿到和資深分析師口徑一致的數(shù)據(jù)時(shí)你會(huì)真正感受到前期整理知識(shí)的投入有多值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲中文AV网站| 五月天中文字幕在线婷婷| 色五月欧美| 影音先锋色婷婷| 淫视馆aV二区一区| WWW、日本色丁香、co m| AV在线不卡播放| 天天搞天天色综合| 婷婷五月天激情综合| 五月天婷婷无码| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99秘 在线| 九九综合久久| 久久久这里有精品| 久草热久草在线视频| tingtingzonghewang| 五月丁小婷婷激情四射| 99精品久久久| a色色色色色| 日日日日做夜夜夜夜无码 | 天天激情| 欧美激情综合五月色丁香| 狠狠狠人妻| 欧美A片在线视频免费观看| 色偷偷色婷婷| 538午夜激情| 韩国不卡AC视频| 婷婷五月丁香啪啪| 深爱激情婷| 日本99视频| 九九激情| 成人国产综合| 亚洲中文乱字字幕在线永久| 久久五月人人摸| 欧美大道不卡| 天堂网亚洲色图| 五月丁香成人网| 九月婷婷色色| 狠狠搞狠狠操| 激情五月天无码| 丁香婷婷五月六月久久| 狠狠色综合五月人人| 婷婷金品综合视频| chaopeng在线人人| 亚洲色频| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 啪啪操网| 91九色精品熟女内射| 天天色综合网1| sesesesezonghe| 五月天之色情综合网| 极品少妇高潮啪啪AV无码| 夜夜夜夜夜骑撸| 99婷婷| 9久9久9久女女女九九九一九| 天天爱天天操| 99这里有精品视频视频| 青青热视频| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 婷婷5月开心6月| 少妇婷婷五月天| 久热91| 五月婷婷视频| 日韩AV在线免费| 日本女人久久| 五月丁香精品| 久久婷婷五月天激情| 91成人电影| 国产9色在线/日韩| 婷婷五月激情图片| 综合五月草| 538在线精品| www.狠狠色.com| 亚洲五月婷婷| 久久婷婷五月综合色播| 丁香五月玖玖| 4438激情网| 91超碰在线观看| 丁香五月影院| 五月丁香激情综合网| 激情五月综合网| 热99视频精品在线| site:feetmall.com| 亚洲AV久久久久久久久久久久久久久久| 亚洲十月婷婷综合| www.久操| 丁香婷婷基地| www好屌操| 99久久久精品| 五月天色影院| 精品久久婷婷五月天| 91chinese在线| 少妇激情五月婷婷| 久热伊人9| 免费做A爰片77777| 91丁香五月| 99热99网| www网站在线观看| 国产精典视频在线观看| 五月天婷综合| 91久久电影| 激情综合丁香| 日本熟女一区二区| 香蕉久久国产AV一区二区| 99热久| 天天舔天天摸| 激情伊人网| 色五月婷婷内射| 中文字幕日产A片在线看| 99亚洲精美视频在线观看| 天天做天天爰天天爽天天无遮挡| 色婷婷六月| 天天肏高清在线| www.亚洲激情| 4438全国最大视频成人网站在线观看| 丁香九月婷婷色| 青青草视频免费观看| 亭亭玉立国色天香| 丁香色色网| 亚洲中文字幕AV| 97在线观看| eeuss人妻| 婷婷情色五月天| 99玖玖视频| 欧美人妻一区二区| 91久久电影| 色色免费网站| 婷婷综合另类小说| 国产无遮挡又黄又爽免费网站| 九九热在视频| 97碰碰叉| 丁香五月天啪啪| 久草婷婷视频| 九九色图| 超碰91在线| 日韩1区2区| 丁香无五月网| www.丁香黄色五月天人与| 国产性爱在线| wwwC0maV五月花| 肏日网在线看| 97人人超| 青青草六月丁香| 色域五月丁香| 久久最新色| 超碰97免费在线| 久久永久视频| 成人短视频在线| 日狠狠| 天天做天天双| 综合欧美五月婷婷| 久久99热这里只频精品6学生| 手机旧版看人妻1025| 天天操天天曰| 婷婷五月丁香成人| 人人搡人人| 九九九九毛片| 天插天啪天啪天啪| 91色吧网| 免费视频WWW在线观看网站| 五月天天丁香婷婷| 五月丁香五月综合欧美| 综合久久99| h在线看免费版在线看| 五月丁香婷庭在线| 九九热啪啪| 六月天婷婷| 狠狠色综合五月| 久久婷网| 综合色在线| www.婷婷六月天| 91久久99久久91熟女精品| 亚洲六月综合激情久久下卡| 日本欧美国产| 九九这里是免费的视频5| 亚洲人妻av伦理| 直接看的AV| 玖玖伦理电影| 久久婷婷五月综合激情国产| 99九九这里有免费视频| 99热精品在线| 五月天激情图片| 99久久a线观| 色婷婷丁香社综合| 国产黄大片在线观看画质优化| 青青草成人网| 亚洲另类久久| 丁香五月手机在线| WWW.五月com| 成人片黄网站色大片免费毛片 | 国产全是老熟女太爽了| 激情另类综合| 夜夜爽日日躁| www99在线观看视频| 无码激情AAAAA片-区区| 97热精品| 5月婷婷6月六月丁香| 色婷婷婷综合五月天| 成人丁香色| 激情婷婷护士激情| 精品无码久久久久久久久 | 午夜不卡久久精品无码免费| 色婷婷小说| 五月婷婷九九热| 天天五月情| 成人婷婷深爱综合网| 色婷婷五月天av在线| 欧美高潮9| 26uuu| 久久这里只有精品热在99| 思思热在线免费视频| 色情五月天小说| 五月丁香久久网| 1024婷婷综合久久五月天| 亚洲AV电影av| 97在线天堂| 欧美情色电影一区二区| http:色情日本com| 国产精品久久久久久久久久| 婷婷亚洲丁香五月| 婷婷五月综合婷婷| www.97碰碰com| 久久一级片| 五月丁香啪。| 色婷婷五月视频| 免费成人网在线观看| 色婷另类| 欧美色久| 99自拍视频在线观看| 色婷婷视频综合| 狠狠色综合五月| AAA亚洲AV| 欧美英丁香开心快乐六月天网| 人人舔人人色人人高潮| 六月激情婷婷色| 婷丁香五月天| 日韩操逼小电影| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 丁香美女主播视频在线观看| 日本久久极品| 色色热| 狠狠狠激情网| 91精品久久久久久久久久久久| 91人操人人人操人| 98国产精品综合一区二区三区| 第九色区av天堂| 99热在线观看| 久久久久9久无码视频| 99精品偷自拍| 日韩AV在线免费| www.久久9| 九色视频91| 久久6这里只有精品| 很很操很很操| 天天做天天爱天天爽综合网| 亚洲成人AV在线观看| 99热免费观看| 国产精品久久久久久久久久免费 | 色综合色综合色综合色综合| 五月天久久综合| 中美日韩成人在线| 91欧美| 午夜成人片400| 99热热热天天人人人超超碰| 日韩无码人妻一区二区| 色热久资源| 大伊久久| 色婷婷综合久久久久| 嫩BBB槡BBBB搡BBBB| 一区二区无码视频| 深夜男女福利刺激影院一区完整| 国产丁香五月天婷婷| 色婷婷五月天激情在线观看| 久久婷婷色| 久久日本wwww色| 91久久久久久久久18| 天天粽合合合合| 欧美日韩aaaa| 丁香色五月天| 888久久久| 99热6这里只有精品6| 激情五月婷婷丁香| 99视频在线| 97色五月婷婷在线| 超碰在线国产| 这里精品| 99国产精品久久久久久久久久久| 色情五月天导航| 九九碰九九爱97超碰| 一本久久亚洲五月婷婷| 久久久97| 色99婷婷五月天| 内射激情在线| 99色综合| 亚洲av无码精品色午夜| 六月色婷婷欧美| 五月丁香五月婷婷| 天天日中文| 五月色色色| 这里只精品热在线18| 狠狠操综合| 久久久久九九九九视屏小说88| 久久婷婷五月综合| 天天综合久久| 久久99精品久久久| 婷婷五月丁香国产| 同性gv国产精品一区二区| 狠狠色五月| 99久热视频在线| 婷婷五月色播网| www.com五月天| 日本少妇裸体做爰高潮片| 9人人操人人看| 九九热只有精品| 99热爆在线| 五月丁香狠狠爱婷婷综合| 99热.com| 色五月天激情| 91玖玖| 69精品人妻不卡视频| 丁香六月视频| 国产激情综合五月久久| 人妻AV在线| 色欲午夜无码久久久久久张津瑜| 五月婷婷综合成人| 欧美VA在线观看| 99人妻碰碰久久久禁片| 丁香五月六月欧美| 射满了还射免费在线观看 -午夜版全集-新视觉影院 | 超碰人人操人人干| av九九| 中文字幕日韩成人| 久久女人天堂| 超碰人人草| 婷婷亚洲色| 九色PORNY9l原创自拍| 五月丁香色综合| 青青艹b| 精品久久99码| 中文字幕,综合,91| 丁香五月天激情综合| 色婷婷AV久久| 97碰人人操| 久久久99久久| 色色五月丁香| 色五月天视频| 丁香五月天堂网AV| 欧美色色色色色色色| 六月丁香色色| 97操碰| 日日骑夜夜撸| 免费无码毛片一区二区A片| 99热精品在线播放观看| 蜜臀AV在线观看| 丁香婷五月| 91在线人| 激情综合网五月婷婷| 99在线免费视| 婷婷六月久久| 在线中文字幕视频| 五月婷婷co.m| 99内射视频| 欧美色色色色色色色| 五月丁香六月婷婷综合在线| 9久热精品在线视频| 五月天久久综合婷婷丁香| 色色丁香婷婷五月天| 色五月天成人| 亚洲成人在线播放| 超碰人人在线观看| 激情六月丁香| 丁香色五月婷婷91桃色| 丁香五月影视| 亚洲AV影片在线观看| 婷婷五月天六月丁香| 91丨九色丨国产打屁股| 超碰亚洲欧美| 婷婷丁香97| sewuyuejiqingwang| 久久久五月天婷婷成人网| 91丨九色丨熟女|老版| 婷婷五月天播| 亚洲AV另类| 99热8| 婷婷五月丁香六月| 国内婷婷丁香社区在线播放| 99狠狠色| 99在线看片| 中文AV网站| 久久婷婷五月天激情唯美| 99ri在线播放| 色五月婷婷777| 超碰国产AV| 日日日日做夜夜夜夜无码| 丁香五月婷婷综合激情哟哟哟| 99精品自拍| 天天日,天天射,天天舔| 五月丁香啪啪拍| 亚州综合色| 婷婷五月天AV| 久久精品五月天| 六月天无码网址| 91viP在线看| 色色色色色日韩午夜激情 | 丁香花婷婷五月天| 一本色综合色| 狠狠色婷婷7777久| 婷婷丁香五月亚洲| 色综合开心五月深爱五月| 97色色婷婷| 91丨九色|PRNY熟妇| 亚洲日比视频| 五月婷婷啪啪啪啪| 精品色色| 老司机伊人| 色噜噜狠噜噜视频| 日日舔夜夜操| 人妻射精AV| 久久五月丁香综合| 婷婷五月天在线观看| 丁香五月婷婷亚洲色图| 怡红院 久久| 偷拍91九色| 日韩有码久久| 色婷婷五月丁香色| 97伦乱| 99亚洲天堂| 久久性爱视频网站| 99色色网| 丁香婷婷色九月| 欧美成人五月天| 色 丁香婷婷| 免费九九热| www.色色五月天.com| 久久一伦| 99噜噜噜在线播放| 免费啪啪亚州视频| 无码人妻激情| 激情伊人五月天| 人人操91| 狠狠干夜夜干| 开心婷婷五月| 免费无码毛片一区二区A片| 午夜丁香婷婷| 丁香婷婷激情| 婷婷五月激情综合| 五月丁香黄色视频| 亚洲五月婷婷| 婷婷色导航| 99热精品在线| 99热9| 99在线精品视频| 国产真实乱对白精彩| 日韩丁香涩| 亚洲无码性爱| 婷婷久久色| 99精品手机在线视频| 国产一区二区av免费| 色色婷婷综合| 伊人五月婷| 五月天丁香婷婷视频网址| 91人人爱| www.综合久久| 超碰99在线| 五月色情婷婷开心五月色情| 5月丁香六月情| 无码操B| 原琪琪色影院| 亚洲黄色影视| 精品AV无码超碰| 伊人狠狠色婷婷综合丁香一区| 久久精品女人天堂AAA| 97精品综合久久| 欧美 日韩 成人在线| 婷婷五月在线观看| 色五月激情图片| 色婷婷六月| 免费三级黄色| 超碰丁香五月| jiujiu热在线视频| 婷婷五月天手机版视频| 国产精品VA在线| 国产无套精品一区二区| 日本99色| 中文成人在线| 99爽视频| 欧美性爱5月天天天看| 91色在线 | 日韩| 9999久久久久| 久久码久久无清| 久久九九综合| 婷婷五月天亚洲丁香| 天天做天天爱综合| 丁香六月婷婷| 狠狠色 综合色区| 五月久久网| 五月丁香六月婷婷综合免| 国产精品VA在线| 亚洲综合色网| www.henhenl| 丁香六月婷婷色XXXX| 日本女人久久| 久久人人做人人妻人人玩精品va| 五月婷婷婷综合网| 九九九午夜影院成人| 亚洲五月花| 开心五月网 | www超碰| 欧美婷婷综合网| 专区无日本视频高清8| 久青草大香蕉| 婷婷欧美激情综合| 夜色综合网| 婷婷.com| 成人必爱视| 色99色| 亚洲成人在线在线| 久色网址| 丁香五月综合AV在线| 色色色999| 综合五月丁香97| 欧爱综合视频| 久久视频这里有精品99| 另类伊人婷婷| 亚洲丁香五月天视频| 熟妇高潮一区av| 久久婷婷五月丁香网| 五月综合六月丁| 五月天婷婷在线视频| 九月色婷婷综合| 五月婷婷免费| 国产做爰视频免费播放| 成人婷99最新| 久热AA| 五月婷婷深深爱| 丁香五月激情啪啪| 一级黄色片看看| 91聚色综合网| 激情婷婷丁香色五月综合| 婷婷五月丁香综合| 99九九热视频免费| 婷婷成人五月天成人文学小说| 天天综合色| 久久狠狠干| 深爱激情五月网| 一起操 91N.com| 久久人妻www| 99ri精品在线观看| 丁香六月婷婷综合啪啪| 亚洲中文字幕在线电影| 五月婷AV| 丁香婷婷五月激情四射网| 免费99情趣网视频| 免费看欧美成人A片无码| 91久久综合| 超碰猛烈的性猛交| 97人操人免费视频| 亚洲精品永久久久久久| 视频一二区| 五月丁香精品| 日本九九九九| 五月天婷婷社区| 欧美噜噜噜草| 开心五月激情网| 五月婷婷av| 中文字幕黄色片| 婷婷啪啪| 少妇AB又爽又紧无码网站| 三十路磁力链接| 色婷插| www.六月丁香看AV| 熟妇天天综合| 五日激情综合| 91人人网| 久久久激情| 色色吧综合| 六月婷婷狠狠色在线观看| 五月丁香激情综合网| 69婷婷丁香午夜| 91seAV| 五月婷婷开心网| 激情五月婷婷视频一区二区三区| 色婷婷综合影院| 182TV大香蕉| www.婷婷.com| 五月丁香激情综合啪| 91丨九色丨东北熟女| 天天天添天天操| 9久热在线精品| 播五月开心婷婷欧美综合| 91爱啪啪| 综合av在线| 国产密乳av一区二区三区四区| 另类视在线| 99亚洲精品视频| 性爱综合网| 日韩三十六页| 五月天色丁香| 六月色丁香中文字幕| 婷婷五月丁香香蕉| 99综合| AAA亚洲AV| 大香蕉五月天婷婷丁香91| 日本色婷婷| 在线色五月婷婷| 精品国产乱码久久久久夜深人妻 | 2022人人操人人看| 婷婷色五月激情| 色吧五月婷婷| 丁香婷婷性久久| 日韩人妻无码专区| 人人视频人人干人人做| 99色色网站| 欧美人人女女精品综合五月天| 99热6精品| 色婷婷五月天视频在线| 天天天久久久| 天天色综| 欧美成人AAA片一区国产精品| 色色色图| 婷婷丁香社区网| 大大香蕉综合在线| 亚洲精品V天堂中文字幕| 久超超碰| 9久热这里只有精品| 色人久夂| 人人操婷婷| 可以免费观看的AV| 天天操比比| 美女丁香五月天| 久久大香蕉伊人| 一本久久婷婷| 99亚洲精品| 亚洲精品视频在线播放| 五月婷婷丁香五月婷婷丁香| 91视屏在线观看com.wwwvv| 久热99热| 1024久婷| 欧美槡BBBB槡BBB少妇| 秋霞AV淫| 婷婷六月久久综合导航| 俺去也在线www色官网| 月婷婷亚洲| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 色天堂在线| 日日插日日干| 很很操很很操| 色五月婷婷婷婷婷婷婷婷婷婷| 六月婷婷九月丁香| 五月五月婷婷| 久久爱综合| 99国产在线精品视频| 在线只有精品| 五月丁香激情婷婷| 五月丁香综合在线| 婷婷亚洲在线| 婷婷丁香五月视频| 思思99热这里只有精品| 亚洲中文字幕av| 五月婷婷色情| 国产乱码久久| 天天干,天天舔| 91丁香五月| www.日本91| 欧美日韩国产伦精品日韩人妻一| 久久精品天| 噜噜五月天综合| A片天天| 中文字幕无线久必| 中文字幕成人版| 丁香花社区av| 99久久婷婷五月| 亚洲正能量欧美| 91男女视频在线观看| 六月婷婷色综合| 婷婷六月天天| 啊V视频在线观看| 啪啪激情网| 九九性视频| 99日韩| 国产精产国品一二三在观看| 五月婷婷操操| 丁香五月天AV在线 | 五月天久久婷婷| 五月天综合在线| 久久精彩免费视频| 亚洲欧洲另类| 天天干,天天日| 五月婷婷视频| www九月婷婷| 激情五月天丁香| 狠狠夜夜五月丁香| 五月天堂在线| 99热这里有精品| 九九精品99| 五月婷婷激情综合| 香蕉久久av一区二区三区| 91麻豆国产三级精品福利在线观看| 免费在线观看av网站| 538任你爽| 五月激情丁香| 色综合色色| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷黄色五月天在线视频| 九九99在线观看视频| 开心五月激情| 激情五月无码| 国产精品视频久久99| 色婷婷亚洲五月天| 婷色五月天| 久热精品视频| 大香蕉婷婷丁香视频在线| 337p大胆噜噜噜噜噜91Av| 五月天激情婷婷| 五月婷婷久久大片| 色婷亚洲| 五月天婷婷久久| 激情丁香淫荡婷婷| 一起草性爱不卡视频| 色久影院| 丁香五月激情图片婷婷| 亚洲AV无码影院| 婷婷六月丁香综合| 五月激情婷婷在线| 色播播五月天| 久热9热| 亚洲一级色电影| 天天草天天舔| 五月丁香啪啪综合| 丁香五月天堂婷婷| 日韩操逼大片| 久久激情五月天| 9久久精品| 99热www| 黄色99视频| 这里只有精品免费视频| 丁香五月AV| 婷婷色综合网日韩国产| 婷婷五月天色色| 久久婷婷综合五月趴| 色吧五月| 久久综合影院| 婷婷五月天综合色| 五月天久久久| www.99精品视频| 侠女刀之记忆电影在线看免费| 六月婷婷五月天| 色五月综合网| 97人人操人人| 日日做夜夜爱| 综合五月婷婷| 色婷婷91| 久久色五月天激情小说| 少妇性按摩无码中文A片| 久久色天堂| 五月婷婷亚洲色视频| 色播丁香| 婷婷五月天在线看| 中文在线成人| 日韩精品无码AV| 五月激情偷拍婷婷| www.婷婷六月天| 五月天婷婷綜合院| 免费不卡狠操美女视频网 | 激情五月丁香色色去久久| 思思热在线视频99| 99色在线| 六月丁香婷婷视频综合在线观看| 婷婷伊人网| 婷婷五月天97干| 伊人干综合| 99久在线观看| 久久狠狠干| 超碰爱爱爱| 婷婷五月天国产传媒| 亚洲精品乱码久久久久99| 99色在线| 五月天激情黄色小说在线观看| 色婷婷中文字母五月丁香| 超碰免费99| 亚洲AV日韩无码| 久久婷婷五月天蜜桃| 丁香五月婷婷影院| 夜夜躁婷婷AV| 婷婷五月婷婷| 色综合色综合色综合| 色婷婷综合视频| 免费观看全黄做爰的视频| 超碰成人在线观看| 亚洲综合99| 亚洲精品中文字幕成人片| 久久激情天堂| 久久99久久99精品免观看粉嫩| 色情五月停停丁香| 91人人人人人人人| 五月婷六月丁| 狠狠色综合图片| 综合网五月天123| 东京热五月婷婷| 综合久久人妻| 九9九9无码| 色欲婷婷五月天丁香| 亚洲婷婷性爱| 99在线精品视频观看免费下载| 日本va欧美va国产激情| 色欲色天天香综合| 日韩无码专区| 思思热天天看| 乱精品一区字幕二区| 成 久久| 婷婷五月天丁香激情| 噜噜噜久久| 激情五月图| 99精品偷自拍| 婷婷丁香激情五月| 97伦乱| 另类图片激情五月| 色婷婷中文字母五月丁香| 国产性爱大片久久| 五月婷婷六月天| 99色区| 久久五月婷6 9| 97色色综合| 欧美成人无码一区二区三区| 天天干一干| 婷婷五月天论坛| 九色91视频| 天天做天天爱| 色色A| 婷婷色播色五月五色五月天色妇| 91色久| 日日爽天天| 激情婷婷五月天| 五月婷婷 婷婷五月 一区二区 久久久| 成 久久| 狠干综合| 国产67194| 婷婷久久草| 九九综合色| 停停五月色宗合| 久久久久人妻| 五月激情天| 日日干日日s| 香港九九六区八区99| 性生活视频98791| 性小说五月天| 射久久丁香五月| 久久五月综合| 99精品视频网站| 久久婷婷色| 99啪啪视频| 美女激情婷婷| 狠狠五月激情在线| 激情综合视频| 婷婷的99视频网站| 天天搞天天色综合| 狠狠香婷婷五月| 久9久视频精品| 1024国产| 婷婷精品性性性性性性性| 高清国产AV| 婷婷五月天激情四射| 日韩AV中文字幕在线| 91久久1118| 五月天婷婷激情春色小说| 婷婷综合亚洲| 成人视频免费观看高清完整版在线观看| 综合久久五月天| 久久免费丁香| 亚洲妇女熟BBW| 超碰超碰在线| 九九热这里只有精品12| 激情五月丁香五月| 人妻无码视频网| 色色综合网站| 26.uuu丁香五月婷婷| 激情六月色| 色99欧洲色19| 五月丁色AV| 丁香婷婷五月综合影院| 久久九九亚洲| 五月九九综合| 婷婷九月丁香中文| 男人操女人高潮91视频| 人妻熟人中文字幕一区二区| 天天综合精品| 91热爆在线| 久热伊人| 国产精品第一国产精品| 九九色色| 国产精品久久久久久久久久久久 | 伊人五月天在线| 色99热| 97婷婷五月| 五月丁香六月婷婷综合网站| 亚洲免费99| 丁香社区婷婷五月| 亚洲综合热| 丁香 婷婷 亚洲 熟女| 五月丁香久| 91精品婷婷国产综合| 五月天久久小说| 开心婷婷五月综合| 丁香综合久久| 成人短视频在线免费观看| 国产性爱一级| 九九99热| 免费AV在线| 1234操逼网| 玖玖五月| 六月丁香婷婷色狠狠久久| 9久久久久久久久久久| 欧美日韩一a.无| site:esunnet.com| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 欧美精品熟女一区二区| 日日夜夜狠狠操| 久久久久久性爱视频| 五月天婷婷在线播放免费| 激情五月天婷婷丁香| 六月丁香综合999| 啪啪啪啪五月天| 色五月天成人| 综合久久97| 五月天色综合| 丁香婷婷综合喷| 99精品超在线播放| 成人日韩欧美| 久色五月婷婷综合| 91色在线 | 日韩| 欧美这里只有精品| 丁香五月婷婷操逼| 色女人久久| 丁香久久久| 五月激情丁香久久综合网| 天天干天天爽天天爽| 五月天天天天天天天天天天天天天天天婷婷婷| 另类激情五月| 亚洲V国产V欧美V久久久久久| 久久人妻视频| 婷婷影院欧美| 91超碰在线观看| 五月天婷婷六月激情网| 99er这里只有精品| 婷婷五月天免费视频在线观看| 天天干狠狠| 五月婷婷色五月| 国产亚洲成AV人片在线观黄桃| 久久久久9| 嫩草免费视频| 激情四射网| 六月婷五月丁香| 综合婷婷五月天| 婷婷丁香在线| 曰韩少妇内射免费播放| 日韩色色一区| 色播五月婷婷综合| 亚洲激情综合| 欧美日韩二区在线| 无码动漫av| www,五月天激情| 丁香五月天啪啪a日本| 99无码超碰| 五月色丁香婷婷综合| 久久这有这里精品| 五月婷啪啪| 99riAV成人在线视频| 婷婷欧美色| 天天日天天操天天干| 婷婷丁香五月综合| 香蕉伊人综合| 在线观看中文字幕| 丁香五月WWW| 6080av| 91超碰人人操| 日本色色网站| 99精品爱| 色婷婷精品| 久久九九网| 色五月激情综合网| 婷婷丁香五月亚洲17cao| 婷婷色网址| 五月婷婷黄色| 婷婷色色丁香五月天| 久月久在线视频| 66久久视频在线| 激情五月激情综合网| 激情av在线| 五月丁香婷婷基地| www.婷婷五月天,com| 欧美色色色| 婷婷九月丁香| 99热精品观看| Www,五月天| 婷婷在线网| 色综合区| 国产精品爽爽久久久久久| 婷婷五月天综合久久日| 99这里是精品| 欧美情色一区| 激情视频婷婷五月花| 无码色色色| 久久婷婷网| 狠狠爱综合网| 99熟女啪啪视频| 丁香六月狠狠干| 精品网站:999WWW| 激情九九六月激情免费视频| 人妻视频在线| 婷婷五月激情图片| 天天网曰日曰夜夜综合永久免费| 亚洲色a| 九九色色| 狠狠色噜噜狠狠狠888了| 新激情婷婷| 九九性视频| 久久婷婷的综合色丁香五月| 丁香狠狠色婷婷久久无码视频| 激情婷婷五月天| 婷婷六月色情| 99日在线视频| 婷婷五月丁香六月| 开心五月婷婷激情| 色婷婷在线视频久| 天天爽夜夜操| 五月婷婷久久激情| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久999久久999久久999久久| 九月丁香八月婷婷加勒比| 久热视频这里只有精品| 狠狠色丁香久久综合婷婷亚洲成人福利 | 五月亭亭欧美女人| 99资源在线视频| 操操操B| 色久婷婷网| 人人干女人| av网址在线| 色五月亚洲| 九九精品视频在线观看| 伊人久久婷婷五月综合97色| 五月天色婷婷伊人网| 99re热在线观看| 婷婷五月天av| 天天操电影院色狼性av| 六月丁香五月婷婷| 九九这里都是精品| 7EzOBIhNq85TO| 日日噜狠狠色综合久| 99九九综合久久九九| 中文字幕 中文字幕明步| 五月久久亚洲| 激情九月婷婷| 国产古装妇女野外A片| www,婷婷| 欧美色图天堂网| 色九九综合色| 色射影院| 69er小视频| 91在线资源| 99综合视频一体| 久久九精品| 色99色| 风流少妇A片一区二区蜜桃| 综合网亚洲| 五月婷久久| 任你搞在线观看视频| 亚洲va综合va国产va中文| 天天色色天天| 婷婷 久综合| 91久久免费| 欧美怡红院黄站| 亚洲V国产V欧美V久久久久久| 亚洲AV第二区国产精品| www.婷婷网| 久久六月综合| 狠狠操狠狠| 另类精品视频在线观看| 思思热精品在线观看| 亚洲精品色色| 91九九精品| 婷婷五月丁香基| 五月天播播| 第五色婷婷| 我爱婷婷五月天综合88| 日本综合色色| 大香蕉九九操| 九九色黄色| 婷婷五月天激情免费在线观看| 久99热| 亚洲色无码A片一区二区麻豆| 亚洲色优| 丁香五月天成人| 99亚洲综合| 五月天啪啪| 99热性色| 久操热| 丁香五月激情啪啪| 三级黄网站| 99热官网| 999热这里只有精品| 操逼棍操逼| 五月天停停日日| 伊人大香蕉爱聚| 午夜色婷婷| 人人爽天天爽| 国产日比| 色99在线| 久久久免费精彩视频| 免费亚洲婷婷五月| 婷婷香五月综合激情| 九九热99精品| 六月丁香激情综合| 99热国产国产| 五月丁香WWW| 成人网站免费在线播放| 色香久久| 98永久精品| AⅤ网站在线看| 欧美性生交XXXXX无码小说| 人妻熟女一区二区AV| www.99视频| 99久热| 亚洲色网址| 人妻综合网| 97福利视频| 成人网在线视频| 色丁香婷婷| 中文字幕成人| 激情婷婷| 色婷婷电影网| 久久99国产综合精品免费| 1024人妻| 婷婷色影音天| 色综合视频在线| 丁香婷婷综合色五月激情国产基地| 99热网站| 99久在线精品99re8| 五月婷婷六月激情| JAPANRCEP老熟妇乱子伦视频| 久久99网站| 久热9| 久久婷婷五月综合色欧美| 丁香婷婷浪潮AV久久综合| 青青草免费公开视频| 欧美婷婷色| 伊人大香蕉综合在线| 97影院一级片| 超碰猛烈的性猛交| 五月婷婷大香蕉| 亚洲综合五月天综合| 日日天天操| 亚洲激情.com| 色五月91| 人人插操| 国产亚洲成人综合| 影音先锋一区| 天天色情站| 丁香五月六月激情久久| 成人视频在线免费播放| 激情伊人五月天| 久久99人人| 六月丁香av| 欧美色色色| 爆乳熟妇一区二区三区爆乳| 一起草aV| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色噜噜狠狠色综无码久久合欧美| 久久综合激情五月天| 天天草人人摸| 综合久久人妻| 激情五月天综合| 99久久婷婷国产综合精品电影| 日韩成人无码| 九九99九九精品免费| 久久区区一二三av| 九热在线这里有精品6| 婷婷丁香五月综合免费视频百花| 五月丁香婷婷色色色| 91 九色大美女| 色婷婷综合久久久久| 操熟女成人网| 天天爽天天日| 欧美日本99| 怡红院 久久| 天天操天天操综合| 成人精品人妻| 丰满人妻妇伦又伦精品国产 | AV在线资源| 九九操屄| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 五月婷婷香蕉| 九九热在线视频| 熟女网站久久| 97av在线视频| 99免费| A短视频免费在线观看| AV九九| 日本五月视频| 国产特级毛片AAAAAAA高清| 色婷婷操逼| 可以免费观看的AV| 国产性爱大片久久| 人妻在线中文字幕久久| 久久久WWW| www.色九月| 五月天 无码| 日本黄色三级片内射| 色色婷婷丁香五月天| 天天天天天天天操| 老司机伊人| 五月婷婷亚洲| 亚洲婷婷基地| 日韩AV在线免费| 婷婷丁香五月天狠狠| 国外亚洲成AV人片在线观看| 亚洲国产精品五月天| 日本三级日本三级99| enecarbon-materials.com污K127封锁请涟系@wip1688 | 久久这里有精品99| ..真实国产乱子伦对白在线_欧 | 久操人妻| 五月婷婷啪啪网| 国产日韩欧美性爱| 97伦色婷婷| 丁香开心深爱| 五月婷婷六月天| 婷婷五月天成人五月天| 五月天激情四射| 91精品视频男人的天堂| 久热视频这里只有精品| 久久视9精| 。久久久久久久久久久久久久人妻| 亚洲av成人在线| 亚洲国产成人综合| 91大神操美女| 丁香社92视频| 99性爱视频网站| 色色丁香五月天社区| 久婷婷色| 99热热这里只精品996小说| 99在线视频资源| 色婷婷免费视频| 亚洲综合99| 五月丁香视频在线观看| 夜夜撸日日操| 婷婷日| 亚洲超碰青涩| 深爱激情五月网| 免费观看2018www黄色操逼网站| 丁香五月天欧美在线| 97luluse| 五月天婷婷7米| 丁香五月综合婷婷| AA丁香综合激情| 丁香婷婷六月天| 欧洲综合一区| www.99热在线| 色色五月天激情| 韩国真做片在线观看| 久久激情五月天| 五月婷婷人人人操| 国产欧美精品AAAAAA片| 色中色综合| 日韩成人av在线| 丁香五月综合福利视频导航| 亚洲AVwwwwwww|