欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

零樣本與少樣本學(xué)習(xí):上下文學(xué)習(xí)原理及提示詞設(shè)計(jì)實(shí)戰(zhàn)

零樣本與少樣本學(xué)習(xí):上下文學(xué)習(xí)原理及提示詞設(shè)計(jì)實(shí)戰(zhàn) 零樣本學(xué)習(xí)、少樣本學(xué)習(xí)這兩個(gè)詞在自然語(yǔ)言處理相關(guān)的話題里出現(xiàn)頻率越來(lái)越高而它們的底層機(jī)制就是上下文學(xué)習(xí)。所謂上下文學(xué)習(xí)簡(jiǎn)單說(shuō)就是把任務(wù)說(shuō)明、示范樣例、待處理內(nèi)容一起拼成一段輸入交給模型讓它在一次推理中完成“理解任務(wù)、模仿格式、生成答案”的全過(guò)程。你可能早就用過(guò)這種能力了——讓模型從一份會(huì)議紀(jì)要里提取待辦事項(xiàng)給它兩個(gè)已經(jīng)整理好的表格樣例它就能照著輸出這屬于少樣本不給樣例只交代一句“請(qǐng)?zhí)崛〈k事項(xiàng)并以表格形式輸出”這屬于零樣本。而兩者共同指向的能力恰恰是當(dāng)前大模型最值錢(qián)的部分通過(guò)上下文學(xué)習(xí)提升推理能力讓一個(gè)沒(méi)有為特定任務(wù)訓(xùn)練過(guò)的模型像老員工一樣拿著臨時(shí)需求就能上手干活。這篇文章適合誰(shuí)看如果你正在用大模型做文本抽取、數(shù)據(jù)清洗、格式轉(zhuǎn)換、邏輯推理或者你只是想知道為什么“在提示詞里塞幾個(gè)例子”比辛辛苦苦微調(diào)還管用那這篇內(nèi)容可以幫你省不少試錯(cuò)時(shí)間。我會(huì)從概念拆起講清楚上下文學(xué)習(xí)為什么能替代微調(diào)再給出模型行為背后的機(jī)制最后用一套可復(fù)現(xiàn)的實(shí)操流程說(shuō)完少樣本提示的設(shè)計(jì)、調(diào)參與避坑經(jīng)驗(yàn)。1. 從“訓(xùn)練一套模型”到“用一次推理”范式轉(zhuǎn)變1.1 零樣本、少樣本到底在說(shuō)什么傳統(tǒng)做自然語(yǔ)言任務(wù)的方式和現(xiàn)在完全不是一種思路。幾年前你想做一個(gè)“用戶評(píng)論情感分類(lèi)”的功能流程基本是采集幾千條標(biāo)注評(píng)論選一個(gè)預(yù)訓(xùn)練模型在模型上加一個(gè)分類(lèi)頭跑幾個(gè) epoch 的微調(diào)然后部署一個(gè)專屬于你這個(gè)任務(wù)的模型。換一個(gè)任務(wù)比如從“情感分類(lèi)”換成“投訴類(lèi)型識(shí)別”又是一輪新的數(shù)據(jù)標(biāo)注和訓(xùn)練。整個(gè)模式的核心是“每個(gè)任務(wù)訓(xùn)練一套模型”。大模型時(shí)代的思路完全不同。因?yàn)槟P鸵呀?jīng)在海量文本上做了預(yù)訓(xùn)練它內(nèi)部其實(shí)已經(jīng)積累了極其豐富的語(yǔ)言模式和任務(wù)模式。你現(xiàn)在要做的事情不是再教它一遍怎么分類(lèi)而是想辦法把“想做哪個(gè)任務(wù)”這個(gè)意圖傳給它。零樣本學(xué)習(xí)就是你只給一段任務(wù)描述和待處理內(nèi)容不給任何輸入輸出樣例模型直接給出結(jié)果。比如任務(wù)判斷下面這條用戶反饋屬于“物流問(wèn)題”“質(zhì)量投訴”還是“其他”并給出理由。 反饋快遞到了三天還沒(méi)派送聯(lián)系客服也沒(méi)人理。 輸出模型會(huì)輸出“物流問(wèn)題。理由反饋中提到快遞未及時(shí)派送且客服未響應(yīng)?!边@是零樣本因?yàn)樗鼪](méi)有看過(guò)任何該任務(wù)的樣例。少樣本學(xué)習(xí)則是給模型幾個(gè)輸入輸出對(duì)作為示范再讓它處理新輸入。比如你先給它兩條已經(jīng)分好類(lèi)的反饋再讓它對(duì)第三條進(jìn)行分類(lèi)。同樣的任務(wù)多了兩個(gè)示例模型的輸出格式會(huì)穩(wěn)定很多分類(lèi)依據(jù)也更貼近你期望的粒度。這種“給幾個(gè)例子就能接手任務(wù)”的能力本質(zhì)上就是上下文學(xué)習(xí)——你并沒(méi)有更新模型參數(shù)只是把示例和任務(wù)描述作為上下文放了進(jìn)去讓模型從條件概率分布中找到了你想要的輸出路徑。一個(gè)比較貼切的類(lèi)比零樣本是讓一個(gè)新同事只聽(tīng)了目標(biāo)描述就直接干活少樣本是讓他看了兩份已經(jīng)完成的工作記錄再動(dòng)手。他沒(méi)有專門(mén)接受過(guò)你這套流程的培訓(xùn)但憑著過(guò)去積累的經(jīng)驗(yàn)基本能交出合格的東西。1.2 上下文學(xué)習(xí)為什么能替代微調(diào)很多人第一次看到少樣本效果時(shí)都會(huì)有一個(gè)疑問(wèn)模型參數(shù)都沒(méi)動(dòng)它憑什么“學(xué)會(huì)”了任務(wù)先說(shuō)成本。微調(diào)相當(dāng)于把一個(gè)人送去參加兩周封閉培訓(xùn)班貴、慢、而且每換一個(gè)任務(wù)就得重新培訓(xùn)。上下文學(xué)習(xí)相當(dāng)于開(kāi)工前給老員工做五分鐘情況說(shuō)明成本幾乎為零不需要準(zhǔn)備訓(xùn)練集也不需要重新部署模型只改提示詞就行。對(duì)于很多臨時(shí)性、格式多變的長(zhǎng)尾任務(wù)比如把用戶發(fā)來(lái)的雜亂截圖信息整理成結(jié)構(gòu)化 JSON、從合同文本里抽取關(guān)鍵條款、把一段口語(yǔ)轉(zhuǎn)寫(xiě)成正式公文上下文學(xué)習(xí)的性價(jià)比遠(yuǎn)遠(yuǎn)超過(guò)微調(diào)。再說(shuō)機(jī)制。模型預(yù)訓(xùn)練階段見(jiàn)過(guò)的文本里存在大量“任務(wù)描述 示范 回答”的結(jié)構(gòu)。推理時(shí)提示詞把這些結(jié)構(gòu)重新激活了模型不是在獲取新知識(shí)而是在它已有的能力矩陣?yán)镎液线m的行為模式。你可以把上下文學(xué)習(xí)理解成一種“推理時(shí)的模式檢索”示例中的輸入輸出對(duì)定義了一個(gè)局部規(guī)律自注意力機(jī)制讓新的輸入與這些示例在表征空間里對(duì)齊從而把輸出分布拉向正確的方向。當(dāng)然上下文學(xué)習(xí)也不是萬(wàn)能的。如果業(yè)務(wù)邏輯需要持續(xù)穩(wěn)定地存在比如一個(gè)每天被調(diào)用幾百萬(wàn)次的固定抽取服務(wù)微調(diào)仍然是更穩(wěn)的選擇如果任務(wù)依賴大量私有領(lǐng)域知識(shí)比如內(nèi)部文檔規(guī)范、獨(dú)家產(chǎn)品信息上下文學(xué)習(xí)的效果會(huì)明顯受限這時(shí)候更適合接檢索增強(qiáng)或者做領(lǐng)域微調(diào)。搞清楚這個(gè)邊界你就知道什么時(shí)候該用提示詞什么時(shí)候該老老實(shí)實(shí)去訓(xùn)練。2. 上下文學(xué)習(xí)的工作原理與關(guān)鍵機(jī)制2.1 預(yù)訓(xùn)練和自注意力如何撐起上下文學(xué)習(xí)要理解上下文學(xué)習(xí)為什么有效得回到預(yù)訓(xùn)練的兩個(gè)核心產(chǎn)物語(yǔ)言知識(shí)和注意力機(jī)制。預(yù)訓(xùn)練的目標(biāo)很簡(jiǎn)單讓模型根據(jù)前文預(yù)測(cè)下一個(gè)詞。但就是這個(gè)簡(jiǎn)單的目標(biāo)讓模型被迫學(xué)會(huì)了海量文本中的結(jié)構(gòu)規(guī)律一段新聞后面可能跟著評(píng)論一個(gè)問(wèn)題后面可能跟著解答一份說(shuō)明書(shū)后面可能跟著操作步驟。當(dāng)你在提示詞里給出“任務(wù) 示例 待處理內(nèi)容”時(shí)模型看到的不是一串孤立的句子而是和它預(yù)訓(xùn)練時(shí)見(jiàn)過(guò)的無(wú)數(shù)文本結(jié)構(gòu)高度相似的模式。它做的也不是“新學(xué)”而是把當(dāng)前輸入映射到最接近的已學(xué)模式上。自注意力機(jī)制在這個(gè)過(guò)程中扮演了“對(duì)表”的角色。在推理過(guò)程中每個(gè) token 都會(huì)和其它所有 token 計(jì)算關(guān)聯(lián)權(quán)重。示例中的輸入部分和真實(shí)輸入越相似注意力分?jǐn)?shù)就越高模型就越傾向于讓真實(shí)輸入“復(fù)用”示例中標(biāo)簽對(duì)應(yīng)的輸出分布。有研究者把上下文學(xué)習(xí)解釋為一種隱式的貝葉斯推斷也有研究認(rèn)為它等價(jià)于在表征空間里做核回歸。這些理論細(xì)節(jié)不必深究但結(jié)論很重要模型確實(shí)是在輸入序列內(nèi)部完成了“按示例調(diào)整輸出分布”的過(guò)程這與梯度更新毫無(wú)關(guān)系。這也是為什么上下文學(xué)習(xí)對(duì)示例質(zhì)量這么敏感。注意力機(jī)制會(huì)放大示例中的特征如果示例本身和目標(biāo)任務(wù)不匹配或者示例內(nèi)部存在矛盾模型很容易把這些噪聲也學(xué)進(jìn)輸出模式里。后面我會(huì)專門(mén)講這個(gè)問(wèn)題。2.2 示例數(shù)量、順序和格式的敏感性問(wèn)題上下文學(xué)習(xí)并不總是“示例越多越好”。我自己的實(shí)測(cè)經(jīng)驗(yàn)是很多任務(wù)在 4 到 8 個(gè)示例時(shí)收益最大超過(guò) 8 個(gè)邊際收益會(huì)明顯遞減個(gè)別任務(wù)甚至?xí)霈F(xiàn)效果下滑。原因在于上下文窗口是有限資源示例太多會(huì)把真正要處理的內(nèi)容擠到窗口邊緣注意力權(quán)重更容易分散到無(wú)關(guān)細(xì)節(jié)上。示例的順序也有講究。如果你把同一類(lèi)標(biāo)簽的示例都堆在一起模型有可能誤以為輸出應(yīng)該按照示例的順序“連坐”。比如三個(gè)“物流問(wèn)題”示例放在前面后面跟著一個(gè)“質(zhì)量投訴”示例模型在處理新輸入時(shí)可能會(huì)更傾向輸出“物流問(wèn)題”因?yàn)樗谧⒁饬ι细壳啊⒅貜?fù)次數(shù)更多。更穩(wěn)的做法是讓不同類(lèi)別的示例交替出現(xiàn)保持標(biāo)簽分布均衡。格式敏感性是最容易被忽略的坑。示例的輸入輸出格式必須和真實(shí)輸入完全一致連分隔符、換行位置都要盡量對(duì)齊。我曾經(jīng)調(diào)試一個(gè)抽取任務(wù)給模型看的示例都是“輸入…… 輸出……”格式但最后測(cè)試時(shí)少寫(xiě)了“輸出”三個(gè)字模型直接不輸出內(nèi)容白白排查了很久。模型對(duì)格式的執(zhí)著程度超出你的想象它不是在理解你的“意思”而是在統(tǒng)計(jì)你“格式”的模式。所以設(shè)計(jì)示例時(shí)一定要用真實(shí)輸入的樣子去構(gòu)造而不是用一套理想化的模板。2.3 如何設(shè)計(jì)高質(zhì)量示例既然示例這么關(guān)鍵怎么選才靠譜我的建議是四個(gè)原則。第一語(yǔ)義相似。優(yōu)先選擇和目標(biāo)輸入在語(yǔ)義上接近的樣本作為示例。你可以在標(biāo)注樣本集上計(jì)算每個(gè)候選示例和當(dāng)前輸入的語(yǔ)義相似度選出 Top K 個(gè)放進(jìn)提示詞。這樣模型在注意力層更容易對(duì)齊示例與新輸入的表征輸出自然更穩(wěn)。第二類(lèi)別覆蓋。如果任務(wù)有多個(gè)分類(lèi)示例里每個(gè)類(lèi)別至少出現(xiàn)一次而且盡量平衡。否則模型會(huì)傾向于輸出示例中最多的那個(gè)類(lèi)別這在少樣本場(chǎng)景里尤其致命。第三內(nèi)容正確。示例里的答案必須準(zhǔn)確推理過(guò)程必須完整。有人覺(jué)得少樣本示例可以隨手寫(xiě)兩條這完全是誤區(qū)。示例就是模型眼中的“標(biāo)準(zhǔn)答案”它會(huì)像模仿字跡一樣模仿示例里的錯(cuò)誤。第四控制長(zhǎng)度。示例不是越長(zhǎng)越好冗長(zhǎng)的示例會(huì)擠占上下文空間也會(huì)引入與任務(wù)無(wú)關(guān)的噪聲。盡量用簡(jiǎn)潔、信息密度高的示例把思考過(guò)程保留下來(lái)把廢話去掉。3. 上下文學(xué)習(xí)如何提升推理能力3.1 少樣本思維鏈讓模型學(xué)會(huì)“先想再做”上下文學(xué)習(xí)價(jià)值最大的應(yīng)用方向之一就是用少樣本方式提升模型的推理能力。這里的關(guān)鍵不是給模型看“輸入-答案”的簡(jiǎn)單對(duì)而是給模型看“輸入-推理過(guò)程-答案”的完整鏈條。這種方法通常被叫做少樣本思維鏈英文是 Chain-of-Thought業(yè)內(nèi)常簡(jiǎn)稱 CoT。只給答案的少樣本在某些推理任務(wù)上幫助不大原因很容易理解模型在模仿“跳躍式結(jié)論”卻沒(méi)有模仿“得出結(jié)論的路徑”。數(shù)學(xué)題尤其明顯。你給模型看兩道題直接寫(xiě)了答案它大概率學(xué)不會(huì)解題步驟只是憑感覺(jué)猜??梢坏┠憬o它的示例里包含了逐步計(jì)算過(guò)程比如先寫(xiě)“設(shè)未知數(shù)為 x”再寫(xiě)“根據(jù)條件列方程”最后寫(xiě)“解得答案”模型就會(huì)沿著類(lèi)似的路徑進(jìn)行多步推理。一個(gè)典型的少樣本思維鏈提示模板長(zhǎng)這樣問(wèn)題小明有 3 個(gè)蘋(píng)果他又買(mǎi)了 5 個(gè)然后吃掉 2 個(gè)還剩幾個(gè) 推理小明原來(lái)有 3 個(gè)蘋(píng)果買(mǎi)來(lái) 5 個(gè)后一共有 3 5 8 個(gè)。吃掉 2 個(gè)后剩下 8 - 2 6 個(gè)。 答案6 問(wèn)題一列火車(chē)每小時(shí)行駛 80 公里行駛 2.5 小時(shí)后走了多遠(yuǎn) 推理到“推理”這里截?cái)嘧屇P晚樦纠穆窂嚼^續(xù)生成。模型會(huì)模仿“先計(jì)算后總結(jié)”的結(jié)構(gòu)輸出類(lèi)似“火車(chē)速度為每小時(shí) 80 公里行駛 2.5 小時(shí)距離為 80 × 2.5 200 公里”這樣的內(nèi)容。我踩過(guò)的一個(gè)坑是推理步驟不是越詳細(xì)越好。示例里如果寫(xiě)了太多與題目無(wú)關(guān)的鋪墊模型會(huì)把那些冗余表達(dá)也學(xué)進(jìn)去反而增加了輸出內(nèi)容的長(zhǎng)度和出錯(cuò)概率。好的 CoT 示例應(yīng)該只保留必要的推導(dǎo)節(jié)點(diǎn)每一行都在推進(jìn)答案。3.2 零樣本也能走向推理指令驅(qū)動(dòng)的逐步思考少樣本思維鏈效果好但有時(shí)候你手頭沒(méi)有合適的示例怎么辦其實(shí)零樣本也能觸發(fā)類(lèi)似的推理能力方式是在提示詞末尾追加一句引導(dǎo)模型分步思考的話比如“請(qǐng)一步一步思考先寫(xiě)出推理過(guò)程再給出最終答案”。這種操作在業(yè)內(nèi)常被稱為零樣本思維鏈。它為什么有效因?yàn)轭A(yù)訓(xùn)練語(yǔ)料里存在大量“先分析、再下結(jié)論”的文本結(jié)構(gòu)。模型不需要示例只要指令中出現(xiàn)“逐步思考”這類(lèi)關(guān)鍵詞就會(huì)激活它見(jiàn)過(guò)無(wú)數(shù)遍的解題文本模式。這不是什么神秘咒語(yǔ)而是對(duì)預(yù)訓(xùn)練分布的一種精準(zhǔn)觸發(fā)。如果你覺(jué)得單次生成的推理結(jié)果不穩(wěn)定還有一個(gè)更穩(wěn)妥的做法讓模型獨(dú)立生成多次每次只生成推理過(guò)程最后對(duì)答案做多數(shù)投票。我實(shí)測(cè)下來(lái)這個(gè)方法對(duì)數(shù)學(xué)計(jì)算、日期推算、邏輯謎題這類(lèi)有唯一答案的任務(wù)提升很明顯。比如一個(gè)三位數(shù)加法任務(wù)零樣本直接答可能只有四成正確率加入分步思考后能到六成左右再配合多次采樣投票甚至能摸到八成。代價(jià)是推理次數(shù)增多、耗時(shí)變長(zhǎng)適合對(duì)準(zhǔn)確率有要求但不要求極速響應(yīng)的場(chǎng)景。3.3 評(píng)測(cè)維度與效果觀察到底怎么判斷上下文學(xué)習(xí)有沒(méi)有提升推理能力光靠自己看幾條輸出不夠最好用一個(gè)固定測(cè)試集跑一遍。我自己常用 20 到 30 道題的小測(cè)試集覆蓋數(shù)學(xué)計(jì)算、日期計(jì)算、邏輯推理三類(lèi)任務(wù)對(duì)比零樣本直接回答、少樣本直接回答和少樣本思維鏈三種模式。下表是某次模擬實(shí)驗(yàn)的大致結(jié)果僅作參考任務(wù)類(lèi)型零樣本直接回答少樣本直接回答少樣本思維鏈三位數(shù)加法38%45%78%日期推算25%36%64%邏輯謎題42%51%73%你會(huì)發(fā)現(xiàn)少樣本直接把正確答案給模型看提升幅度其實(shí)有限真正拉開(kāi)差距的是少樣本思維鏈。這說(shuō)明模型在推理任務(wù)上缺的不是“答案記憶”而是“推理路徑的示范”。少樣本中的示例本質(zhì)上是給模型指了一條它自己也能走出來(lái)的路。4. 實(shí)操搭一個(gè)上下文學(xué)習(xí)評(píng)測(cè)流程前面講了不少原理但上下文學(xué)習(xí)這東西紙上談兵沒(méi)用得動(dòng)手跑。下面我按自己常用的流程完整走一遍如何搭一個(gè)少樣本評(píng)測(cè)環(huán)境。4.1 環(huán)境與推理服務(wù)準(zhǔn)備最簡(jiǎn)單的做法是找一個(gè)支持文本補(bǔ)全接口的推理服務(wù)。你可以本地部署一個(gè)開(kāi)源指令模型也可以在云端開(kāi)一個(gè)模型服務(wù)。關(guān)鍵是接口風(fēng)格統(tǒng)一方便你用腳本批量測(cè)試。本地部署時(shí)我一般會(huì)用一個(gè)支持量化加載的推理框架加載 7B 到 13B 量級(jí)的模型。參數(shù)太大占用顯存多太小推理效果又不夠。7B 模型在 4-bit 量化下只需 6GB 左右顯存足夠做實(shí)驗(yàn)13B 模型需要更大的顯存但推理穩(wěn)定性更好。如果你手頭沒(méi)有本地顯卡也可以直接調(diào)用線上文本生成服務(wù)把密鑰配好就行。啟動(dòng)推理服務(wù)后所有請(qǐng)求統(tǒng)一走一個(gè)本地 HTTP 接口這樣后續(xù)步驟就能完全腳本化不用每次手點(diǎn)網(wǎng)頁(yè)。一個(gè)通用的調(diào)用函數(shù)長(zhǎng)這樣import requests def call_llm(prompt, temperature0.2, max_tokens512): resp requests.post( http://127.0.0.1:8000/v1/completions, json{ model: local-model, prompt: prompt, temperature: temperature, max_tokens: max_tokens, }, timeout120, ) return resp.json()[choices][0][text].strip()我這里用的是 OpenAI 兼容接口風(fēng)格實(shí)際上很多本地推理框架都認(rèn)這個(gè)格式。你只需要確保接口地址指向自己部署的服務(wù)或你采購(gòu)的服務(wù)地址即可。4.2 構(gòu)建三種提示模板上下文學(xué)習(xí)的核心資產(chǎn)就是提示模板。同一個(gè)任務(wù)模板寫(xiě)得好不好結(jié)果差距非常大。我會(huì)一次性構(gòu)造三種模板方便后續(xù)對(duì)比零樣本、少樣本直接回答、少樣本思維鏈。零樣本模板最簡(jiǎn)單def build_zero_shot_prompt(instruction, test_input): return f{instruction}\n輸入{test_input}\n輸出少樣本直接回答模板在零樣本基礎(chǔ)上插入若干“輸入/輸出”對(duì)def build_few_shot_prompt(instruction, examples, test_input): segments [instruction, \n] for i, (x, y) in enumerate(examples, 1): segments.append(f示例{i}\n輸入{x}\n輸出{y}\n) segments.append(f輸入{test_input}\n輸出) return \n.join(segments)少樣本思維鏈模板示例里多一項(xiàng)“推理”def build_cot_prompt(instruction, examples, test_input): segments [instruction, \n請(qǐng)先寫(xiě)出推理過(guò)程再給出最終答案。\n] for i, (x, y_step, y_ans) in enumerate(examples, 1): segments.append(f示例{i}\n問(wèn)題{x}\n推理{y_step}\n答案{y_ans}\n) segments.append(f問(wèn)題{test_input}\n推理) return \n.join(segments)注意幾個(gè)細(xì)節(jié)示例編號(hào)“示例1”“示例2”可以讓模型更清晰地感知這是范例輸入輸出的標(biāo)簽要統(tǒng)一最后的輸出位置要在冒號(hào)后截?cái)喟焉善瘘c(diǎn)交給模型。這些不起眼的格式問(wèn)題往往正是效果差距的來(lái)源。4.3 示例選擇與推理參數(shù)調(diào)優(yōu)示例不是隨便從測(cè)試集里抽兩條就行。我在實(shí)踐中最常用的一條經(jīng)驗(yàn)是用語(yǔ)義檢索選示例。先把候選樣本庫(kù)里的每條數(shù)據(jù)都做向量化再把測(cè)試輸入做同樣的向量化最后計(jì)算余弦相似度取 Top K 個(gè)樣本作為示例。這樣選出來(lái)的示例和當(dāng)前輸入在語(yǔ)義上最接近模型更有可能復(fù)刻正確的推理方式。用一個(gè)簡(jiǎn)單的向量化接口就能完成def embed_texts(texts): resp requests.post( http://127.0.0.1:8000/v1/embeddings, json{texts: texts}, timeout120, ) return resp.json()[embeddings] def pick_examples_by_similarity(test_input, candidate_pool, k4): test_vec embed_texts([test_input])[0] similarities [] for item in candidate_pool: item_vec embed_texts([item[input]])[0] sim cosine_similarity(test_vec, item_vec) similarities.append((sim, item)) similarities.sort(reverseTrue) return [item for _, item in similarities[:k]]如果你不想引入額外的向量化服務(wù)也可以退而求其次從測(cè)試集里隨機(jī)抽幾條保證類(lèi)別均衡即可。效果略差但足夠做快速驗(yàn)證。推理參數(shù)上我做實(shí)驗(yàn)時(shí)一般把溫度調(diào)到 0.2既保留一定多樣性又不會(huì)讓輸出過(guò)于隨機(jī)。max_tokens 要給足尤其用思維鏈模板時(shí)推理過(guò)程可能很長(zhǎng)設(shè)小了會(huì)在半截被截?cái)?。自洽性投票?chǎng)景下我常讓模型同一道題生成 3 到 5 次然后把答案頻率最高的作為最終輸出。4.4 跑分與人工評(píng)測(cè)模板和參數(shù)都定了接下來(lái)就是跑測(cè)試集。我習(xí)慣用一個(gè) 20 題的測(cè)試集把三種模板跑一遍記錄每道題的正確率和格式解析成功率。評(píng)測(cè)的時(shí)候不能只看最終答案對(duì)不對(duì)還要看中間推理過(guò)程是否合法。拿數(shù)學(xué)題舉例答案對(duì)了但推理步驟是錯(cuò)的本質(zhì)上就是蒙對(duì)的在業(yè)務(wù)場(chǎng)景里不能信任。我自己會(huì)在腳本里同時(shí)記錄“最終答案正確”和“推理過(guò)程合法”兩個(gè)維度然后人工抽看十幾條輸出確認(rèn)模型不是靠胡編的中間步驟蒙混過(guò)關(guān)。一個(gè)簡(jiǎn)單的評(píng)測(cè)記錄表可以參考題目編號(hào)模板類(lèi)型模型輸出最終答案正確推理過(guò)程合法格式可解析001few-shot-cot……是是是002zero-shot……否不適用是003few-shot-cot……是否否表格里“格式可解析”也很重要尤其你要把模型輸出接到后面業(yè)務(wù)邏輯里時(shí)格式不穩(wěn)定會(huì)帶來(lái)大量額外處理成本。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 示例選了不少效果反而變差我遇到過(guò)不止一次示例從 2 個(gè)加到 6 個(gè)準(zhǔn)確率不升反降。排查下來(lái)問(wèn)題通常出在示例的“分布”上。不是每個(gè)相似的示例都對(duì)當(dāng)前任務(wù)有幫助有時(shí)候一個(gè)特別難的示例會(huì)帶偏整個(gè)注意力分布。解決辦法分兩步。先看示例是不是和目標(biāo)輸入在類(lèi)型上匹配如果測(cè)試輸入是一個(gè)短問(wèn)句示例卻是一段長(zhǎng)文章模型會(huì)被示例的長(zhǎng)度和結(jié)構(gòu)帶跑。再看示例之間的一致性兩個(gè)示例如果用的推理方式不同模型會(huì)困惑于該學(xué)哪一條路徑。實(shí)際調(diào)整時(shí)我會(huì)把示例數(shù)量先減到 2 個(gè)看效果再逐步往上加找到最優(yōu)數(shù)量。記住少而精的示例永遠(yuǎn)比多而雜的示例好用。5.2 輸出格式不穩(wěn)定少樣本提示里明明給了“輸入/輸出”的固定格式模型還是會(huì)偶爾輸出一段解釋性的廢話或者多出一個(gè)“好的我來(lái)幫你”的前綴。這個(gè)問(wèn)題的根因是你在模板里沒(méi)有把“必須嚴(yán)格按格式輸出”的邊界條件說(shuō)清楚。我的解決辦法有三招。第一在指令末尾加一句明確的格式約束比如“只輸出標(biāo)簽不要解釋”。第二在模板中使用特殊分隔符比如“輸入”“輸出”這種結(jié)構(gòu)化標(biāo)記模型對(duì)界限分明的格式更敏感。第三把溫度調(diào)低一點(diǎn)溫度過(guò)高會(huì)讓模型更傾向自由發(fā)揮。如果格式還是不穩(wěn)定就改為在代碼里做后處理用正則把需要的字段抽出來(lái)別指望模型每次都完美。5.3 上下文窗口塞不下更多示例大模型的上下文窗口是有限的示例一多再加上待處理的原文很容易超長(zhǎng)。出現(xiàn)這種情況不是簡(jiǎn)單地增加“max_tokens”就能解決得從提示詞本身下手。我常用的方案是壓縮示例、精簡(jiǎn)指令、截?cái)嘣?。給每個(gè)示例只保留最核心的輸入輸出去掉所有修飾性描述指令控制在兩句話以內(nèi)待處理文檔如果太長(zhǎng)先抽取關(guān)鍵段落再進(jìn)入提示詞。比如你想讓模型總結(jié)一份長(zhǎng)報(bào)告與其把全文塞進(jìn)去不如先用自己的規(guī)則抽出每章標(biāo)題和關(guān)鍵句子再讓模型基于這些摘要做總結(jié)。這樣既跑得動(dòng)又不容易被長(zhǎng)文本里的噪聲干擾。5.4 示例中的錯(cuò)誤被模型放大少樣本場(chǎng)景里模型對(duì)示例中的錯(cuò)誤非常敏感。一個(gè)很典型的案例我在一批示例里手滑寫(xiě)錯(cuò)了一個(gè)數(shù)字模型在處理新問(wèn)題時(shí)居然照著同樣的方式算錯(cuò)了。這也印證了前文說(shuō)的——示例是模型眼中的標(biāo)準(zhǔn)答案它會(huì)模仿示例的錯(cuò)誤而不是主動(dòng)糾正。所以示例的標(biāo)注質(zhì)量必須把關(guān)。每一條示例在進(jìn)入提示詞之前都要單獨(dú)驗(yàn)證過(guò)答案正確、推理合法。如果你維護(hù)了一個(gè)示例池最好定期抽查更新避免之前積累的錯(cuò)誤悄悄混進(jìn)生產(chǎn)請(qǐng)求里。寧可少放一個(gè)示例也不要放一個(gè)有問(wèn)題的示例。5.5 什么時(shí)候該放棄上下文學(xué)習(xí)轉(zhuǎn)入微調(diào)上下文學(xué)習(xí)雖然便宜靈活但它有天花板。如果任務(wù)規(guī)則非常固定、對(duì)輸出格式有嚴(yán)格約束、而且每天調(diào)用量大說(shuō)明它已經(jīng)從“臨時(shí)探索”變成了“穩(wěn)定業(yè)務(wù)邏輯”這時(shí)候微調(diào)往往更劃算??梢园聪旅孢@個(gè)表做決策衡量維度上下文學(xué)習(xí)適合微調(diào)適合任務(wù)變化頻率高經(jīng)常調(diào)整低長(zhǎng)期穩(wěn)定私有知識(shí)依賴低高延遲要求高需要快速響應(yīng)可接受離線訓(xùn)練輸出格式要求寬松嚴(yán)格需要穩(wěn)定數(shù)據(jù)規(guī)模小幾十條即可大上千條起一句話總結(jié)上下文學(xué)習(xí)適合跑通和試探微調(diào)適合固化產(chǎn)出。你要是發(fā)現(xiàn)自己已經(jīng)把一套提示詞用了幾百天沒(méi)換過(guò)那就是時(shí)候考慮微調(diào)了。6. 我的幾點(diǎn)實(shí)操體會(huì)與擴(kuò)展方向6.1 幾個(gè)反直覺(jué)的經(jīng)驗(yàn)第一個(gè)反直覺(jué)的經(jīng)驗(yàn)是示例數(shù)量并非越多越好。我在一個(gè)文本分類(lèi)任務(wù)上試過(guò) 2、4、8、16 四個(gè)檔位8 個(gè)示例時(shí)效果最好16 個(gè)反而因?yàn)樯舷挛倪^(guò)長(zhǎng)、注意力分散導(dǎo)致準(zhǔn)確率下降。很多人想當(dāng)然認(rèn)為示例是多多益善但大模型跟前幾輪 token 的注意力權(quán)重確實(shí)會(huì)衰減示例太多只會(huì)把注意力拖垮。第二個(gè)反直覺(jué)的經(jīng)驗(yàn)是示例的多樣性比準(zhǔn)確性更關(guān)鍵。準(zhǔn)確當(dāng)然重要但多樣性決定模型能不能泛化。如果我給模型的四個(gè)示例全是“快遞沒(méi)送到”這一種投訴類(lèi)型它處理“商品質(zhì)量有問(wèn)題”時(shí)就會(huì)不知所措。類(lèi)別的全覆蓋遠(yuǎn)比堆疊同類(lèi)示例有效。第三個(gè)經(jīng)驗(yàn)是指令和示例必須配合使用。指令負(fù)責(zé)說(shuō)明目標(biāo)和邊界示例負(fù)責(zé)展示格式和路徑。只給指令不給示例輸出容易飄只給示例不給指令模型容易把示例里的偶然特征當(dāng)成規(guī)律。兩者缺一個(gè)效果都到不了預(yù)期。6.2 后續(xù)可以怎么擴(kuò)展如果你把基礎(chǔ)的少樣本流程跑通了有幾個(gè)方向值得繼續(xù)探索。你可以嘗試讓模型自己生成示例從中選出效果最好的幾條作為提示詞的一部分這招在缺少標(biāo)注樣本時(shí)很實(shí)用。也可以做動(dòng)態(tài)示例選擇對(duì)每一條測(cè)試輸入都實(shí)時(shí)計(jì)算最相似的示例而不是用一套固定示例跑完整個(gè)測(cè)試集。更進(jìn)一步把上下文學(xué)習(xí)和外部檢索結(jié)合起來(lái)先用檢索召回相關(guān)段落再讓模型基于這些段落做推理兩個(gè)能力疊加后效果能比單獨(dú)使用好不少。上下文學(xué)習(xí)最吸引我的地方在于它沒(méi)有改變模型本身卻能讓模型表現(xiàn)出完全不同的能力層次。設(shè)計(jì)提示詞的每一次調(diào)整都是在探索模型內(nèi)部已有能力的邊界。你花在示例選擇、模板結(jié)構(gòu)、參數(shù)配比上的功夫換來(lái)的是穩(wěn)定可靠的大模型應(yīng)用體驗(yàn)。這套功夫在任何大模型上都不會(huì)白費(fèi)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧洲亚洲免费视频9| 激情综合色| 亚洲乱码日产精品BD| 婷婷五月丁香香蕉| 六月激情婷婷综合| 大香蕉五月天婷婷| 色综合久久88色综合天天99| 国产麻豆视频| 久久综合丁香激情五月| 五月丁香婷婷综合视频| 精品成人无码A片观看香草视频| 99热欧美精品| 沈娜娜av| 婷婷丁香六月天| 丁香婷婷色五月激情综合| 婷婷在线视频| www.91婷婷| 激情内射人妻1区2区3区| 天天干天天干天天干天天干天天干| 色婷婷av在线观看| 亚洲无码成人| 久久婷婷人人| 十区av| 另类天堂| 激情五月天小说网| 久久久97| 色99在线视频| 大香蕉99热| 丁香五月骚喷水视频| 手机旧版看人妻1025| 三十熟女| 亚洲日本韩国| 国产成人精品一区二三区熟女在线| 激情99| 五月天激情啪啪| 秋霞午夜理论| 狠狠色官网| 99热99在线| 亚洲无码你懂的| 日本不卡高字幕在线2019| AV在线免费播放| 99热在线只有精品| 婷婷六月激情| 亚洲精品99| 五月丁综合在线观看| 99久久久久| 婷婷综合一二三| 久久五月天影院| 极品少妇高潮啪啪AV无码| 99热亚洲精品| 超碰免费成人| 综合久久婷婷| 专区无日本视频高清8| 日日爽日日| 日韩精品999| 天天天干夜夜夜操| 天天操夜夜操| 五月婷在线观看| 色婷久| 久久婷婷五月天激情| 毛片色五月| 狠色狠色综合久久| 九九久久网| 天天操夜夜橾| 五月天婷婷久久| 色五月婷婷五月天激情综合| 久热69| 丁香六月婷| 五月婷婷在线免费| 丁香五月婷婷色情综合| 久久97| 色婷婷狠狠| 九九热免费视频| 日日爽夜夜爽| 久久久免费图片视频| 五月色婷丁香| 婷婷五月电影院| 色婷婷久久| 97色在线| 婷婷丁香五月六月激情| 五月天激情av| 色色五月天激情| 人妻内射视频| 激情色五月天| 天堂色婷婷| 丁香九月婷| 99色激| 99re这里只有精品国产99| 亚洲天堂AV免费片| 狠狠做婷婷| 五月天丁香成人社| 日本熟妇乱妇熟色A片蜜桃 | av在线观看网站| 无码人妻一区| 91久久婷婷| 欧美在线视频99| 丁香花社区av| 婷婷久久五月| 色99热| 狠狠五月天| 亚洲激情在线| 婷婷五月欧美| 亚洲一色色色色色色色色| 涩五月丁香| 99无码精品| 综合激情站| 乱精品一区字幕二区| 激情综合五月丁香六月婷婷| 色婷婷av在线观看| 综合久久六月| 五月天激情婷婷| 久cao香蕉影院| 五月天伊人久久久久| 丁香五月婷婷AV| 99在线免费视频| 久久加勤综合| 天堂婷婷五月在线| 99色综合| 日韩av手机在线观看| 大香蕉啪啪啪啪啪啪| 九九99九九99偷拍视频免费看| 婷婷久久六月天| 五月婷在线观看| 五月天激情小说| 国产毛片精品一区二区色欲黄A片| 啪啪五月综合| 五月丁香久久激情网| 色综合九九| 99热一本| xfplayav在线| 日本久久精品| 99热精品在线播放| WWW,五月| av电影在线播放| 无码se| VfJxEwPH| 久久se 综合网| 国产 亚洲 在线| 丁香五月狠狠综合欧美| 国产无套精品一区二区| 亚洲婷婷丁香| 婷婷无码五月天| 五月开心网| 午夜丁香综合婷婷| www,99热| 91色五月在线观看| 九九久久99| 婷婷五月天久久久| 亚洲在线操| 狠狠操性爱av| 丁香六月天婷婷色| 伊人干练久| 色五月人妻| 日本黄色精品| 天天色综网| 久色网| 91成人看片| 严洲天天插| 天天做天天爱天天高潮| 99视频这里只有免费精品| 午夜婷婷久久| 婷婷激情性爱| 欧美久久婷婷| 五月天狠狠网站| 五月久久婷婷天堂视频| 五月久久婷婷天堂视频| 女人被男人吃奶到高潮| 亚洲激情网站无码| 色综合色色| 丁香五月欧美色综合| 91精品综合久久久久久五月丁香| 禁片二区| 久久狠狠干| 色婷婷av综合网| 玖玖资源网站最新站| 天天干天天干天天干天天干天天干| 亚洲在线视频321| av五月天婷婷丁香| 欧美毛卡| 黄色五月婷婷| 九九蜜臀精品| 激情av| 99精品激情| 91超碰人人操| 开心五月激情| W色综合| 操一操插一插| 99热精品网| 另类激情首页| 久9久9热久热| 亚洲色五月| 99er免费在线观看| 五月伊人91| 国产精品A片| 天天爱天天天射AV| 久久这里只有欧美| 91丁香婷婷综合资源| 91精品综合久久久五月天| 丁香五月,激情五月,深爱五月| 日比网免费国产| 思思w99| 2050人人操免费工开爱| 日本色五月婷婷| 国产精品操| 激情性爱五月天| 另类视频一区| 97 天堂| 日日艹思思热| 97久操视频| 综合AV在线| www.久久爱| 亚洲色久| 五月丁花六月丁香综合| 在线日韩视频| 久久您您综合网| 婷婷丁香人妻天天| 久热91| 欧美日韩欧美| 婷婷丁香五月色| 丁香五月综合激情啪啪| 亚洲愉拍99热成人精品| 99久精品视频| 丁香五月宝贝激情网| 国产九月婷婷| 久热婷婷| 激情五月婷婷综合色播小说| 五月色婷婷中文字幕| 99视频久久| 五月丁香六月激情综合在线| 婷婷五月天在线一区| 中文字幕97超级碰| 操97在线观看| 黄网在线播放| 婷婷狠狠97| 人人干人人干骚美女| 五月激香蕉网| 色综合色色色| 99性爱| 美女亚洲五月丁香| 人人操操| 蒲京久久无码视频| 99精品网| 五月天成人在线视频网站| 九九热只有这里精品| 久久大国产香蕉| 2017人人操| 婷婷五月天无码熟女| 婷婷五月天首页激情| 婷婷另类小说| 五月婷婷色播| 久久精品亚洲一级牲爱综合| 欧美群妇大交乱婬网| 久久99草五月婷婷| 五月开心久久| 伊人狠狠丁香婷婷综合尤物| 99热无码首页| 六月丁香婷婷尤物| 天天爽天天日人人爱| 九月av在线| 丁香五月偷拍| 91久热| 欧美操综合| 婷婷六月天| 婷婷五月丁香超碰| 日本色爽| 丁香婷婷激情网站| 色射婷婷五月天| www,色婷婷| 操91综合网| 思思久久精品| 激情综合亚洲| 亚洲成人一区| 色婷婷9| 五月丁香激情婷婷| 色婷婷五月天在线| 丁香久久五月天视频在线观看 | 五月丁香日本在线视频观看| 精品成人久久久久久久_一二三四视| 久婷婷视平| 99热91| 欧美va在线观看| 亚洲色色色色| 超碰狠狠色| 五月婷婷成人网首页| 国产成人+综合亚洲+天堂| 秋霞网在线免费基地五月婷婷丁香| 五月天伊人| 欧美日韩成人在线| 婷婷五月六月| 99性爱视频| www.91久久| 婷婷五月天伊人| 26uuu欧美激情另类| 开心激情色婷婷五月天| 丁香婷婷综合五月天| 丁香婷婷久久 | 九热在线这里有精品6| www久久久久久久97| 天干天天干天天天天天| 色五月天中文字幕| 五月丁香六月婷婷免费视频| 开心五月婷| 九九成人精品| 天天做天天爱综合| 五月丁香激情综合网| 久久亚洲激情五码| 色激情五月| 99热资源在线| 婷婷五月丁香香蕉| 色综合激情| 天天插综合| 99这里只有| 五月婷婷五月天| 涩涩涩五月天| 欧美色综合天天久久综合精品| 99爱精品| 婷婷丁香五月综合网| 电影91久久久| 色射7856五月天激情四射| 久久婷婷桃花五月天| 9l视频自拍九色9l黑人| 99久久97久久欧美综合网| 99热超| 都市激情亚洲| 日韩色色网| 久久这里面只有精品视频| 丁香 婷婷五月| 99久久99视频只有精品| 五月综合亚洲| www.99热| 久久怡红院| 婷婷激情鹿城五月天| 插少妇综合网| 国产精品久久久海的味道| 五月天丁香婷婷社区| 猫咪伊人久久| 99原创自拍视频在线观看| 91九色白丝| www.91AV.COM| 色婷婷五月天激情| 色婷婷久久综合丁香五月| 久久99网| 久久草大香蕉| 97人妻人人| 色婷婷免费观看| 天天天操天天天爰| 激情小说在线视频| 激情小说五月天| 日本综合九九| 妇激情基地| AV色五月婷婷| 亚洲日韩欧美综合VA| 91色噜噜狠狠狠狠色综合| 婷婷狠狠操| 日韩啪啪视品| 婷婷日在线观看| 激情五月天婷婷视频| 丁香五月婷婷五月天| 五月婷丁香| 欧美五月婷婷综合| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 2021日韩无码| 一區四區歐美日韓| 99热日韩| 五月激情精品视频| 成人精品人妻| 九九精品9| 久月婷婷| 亚洲婷婷欧美婷婷| 五月天久久婷| 入口五月婷婷六月香| 久久机热这里只有精品| 五月丁香成人网| 色综合久久88色综合天天| 91五月天| 色婷婷丁香五月| 午夜不卡久久精品无码免费| 中美月韩免费A片| 久热这里精品免费| 五月亭亭开心网| 五月婷中文娱乐综合| 九九99视频精品| 婷婷五月天久久| 操操啪| 五月丁香久久呀| 五月欧美色色五月| 丰满少妇猛烈A片免费看观看| 色婷婷五月天偷拍| 天天天久久人人人合| 99热精品在线播放| 五月丁香美女视频| 黄色五月婷婷| 欧美日韩国产一区| 色五月婷婷内射| 婷婷综合久久| 天天操天天爱天天日| 五月婷婷色五月| 伊人高清无码| 国产寻花在线| 丁香综合伊人AV| www.色综合| 狠狠久久婷| 久久婷婷婷婷伊人| 成人无码精品1区2区3区免费看| 国产免费一区二区三州老师F1F1| 色色色色色色网站| 日日噜噜久久婷婷五月天| 狠狠干青青草| 色伊人91在线视频| 色综合久久伊伊婷婷五月| 天天色视频| 伊人激情综合网| 欧美激情综合色综合啪啪五月| 天堂成人A片永久免费网站| 99精品国产在热久久 | 内射 无码 伊人| 开心婷婷五月天电影院| 亚洲激情在线| 伊人国产婷婷五月天| 丁香色婷婷| 丁香婷婷五月天色播| 色色a| 五月天堂色| 67194成I人在线观看线路1| 五月丁香色综合| 欧美精品熟女一区二区| 天天视频精品9| 亚洲精品国产精品乱码不99| 久久激情婷婷| 激情第四色| 亚洲视频国产一区| 玖玖综合网| 大香蕉五月天婷婷| 久久久18| 五月婷婷在线观看| 激情婷婷五月天伊人在线观看| 成人日韩欧美| 婷婷九月激情| 久久免费高| 天天舔天天摸视频| 婷婷色片| 欧美婷婷综合| 停停色综合伊人| 中国女人做爰A片| 婷婷五月天com| 国产操B| 开心激情播播五月天| 九九热青青草| 九九色色| 丁香五月天欧美| 色综合激情图区| 毛片毛片毛片毛片| 日韩AV中文字幕在线| 五月丁香亭亭| 伊人春天av| 99ER热精品视频| 人人人va亚洲视频在线| 久久久久激情网| 伊人激情| 丁香六月毛片| 日本A片一区| 国产婷婷五月天| www.xtbsty.cn.com蜜乳AV| 欧美成人精品A片免费一区99| 色五月色五天色情网| 国产精品视频网| 欧美三日本三级少妇三99| www99热| 免费无码毛片一区二区A片 | 免费做A爰片77777| 五月婷婷在线播放| 婷婷丁香五月天婷婷| 国产美女无遮挡裸体毛片A片| 天天操天天插天天射| 九色啦蜜臀| 色一区高清| 久热精品免费视频4| 免费观看大片视频 丁香婷婷 六月欧美| 99久在线观看| 伊人丁香在线| 九九热99免费视频| 新激情五月天色播| www.色婷婷| 日比视频91| 97视频91| 婷婷五月天综合小说网| www,8050,午夜三级| 亲子乱AV-区二区三区| 色综合久久天天综合网| 无码人妻少妇色欲AV一区二区 | 精品人妻久久久| 婷婷色吧| 色青青电影色五月| 9久精品视频| 久久婷婷五月天激情| 踪合专区啪啪| 久久久五月天婷婷| 少妇性按摩无码中文A片 | 亚洲人妻av伦理| 久久丁香综合| 99热这里只有国产精品| 久热只有这里有精品| ou洲色吧| 婷婷五月丁香综合网| 99热.com| 中文字幕,综合,91| 久久这里只有精品无码| 天天婷婷综合| 久久色天堂| 婷婷丁香黄色| 五月桃花网综合| 人人播| 婷婷丁香五月激情密臀av| 婷婷六月中文字幕| 99久久a线观| 国产97色在线| 久久综合播放| 久久婷婷五| 666555。COm毛片| 97 A I色色| 五月天久久网站| 99热12| 色综合色综合色综合高潮| 91人人网| 99久久精品色老| 青青操成人福利| 99ree6| 香蕉婷婷| 99自拍视频在线| 丁香五月性爱| 99久re热视频精品98| 色综合99| 大婷婷色呦呦噜噜色呦呦噜噜| 婷婷五月精品中文字幕| 久久婷婷五月天激情| 五月情丁香色| 日韩人妻无码一区二区| 久去色色| 成人深爱丁香五月| 丁香六月色婷婷欧美| www.久久久久| 99超级碰免费视频| 丁香五月激情婷婷视频| 五月丁香亚洲校园欧美| 婷婷香香五月| 五月天婷婷午夜丁香| 国产超碰在线| 天天色情站| 色婷婷91激情小说| 五月婷婷开心爱| 天天日夜夜高潮| 天天肏屄夜夜爽| 日日噜狠狠色综| 日日夜夜狠狠婷婷色| 婷婷五月大| 超碰在线视屏| 久热这里只有精品6官网亚洲| 色综合久久44| 婷婷欧美偷拍综合| 激情合网婷婷| 色五月婷婷内射| 婷婷五月天在线观看免费 | 久久99热这里只有精品 | 97久久精品视频| 日韩久久欧亚| 久久激情五月婷婷| 五月丁香操婷逼| 五月天色色网站| 欧美va精品va老师va| 色色色视频| 亚洲综合婷婷| 99热色精品| 婷婷亚洲影院| 丰满老熟妇BBBBB搡BBB| 北条麻妃伊人| 91精品久久久久久久久| 亚洲五月天综合色| 狠狠干青青草| 九九在线视频| 色婷视频| 久久蜜臀婷婷| 操99| 人人干Av| 玖玖99免费视频| 可以免费观看的AV| 丝袜熟女一区二区三区| 久久婷婷五月综合激情国产| 婷婷,五月天,丁香,第一| 色欲香综合网| 久久精品系列| www.色五月| 色五月自偷自拍婷婷婷婷| 激情久久久久久| 婷久看人爽| 亚洲精品午夜国产va久久成人| 丁香五月av| 99热精品在线| 丁香婷婷婷五月综合色情| 婷婷无码视频| 我要射综合| 神马欧美精| 婷婷性爱| 色天堂97| 亚洲爱爱无码婷婷色五月| 狠狠色综合精品视频在线| 婷婷五月天av| 亚洲综合碰| 久久99热只有精品| 日本色狠狠| 色五月婷婷中文字幕| 操逼五月天| 欧美天天草人人草| 91人人爽久久涩噜噜噜| 伊人久久婷婷| 天天插天天射天天干| 三区激情四射av| 五月婷婷,六月丁香| 五月丁香综合网| 丁香五月婷婷欧美成人色图| 成人超碰AV| 另类图片五月天| 99视频在线精品免费观看2| 色婷婷丁香AV综合| 激情婷婷综合| 九九av| 丁香六月婷婷社区| 第四色婷婷色五月| av网址在线| 伊人九九九久| 五月天婷婷六月| 五月久久婷婷| 久久婷婷综合拍| 少妇婷婷五月天| 99自拍视频在线| 九九热青青草| 色久免费| 色狠狠色噜噜AV天堂五区| 九九热99免费视频| 欧洲激情精品婷婷| 五月丁香久久久| 色婷婷五月天亚洲| 超碰狠狠操| 五月丁香婷婷婷激情爱爱| 第四色五月激情网| 激情五月六月婷婷| 91久久综合亚洲鲁鲁五月天| 五月天com| 五月停停99| 伊人六月丁香婷婷| 青青青在线视频国产| 91日本在线观看| 亚洲综合另类| 91se在线观看| 激情六月色| 日韩成人中文| 99aese| 99在线免费视频| 女性自慰系列第五页| 欧美人人操| 九九十99视频| 婷婷六月色开 | 任你操精品免费| 婷婷激情视频欧美视频自拍视频欧美剧| 五月婷婷视频| 欧美日本一区二区三区| 婷婷五月天国产传媒| 99热日本| 字幕网AV中文字幕| 婷婷五月天激情AV影院| 狠狠色 综合色区| 欧美婷| 丁香五月婷婷天激情| 色五月激情基地| 五月丁香婷婷色啪| 超碰人人妻| 色五月婷婷大| av在线免费播放观看| 开心五月婷婷99| 亚洲一二三网| 六月综合在线| 97碰碰免费.视频| 五月婷婷开心综合| 嫩草国产| 99精品久久久久久久婷婷| 97九色| 五月花激情| 伊人大香五月天| 亚洲精品又粗又大又爽A片 | 99热精品6| 婷婷伊人五月丁香天堂网| 天天插天天爽| 翔田千里 50岁 无码| 九九热只有精品| 99热精品10| 婷婷色五月91啪啪| 亚洲成人人人操| 97色色综合| 99精品在线| 激情五月天在线| 色婷婷激情Av久久久| 久久人妻久久| 久久精品视频99| 超碰国产在线| 综合五月天完整| AV成人在线播放| 九九热这里只有精品6| 六月婷婷色五月| 成人国产网| 99热| 丁香久久AV| 色婷婷久久7777| 激情五月天色网站| 丁香久久五月天视频在线观看| 天堂网亚洲色图| www九九| 天天操九九插| 久久99精品久久久久久三级| 狠狠操狠狠插| 99爱在线观看视频| 久99热| 日本久久久97| 成人精品在线| 亚洲最大五月六月丁香婷婷| 97久久人人操| 欧美日韩婷婷五月天| 熟女网站久久| 丁香五月亚洲综合| 色五月婷婷综合| caop视频| 91超级碰碰碰| 五月天五月天成人网亭亭成人色网站| 久久9久| 香港九九六区八区99| 天堂A∨在线| 五月WWW| 色五月首页| 91丁香色五月| 九九伊人网| 色久五月天| 五月丁香色婷婷婷基地| 狠狠久综合| 丁香五月色情| 婷婷五月天亚洲| 亚洲俩性性爱图片久久第六页| 9一精品视频观看| 97碰在线视频| 丁香五月av| 99爱免费在线视频| 热99国产精品| 激情九色| 丁香五月亚洲综合| 欧美操人| 秋霞性爱AV| 婷婷五月天久久| 五月婷婷免费| 五月天激情综合网站| 99热在线资源| 9|在线观看视频| 免费视频WWW在线观看网站| 91久久| 思思久久精品| 麻豆五月丁香婷婷| 99久热这里有精品| 在线婷婷| 97久人人| 91丨九色熟女丨首页| 五月婷婷 激情按摩| 久久xx| 国产精品电影| 五月婷婷深深爱| 亚洲激情网站| 国产探花AV在线| 综合激情五月丁香9999久久精| 91无码视频| 五月丁香六月婷婷久久| 五月婷婷精品视频| 日韩黄在免| 色婷五月天| 日本色色色| 中文字幕,综合,91| 五月天狠狠网| 开心五月丁香婷婷| 激情五月综合免费| 777.色色| 天天上天天爽| 永久的网站AAAA | 中文成人在线| 精品无吗va视频免费观看| 久久思思热视频| 色狠狠图片| 五月丁香婷婷国产精品综合| 婷婷九月激情| 97激情五月天| 婷婷色系婷色| 婷婷六月激情丁香| 激情五月天网页| 五月综合激情综合久| 人妻久久久久久久久妻久久久久| 99热国内| 久久狠狠色| 亚洲女婷婷五月基地综合久久久| 我爱婷婷五月天综合88| 人人看人人草人人摸| 婷婷亚洲在线| 夜夜爽天操| 五月天精品视频| 欧美丁香婷婷五月天| 久久这里都是精品| 日日干夜夜干| 久久五月丁香婷婷| 99热在线看| 婷色五月| 婷婷不干网| 婷婷五月天亚洲综合网| 欧美人人超级碰| 天天综合五月天| 97在线日本| 欧美日本黄色| 91人人爽狠狠狠| 九九色逼| 色狠狠六月| 五月婷婷网五月在线| 五月天激情婷婷久久| 91视频五月丁香| 香蕉久久国产AV一区二区| 日本欧美在线| 亚洲国产精品二二三三区| 好吊兆人妻| 九九偷拍网| WWW.婷婷五月天.COM| 久久只有精| 久久五月天精品视频| 侠女刀之记忆电影在线看免费| 五月丁香好婷婷A片网| 色五月婷婷影院| 色色色婷婷五月| 另类天堂| 五月色丁香婷婷综合| 色综合久久44| 丁香五月深爱五月婷婷| 色五月天成人| 五月天婷婷久久视频| 99燥99日| AV成人在线播放| 色五月婷婷天天干| 久色欧美| 五月亭亭六月天| 99热个人在线| 超碰成人av| 深爱五月综合网| 狠狠色婷婷六月激情网| 激情网婷婷五月天| 91超级碰| 丁香天堂夜| 欧美五月丁香在线| 欧美美美女性色视频| 婷婷中文字幕| 99色综合久久| 啪啪激情网| 精品皮股午夜AV| 婷婷丁香熟妇综合网| 五月婷三级片| 五月天大香蕉| 操日挥操日日| 丁香五月成人网| 天天日P天天射P| 激情五月婷黄版| 综合色色色色色色| 中文字幕在线日亚州9| 99re在线免费视频| 欧洲精品欧洲情| 思思99热| 激情又色又爽又黄的A片| 9热在线视频精品| 97人凄人人操人人爽| 日本人妻丁香婷婷久久寝取熟女五月| 亚洲综合激情五月久久| 疯狂做受XXXX高潮A片| 97人操人免费视频| 婷婷五月天首页| 九九视频在线| 99久久97久久欧美综合网| 久久 这里只有精品1| 五月香婷婷| 亚洲免费在线观看岛国| 婷婷性爱无码视频| 超碰狠狠操| 亚洲人人操| 男人天堂亚洲综合| 97色婷婷成人综合在线观看| 伊人影院久久网| 播五月婷婷开心| 色噜噜狠狠色综合成人网| 色九九九综合| 婷婷激情丁香五月天综合| 丁香五月天天| 五月天激情久色| 久色网| 伊九九三级区| 日韩99视频| 久热爱大香蕉在线蜜臀悦色 | 岛国操B不卡在线| 精品无码色| 九九热免费| 成人五月天丁香婷| 激情综合网五月激情网| 影音先锋 萱萱| 久久九九免费大视频| 天天干天天插| 性爱网五月婷婷| 激情婷婷五月久久| 久久激情网| 亚洲六月色婷婷| 五月婷婷六月丁香在线| 亲子乱AV-区二区三区| 狠狠色丁香婷婷综合久久97AV| 五月婷婷激情| 天天操天天爱天天日| 久久作爱| 婷婷五月天奸女| 色色色地址| 2015超碰| 综合激情五月婷婷| 热99免费在线| 色婷婷国产精品综合在线观看| 婷婷五月a| 九九99精品视频在线观看| 91在线精品一区二区| 天天舔天天摸天天射| 激情综合五| 免费色色色| 天天操夜夜操| 久久五月婷综合网| 99噜噜噜在线播放| 激情五月天网页| 激情小说色五月| 丁香五月亚洲无码| 少妇高潮呻吟A片免费看软件| 五月天婷婷激情小说| 中国丰满熟女A片免费观| 天天日夜夜草进麻麻的子宫| 老美AA片| 亚洲精色| 丁香色五月AV在线| 中文AV在线观看| 99久久久久久| 99福利导航| 超碰在线人妻| 婷婷五月天激情小说| 就爱操www com| 96丁香婷婷九月蜜桃综合久久| 综合久色五月| 免费碰碰视频久| 丁香婷婷成人网站| 狠狠狠狠狠狠色| 丁香五月婷久久| 色狠狠五月天| 欧美成人精品A片免费一区99| 激情网开心网| 五月婷天堂视频| 丁香 久久| 日本欧美成人片AAAA| 激情五月天综合网| 99热国产精品| 亚洲99激情| 色婷婷色综合久久精品V| 五月丁香六月欧美综合网站| 另类激情码| 九九视频在线观看| 国产精品色色色色| 玖玖激情网| 婷婷五月电影院| 人人人人人人人人人草| 婷婷五月综合丁香久久| 色射影院| 俺去也在线官网| 九色91美女| 爱超碰性| 丁香色色色| 高清无码中文字幕aVDV| 欧美啪啪9| 日韩av一区二区在线/日产精品久久久 | 99热99在线| 久久99大| 久操综合| 国产一级婬片毛片| 超碰在线99热| 色丁香五月婷婷| 狠色狠色综合久久| 狠狠狠狠狠狠色| 五月综合激情婷婷六月色窝| 51avj视频大全| 激情网第九色| 色五月在线综合| 久久xxxx| 五月深爱激情网| 九九久久精品| 成人五月天。COM| 91操操| 婷婷五月天色综合| 丁香婷婷网| 新激情五月天| 五月丁香婷婷在线| 五月天激情综合10p| 久久婷婷国产| 日韩AV无码影片| 久久婷婷色| 夜夜操少妇| 五月婷婷熟女| 欲色人妻| 91九色精品熟女内射| 在线只有精品| 99久久思思| 色婷婷网| 激情丁香五月天图片| 欧美大肥婆大肥BBBBB| 婷婷五月精品中文字幕| 天天天添天天操| 国产99久久久| 婷婷之玖玖| 国产伦亲子伦亲子视频观看| 五月天久久婷婷| 激情五月天小说| 爱草视频在线观看| 五月丁香免费视频| 日日噜噜久久婷婷五月天| 国产精品18久久久| 久久婷婷色| 欧美婷婷综合| 午夜婷婷五月天在线| 这里只有精品免费在线视频| 91丨九色熟女丨首页| 4399无码视频| 婷婷色网| www,色婷婷| 天天婷婷| 久色五月| 伊人五月久久| 97成人丁香婷婷| 91人操人人人操人| 一级黄色操B| 99在线精品视频| 日日爽日日| 婷婷色啪| 97香蕉久久超级碰碰高清版| www热久久yy9| 五月婷婷导航| 五月天丁香| 亚洲乱码w在线观看| 类似婷婷激情综合网站| 开心五月激情网| 26uuu国产| 99免费在线视频| 99九九视频| 五月丁香亭亭操逼| 久久精品婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 另类视频综合| 99热精品在线播放| 五月婷视频| 思思热在线视频精品| 色婷婷成人做爰A片免费看网站 | 日本系列_4页_777FP| 久久性操| 亚洲男女激情| 性做久久久久久久免费看| 成人做爰高潮A片免费视频| 亚洲视频在线观看| 伊人大香蕉爱聚| 五月天色欧美| 丁香婷婷超碰 | 日韩啪图| 九九综合色综合| 五月天婷婷色在线视频免费观看| 综合激情五月四射婷婷| www.五月激情.com| 色色综合视频| www.天天干| 久久激情五月| 欧美三级A做爰在线观看| 丁香色婷婷色手机免费在线| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 成人做爰A片免费看网站找不到了| 五月六月丁香激情视频| 我爱婷婷五月天综合88| 国产成人99久久亚洲综合精品| 久婷五月| 丁香六月欧美| 五月丁香婷婷五月色| 婷婷色一二三区波多野结衣| 婷婷五月天六点丁香五月| 六月丁婷婷| 五月天狠狠草| 丁香色综合| 99精品在线| 色五月激情问网站| 五月天激情久久| 人人色婷婷五月天| 丁香五月婷婷成人网| 五月婷婷网站| 色五月婷婷操逼| www.色婷婷.com| 国产精品久久久丁香五月八戒视频| 丁香六月视频| 五月天啪啪啪| 激情深爱五月天| 中文成人在线| 国产91九色| 天天看片日日夜夜| 99色在线观看视频| 亚洲综合视频在线| 亚洲字幕AV一区二区三区四区| 人妻中文字幕网| 人人爱操| 婷婷五点亚洲| 第四色五月天| 99天堂在线观看免费视频| 日本欧美国产| 午夜精品777| 超碰资源在线| 中国丰满熟女A片免费观| 69精品人妻不卡视频| www.夜夜操.con| 啪啪小说五月天| 97自拍视频在线| 超碰9在| 中文字幕丁香五月| 欧美这里只有精品| 亚洲精品一区无码A片| 中文字幕,综合,91| 九九热这里只有精品556| 欧美va在线| 激情婷婷| 久艹大香蕉| 国产美女精品| 久久婷婷五月天懂色| 九九爱精品网站| 在线视频色五月| 六月丁香VA| 中国女人做爰A片| 成人婷婷| sewuyuejiqingwang| 超碰在线人妻| 97在线干| 久久66精品| 久久女婷| 久xxxx| 免费播放99性爱视频| 99在线精品视频| 97爱综合| 日日夜夜天天爽| 另类小说五月天| 中文字幕av在线| 婷婷色爱| 五月丁久久| 亚洲色婷婷色| 亚洲亚洲永久无码777777| 日本乱子人伦在线视频| a在线观看| 综合99久久天天综合| www天天干| 亚洲AV成人在线| 激情伊人| 2020日日干| 亚洲区在线| 天天日夜夜操五月| 五月丁香综合| 99色激| 婷婷五月综合啪| 亚洲欧洲小视频9| 99色最新在线视频网站| 国产成人精品一区二三区熟女在线 | 色情综合网| 五月婷视频| 激情五月天婷婷色色色色色色色色色色色 | 少妇高潮呻吟A片免费看软件| 婷婷中文字幕| 激情五月天色色网| 91ncm视频| 婷婷免费视频| 伊人大蕉香| 日日噜狠狠色| 人人综合色| www.热99热| 日韩精品视频中文字幕| 激情小说五月天中文字幕| 欧美肉大捧一进一出免费视频| 超碰91在线| 五月天啪啪| 色色色综合网| 人妻久久久久久久| 色色色色色色色色五月先| 影音先锋色婷婷| 99热日韩| 日韩AV大全| 婷婷五月激情网| 九九碰九九爱97超碰| 婷婷伊人綜合中文字幕小说| 亚洲天堂婷婷| 六月丁香五月亭亭| 欧美成人AAA片一区国产精品| 思思99精品视频在线观看| 人妻久久久久久| 久久婷五月婷| 五月婷婷啪啪| 夜夜骑操AV| 久久人妻熟女一区二区| 五月天自拍视频| 97超碰免费超级在线观看| 开心五月丁香婷婷| 婷婷五月精品| 亚洲综合五月天婷婷| 亚洲成人无码片| 久久9热| 五月婷网| 99操逼| 色婷婷国色天香综合| 久久婷婷五月丁香蜜桃网| 亚洲成人在线五月天| 日本丁香久在线| 九月激情综合| 天天爽在线视频| 五月婷婷激情| 停停五月天激情网| 狠狠综合色网| 99乱视频| 另类色视频| 丁香8月手机综合| 99精品视频网站| 91久久色| 五月丁香婷婷综合网| 丁香五月激情站| 超碰在线个人观看| 夜夜撸日日操| 久久xxxx| 中国女人内射6XXXXX| 99九九精品| 色色五月天网站| 四色五月婷婷| 99热这里有精品2| 91丁香| 久久99热这里只频精品6学生| 婷婷五月深深的爱| 在线亚洲综合| 99熟女| 五月婷深深爱激情网| 色原狠狠综合| 五月丁香婷中文| 五月丁香av在线| 狠狠色丁香久久婷婷综合五月| 人妻久久久久久久| 丁香五月天殴美激情| 99啊精典免费视频| 丁香五月影院| 激情综合网五月激情网| 97在线视频观看| 99视频| 99a级片| 涩涩五| 99riAv1国产在线观看| 亚洲精品V天堂中文字幕 | 99热成人| 婷婷婷婷婷婷婷婷| 国产夫妻操逼内射视频| 日美三级| 激情综合五月|