欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從295B到770B:混元Hy4架構(gòu)躍遷背后的推理成本與工程實(shí)踐

從295B到770B:混元Hy4架構(gòu)躍遷背后的推理成本與工程實(shí)踐 看到騰訊混元這次把 Hy4 Preview 帶出來(lái)的時(shí)候我對(duì)榜單上的跑分反而沒(méi)什么興趣真正讓我停下來(lái)多看了幾秒的是另一行字295B 到 770B。如果你整天只接 API可能覺(jué)得這不過(guò)是一句“哦變大了”但如果你跑過(guò)大型模型就會(huì)知道這個(gè)數(shù)字背后牽扯的東西極多——模型權(quán)重落盤(pán)體積、顯卡顯存規(guī)劃、路由負(fù)載均衡策略、并行度設(shè)計(jì)甚至業(yè)務(wù)側(cè)的調(diào)用成本模型全部都要重新盤(pán)一遍。這篇文章不打算復(fù)述新聞也不打算重復(fù)官方通稿。我更想從一個(gè)在業(yè)務(wù)里長(zhǎng)期接大模型 API、也折騰過(guò)私有化推理的工程師角度聊一聊295B 到 770B 這種參數(shù)規(guī)模躍遷底層架構(gòu)為什么必須跟著變對(duì)整個(gè)開(kāi)發(fā)鏈條上的調(diào)用、遷移、評(píng)測(cè)和最終“生產(chǎn)力落地”到底意味著什么。適合正在做技術(shù)選型、拿不準(zhǔn)要不要切換到新版本的人也適合想理解“模型變大不等于簡(jiǎn)單放大”的讀者。1. 先別急著聊架構(gòu)295B 和 770B 到底意味著什么1.1 總參數(shù)和激活參數(shù)不是一回事很多人看到 770B 的第一反應(yīng)是“能力大概是 295B 的 770/295 倍”。這個(gè)理解有兩個(gè)問(wèn)題。一方面模型能力和參數(shù)量不是線性關(guān)系。參數(shù)增加確實(shí)能提高知識(shí)容量和復(fù)雜模式的擬合能力但對(duì)很多任務(wù)來(lái)說(shuō)邊際收益會(huì)遞減。從 70B 到 700B 的體感差異遠(yuǎn)比 7B 到 70B 模糊得多因?yàn)榈揭欢w量后天花板會(huì)變成訓(xùn)練數(shù)據(jù)的質(zhì)量、對(duì)齊水平、推理能力而不是“參數(shù)到底裝了多少事”。另一方面平時(shí)說(shuō)的“總參數(shù)”指的是權(quán)重文件里所有可訓(xùn)練參數(shù)不代表每一步推理都會(huì)把每個(gè)參數(shù)都算一遍。尤其參數(shù)量到了 295B、770B 這個(gè)級(jí)別基本不會(huì)再用一個(gè)完全稠密的 Transformer 直接塞進(jìn)顯存硬推理而是會(huì)走 MoEMixture of Experts混合專家這類稀疏結(jié)構(gòu)總參數(shù)量可以很大但單個(gè) token 只會(huì)激活其中一小部分專家。Hy3 的 295B、Hy4 Preview 的 770B這里很難從標(biāo)題直接判斷到底是“稠密總參”還是“MoE 總參”。但從行業(yè)通用做法和推理成本反推更合理的猜測(cè)是它大概率是稀疏 MoE 架構(gòu)下的總參數(shù)規(guī)模。你要比較“變強(qiáng)了多少”更應(yīng)該看激活參數(shù)——也就是每個(gè) token 實(shí)際參與計(jì)算的那部分參數(shù)——而不是眼睛盯著墻上的 770B。提醒一下我見(jiàn)過(guò)不少同學(xué)直接用參數(shù)量估算推理速度得出“舊版能跑 20 token/s新版參數(shù)大 2.6 倍所以大概只剩 8 token/s”這種結(jié)論。這個(gè)估算在稠密模型之間大體能站住腳遇到 MoE 就完全失真。1.2 顯存和成本先算一筆最容易算錯(cuò)的賬假設(shè)我們不考慮任何稀疏結(jié)構(gòu)只按權(quán)重體積來(lái)算BF16 精度下1B 參數(shù)差不多占 2GB 顯存。實(shí)際部署還得算上 embedding、layer norm、位置編碼等額外量但先按這個(gè)粗略公式盤(pán)295B 參數(shù)的 BF16 權(quán)重約 590GB770B 參數(shù)的 BF16 權(quán)重約 1.54TB。也就是說(shuō)即便底層架構(gòu)不變、不做任何量化單從權(quán)重加載看你就不能再用以前“8 張 A100/H100 就能跑”的預(yù)算去規(guī)劃。8 張 80GB 顯卡一共才 640GB 顯存連 770B 的 BF16 權(quán)重都塞不下更不用說(shuō)推理時(shí)還要給激活值、KV Cache、通信緩沖留空間。所以到 770B 這個(gè)規(guī)模現(xiàn)實(shí)方案基本只有幾條量化把權(quán)重壓到 INT8/FP8存儲(chǔ)和帶寬壓力減半但需要實(shí)測(cè)精度回退是否可接受多機(jī)分布式推理把參數(shù)切到幾十張卡甚至更多網(wǎng)絡(luò)帶寬和調(diào)度復(fù)雜度立刻上一個(gè)臺(tái)階走服務(wù)方 API把部署痛苦轉(zhuǎn)移出去按 token 計(jì)費(fèi)但需要評(píng)估延遲、限流和數(shù)據(jù)邊界。這也是我為什么總說(shuō)“架構(gòu)躍遷”不是模型團(tuán)隊(duì)內(nèi)部的事它會(huì)順著部署方式一路傳導(dǎo)到你的預(yù)算表。770B 聽(tīng)起來(lái)是一次性能升級(jí)落地時(shí)先砸過(guò)來(lái)的往往是成本重估。如果你正準(zhǔn)備為 Hy4 Preview 擴(kuò)容第一步不是訓(xùn)練技巧而是先把“卡有多少、帶寬夠不夠、評(píng)測(cè)能跑多并發(fā)”算清楚。我個(gè)人經(jīng)驗(yàn)評(píng)估這種體量模型的部署成本別只盯著權(quán)重文件。KV Cache 的開(kāi)銷常比預(yù)想更大尤其上下文一長(zhǎng)后半段推理延遲會(huì)逐步上漲。建議按“模型權(quán)重 KV Cache 20% 通信/顯存冗余”來(lái)規(guī)劃顯存不要卡著 90% 容量去接流量否則一個(gè)高并發(fā)峰值就能把節(jié)點(diǎn)打掛。1.3 規(guī)模變大訓(xùn)練和推理的復(fù)雜度會(huì)換“品種”參數(shù)量從 295B 到 770B除了顯存總量還有兩個(gè)隱蔽變化。第一是訓(xùn)練并行策略更復(fù)雜。稠密模型相對(duì)好辦張量并行、流水線并行、數(shù)據(jù)并行按層切就行。但 MoE 會(huì)多一個(gè)“專家并行”維度。每個(gè) token 要路由到不同專家如果某個(gè)專家被路由到的請(qǐng)求特別多負(fù)載一不均衡就會(huì)出現(xiàn)部分 GPU 忙不過(guò)來(lái)、另一部分在摸魚(yú)的現(xiàn)象??淳W(wǎng)上的“架構(gòu)躍遷”討論很少人提這一點(diǎn)但它才是訓(xùn)練穩(wěn)定性的關(guān)鍵。第二是長(zhǎng)上下文的代價(jià)。上下文窗口越長(zhǎng)注意力計(jì)算復(fù)雜度越高KV Cache 也越大。770B 模型如果支持長(zhǎng)上下文對(duì)顯存管理、調(diào)度器、緩存策略的要求會(huì)比 295B 高一整個(gè)檔次。推理框架通常需要配合 PagedAttention、Prefix Caching、KV Cache 量化等手段否則并發(fā)一上來(lái)顯存很快會(huì)被長(zhǎng)請(qǐng)求填滿。所以“從 295B 到 770B 是架構(gòu)躍遷”這句話我理解是在說(shuō)它不能只把 Transformer 每一層等比例加寬而是必須動(dòng)骨架。Transformer 依然是底座但里面的注意力機(jī)制、專家路由、層級(jí)分布、訓(xùn)練目標(biāo)都可能調(diào)整。這些藏在底層的變化最終會(huì)表現(xiàn)為模型輸出質(zhì)量、穩(wěn)定性、指令遵循能力的變化。2. 架構(gòu)躍遷到底藏在哪里從 MoE 到長(zhǎng)上下文能力2.1 為什么這個(gè)量級(jí)幾乎必然會(huì)走向 MoE如果真把參數(shù)量拉到 770B同時(shí)又不能讓推理成本線性上漲那最現(xiàn)實(shí)的技術(shù)路徑就是 MoE。這個(gè)架構(gòu)經(jīng)常被誤認(rèn)為是“好幾個(gè)模型商量著回答”其實(shí)更貼切的比喻是一家大公司里坐著幾千個(gè)領(lǐng)域的專家但每個(gè)來(lái)咨詢的人不會(huì)把所有人都喊來(lái)開(kāi)會(huì)而是由一個(gè)前臺(tái)判斷“你現(xiàn)在這個(gè)問(wèn)題應(yīng)該找哪幾位專家聊”。整套結(jié)構(gòu)里有兩個(gè)關(guān)鍵角色Router路由對(duì)輸入 token 打分選出最合適的 k 個(gè)專家Expert專家通常是 FFN 層的多個(gè)副本或變體各自學(xué)習(xí)不同模式。于是總參數(shù)量可以做很大但每次推理只激活一部分專家和注意力層。一個(gè) 770B 總參數(shù)的模型完全可能把激活參數(shù)控制在幾百億以下遠(yuǎn)端看起來(lái)像是另一個(gè)規(guī)模的模型。最終效果由專家分工的細(xì)致程度、路由的準(zhǔn)確度、被激活參數(shù)的表達(dá)能力共同決定。這也是為什么這種結(jié)構(gòu)對(duì)擴(kuò)容友好想變強(qiáng)就往專家池里加人不需要把原有每層推倒重來(lái)。但反過(guò)來(lái)它對(duì)訓(xùn)練框架非常不友好路由一旦學(xué)偏會(huì)出現(xiàn)一批專家忙死、一批專家餓死訓(xùn)練效率和穩(wěn)定性都會(huì)很難看。網(wǎng)上能看到的各種跳票、Preview、漸進(jìn)式開(kāi)放很多都和這類穩(wěn)定性問(wèn)題有關(guān)不只是市場(chǎng)策略。2.2 路由穩(wěn)定性是那只看不見(jiàn)的手做算法的人看模型喜歡丟幾個(gè)測(cè)試題。做訓(xùn)練和部署的人卻會(huì)長(zhǎng)期盯兩個(gè)指標(biāo)專家負(fù)載均衡程度、路由的重復(fù)度。如果某個(gè)專家收到的 token 太少它的參數(shù)等于白訓(xùn)如果某幾個(gè)專家收到特別多又會(huì)造成單卡顯存和算力瓶頸。到 770B 量級(jí)負(fù)載均衡通常要依靠更復(fù)雜的輔助 loss、專家容量限制、隨機(jī)丟棄等手段強(qiáng)迫模型把請(qǐng)求盡量分散開(kāi)。普通用戶看不到這一層卻能間接體驗(yàn)到如果訓(xùn)練時(shí)負(fù)載不均衡嚴(yán)重模型會(huì)出現(xiàn)一種“某些領(lǐng)域特別聰明某些領(lǐng)域明顯偏科”的觀感。換個(gè)角度說(shuō)評(píng)測(cè)集里如果不覆蓋多個(gè)子領(lǐng)域很容易被模型在某個(gè)偏科方向上的驚艷表現(xiàn)誤導(dǎo)。MoE 還有一個(gè)工程特點(diǎn)專家在分布式環(huán)境間傳遞中間結(jié)果通信量遠(yuǎn)大于普通稠密模型??鐧C(jī)帶寬一旦不夠延遲會(huì)被通信拖住模型再“聰明”也快不起來(lái)。這也是為什么很多團(tuán)隊(duì)跑大 MoE 時(shí)寧可用 NVLink 或高速 RDMA 網(wǎng)絡(luò)也不愿意讓專家在普通以太網(wǎng)上散開(kāi)。2.3 長(zhǎng)上下文能力不會(huì)只靠“塞更多 token”長(zhǎng)出來(lái)討論架構(gòu)躍遷時(shí)很多人會(huì)漏掉上下文窗口但我覺(jué)得這反而是影響生產(chǎn)力最直接的維度。參數(shù)變大模型能容納更多復(fù)雜知識(shí)但如果上下文窗口很短生產(chǎn)場(chǎng)景照樣轉(zhuǎn)不起來(lái)——你丟一份幾十頁(yè)合同進(jìn)去就爆了模型再“聰明”也沒(méi)用。長(zhǎng)上下文能力需要在很多層面做配套用稀疏注意力或注意力壓縮降低長(zhǎng)文本計(jì)算量用更好的位置編碼方案讓模型理解超過(guò)訓(xùn)練長(zhǎng)度的相對(duì)位置在推理側(cè)做 KV Cache 量化、Prefix Caching 等優(yōu)化讓服務(wù)端不被長(zhǎng)請(qǐng)求拖垮。這些能力很少出現(xiàn)在跑分海報(bào)上卻決定你是不是真的能把模型放進(jìn)“讀完整個(gè)項(xiàng)目倉(cāng)庫(kù)再給建議”“通篇審閱一份厚合同再審閱細(xì)節(jié)條款”這些真實(shí)任務(wù)里。從 Hy3 到 Hy4 Preview 的生產(chǎn)力躍遷我認(rèn)為很大一部分不是“更會(huì)答題”而是“更能把上下文裝下去并且真的會(huì)用起來(lái)”。3. 真正值得嘗鮮的生產(chǎn)力場(chǎng)景我比較看好的三個(gè)方向3.1 多輪長(zhǎng)對(duì)話與復(fù)雜文檔終于不再頻繁“失憶”我以前在項(xiàng)目里用小參數(shù)模型做會(huì)議紀(jì)要最痛的問(wèn)題是總結(jié)到一半丟信息。讓它分析一份 50 頁(yè)材料經(jīng)常只抓到開(kāi)頭結(jié)尾中間細(xì)節(jié)全丟掉。參數(shù)規(guī)模增大之后最直觀的變化是長(zhǎng)期依賴能力它能更穩(wěn)地記住前文出現(xiàn)過(guò)的實(shí)體、約束條件、數(shù)字并把它們應(yīng)用到后文判斷中。這里還得強(qiáng)調(diào)一個(gè)區(qū)別“上下文能裝下”不等于“會(huì)自動(dòng)找答案”。哪怕技術(shù)上支持 128K 上下文模型如果不會(huì)在 128K 里定位關(guān)鍵信息給它 256K 也白搭。770B 帶來(lái)的更可能是注意力模式更細(xì)致能從密集信息中撈到真正需要的內(nèi)容。如果你的工作流里有長(zhǎng)文檔問(wèn)答、跨章節(jié)總結(jié)、多輪需求澄清換到 Hy4 Preview 后第一個(gè)建議測(cè)試的方向就是這個(gè)。不用一上來(lái)就挑戰(zhàn)高難度推理先把自己最痛的長(zhǎng)文本材料丟進(jìn)去看看模型能不能找出你人為埋下的幾個(gè)細(xì)節(jié)。3.2 Agent 里的工具調(diào)用與路徑規(guī)劃不再“一錯(cuò)到底”這兩年只要聊 AI 應(yīng)用幾乎繞不開(kāi) Agent。Agent 的本質(zhì)是讓模型當(dāng)一個(gè)調(diào)度中心決定先調(diào)用哪個(gè)工具、觀察結(jié)果再走下一步。這對(duì)模型要求特別高因?yàn)橹虚g一旦誤判后面所有步驟都可能跟著跑偏。更大的模型在 Agent 場(chǎng)景里通常有幾個(gè)優(yōu)勢(shì)指令遵循更穩(wěn)能在 system prompt 里同時(shí)遵守格式、順序、安全規(guī)則而不是只記得最后一句工具選擇更準(zhǔn)能分辨“搜天氣”和“定鬧鐘”這類邊界模糊的語(yǔ)義錯(cuò)誤恢復(fù)更好工具返回異常時(shí)能把錯(cuò)誤信息當(dāng)作普通文本重新規(guī)劃而不是直接崩潰或原地循環(huán)。如果你以前用 295B 級(jí)別的模型調(diào) Agent 時(shí)總覺(jué)得“能力有但不夠聽(tīng)話”那 770B 級(jí)別的新版本值得用同一套 Prompt 重新跑一輪。我的經(jīng)驗(yàn)是先別比復(fù)雜任務(wù)先比“當(dāng)工具返回 500 錯(cuò)誤時(shí)模型能不能正確識(shí)別并改用備選工具”。這個(gè) case 最能看出版本間的架構(gòu)級(jí)進(jìn)步。3.3 結(jié)構(gòu)化輸出與數(shù)據(jù)清洗最容易被低估的提效點(diǎn)很多團(tuán)隊(duì)最容易忽略的場(chǎng)景其實(shí)是結(jié)構(gòu)化輸出。比如把一堆非結(jié)構(gòu)化合同文本抽取出“付款條件、違約金比例、甲方乙方名稱”并輸出 JSON。這類任務(wù)不算高深但對(duì)格式遵從和細(xì)粒度實(shí)體識(shí)別要求很高。小模型常犯的毛病是輸出路徑對(duì)了可 JSON 字段值漏幾個(gè)或者甲方名稱和乙方名稱搞混。參數(shù)量提升后這種細(xì)粒度消歧能力通常會(huì)有明顯進(jìn)步。如果你們公司有大量“臟數(shù)據(jù)清洗、半結(jié)構(gòu)化文本轉(zhuǎn) JSON、客服工單分類”需求換大模型可能是成本收益最直接的一項(xiàng)。它不像 Agent 那么炫但很多后臺(tái)流程就是靠這條抽取鏈路撐著準(zhǔn)確率提升一個(gè)點(diǎn)節(jié)省的人力可能遠(yuǎn)超想象。而且結(jié)構(gòu)化輸出天然適合做自動(dòng)化評(píng)測(cè)只要寫(xiě)一個(gè) JSON schema 校驗(yàn)器就能量化模型升級(jí)前后的字段完整率、格式合法率和取值準(zhǔn)確率。4. 從 Hy3 切到 Hy4 Preview最容易被低估的遷移成本4.1 輸出分布漂移同一個(gè) Prompt未必給你同一個(gè)答案這是我從舊模型切到新模型后非常確定的一個(gè)感受同樣的 Prompt在 Hy3 上輸出很穩(wěn)定到 Hy4 Preview 上可能會(huì)換語(yǔ)氣、換分段方式、甚至修改輸出字段的邊界。不是新模型變差而是版本更新會(huì)帶來(lái)自然的模型漂移。模型內(nèi)部參數(shù)更新概率分布整體變了。原來(lái)精心設(shè)計(jì)的 few-shot 樣例也許在舊模型上很有效新模型反而不需要原來(lái)它一定會(huì)嚴(yán)格執(zhí)行的一句話規(guī)則新模型可能因?yàn)槔斫飧钊氘a(chǎn)生了自己的“靈活解讀”。所以遷移的第一件事不是把 model 字段從 hy3 改成 hy4而是把你線上的 Prompt、few-shot 樣例、后處理解析邏輯全部當(dāng)成“待回歸測(cè)試的代碼”。任何跳過(guò)回歸直接切流量的行為都等于在賭模型分布沒(méi)有變。生產(chǎn)環(huán)境可不能這么賭。4.2 評(píng)測(cè)集要貼近真實(shí)場(chǎng)景不要只拿腦筋急轉(zhuǎn)彎試很多人換模型時(shí)喜歡問(wèn)“雞兔同籠”“樹(shù)上 10 只鳥(niǎo)”這類題目。它們能反映一部分推理能力但和你的業(yè)務(wù)大概率無(wú)關(guān)。如果線上業(yè)務(wù)是售后工單分析評(píng)測(cè)集里至少要有售后客服的高頻說(shuō)法、真實(shí)長(zhǎng)句、錯(cuò)別字和臟數(shù)據(jù)。我習(xí)慣把評(píng)測(cè)集做成一個(gè) JSONL 文件每條記錄包含輸入、預(yù)期行為、檢查規(guī)則。檢查規(guī)則不一定是“參考答案完全一致”可以是“JSON 可解析且 fields 包含某些 key”“不能出現(xiàn)某個(gè)違規(guī)短語(yǔ)”這種機(jī)器可判定的條件。最后寫(xiě)一個(gè)簡(jiǎn)單腳本批量調(diào)用新舊兩個(gè)模型輸出對(duì)照表。這里有幾個(gè)硬經(jīng)驗(yàn)評(píng)測(cè)樣例最好不少于 50 條覆蓋正常輸入、邊界輸入、異常輸入每條不能只看內(nèi)容對(duì)不對(duì)還要監(jiān)控響應(yīng)時(shí)間、token 消耗、失敗率先用規(guī)則化檢查做第一輪過(guò)濾再針對(duì)差異大的結(jié)果做人工抽檢。指標(biāo)上我越來(lái)越不喜歡只依賴單一的人工打分因?yàn)槿说闹饔^波動(dòng)太大。規(guī)則判定能確保客觀人工復(fù)核能補(bǔ)足語(yǔ)義判斷兩個(gè)結(jié)合才更靠譜。4.3 灰度切換與雙跑比任何廣告宣傳都有用更穩(wěn)的遷移方案不是“從舊模型全量切到新模型”而是先拿 5%~10% 的流量導(dǎo)到新模型跑一段時(shí)間再對(duì)比新舊結(jié)果。我通常這樣設(shè)計(jì)灰度Shadow Mode舊模型正常響應(yīng)用戶新模型在后臺(tái)同步跑一遍請(qǐng)求不返回給用戶只落日志用來(lái)評(píng)估差異和延遲5% 灰度把少量真實(shí)流量切到新版本觀察用戶反饋、錯(cuò)誤率、超時(shí)按場(chǎng)景放開(kāi)如果只是某些場(chǎng)景收益明顯就只對(duì)這些場(chǎng)景放開(kāi)其他場(chǎng)景繼續(xù)走舊模型。還可以把同一個(gè)請(qǐng)求同時(shí)發(fā)給新舊兩個(gè)模型統(tǒng)計(jì)結(jié)果不一致率。不一致率過(guò)高時(shí)要謹(jǐn)慎排查是不是新版輸出格式改變了或者某些請(qǐng)求進(jìn)入了你不熟悉的“新能力區(qū)”。4.4 成本和延遲參數(shù)翻倍賬單不一定等比例翻倍如果走 API服務(wù)方把基礎(chǔ)設(shè)施細(xì)節(jié)都隱藏了你可能只看到 token 單價(jià)。但如果做私有化部署新成本模型里最要命的是 GPU 數(shù)量和網(wǎng)絡(luò)帶寬而不是模型能力本身。MoE 的精妙之處在于總參數(shù)量大激活參數(shù)量卻可能遠(yuǎn)小于總參數(shù)量。所以和 295B 稠密模型比770B MoE 模型每次請(qǐng)求的實(shí)際計(jì)算量未必線性增長(zhǎng)。但權(quán)重讀取和跨機(jī)通信仍是大頭尤其多并發(fā)上來(lái)時(shí)顯存帶寬會(huì)迅速成為瓶頸。不能僅憑“770B 295B”就判斷一定貴很多。服務(wù)方用什么量化、什么并行策略、什么調(diào)度算法都會(huì)影響最終成本。建議直接拿同一批請(qǐng)求分別打兩個(gè)版本統(tǒng)計(jì) p50/p95 延遲、成功率和 token 消耗再結(jié)合真實(shí)單價(jià)算單次調(diào)用成本。不看這些實(shí)測(cè)只按參數(shù)估預(yù)算很容易被實(shí)際賬單打臉。我的習(xí)慣是拿 100 條同樣請(qǐng)求在低峰期跑三遍取平均。除了看延遲還要對(duì)比輸出 token 數(shù)。因?yàn)椴煌P蛯?duì)同一任務(wù)寫(xiě)的 token 數(shù)量可能差很多直接影響成本和下游解析負(fù)擔(dān)。5. 我實(shí)測(cè)中遇到的幾個(gè)值得注意的變量5.1 長(zhǎng)文檔摘要輸出長(zhǎng)度和穩(wěn)定性是第一道坎我常用的長(zhǎng)文本測(cè)試是把一份約三十頁(yè)的上市公司年報(bào)丟進(jìn)模型要求給出摘要并列出關(guān)鍵財(cái)務(wù)指標(biāo)。實(shí)測(cè)下來(lái)模型越大輸出結(jié)構(gòu)往往越穩(wěn)定但偶爾還是會(huì)遇到輸出截?cái)嗷蜃侄稳笔?。原因不一定是模型笨可能是單次?qǐng)求的 max_tokens 上限限制了輸出空間也可能是文檔里有復(fù)雜的表格和掃描件格式。處理長(zhǎng)文檔時(shí)我現(xiàn)在比較穩(wěn)的套路是先把文檔按章節(jié)切塊每塊單獨(dú)做初步信息提取再做一次全局匯總讓模型基于各塊的摘要而不是原始全文做最終輸出關(guān)鍵數(shù)字要求模型在回答里給出原文頁(yè)碼或位置方便人工考證。關(guān)鍵數(shù)字錯(cuò)誤率確實(shí)下降了但只要涉及多頁(yè)表格交叉引用我仍然發(fā)現(xiàn)會(huì)偶爾出錯(cuò)。落地時(shí)一定要加一道規(guī)則校驗(yàn)比如“模型輸出的凈利潤(rùn)數(shù)字必須能在原文某個(gè)字符串片段中找到否則標(biāo)記為高風(fēng)險(xiǎn)并轉(zhuǎn)人工”不要盲信大模型。5.2 Prompt 風(fēng)格System Prompt 太長(zhǎng)時(shí)會(huì)“選擇性失憶”很多 Agent 框架喜歡把企業(yè)知識(shí)庫(kù)、問(wèn)答風(fēng)格、敏感詞規(guī)則全部塞進(jìn) System Prompt一寫(xiě)就是幾千字。大模型確實(shí)能處理很長(zhǎng)的 System Prompt但如果你發(fā)現(xiàn)它在長(zhǎng) System 后開(kāi)始忽略最前面的指令不要驚訝這是注意力分配的物理限制。我實(shí)測(cè)后感覺(jué)比較有效的幾個(gè)做法把最關(guān)鍵、最希望模型嚴(yán)格遵守的規(guī)則放在 System 最前面和最后不要埋在中間每條規(guī)則盡量寫(xiě)成“必須/禁止”的強(qiáng)指令少用“可以/建議”這種弱語(yǔ)氣需要強(qiáng)約束的規(guī)則盡量壓縮到 10 條以內(nèi)其余規(guī)則通過(guò)用戶輸入或工具調(diào)用上下文給出避免所有規(guī)則都堆在 System 里。更有意思的是參數(shù)更大的模型有時(shí)對(duì)長(zhǎng) System 未必更友好它可能更容易推出自己的一套執(zhí)行邏輯把 Prompt 里沒(méi)寫(xiě)明白的邊界自己腦補(bǔ)完。所以切換到新版本后System Prompt 一定要回歸測(cè)試不要沿用舊版一勞永逸。5.3 Preview 版本最容易翻車的三個(gè)細(xì)節(jié)Preview 在我理解里意味著“能力已經(jīng)很好但還不是最終定版”。具體使用時(shí)要特別留意三件事服務(wù)端配置可能調(diào)整偶爾會(huì)出現(xiàn)限流或 5xx。我不會(huì)把 Preview 模型直接放到不可降級(jí)的核心生產(chǎn)鏈路上即使放也會(huì)加“失敗自動(dòng)切回舊版”的兜底溫度參數(shù)對(duì)輸出影響可能比舊版本更敏感。結(jié)構(gòu)化抽取任務(wù)里如果 temperature 還用 0.7可能同一輸入得到完全不同的 JSON 字段值建議結(jié)構(gòu)化輸出把溫度調(diào)到 0.1 甚至 0同一提示詞在新版可能觸發(fā)不同的 prefill 策略導(dǎo)致長(zhǎng) prompt 的響應(yīng)延遲比預(yù)期高。最好在業(yè)務(wù)允許的延遲閾值上加一道監(jiān)控和告警而不是等用戶先發(fā)現(xiàn)。這些都是從 Preview 版本里比較容易踩到的坑但反過(guò)來(lái)也說(shuō)明 Preview 的價(jià)值在于提前暴露問(wèn)題適合你為正式版本做準(zhǔn)備。6. 到底要不要切到 Hy4 Preview我的判斷流程6.1 先做小成本驗(yàn)證別急著做架構(gòu)決定我的建議是拿業(yè)務(wù)里最核心的 30~50 條真實(shí)數(shù)據(jù)寫(xiě)一個(gè)簡(jiǎn)單評(píng)測(cè)腳本分別請(qǐng)求舊版和新版獲得三個(gè)輸出舊版結(jié)果、新版結(jié)果、規(guī)則判定結(jié)果。人工只復(fù)核差異較大的幾條判斷新版本是否真的帶來(lái)提升還是只是換了一種表達(dá)。如果新版關(guān)鍵指標(biāo)明顯落后那就繼續(xù)留在舊版等正式版再說(shuō)。如果新版明顯好也不用全量切按場(chǎng)景拆開(kāi)灰度放流。Preview 模型存在的意義是讓你提前體驗(yàn)和反饋不是讓你拿全量生產(chǎn)環(huán)境當(dāng)試驗(yàn)田。6.2 判斷“切”還是“不切”的場(chǎng)景表我根據(jù)自己的項(xiàng)目經(jīng)驗(yàn)整理了一個(gè)評(píng)估矩陣不一定適用于所有人但能幫你對(duì)號(hào)入座維度適合優(yōu)先切到 Hy4 Preview建議繼續(xù)等一等任務(wù)類型長(zhǎng)文檔分析、復(fù)雜 Agent 規(guī)劃、結(jié)構(gòu)化抽取低延遲高并發(fā)客服、強(qiáng)合規(guī)固定模板任務(wù)數(shù)據(jù)邊界可接受走 API 或已搭好私有化環(huán)境有嚴(yán)格數(shù)據(jù)隔離要求暫無(wú)測(cè)試條件成本感知正確率提升可以覆蓋 token 成本增加預(yù)算卡死token 略貴就會(huì)被挑戰(zhàn)工程能力有回歸評(píng)測(cè)集和灰度通道缺少評(píng)測(cè)集只能靠感覺(jué)挑 Prompt這個(gè)表格側(cè)重說(shuō)明一點(diǎn)不是所有業(yè)務(wù)都需要 770B。很多任務(wù)用一個(gè)小模型加更合理的 RAG 鏈路效果可能比一味追大更皮實(shí)。技術(shù)人容易被參數(shù)數(shù)字吸引但“生產(chǎn)力落地”從來(lái)不是看參數(shù)墻上的數(shù)字而是看它能不能在你真實(shí)業(yè)務(wù)流里穩(wěn)定產(chǎn)生凈收益。6.3 我的最終建議從大模型迭代節(jié)奏看參數(shù)規(guī)模從 295B 到 770B會(huì)是許多產(chǎn)品能力的分水嶺。但“分水嶺”要被你真正用上前提是評(píng)測(cè)、灰度、回退、成本計(jì)量這些工程環(huán)節(jié)已經(jīng)搭好。我見(jiàn)過(guò)太多團(tuán)隊(duì)把模型版本升級(jí)當(dāng)成一次簡(jiǎn)單 config 改動(dòng)結(jié)果上線當(dāng)天 Prompt 全飄、輸出格式崩得措手不及。與其問(wèn)“Hy4 Preview 能不能超過(guò) Hy3”不如問(wèn)“我的評(píng)測(cè)集能不能反映真實(shí)業(yè)務(wù)灰度方案能不能隨時(shí)切回舊版數(shù)據(jù)鏈路有沒(méi)有為更長(zhǎng)上下文做好準(zhǔn)備” 這幾個(gè)問(wèn)題想清楚了你自然知道自己該不該切什么時(shí)候切。我現(xiàn)在比較固定的做法是每個(gè)大版本發(fā)布后先用最高頻的 30 個(gè)業(yè)務(wù)請(qǐng)求做一輪離線評(píng)估把差異報(bào)告發(fā)給業(yè)務(wù)方看再?zèng)Q定要不要進(jìn)入灰度。版本升級(jí)不是“越新越跑”而是“用數(shù)據(jù)跑贏猶豫”。希望下次你在群里看到類似參數(shù)躍遷的消息時(shí)能先想起這些容易被忽略的落地細(xì)節(jié)少踩一點(diǎn)我踩過(guò)的坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷激情五月天小说校园| 97精品人人A片免费看| 婷婷丁香十月| 婷婷色成人| 影音先锋一区二区三区| 五月丁香六月婷婷综合| 无码91中文字幕| 激情九色| 中文在线视频久1| 亚洲精品无码久久| 91狠狠色色丁香婷婷综合久久| 国产乱人偷精品人妻A片| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 美女五月天| 99色啊| 色情开心五月| 99热99思午夜精品| 丁香五月天亚洲综合| 激情五月天影院| 色噜噜狠噜噜视频| 国内外色色色色色成人视频| 色偷偷色婷婷| 色婷婷五月视频| 六月五月久久丁香| 四五月婷婷| yellow视频在线观看91| 婷婷久久五月| 六月丁香啪啪啪| 天天日天天爱天天噪| 精品色情一区二区三区四区| 婷婷第六色| 婷婷五月天中文字幕| 国产一级黄色影片,| 成 人片 黄 色 大 片| 五月伊人网| 五月丁香六月婷婷姐| 第一区久久网站| 丁香五月综合久久八| www.色综合.com| 丁香五月天社区婷婷| 色一色综合| 人妻久久久久久| 亚洲av网站| 99热天堂| 成人 在线 日韩| 激情婷婷六月天| 天天爽天天草| 激情五月婷婷五月| 97干网站| 欧美韩国日本| 六月婷婷综合网2| 91男同视频| 九九AV| 伊人五月天在线| 97干在线视频| 亭亭丁香久久五月| 九九色99| 欧美色性色好| 操一区| 在线中文字幕av| 欧美日韩123| 五月天丁香婷| 来吧亚洲综合网| 婷婷五月激情网| 成人丁香五月| 国产性爱在线| 综合激情sV| 色欧美日| WWW.天天日| 色噜噜狠狠色综合AV兰草影视| 久久五月丁香婷婷| 思思精品久久艹| 激情综合五月色丁香婷婷 | 影音先锋偷偷色男人站| 操人91| 91人人操.COM| 桃色激情婷婷伊人网| 五月丁香成人| 九九无码| 怡红院AV亚洲一区二区三区H| 亚洲成人在线在线| 九九大香视频| 夜夜天天久久婷婷| 久久婷婷五月综合| 97人人草| 婷婷性爱视频在线| 26UUU一区二区| 77799热| 色高清无码视频| 色99综合色88| 大香蕉婷婷五月天| 五月婷婷伊人久久| 激情文学久久| 国产干逼片| www.sebowuyue| www.99久久久| 婷婷香五月天| 久久久激情| 国产九月婷婷| 五月色婷婷在线观看| 天天操天天爽天天爱| 狠狠五月综合在线| 大香蕉综合在线| 人人妖人人97| 天天干夜夜操A片| 五月天五月婷五月激情网| 色5月丁香婷婷| 婷婷免费视频| 丁香五月网| 深情六月婷婷综合久久| 麻豆雪千夏| 91色婷婷综合久久中文字幕二区| 欧美日韩五月婷婷| 操操综合网婷婷| 久久激情五月| Www.久久| 色月视频| 99色综合| 激情丁香九九五月综合网| 色五月婷婷五月| 丁香婷婷激情四射五月| 五月激情丁香五月宗合| 国产性爱亚洲是图| 99毛片| 丁香六月视频| 老司机伊人| 婷婷六久久| 丁香六月婷婷一区| 亚洲色婷婷五月天| 男人天堂99| 人人射av| 五月激情综合网| 婷婷综合亚洲| 少妇性按摩无码中文A片| 国产成人网| 丁香婷婷五月综合影院| 色综合色| 91九色超碰正在播放| 日本狠狠爽| 九九99九九99偷拍视频免费看| 熟女强人妻一区二区三区四区无| 五月天色婷婷视频| 亚洲乱码日产精品BD| 国产成人AV在线| 五月人妻婷婷视频| 久久青青日本视频| 激情五月婷婷丁香| 操婷婷基地| 影音先锋 婷婷| 亚州激情网| 99热色精品| 五月天丁香久久综合 | 天天爽夜夜爽天天爽夜夜爽| 亚洲狠狠爱婷婷| 久久五月视频| 中文字幕无码人妻少妇免费视频| 九九热这里精品| 五月丁香人妻| 激情综合综合综合| 麻豆AV一区二区三区| 日本99在线视频| 六月丁香色色| √天堂资源在线人妻熟女| 天天舔天天摸天天透| 欧美色五月| 这里只有精品免费在线视频| 日韩无码专区| 激情校园 亚洲| 九九色逼| 激情综合六月| 色涩影院六月丁香| 五月天久久婷婷| 草草影院爱爱| 国产成人亚洲综合A∨婷婷| 久久婷综合| 日日爽日日| 99无码超碰| 丁香婷婷五月六月久久| 色色丁香| 97caop| 婷婷色天香| 五月丁香色综合| 激情精品久久| 麻豆忘忧草午夜| 99热在线观看免费| Caop在线| 五月天久久久| 国产色五月| 国产精品成av人在线视午夜片| 欧美婷婷五月| 亚洲无码www| 5月婷婷6月六月丁香| 亚洲成人在线观看网址| 殴美综合激情五月天免费视频| 伊人婷婷91| 婷婷欧美激情综合| 五月天 综合 在线| 九九九九九九九九九九九九九国产精品| 婷婷五月天激情综合深爱激情| 色婷婷人人| 日本丁香五月| 五月婷六月综合在线观看| 91chinese在线| 天天 日综合| 五月丁香婷婷色啪| 激情综合网激情五月天| 久色姿源| 九色激情网| 国产亚洲99久久精品| 五月婷婷五月丁香综合| 五月丁香六月婷婷综合网站| 4399亚洲视频| 婷婷五月欧美综合| 国产激情综合| 婷婷开心激情综合五月天| 手机在线视频观看9| 成人在线精品| 色操b| 天堂成人久久| 综合福利网| 五月婷婷六月情| 做爱夜夜干天天操| 五月丁香六月婷婷的女人| 日韩精品999| 影音先锋按摩| 极品少妇婷婷五月| 亚洲色婷婷五月天| 激情六月日韩| 五月婷婷 欧美| 激情都市另类| 色欲天天综合| 亚洲色色爱| 丁香深五月婷婷| 久久视频婷婷| 五月丁香六月婷婷在线播放| 色五月天丁香| 久操大屁股女人av| 97精品人人A片免费看| 久久综合天天综合| 7月婷婷六月丁香| 久久六月婷婷| 日韩成人电影AV| 激情五月天小说| 能直接看的av网站| 思思久久99热只有频精品66| 五月花综合网| 激情伊人网| 丁香六月激情综合| 激情五月天色色网| 激情五月色播五月| 亚洲女婷婷五月基地综合久久久| 亚洲婷婷丁香| 丁香五月婷婷亚洲激情四射| 激情五月婷婷综合秋霞| 99国产精品白浆在线观看免费 | 婷婷激情网五月天| 99热只有精品在线播放| 99ri精品在线| 激情国产五月| 激情99| 影音先锋一区| 五月丁香六月激情综合| 婷婷五点亚洲| 五月丁香啪啪综合网| 一区视频网站| 五月婷婷,狠狠操| 超极99精品| 天天干天天干天天干天天干天天干| 九九99一区| 99久久国产成人精品| 人人操人人干AV| 2018夜夜草| 直接看的av| XX久久| 天天干天天叉| 亚洲午夜成人av电影网| 97福利视频| 中文字幕人妻在线| 亚洲五月天另类小说图片| 久久婷婷亚洲五月天| 婷婷成人网五月天| 久久综合婷婷| 国产精品大香蕉| 五月激情综合性爱| se.久久视频在线观看| 亚洲久热| 精品国产一区二区三区四区阿崩| 欧美大肥婆大肥BBBBB| 丁香九月婷婷| 亚洲精品99| 色婷婷A| 天天色综网| 五月花亭亭| 五月婷婷少妇之| 九九视频免费| 亚洲色情免费网| 婷婷色婷婷亚洲成人| av在线激情| 人人摸人人操人人爽| 2016日日夜夜操| 日本三级片片| 婷婷五月丁香超碰| www,久久久| 五月婷婷婷| 亚洲色人妻| 秋霞丝袜啪啪啪| 97狠狠碰| 六月丁香六月婷婷欧美| 操B五月天| WWW.17C亚洲精品| 色色色色色色色色色色色色色97| 4399人妻无码久久久| 日韩啊啊啊| 五月激情婷婷国产精品久久久久久| 丁香五月婷婷色| 天天免费日日夜夜夜夜| 开心五月天激情网站| 色五月天成人| 九九人人操| 五月激情影视| 屁股翘好撅高迎合跪趴| 69人人操人人爽| yw.av| 国产免费av在线| 激情综合色婷婷啪啪六月天| 欧美精品999| 99综合视频在线| 久久久久久久久久久久久久人妻视频 | 亚洲综合激情五月久久| 乱岳熟女50岁| 中文AⅤ大全| 久久婷婷六月综合综合| 婷婷久久综合久| 日在线V视频在线播放| 丁香社区婷婷五月| 96精品久久久久久久久| 精品久久99| 欧美成人猛片AAAAAAA| 丝袜熟女一区二区三区| 综激情网| 五月天全国最大成人网| 久久香蕉丁香| 日韩成人无码| 97色色色| 婷婷五月花| 激情操逼婷婷| 天堂久久精品| 婷婷五月免费观看| 五月天淫乱视频| 丁香五月天婷婷激情| 2025神马午夜福利| 亚洲99综合| 五月深爱婷婷| 久热9| 日本人妻伦在线中文字幕 | 丁香婷婷九月| 丁香婷婷成年| www狠狠| se99在线| 日本色99| 五月天社区婷婷| 激情綜合網址| 99在线国| 丁香婷婷色五月| 色yeye色综合| 99热精品一区| 99ri精品| AV大片在线观看| 色墦五月丁香| 亭亭玉月丁香| 大香蕉综合视频在线| 97五月久久丁香婷婷| 色噜噜伊人| 婷婷天天色| 粉嫩AV久久一区二区三区| 亚洲激情| 先锋av性爱成人电影| 综合激情在线视频| 婷婷五月六月激情| www.色五月| 免费AV在线网址| 99热久久这里只有精品| 六月丁香综合| 久草丁香婷婷五月天婷| 四色女婷婷| 99久久性爱| av一区二区电影免费在线观看| 99re6热在线精品视频播放速度| 五月婷婷开心综合| 五月婷婷色在线| 99色在线视频| 色欲婷婷五月天丁香| 婷婷五月天97干| 啪啪色激情五月天| 9 1超碰九色| 在线日韩av| 99热欧| 91操操| 久久人五月| 五月丁香亚洲综合网| 日本99久久| 欧美色偷拍| 天天爽免费视频| 国产又爽又猛又粗的视频A片| 激情久久五月天| 九九性视频| 国产69久久久欧美黑人A片| 久久久WWW| 91se在线观看| 久久婷婷丁香视频网| 久久婷婷色五月| 麻豆AV一区二区三区| 色五月首页| 超碰操网| 九九AV在线| www久久艹| 亚洲五月花| 久久久精品婷婷五月天| 色综合天天天天做夜夜| 亚洲国产网址| 色播五月婷婷| 99色久| 五月婷婷亚洲| 六六久久黄色| 色五月婷婷亚洲最大| 51XX嘿嘿午夜无码| 91成人看片| 九九精品热播| 五月婷婷久久久| 久婷| 狠狠五月天| 亚洲丁香五月天在线视频| 丁香婷婷久久| www.人人操人人看人人想人人摸 人人人人操,COM| 亚洲综合激情五月久久| 日日噜狠狠色综合久久| 大香蕉丁香婷婷| 人人视频人人干人人做| 精品网站:999WWW| 超碰在线观看99| 粉嫩av蜜桃av蜜臀av| 91超碰在线观看| 五月天大香蕉| 亚洲色无码A片一区二区麻豆| 五月婷在线色视频| 婷婷激情97| 人人爱人人草| 99丁香五月婷| 伊人婷婷99热精品| 久99久99精品免| 99激情在线| 久久久久er热| 2w在线视频| 噜噜精品| av网址在线| 日本99久久| 日日狠夜夜狠| 青青日韩| 日本天天操| 五月天久久成人| wwww.色婷婷| 97碰在线视频| 久久性爱网站| 99热天堂| 色呦精品| 99色中文| 五月久久丁香| 超碰在线人人| 九九无码AV| 五月丁香五月婷婷在线观看| AV在线观看网站| 成人无码精品1区2区3区免费看| 五月婷婷丁香综合网| 婷婷 伊人 久久| 91五月天| 丁香六月婷婷综合啪啪| 激情综合色网| 91婷婷视频| 在线观看的av| 丁香色五月婷婷91桃色| 超碰97人人操| 婷婷中文字暮| 五月婷婷六月天| 日日操天天操| 五月天婷婷爱丁香中文字幕| A在线观看| 无码成人AAAAA毛片AI换脸| 99在线免费观看| 婷婷五月天播| 久久久.COM| 狠狠色色色| 伊人久久艹| 五月丁香 啪啪啪| 丁香五月色| 婷婷五月深深爱| 日本欧美在线| 伊人青涩网| 久久久婷婷婷| 婷婷久久五月| 99视频久久| 婷婷丁香五月激情图片| 亚洲午夜精品久久久久久人妖| 丁香久久激情俄| 欧美三级巜人妻互换| 成人五月天丁香婷| 久久久久久性爱视频| 狠狠狠狠免费| 九九热九九| 在线91日韩| 综合久久五| 五月婷婷深深爱| 丁香五月激情网| 夜夜夜叫天天天做| 狠狠干2007| 九九色图| 2017狠狠干| 大香蕉久久伊人网| 成人中文网| 五月婷婷丁香| 丁香六月婷婷| 黄色五月婷婷| 丁香久月| A1片久久久| se99视频| 亚洲色激情| 婷婷六月激情啪啪| 五月激情久久综合| 99re思思精品视频在线观看| 九九色色| 99超级碰免费视频| 99热九九这里只有精品| 九九激情综合| 色五月激情| 超碰高清在线| 2015超碰| 婷婷五月激情欧美| 久久99久久99精品免观看粉| 99婷婷国产最新视频| 久久婷婷五月激情综合| 六月婷婷色色色| 色婷婷综合电影| 四季日韩AV无码综合| 婷婷99综合| 99综合五月免费视频色婷婷| 九色亚洲| 在线一起草av| 97伊人综合婷婷| 久久婷婷超碰| 色涩影院六月丁香| 色五月婷婷操逼| 大香蕉九九热| 超碰免费人妻| 五月丁香网av| 色综合久久天天综合网 | 9999久久久久| 天天爱天天做天天操| 97热这里精品在线视频| av色色国产| 亭亭玉月丁香| 欧美内射AAAAAAXXXXX| 亚洲日韩乱码一区二区三区四区| 97色五月丁香婷婷| 在线99色| 九九热99视频| 久婷婷五月丁香在线观看| 综合色天天| 天天日夜夜操五月| 精品久久久人妻| 色色AV色色色东莞| 99综合| 综合色色网| 中文字幕免费高清电视剧| 色欲一区二区三区精品A片| 国产资源在线视频| 五月婷婷啪啪啪| 午夜丁香丁香婷婷| 99热这里只有精品69| 五月婷婷色| 五月婷婷狠狠干| 888久久久| 99热国产| 五月丁香婷婷激情久久| 97干在线免费| 国产免费AV网站| 五月丁香六月婷精品视频| 婷婷在线日韩综合| 五月婷婷啪啪综合网| 91热在线| 久久久91精品| 中文资源在线a | 日熟女| 日日干日日| WWW.桔色成人.COM| 99热只有精品在线| 欧美成人精品A片免费一区99| VA婷婷亚洲| 亚洲AV第二区国产精品| 99热综合| 日本五月婷| 色婷婷电影| 激情五月婷婷| 2020日日干| 26uuu美女三级视频| 久久日曰| 激情五月天丁香| 五月婷婷官网色| 入口五月婷婷六月香| 爱穴久久| 超碰人人色| 97色色在线视频| 4399成人黄A片| 婷婷碰碰| 丁香五月伊人| 狠狠人人婷婷| 色婷五月天亚洲| 五月婷婷色播| 色欲五月丁香| 99综合| 久久人妻系列| 五月天激情影院| 五月天开心色色网| 九九综合久久| 五月丁香六月婷婷啪啪| sewuyue第四色| 激情无码网| 国产婷婷色综合AV蜜臀AV | 天堂综合久| 婷婷五月天com| 97人人搞| 9999热免费视频视频| 五月丁香六月综合激情| 婷婷五月天成人| 五月天激情综合10p| 五月丁香六月婷综合成人综合| 婷婷五月丁香青青草在线| 色婷婷影院| 俺去也五月天| 久久99久久99精品免观看软件 | 国产成人网站在线观看| 99色在线| 天天舔天天摸天天透| 婷婷激情五月天网站| 精品99视频| 91婷婷视频| 激情五月天色播| 日本美女上人| 五月色综合网| 色 五月婷婷基地| 久久香蕉影院| 丁香婷婷五月天激情四射| 9久9久9久女女女九九九一九| 午夜丁香婷婷| 淫视馆aV二区一区| 在线播放中文字幕| 色婷婷五月天在线观看| 直接看的AV网站| www.av视频xx999.com| 激情婷婷色色| 五月天天综合| 丁香九月激情久久| 六月综合婷婷开心伊人| 亚洲成人网址在线观看| 国产成人AV| www.色婷婷| 日本久久网| 任你搞网站| 日本成人噜噜噜| 婷婷丁香激情综合色情| 天天干天天射综合网| 色婷婷最爱五月| 99碰碰| 亚洲精品视频在线播放| 97人人做| 丁香五月综合激情啪啪| 99热这里| 日韩综合久久| 欧美日韩成人免费在线| 日本美女上人| 91丨九色丨熟女丰满| 大香蕉人人网| 六月激情丁香一道本7777| 狠干综合| 91日韩美女被插视频| www.com任你艹| g00d人体西西| 久久九九@| 九九色大香蕉| 激情综合网五月丁香| 大香蕉婷婷五月天| 99热欧美| 狠狠五月激情在线| 天天操天天操综合| 久热最新视频| 婷婷丁香综合| 另类激情中文| 五月天婷婷綜合院| 亚州色婷婷| 五月天激情四射| 色999;丁香五月| 天天做天天爱天天爽| 色五月激情五月| 激情五月天天| 丁香婷婷五月人体| 色五月天丁香婷婷| 美女va| 久久伊人日日夜夜| 狠狠色综合网站久久久久| AV人人操| 99视频内射三四| 激情av| 夜夜操狠狠操| 九九精品免费视频99| 中文av在线观看| 人橾人| 啪啪91| 色五月婷婷大| 久久机热/这里只有精品| 国产亚洲精品久久一区二区三区| 99久久99久久综合| www久久久久久久久久久| 色色六月| 五月婷婷人人人操| 狠狠色丁婷婷日日,伊人激情综合网| 激情www.98com| 五月丁香淫淫婷婷婷| 欧美va视频| 欧美久热| 99久久偷拍视频| 91精产品自偷自偷综合| 国产激情综合五月| 婷婷5月九九| 啪啪 综合网| 天天干天天干天天干| 久久密臀婷婷| 五月丁香久久网| 色婷婷香蕉丁丁网| 超碰在线超碰| 国产暴力强伦轩1区二区小说| 激情五月婷婷丁香综合网| 欧美日韩国产一区| 久热这里| 久9热插入| 天天爽夜夜爽夜夜爽精品| 玖久精品视频9| 婷婷久久精品| 丁香五月婷婷基地| 丁香五月停停基地| 久色视频首页| 天天草天天爽| 欧美三9久九观看| 日本黄色在线观看| 色婷婷六月激情| 91九色视频在线观看| 97操碰| 99人人看| www·五月天| 91视频综合网| 欧美成人AAA片一区国产精品| 五月婷婷婷综合网| 99热99免费| 五月天综合激情网| 92久久久| 全网最新网黄大秀直播高清,主播国产录屏在线 | 五月婷婷综合网| 这里只有精品网站| 国产FREESEXVIDEOS性中国| 色五月婷婷激情基地| 五月情综合| 激情综合啪啪| 伊人大香久久| 狠狠狠狠免费| 99视频久久| 色综啪啪| 五月熟妇婷婷久久| 婷婷色导航| HD久久精品视频| 婷婷天天舔| 中文字幕在线免费观看视频| 激情婷婷99| 久久亚洲精品成人无码网站导航| 激情性爱五月天| 色婷狠狠| 亚州视频九九99| www.五月天| 丁香五月先锋| 婷婷五月激情视频| 九九综合九| 婷婷 久综合| 啪啪 综合网| 久re在线| 五月天激情综合10p| 精品婷婷| 丁香五月天啪啪| 人人色婷婷| 精品99*| 伊人婷婷激情| 天天爱天天操| 五月丁香婷婷综合久久| 丁香五月色网| 丁香久久九九99| 中文字幕簧片| 成人精品一区日本无码网| 欧美日综合| 日韩综合久| 丁香五月最新网址| 五月丁香操亭亭网| 99操网站| 国产精品A片| 亚洲日本韩国| 色天天综合色| 激情五月天综合网| 亚洲色情久久| 色婷婷六月| 色五月首页| 碰碰女| 夜夜资源站| 26uuu丁香婷婷五月| 激情国产综合| 五月丁香六月激情综合| 麻豆精品| 五月丁香啪啪| 激情五月天的婷婷| 婷婷的色色五月天| 影音先锋男人av资源站| 亚洲第一色区| 99热最新国内| 五月丁香在线看| 碰久久精品w| 六月丁香社区| 青青操丝袜美腿| 天天做天天爱| www.婷婷,com| 狠狠综合网| 日韩啪啪网| 天天骑天天操| 欧洲激情五月天婷婷| 99久久久| 婷婷欧美激情综合| 少妇AB又爽又紧无码网站| 天天干狠狠操| 一本到不卡高清DVD| 狠狠操婷婷| 丁香五夜激情四射夜夜夜| 99精品网| 综合久久五月天| 变态另类9| 婷婷久久欧美| 51精品国自产在线| 婷婷五月天免费| 婷婷WWW久久| 六月激情综合| 91ncom.色| 26uuu国产| 日本少妇裸体做爰高潮片 | 天堂草在线观| 精品自拍97| 女人天堂久久| 激情五月天色色网| 日本欧美成人片AAAA| 五月婷婷六月激情网| 丁香婷婷浪潮AV久久综合| 五月天天天天天天天天天天天婷婷婷| 猫咪伊人久久| 亚洲天堂色色| 一本伊人色婷| 婷婷五月网图片区| 五月天激情国产综合婷婷婷| 天天撸夜夜爽| 色婷婷影| 狠狠操狠狠操| 久狠日av| 五月丁香婷草| 99亚洲精品| 五月天色婷婷成人| 手机在线日韩视频中文字幕| 97色碰| 婷婷色情五月| 91一起操| 久久五月婷6 9| 色五月婷婷在线| 操91| 欲色人妻| 99综合免费视频| 五月色欧洲| 大香蕉七区| 色色色网站| 人人爽欧美婷婷久久久五月丁香 | 91在线日本| 97操碰| 五月六月婷婷| AV堂狠狠干| 香蕉久日夜| 婷婷综合色| 99福利视频| 日本久久爽| AV九九| 五月丁香啪啪综合| 综合激情伊人影视在线| 4399在线观看免费高清毛片| 激情小说五月天| 天天激情夜夜干| 中文字幕欧美久久| 少妇水多A片太爽了| 婷婷激情人妻| 五月社区婷婷激情| 狠狠色噜噜狠狠| 色www久视频| 综合久久9| 这里只精品热在线18| 玖玖综合色| 久久久久9久无码视频| 99热这里只有精品在线观看| 五月婷婷基地| 久久婷婷五月草视频在线播放| 激情骚五月| 91超级碰碰碰| 日本久久婷婷| 久久这里只有国产视频| 五月婷婷丁香啪啪| 1999天天操夜夜操| 老美AA片| 天天日天天干天天操| 六月色播| 甈你aaaaa| 婷婷在线视频| 精品自拍97| 99视频在线| 久久精品性爱| 久久婷婷操| 综合激情婷婷| 五月婷婷婷| 日韩一级一片内射视频4K| 国产成人网址| 激情综合激情综合| 99精品7| 99热99日…..| 五月婷婷人人人操| se色综合网| 婷婷丁香五月天综合在线日韩| www久久99| 热99精品视频五月| 亚洲六月色| 婷婷五月天亚洲综合网| 五月婷婷新网站| 色99在线视频| 99热99| 99热热热99精品婷婷| 五月婷婷深深爱| 99啪| 九九无码| 婷婷五月天激情诱惑| 日日日影院| 天天爽天天弄| 婷婷大香蕉| 六月婷婷综合| 色婷婷丁香九月| 97日本在线| 九月色婷婷婷| 五月婷婷色欲| 少妇出轨做爰高潮A片| 五月激情天| 99亚洲精品视频| 久久最新色| 五月天婷婷色| 激情5月婷婷| 99在这里有精品| 亚洲va欧美va国产综合久久久| 激情五月天综合图片小说网站 | 激情久久久| 五月婷久久| 五月亭亭直播| 久色激情| 中文字幕 中文字幕明步| 91日本在线| 五月婷婷av| 丁香婷婷五月六月久久| 久久多色| 91人人爽狠狠狠| 日本精品99| 丁香九月婷| 久久色五月天| 五月丁香激情综合啪啪| 婷婷色婷婷| A1片久久久| 香蕉婷婷色五月| 99re免费精品视频| 色婷婷久久综合| 激情五月小说婷婷| 色综合伊人网| 五月天激情综合网| 激情伊人| 26uuu精品国产| 思思热在线视频精品| 狠狠干综合| 免费在线观看AV网站| 九九操屄| 91热视频| 成人在线高清| 97色在线观看视频| 开心五月婷婷激情| 99激情网| 丁香婷婷六月激情综合| 永久AⅤ1| 99精品视频在线观看| 99久精品视频| 99热这里只有精品在线观看| 91丨九色丨国产打屁股| 成人无码精品1区2区3区免费看| 一级黄在线| av五月天婷婷丁香| 操比激情五月综合| 操B五月天| 天天摸天天舔天天爽| 亚州视频九九99| 无码操B| 久久久.COM| 九九精品热播| 97色色色色色| 中文字幕人妻熟女在线| 五月天大香焦| 九九人人自拍| 色之综合网| 精品色色网| 99热在线播放| 五月天婷婷色色| 97精品人人A片免费看| 九色综合五月天婷五月| 日本97在线看片| 另类亚洲2| 26uuu美女三级视频| 丁香六月五月婷婷| 99超级碰碰| 国产99久久久国产精品免费看| 牛牛澡牛牛爽| 五月丁香自拍| 夜夜人妻五月天| 婷婷婷婷色| 色色色干| http://www.com久久久精品一区| 永久热91| 熟女激情网| 婷婷 月 丁香| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 久久久er热| 99久久网站| 开心激情婷婷| 影音先锋AV男人站| 五月丁香美女视频| 久久激情五月天| 日本九九视频| 色五月情| 日本一级特黄大片AAAAA级| 天天操夜夜夜拍拍拍| 天天爽天天日| 高清无码网址| 玖玖色资源| 久久亚洲色导航| 激情亭亭五月| 国产做爰视频免费播放| 超碰色综合| 深爱五月天婷综合| w婷婷五月婷婷w| 丁香六月丁香婷婷激情| 国产成人综合在线| 这里只有精品69| 丁香六月综合| 久久久久久18| www.99热最新视频8| 五月婷婷五月色| 四川BBB搡BBB搡多人乱亂| 伊人玖玖网| 六月婷婷网站| 婷婷五月天影院| 中文字幕久久婷九女同| 久久久久久久丁香五月天婷婷| 婷婷婷婷婷开心无码播放| 婷婷99| 日本久久超碰| 国产热精品| 99热这里只有精品青草| 色色色五月| 91免费在线视频6| 九九热99熟女| 丁香六月天婷婷色| 青草网在线观看| 影音先锋天天日| 色五月综合激情网| 色噜噜伊人| 99操无码视频观看| 亚洲色频| 久久杏爱视频| 午夜大香蕉| 久久久久久久五月| 五月天婷婷导航| 99热在线观看免费精品| 色五月婷婷91| 可以免费看AV网站| 婷婷丁香社区| 五月天婷婷色色| 99热免费| 91女人18毛片水多国产| caopeng97日韩| 天天操婷婷| 伊人久久大香网| 五月天 无码| 丁香五月玖玖| 天天拍天天做视频| 99综合| 久热综合| 国产9色在线/日韩| 亚洲AV无码成人精品电影| 久久 视频这里只有精总| 久久9热好| 综合色五月天| 激情五月天社区| 九九亚洲视频| 欧美日综合| 久久综合五月天| 九九热精品| 91婷婷五月丁香碰| 久久婷婷五月综合色和| 黄色片avv| 婷婷五月天深爱| 婷婷97狠狠成人网站| 91久久久久久久久久久| 丁香五月婷婷av| www久久艹| 国内外色色色色色成人视频| 日本三级网址| 99操逼| 婷婷天天五月天| 五月综合影院| www.金莲av| www.人人操人人看人人想人人摸 人人人人操,COM | 久久九九激情五月天| 可以直接看的AV网站| 51精品国自产在线| 激情五月亚洲综合网| 99∨VTV| 五月社区婷婷激情| 粉嫩AV久久一区二区三区| 五月婷久久| 大地资源色婷婷视频在线 | 欧美人人草草| 天天爽天天草| 婷婷久久婷婷色五月| 五月天六月婷| 激情丁香五月AV| 激情五月综合婷婷| 久久丁香五月| 91九色在线视频| 国产免费AV网站| 91九色中文字幕女在线观看| 色域五月婷婷丁香| 九九99精品视频在线观看| 色情综合网| 欧美久热| Www.久久| 婷婷丁香六月| 中文字幕丰满人妻无码专区| 中美日韩成人在线| 婷婷丁香五月综合| 高清无码网址| 五月天狠狠干| 九久热| 色婷另类| 色婷婷久久综合| 91九色网| 五月婷婷免费| 五月天激情黄色网址| 色婷婷88| 婷婷色色五月天| 99网| 99青青草| 久久伊人9| 天天爽天天| 狠色狠色狠色狠色狠色网| 中文字幕不卡网站| 久久婷婷五月天激情四射| 91超碰在线观看| 婷婷久久综合| 五月丁香六月婷婷手机无线| 五月天大香蕉AV| 99操视频| 777久久精品| 91在线精品一区二区| 91色色色18| 综合激情开心五月| 九九色网| 91色噜噜狠狠狠狠色综合| 色综合播放| 操逼综合激情网| 精品婷婷| 蜜乳国产网站| 激情国产综合| 九九热精品| 激情黄色小说五月天| 涩涩婷婷五月| 五月丁香影院| 九九精品在线网| 久操福利| 99热这里| 99热这里只有精品在线| 天天干,天天舔| 色色色九九九五月婷婷| 亚洲成人中心| 五月激情丁香久久综合网| 91免费试看| 激情久久综合| 开心五月激情五月丁香五月婷婷| 婷婷趴趴| 日日夜夜狠狠| 亚洲激情久久| 国内裸舞二区| 久久婷婷亚洲无码一起| 五月丁香综合| 激情综合五月婷婷六月丁香| 综合丁香婷婷五月天| 丁香五月激情综合久久| 熟女激情五月天| 综合久久人妻| 激情网第九色| 五月丁香六月婷婷激情四射| 六月婷婷五月丁香| 五月婷婷 激情五月| 天天天久久久| 婷婷丁香黄色| 无码色| 狠狠狠狠狠狠色| 五月天婷婷激情干干| 影视av久久久噜噜噜噜噜三级| 大战熟女丰满人妻AV| 九九99九九99| 九一99| 99综合视频在线| av无码电影| 精品夜夜澡人妻无码AV| 成人视屏在线观看| 五月婷婷AV| 久久丁香五月婷婷激情综合网| ′久久99一| av大片在线| 天天色天天| 91久久精品无码一区二区三区| 人妻丰满精品一区二区A片| 久热综合| 天天操夜夜爱| 天天性视频| 九九九九大香蕉| 色色欧美。| 久久婷婷色| 综激情网| 婷婷六月久久综合导航| 五月丁香激情婷婷综合字幕| 久久精品视频99| 欧美激情-区二区三区| 99精品偷自拍| 99久久婷婷国产综合精品草原| 欧美人妻一区二区| www.五月激情红色| 光棍影院日韩精品| 欧美激情VA永久在线播放| 99aese| 久久综合婷婷| 色久女| 综合网色综合|