欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

大模型四大核心概念:Token、上下文窗口、Temperature與MoE一文講透

大模型四大核心概念:Token、上下文窗口、Temperature與MoE一文講透 如果你最近在搭 AI 工具、調(diào)試提示詞或者被領(lǐng)導(dǎo)點(diǎn)名研究大模型那你大概率已經(jīng)見(jiàn)過(guò)這幾個(gè)詞Token、上下文窗口、Temperature、MoE。說(shuō)實(shí)話(huà)我剛帶項(xiàng)目那會(huì)兒這四個(gè)詞也讓我繞了不少?gòu)澴右詾?Token 就是字?jǐn)?shù)結(jié)果第一次對(duì)賬賬單比心理預(yù)期高了一截以為上下文窗口越大越省心結(jié)果塞了一堆聊天記錄進(jìn)去模型該忘的還是忘Temperature 更邪門(mén)同一個(gè)問(wèn)題0.3 和 1.2 能給出兩個(gè)物種的回答。至于 MoE第一次聽(tīng)人介紹總參數(shù) 47B、激活參數(shù) 13B的時(shí)候我差點(diǎn)以為對(duì)方在說(shuō)繞口令。這篇就把這四個(gè)概念一次講透。我盡量不堆論文術(shù)語(yǔ)用做產(chǎn)品、調(diào)接口、部署模型時(shí)真正會(huì)用到的視角來(lái)講把背后的原理、估算方式、踩坑點(diǎn)都攤開(kāi)。它適合正在用 API 做應(yīng)用、準(zhǔn)備私有化部署、或者想從會(huì)調(diào)用跨到懂原理的朋友。不管你是只想把接口調(diào)好還是要自己部署模型這四個(gè)概念都會(huì)直接影響你的效果、成本和穩(wěn)定性。1. 先建立整體認(rèn)知大模型到底是個(gè)什么機(jī)器1.1 大模型不是查資料是猜下一個(gè)詞很多人以為大模型像個(gè)超級(jí)搜索引擎問(wèn)它問(wèn)題它就去數(shù)據(jù)庫(kù)里把答案檢索出來(lái)。實(shí)際完全不是這樣。大模型本質(zhì)上是一個(gè)條件概率預(yù)測(cè)器給它一段文本它預(yù)測(cè)接下來(lái)最可能出現(xiàn)的 token 是什么預(yù)測(cè)完一個(gè)把這個(gè) token 接到原文后面再預(yù)測(cè)下一個(gè)。整個(gè)對(duì)話(huà)過(guò)程其實(shí)就是模型在源源不斷地接龍。這個(gè)機(jī)制解釋了很多奇怪現(xiàn)象。比如它為什么能寫(xiě)代碼因?yàn)橛?xùn)練數(shù)據(jù)里有海量代碼模型學(xué)會(huì)了看到 if 后面一般接什么它為什么偶爾會(huì)一本正經(jīng)地胡說(shuō)八道因?yàn)樗举|(zhì)上是在說(shuō)這個(gè)位置最像真的答案是這句而不是在數(shù)據(jù)庫(kù)里驗(yàn)證過(guò)。我經(jīng)常跟同事開(kāi)玩笑大模型不是一個(gè)記憶力超群的好學(xué)生而是一個(gè)看過(guò)無(wú)數(shù)范文、特別擅長(zhǎng)續(xù)寫(xiě)的老手。理解這一點(diǎn)至關(guān)重要。因?yàn)楹竺嫠懈拍睢舷挛拇翱凇emperature、MoE——都是在回答同一個(gè)問(wèn)題的不同側(cè)面這個(gè)接龍機(jī)器用什么原料、能看多遠(yuǎn)、有多大膽、內(nèi)部怎么分工。1.2 把四個(gè)概念放進(jìn)一條流水線(xiàn)里看我給團(tuán)隊(duì)做培訓(xùn)的時(shí)候喜歡把這四個(gè)概念串成一條流水線(xiàn)Token 是原料。大模型不直接讀字它把文本切成 token 再處理所以 token 的數(shù)量直接決定成本和長(zhǎng)度。上下文窗口是工作臺(tái)。工作臺(tái)就那么大一次能攤開(kāi)的原料有限。你塞進(jìn)來(lái)的東西越多它當(dāng)下能看到的內(nèi)容越多但臺(tái)面會(huì)被占滿(mǎn)。Temperature 是操作員的性格。同樣一堆原料保守的操作員永遠(yuǎn)只選最有把握的做法激進(jìn)的操作員時(shí)不時(shí)會(huì)嘗試點(diǎn)新花樣。MoE 是車(chē)間架構(gòu)。有的工廠是一個(gè)全能班組干所有活有的工廠是前臺(tái)把單子分給各個(gè)專(zhuān)業(yè)班組MoE 就是后者的自動(dòng)化版本。這四條線(xiàn)不是孤立的。比如你把上下文窗口頂滿(mǎn)又調(diào)高了 Temperature模型很可能因?yàn)榭吹枚?、想法多而開(kāi)始跑題你讓 MoE 模型的某個(gè)專(zhuān)家長(zhǎng)期空閑微調(diào)后模型反而可能變傻。后面每一節(jié)我都會(huì)穿插這種關(guān)聯(lián)幫大家建立整體感而不是背幾個(gè)孤立定義。2. Token大模型的字?jǐn)?shù)統(tǒng)計(jì)到底怎么算2.1 為什么大模型不按漢字計(jì)數(shù)如果你在文檔里看到本模型上下文長(zhǎng)度 8K這里的 8K 指的是 token 數(shù)不是字?jǐn)?shù)。分詞器Tokenizer會(huì)把自然語(yǔ)言切分成模型認(rèn)識(shí)的最小單位。英文里一個(gè)常見(jiàn)單詞通常是一個(gè) token比如 hello 是一個(gè) token中文里因?yàn)樾畔⒚芏雀咭粋€(gè)漢字常用 1 到 1.5 個(gè) token生僻字還可能有特殊拆分。我剛開(kāi)始也很不解中文一個(gè)字明明表意完整為什么要拆因?yàn)榇竽P偷脑~表不是按人類(lèi)字典設(shè)計(jì)的而是通過(guò) BPE字節(jié)對(duì)編碼這類(lèi)算法從訓(xùn)練語(yǔ)料里統(tǒng)計(jì)出來(lái)的高頻片段。代碼里的常見(jiàn)關(guān)鍵字、英文常見(jiàn)詞綴、中文里的常用字和詞都會(huì)成為獨(dú)立的 token。所以同樣內(nèi)容中英文表達(dá)的 token 數(shù)往往不一樣同一句話(huà)換一個(gè)模型的分詞器token 數(shù)也可能有偏差。這里給一個(gè)粗略估算標(biāo)準(zhǔn)雖然不是官方精確值但足夠支撐日常評(píng)估不同模型的分詞器有差異但偏差不會(huì)太夸張中文文本1 個(gè)漢字約等于 1 至 2 個(gè) token常用字你、的、是通常是 1 個(gè) token。英文文本1 個(gè)單詞約等于 1 至 1.3 個(gè) token。代碼文本常見(jiàn)關(guān)鍵字會(huì)合并token 效率通常比自然語(yǔ)言高1 行簡(jiǎn)單代碼約 3 至 6 個(gè) token。比如一段 1000 字的中文產(chǎn)品介紹按 1.5 估算就是 1500 token 左右。如果模型按輸入 token 計(jì)費(fèi)那成本心里就有數(shù)了。提示做需求評(píng)估時(shí)用中文按 1.5 token/字、英文按 1.2 token/詞估算基本不會(huì)出大錯(cuò)。真要精確還是得用對(duì)應(yīng)模型的分詞器把文本跑一遍。2.2 Token 數(shù)量決定賬單輸入輸出都要算錢(qián)大模型計(jì)費(fèi)、限流、上下文限制全都圍繞 token 展開(kāi)。一次 API 調(diào)用花的錢(qián)大致是費(fèi)用 輸入 token 數(shù) × 輸入單價(jià) 輸出 token 數(shù) × 輸出單價(jià)這里有兩件事必須注意。第一很多產(chǎn)品輸入和輸出 token 的價(jià)格不一樣通常是輸出更貴因?yàn)樯墒且粋€(gè) token 一個(gè) token 地推理比并行處理輸入要更耗算力。第二多輪對(duì)話(huà)時(shí)每一次新請(qǐng)求都會(huì)把之前的聊天記錄全部拼進(jìn)輸入里重新計(jì)算不會(huì)因?yàn)樯洗嗡氵^(guò)就便宜。所以對(duì)話(huà)輪次越多你其實(shí)在反復(fù)為那些舊消息付費(fèi)。我?guī)团笥炎鲞^(guò)一次調(diào)用量估算一個(gè)客服機(jī)器人平均每輪請(qǐng)求消耗 1200 個(gè)輸入 token、300 個(gè)輸出 token一天 1 萬(wàn)次調(diào)用那么一天輸入消耗就是 1200 萬(wàn) token、輸出消耗是 300 萬(wàn) token。按常見(jiàn)的輸入百萬(wàn) token 幾十元、輸出百萬(wàn) token 上百元的價(jià)位一天幾百到上千元很正常。很多團(tuán)隊(duì)看到賬單才反應(yīng)過(guò)來(lái)省 token 就是省錢(qián)而且是最直接的成本優(yōu)化手段。2.3 壓縮 Token 的幾個(gè)立竿見(jiàn)影的手段我在項(xiàng)目里壓 token 的體感非常明顯。最常用的幾條把固定不變的說(shuō)明放到 system 提示詞里并且盡量寫(xiě)短。能一句話(huà)說(shuō)清的就不要用兩句話(huà)。少樣本示例只保留最典型的 1 至 2 個(gè)。很多人一上來(lái)貼 5 個(gè)例子效果沒(méi)提升多少token 卻翻倍。多輪對(duì)話(huà)做歷史壓縮。當(dāng)聊天記錄快滿(mǎn)時(shí)讓模型先把前面的內(nèi)容總結(jié)成 100 字以?xún)?nèi)的摘要再帶著摘要繼續(xù)聊而不是原樣搬運(yùn)所有消息。批處理任務(wù)把公共字段名、公共背景寫(xiě)成一段常量在請(qǐng)求時(shí)直接引用避免每次拼重復(fù)文本。我自己做過(guò)一個(gè)日志分析工具最初把字段說(shuō)明和示例貼在 prompt 里每次調(diào)用要 2200 個(gè) token后來(lái)抽成公共配置加摘要降到 900 個(gè) token。功能沒(méi)降單次成本直接省了六成。在這種基礎(chǔ)細(xì)節(jié)上多摳一摳比單純換個(gè)便宜模型來(lái)得更實(shí)在。3. 上下文窗口大模型的工作臺(tái)就那么大3.1 輸入和輸出共用一個(gè)窗口先搞清這件事上下文窗口是指模型單次能看到的最大 token 數(shù)量。很多人誤以為 8K 窗口就是能輸入 8K、再輸出 8K實(shí)際是輸入和輸出加在一起不超過(guò) 8K。你 prompt 寫(xiě)了 7000 token那么模型最多只能生成 1000 token 的回復(fù)。這個(gè)誤解造成的典型事故是輸出截?cái)嗑渥油T诎肼房雌饋?lái)像模型突然傻了。窗口內(nèi)的信息也不是一視同仁的。實(shí)驗(yàn)和實(shí)戰(zhàn)都有一個(gè)共同觀察模型對(duì)開(kāi)頭和結(jié)尾的內(nèi)容把握最好對(duì)埋在中間的大段內(nèi)容容易忽略研究者管這叫 lost in the middle。我做長(zhǎng)文檔問(wèn)答的時(shí)候把關(guān)鍵結(jié)論放在文檔末尾反而經(jīng)常被漏掉放在對(duì)話(huà)末尾或者開(kāi)頭顯著位置準(zhǔn)確率立刻上來(lái)了。這塊工作臺(tái)不但有物理限制還有個(gè)注意力偏心的問(wèn)題。3.2 窗口用完了怎么辦5 個(gè)能立刻落地的方案這個(gè)問(wèn)題我?guī)缀趺看畏窒矶紩?huì)被問(wèn)到。我的默認(rèn)處理順序是這樣的換更長(zhǎng)的窗口?,F(xiàn)在很多模型宣稱(chēng)支持 100K、200K 甚至 1M 窗口適合偶爾處理超大文檔。但注意長(zhǎng)窗口不一定便宜也不一定真能記那么牢。做歷史摘要。對(duì)話(huà)類(lèi)場(chǎng)景最推薦超過(guò)閾值就觸發(fā)請(qǐng)先總結(jié)前面內(nèi)容把舊消息替換成摘要繼續(xù)對(duì)話(huà)既保住重要信息又穩(wěn)定控制 token。上 RAG。把大段資料切塊存入向量庫(kù)每次只檢索與本次問(wèn)題最相關(guān)的幾段塞進(jìn)窗口而不是在每次對(duì)話(huà)里硬塞整本書(shū)。拆任務(wù)。長(zhǎng)文檔一次性問(wèn)不了就按章節(jié)分批提問(wèn)再把各批次結(jié)果匯總給模型做二次分析。明確告訴模型只根據(jù)最近 N 輪回復(fù)并在代碼里裁掉更早的消息。簡(jiǎn)單粗暴但很有效。我一直強(qiáng)調(diào)窗口更像辦公桌而不是倉(cāng)庫(kù)。你要做的是把最常用的東西擺在桌面上其余放回抽屜外置知識(shí)庫(kù)而不是不停地?fù)Q更大的桌子。3.3 長(zhǎng)窗口沒(méi)有那么神選型前先做壓力測(cè)試有些朋友一看到支持 200K 上下文立刻把整個(gè)項(xiàng)目文檔塞進(jìn)去。實(shí)測(cè)下來(lái)往往發(fā)現(xiàn)響應(yīng)變慢、成本升高但關(guān)鍵內(nèi)容還是可能丟。原因是長(zhǎng)文本對(duì)注意力機(jī)制的計(jì)算壓力很大位置編碼也要處理超長(zhǎng)序列很多模型的有效長(zhǎng)度其實(shí)低于宣傳值。我在給項(xiàng)目選型時(shí)做過(guò)一次土味壓力測(cè)試把一篇 5 萬(wàn)字的技術(shù)文檔放在不同位置連續(xù)問(wèn) 20 個(gè)問(wèn)題看哪些信息能穩(wěn)定答對(duì)。結(jié)果很說(shuō)明問(wèn)題即便用長(zhǎng)窗口模型埋在文檔中間的問(wèn)題依然容易答錯(cuò)。所以選模型不要只盯著宣傳頁(yè)上的最大窗口要看它在你自己數(shù)據(jù)上的實(shí)際表現(xiàn)。至少準(zhǔn)備一套和業(yè)務(wù)相近的測(cè)試集跑一輪再?zèng)Q定。4. Temperature讓模型按部就班還是天馬行空4.1 一個(gè)公式看懂 Temperature 在改什么大模型每生成一個(gè) token都會(huì)給詞表里每個(gè)候選算一個(gè)分?jǐn)?shù)logit然后用 softmax 變成概率分布。Temperature 就是在這個(gè)環(huán)節(jié)介入的先把每個(gè) logit 除以 T再做 softmax。P(token_i) exp(logit_i / T) / Σ exp(logit_j / T)T 等于 1 時(shí)是原樣輸出T 小于 1 會(huì)讓原先的高分候選概率更高、低分候選概率更低模型變得派系分明更保守T 大于 1 則把概率抹平低分候選也有機(jī)會(huì)冒頭輸出就跳躍、更有創(chuàng)造力。舉個(gè)例子。假設(shè)某位置上三個(gè)候選詞的原始概率是 0.8、0.15、0.05。T 調(diào)到 0.2 后第一個(gè)候選接近 1.0幾乎穩(wěn)贏T 調(diào)到 1.2 后第二個(gè)、第三個(gè)候選被選中的概率明顯上升回答就開(kāi)始飄了。這也是為什么同一個(gè) prompt 在 T0.3 和 T1.3 下結(jié)果像兩個(gè)人寫(xiě)的。4.2 按任務(wù)類(lèi)型調(diào) Temperature代碼、對(duì)話(huà)、創(chuàng)作各有各的檔位我平時(shí)調(diào)參的出發(fā)點(diǎn)不是找最聰明的值而是這個(gè)任務(wù)允不允許出錯(cuò)。任務(wù)類(lèi)型推薦 Temperature原因代碼生成、SQL 編寫(xiě)0 至 0.3代碼錯(cuò)了就是錯(cuò)了需要確定性和可復(fù)現(xiàn)性數(shù)學(xué)、數(shù)據(jù)抽取、JSON 輸出0 至 0.2必須嚴(yán)格從原文提取不能自由發(fā)揮通用對(duì)話(huà)、文案草稿0.7 至 0.9保留一點(diǎn)變化又不太容易跑偏頭腦風(fēng)暴、故事創(chuàng)作1.0 至 1.3需要模型跳出常規(guī)適當(dāng)冒一點(diǎn)險(xiǎn)技術(shù)翻譯0.3 以下術(shù)語(yǔ)要穩(wěn)不能每輪譯法不一樣需要提醒的是很多 API 不允許把 Temperature 設(shè)為 0最小值可能是 0.01 或 0.1目的就是防止完全鎖死。另外別只看 Temperature服務(wù)端的采樣實(shí)現(xiàn)、隨機(jī)種子、beam search 都會(huì)影響確定性。做自動(dòng)化測(cè)試時(shí)最好把 max_tokens、Top-p 一起固定才能比較出參數(shù)變化帶來(lái)的真實(shí)差異。4.3 和 Top-p、Top-k 搭配別同時(shí)開(kāi)兩個(gè)腦洞閥門(mén)除了 Temperature你還會(huì)在 API 文檔里看到 Top-p 和 Top-k。Top-k 是只從前 k 個(gè)最高分候選里選Top-p 是不斷往候選池里加 token直到累計(jì)概率超過(guò) p。它們和 Temperature 是同一件事的三種旋鈕都是控制候選池和池內(nèi)的傾向性。我的建議是先固定 Top-p 在 0.9 左右保留大部分高概率候選、裁掉長(zhǎng)尾再單獨(dú)調(diào) Temperature。盡量不要一邊把 Temperature 調(diào)高一邊把 Top-p 也放寬到 0.98 以上兩個(gè)腦洞閥門(mén)同時(shí)打開(kāi)輸出會(huì)很快滑向胡言亂語(yǔ)。反過(guò)來(lái)如果你要絕對(duì)穩(wěn)定就把 Temperature 調(diào)到最低Top-p 收緊到 0.8甚至可以固定隨機(jī)種子。5. MoE大模型界的專(zhuān)家會(huì)診模式5.1 什么是 MoE把大網(wǎng)絡(luò)拆成一群專(zhuān)家MoE 的全稱(chēng)是 Mixture of Experts混合專(zhuān)家。它的核心思想是把模型內(nèi)部的一部分結(jié)構(gòu)通常是 FFN 層復(fù)制成多個(gè)專(zhuān)家子網(wǎng)絡(luò)再添一個(gè)路由器。輸入的一個(gè) token 不用經(jīng)過(guò)所有專(zhuān)家的手而是由路由器判斷這個(gè)問(wèn)題更像哪類(lèi)然后只激活 top 2 或者 top k 個(gè)專(zhuān)家。打個(gè)比方一個(gè)全能型公司每個(gè)部門(mén)都能處理所有客戶(hù)需求這是傳統(tǒng)的 Dense稠密模型MoE 則是前臺(tái)根據(jù)需求把單子分給對(duì)應(yīng)部門(mén)——法務(wù)問(wèn)題找法務(wù)、技術(shù)問(wèn)題找技術(shù)沒(méi)必要讓所有部門(mén)都參與進(jìn)來(lái)。訓(xùn)練的時(shí)候這些專(zhuān)家會(huì)自動(dòng)分化有的擅長(zhǎng)代碼有的擅長(zhǎng)數(shù)學(xué)有的擅長(zhǎng)中文表達(dá)。目前很多大模型都用了 MoE 架構(gòu)。你在開(kāi)源社區(qū)里看到總參數(shù)量巨大但跑起來(lái)速度卻不像那么大的模型大概率就是 MoE。這也是為什么 MoE 越來(lái)越受關(guān)注在有限的算力預(yù)算里它可以塞進(jìn)更大的知識(shí)容量。5.2 總參數(shù) vs 激活參數(shù)MoE 到底省了什么MoE 最核心的兩個(gè)指標(biāo)是總參數(shù)和激活參數(shù)。總參數(shù)是權(quán)重文件占用的量激活參數(shù)是處理一個(gè) token 時(shí)真正參與計(jì)算的量。以開(kāi)源社區(qū)常用的 Mixtral 8x7B 為例它由 8 個(gè) 7B 級(jí)別的專(zhuān)家組成加上共享部分總參數(shù)約 47B但因?yàn)槊總€(gè) token 只激活其中 2 個(gè)專(zhuān)家激活參數(shù)只有約 13B。這意味著推理時(shí)的計(jì)算量接近一個(gè) 13B 的密集模型但表達(dá)能力理論上能摸到比 13B 高不少的天花板。模型類(lèi)型總參數(shù)激活參數(shù)推理算力顯存占用FP16Dense 13B13B13B全部計(jì)算約 26GBMoE 8x7B約47B約13B接近13B約94GB這張表能解釋一個(gè)常見(jiàn)誤解MoE 推理速度快但不代表它省顯存。所有專(zhuān)家的權(quán)重都得加載到內(nèi)存或顯存里只是每個(gè) token 不用全部算一遍。很多人第一次部署 MoE看到47B就以為和運(yùn)行一個(gè) 47B 的 Dense 模型一樣難。其實(shí)難點(diǎn)主要在于權(quán)重大、顯存占用高而不是計(jì)算量本身。想單卡跑起來(lái)通常要做量化比如 GGUF 的 Q4/Q8或者用多卡分流。5.3 部署和微調(diào) MoE三個(gè)容易踩的坑如果你不滿(mǎn)足于調(diào)用 API而是想本地私有化部署 MoE 模型有幾個(gè)坑我得提前幫你標(biāo)出來(lái)。第一推理框架要選對(duì)。用原版 Transformers 直接跑 MoE速度會(huì)很難看因?yàn)橥掏聝?yōu)化不到位。建議優(yōu)先用 vLLM、SGLang、TGI 這類(lèi)對(duì) MoE 做過(guò)優(yōu)化的框架它們?cè)陲@存調(diào)度、專(zhuān)家并行上都有專(zhuān)門(mén)處理。第二顯存估算要按總參數(shù)算不能只看激活參數(shù)。量化的精度選擇需要權(quán)衡一般 Q4 量化在效果和資源占用之間最容易平衡。第三微調(diào)時(shí)留意專(zhuān)家失衡。如果你只用某一類(lèi)垂直數(shù)據(jù)做微調(diào)路由器可能把所有 token 都分給同幾個(gè)專(zhuān)家其他專(zhuān)家長(zhǎng)期閑下來(lái)最后模型整體能力反而會(huì)下降。訓(xùn)練時(shí)最好開(kāi)啟負(fù)載均衡損失或者保證微調(diào)數(shù)據(jù)的覆蓋面。MoE 不是一個(gè)開(kāi)箱即用更強(qiáng)的銀彈。它適合預(yù)算有限、想把大模型能力塞進(jìn)已有推理服務(wù)的場(chǎng)景如果只是個(gè)人實(shí)驗(yàn)先跑 Dense 小模型把流程打通再切 MoE 會(huì)更穩(wěn)妥。6. 項(xiàng)目實(shí)戰(zhàn)中的排錯(cuò)速查與經(jīng)驗(yàn)沉淀6.1 高頻問(wèn)題與對(duì)應(yīng)解法速查表把大家問(wèn)得最多的問(wèn)題和我的處理思路整理一下現(xiàn)象常見(jiàn)原因處理方法回答到一半突然斷了輸出 token 上限設(shè)得太小調(diào)大 max_tokens或壓縮 prompt 給輸出騰空間同樣問(wèn)題每次答案差很多Temperature 偏高降到 0.2 以下必要時(shí)固定隨機(jī)種子多輪對(duì)話(huà)聊著聊著失憶上下文窗口被舊消息占滿(mǎn)開(kāi)啟歷史摘要滾動(dòng)或換更長(zhǎng)窗口模型生成明顯跑題、放飛Temperature 和 Top-p 同時(shí)過(guò)高收斂參數(shù)T 降到 0.7 以?xún)?nèi)Top-p 收到 0.9本地部署 MoE 后爆顯存按激活參數(shù)估算了顯存按總參數(shù)算權(quán)重占用改用量化或多卡賬單比預(yù)期高很多多輪歷史 token 反復(fù)計(jì)費(fèi)加日志統(tǒng)計(jì)每次調(diào)用的 token 數(shù)限制對(duì)話(huà)長(zhǎng)度6.2 三條最想帶走的實(shí)戰(zhàn)心得第一上線(xiàn)前先做小規(guī)模壓測(cè)。不要只測(cè)試能不能答對(duì)要測(cè)答對(duì)的時(shí)候花了多少 token、用了多長(zhǎng)窗口、隨機(jī)性有多大。把這三個(gè)值固化進(jìn)代碼里再調(diào)參否則你根本不知道效果變好是運(yùn)氣還是調(diào)參調(diào)出來(lái)的。第二給 prompt 和維護(hù)文檔加版本意識(shí)。我習(xí)慣在系統(tǒng)提示詞最前面寫(xiě)一行注釋記錄這是第幾版、token 預(yù)算多少、上次修改的原因。等團(tuán)隊(duì)協(xié)作時(shí)這習(xí)慣會(huì)救命。第三新模型發(fā)布后別急著換。每次換模型都要重新驗(yàn)證上下文窗口的實(shí)際有效長(zhǎng)度、默認(rèn)參數(shù)、計(jì)費(fèi)模式。這三個(gè)東西變一個(gè)線(xiàn)上效果都可能變樣。這套心得是我在多個(gè)項(xiàng)目里反復(fù)踩坑換來(lái)的。技術(shù)文檔不會(huì)告訴你到底該怎么選只會(huì)給你一串參數(shù)范圍。我現(xiàn)在的習(xí)慣是遇到新模型先花半天把這四項(xiàng)都測(cè)一遍——token 估個(gè)價(jià)、窗口做壓力測(cè)試、Temperature 跑幾個(gè)溫度檔、MoE 的話(huà)再測(cè)一下顯存和吞吐然后才敢往線(xiàn)上放。這四個(gè)概念看著是基礎(chǔ)但基礎(chǔ)不打牢后期優(yōu)化寸步難行。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠操狠狠插| 五月人妻婷婷| 99热精品在线| 国产精品色婷婷久久久精品| 色 五月婷婷基地| 成人亚洲精品久久久久| 婷婷五月天视频免费在线观看| 色婷六月| 成人在线观看国产| 99热最新| 丁香色色色| 日本免费91| 99色视频| 庭庭久久内射| 婷婷激情小说| 久久九九免费大视频| 亚洲色就是色色色| 婷婷色综合| 天天久综合| 影音先锋一区| 九九九激情综合| 夜夜干夜夜操| 亚洲第精品| www.五月婷| 天天五月丁香五月| 中文网婷婷字幕婷| 97成人在线视频| 亭亭五月色男人| 五月天激情.com| 色婷婷综合影院| 久久久久9| 久久婷婷欧美| 婷婷瑟五月天久久综合| 日本三级韩三级99久久| 操操国产| 激情爱爱网站| 丁香色色五月| 免费黄网不卡AV| 丁香五月天啪啪| 久久视频在线| 日日噜狠狠色综合久久| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 伊人影院久久网| 99ER热精品视频| 啪啪婷婷五月天激情| www.色五月天.com| 婷婷综合五月天激情| 亭亭五月基地在线| 五月香蕉婷婷| 超碰在线观看9| www:99热视频| 婷婷五月天激情电影| 久热最新视频| 天天摸天天高潮天天爽| 九一99| 色婷婷丁香五月观看| 欧美熟女99| 91无码高清| 五六月婷婷久久| 激情综合色五月丁香| 色色五月婷婷| 丁香五月Av| 玖玖资源站蜜臀| 99在线观看亚洲| 五月天激情四射| www.婷婷亚洲基地| 婷婷色婷婷亚洲成人| 97色综合视频| 啪啪操超碰| 99久久亚洲国产| 日本色色影片| 丁香8月手机综合| 97碰在线视频| 日日噜噜夜夜狠狠久久丁香五月| 99在线看片| 色色五月婷| 99操碰| 五月婷婷丁香| 亚洲色婷婷| 操久久网| 粉嫩AV久久一区二区三区| 亚洲V国产V欧美V久久久久久| 91狠狠色丁香婷婷综合久久精品| 亚洲精品a成人在线播放| 国产成人精品一区二三区熟女在线 | 在线综合婷婷| 激情二色月| 激情五月婷婷欧美极品| 伦99热| 性生活久久人妻| 99色爱| 99热99热在线观看| 色J香五月天| 色色色色网站| 久久婷婷五月天| 中文字幕日本最新乱码视频| 婷婷久久图片| 多精窝99在线视频| 五月婷婷激情视频| 天天色视频| 强辱丰满人妻HD中文字幕| 黄桃AV无码免费一区二区三区| 丁香九月婷婷| 69精品人人人人人人| 色色色婷婷五月| 激情综合色| 六月伊人婷婷| 伊人久久大香蕉网| 99燥99日| 特级操b片| 97亚洲色 torrent magnet| 亚洲六月婷| 九热视频| 北京熟妇搡BBBB搡BBBB| 99啪啪网| 色婷婷综合五月| 丁香 婷婷 亚洲 熟女| 99热这里只有精| 中文无码婷婷| 色约约视频一区二区三区四区五区 | 亚洲传媒在线观看| 色亚洲无码| ss99热| 五月丁香啪啪啪| 婷婷九月| 女同激情久久av久久| 干婷婷五月天| 色人久久| 色五月自偷自拍婷婷婷婷| 午夜成人天堂久久无码日韩久久| 婷婷色激情五月天| 乱精品一区字幕二区| 极品少妇婷婷五月| 99久久99热| 丁香六月婷婷色XXXXX| 精品人妻一区二区三区四区不卡在| 大香蕉220| 97资源欧美日韩大香蕉超碰一区| 婷婷色激情五月天| 超碰婷婷色| 无码橾| 欧美猛片| 人人干av| 91美女艹逼网站| 77799热| 五月天播播中文字幕| 乱岳熟女50岁| 这里只有精品视频国产| 超碰成人电影| 91色久| 亚洲韩国日产综合AV| 亚洲综合激| 9久热免费视频99| 天天插天天插| 色色色综合视频| 色婷婷888| 欧美69久成人做爰视频| 日本三级日本三级三级人妇四虎| 色玖玖综合| 五月婷婷性爱网| 五月花综合网| 久久狠狠干| 日韩AV在线免费| WWW丁香五月| 亚洲美女网Va| 免费人人操| 五月丁香六月婷婷综合| www.婷婷五月.com| 2025天天爽天天摸| 日99网站| 亚洲激情免费视频| 欧美色偷偷大香| 五月丁香六月欧美综合| 另类视频五月天| 欧美 日韩 成人 在线| 五月丁香婷婷综合网| 欧美成人猛片AAAAAAA| 欧洲亚洲免费视频区| 99干视频| 日本色色色| 大香蕉天堂| 激情婷婷九月| 99在线播放视频| 婷婷六月视频| 日本久久综合| 都市激情久久| 亚洲深喉aV| 婷婷五月天播| 三级av在线| site:esunnet.com| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 九九九热精品| 激情视频网址| 99精彩视频在线观看| 99精品偷自拍| 丁香婷婷久久综合在线| www99xxxx五月丁| 天天做天天摸| 五月天激情久久| 五月丁香好婷婷A片网| 狠狠干综合网| 婷婷五月天社区| 色久播播| 亚洲操女| 久久久噜噜噜久久人妻| www.五月婷婷久久.com| 国产毛片欧美毛片久久久| 亚洲五月丁| 久99在线| AAA久久久| 中美日韩成人在线| 粉嫩AV久久一区二区三区| 人人草成人视频| 天天拍天天操| 无码婷婷五月天| 激情网婷婷婷| www.99日本| 激情五月六月婷婷| 天天色天天爱天天爽| 欧美A片在线视频免费观看| 停停五月天激情网| 操操国产| 久操欧美在线观看97| 天天爽天天摸| 久久之人妻| 丁香五月天色婷婷| 婷婷开心久久| 天天玩天天摸| 婷婷五月丁香性爱| 91操操| 五月激情开心婷婷| 超碰97免费在线| 色婷婷亚洲婷婷| 色五月 五月婷婷| 丁香五月大片| 色玖玖爱| 丁香婷婷浪潮AV久久综合| 中文aV网| av在线免费播放| 熟女人妻视频| 六月久久婷婷| 狠狠五月激情婷婷直播片| 欧美这里只有精品| 婷婷亚洲综合| 婷婷五日b| 亚洲婷婷综合视频| 99精品偷自拍| 五月天成人免费视频| 色999五月色| 亚洲在线免费成人| 这里只有精品视频免费在线观看| 天天噜噜| 日日做夜夜爱| 久婷| 这里精品| 久久九九99| 天天色天天舔天天爱天天爽| 亚洲热久| 亚洲深喉aV| www.maotanji.com| 丁香五月在线| 婷婷激情五月综合丁香社| 日韩精品超碰在线观看| 99视频日韩| 青青草激情网| 亚洲国产精品VA在线看黑人| 激情综合色五月丁香六月亚洲| 色婷婷性爱| 久久性爱视频| 能看的AV| 欧美色图天堂网| 日日夜夜婷婷| 欧美激情-区二区三区| 91欧美日韩综合| 婷婷五月精品| 国产JK精品白丝AV在线观看| 这里只有精品视频在线| 伊人激情啪啪| 久久综合影院 | 天天天天色天天天天天干| 色五月色图| 久久国产成人9999久久久久| 99热个人在线| 777影视理论片大全在线观看| 五月丁香婷婷色色色| 五月婷婷欲色| 日韩人妻操逼视频| 五月综合婷婷久久在线 | 四虎婷婷五月天| 色色色五月天激情资源| 五月天激情亚洲| 色婷婷成人做爰A片免费看网站| 婷婷五月色| 人人色婷婷| 丁香婷婷激情网站| 五月婷婷自拍| 天天天天天天噜| 开心五月色婷| 另类婷婷丁香| 久久五月天综合视频网站| 影音先锋偷偷色男人站| 婷婷五月色惰| 庭庭久久内射| 婷婷五月激情综合| 五月婷婷六月丁香激情深爱| 丁香六月色香蕉视频| 激情av在线| 91大屁股精品| 99人人操| 久久人操-久草婷婷-成人AV| 亚洲色综久久五月| 国产成人网站在线观看| 天天做天天爱天天高潮| 久久视频在线视频| 五月婷婷香蕉视频| 久久婷婷综合色丁香| 人人操婷婷| 99久久久精品| 久久jiuwww| 婷婷网影院| 五月婷中文字幕| 变态另类9| 色综合色色| 久久婷婷五月综合色和| 爆乳熟女一区二区三区爆乳| 久久伊人大香蕉| 天天色月| 色色色色色色色色色999| 色情一区二区播放| 亚洲婷婷欧美婷婷| 天天操天天操天天操天天操天天操| 夜夜干夜夜操| 日日躁夜夜躁狠狠久久AV| 国产乱子轮XXX农村| 国产精产国品一二三在观看| 99免费青青蜜臀| 97人人爱人人操| 九九aV| 国产成人网址| 日韩AV色色色| 久热亚洲| 欧美成人AAA片一区国产精品| 超极99精品| 一片AV片免费播放| 日韩影院三级| 狠狠干青青草| 这里只有精品久久| 五月婷婷之综合激情| 97香蕉碰碰人妻国产欧美| 中国女人做爰A片| 超碰免费人人肏| 97色图片中文字幕视频在线观看 | 色色99| 婷婷五月另类网站| 思思久久99热| 91精品久久久久、久五月天| 天天爽天天操| 激情九色| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | xxx综合在线| 五月天啪啪啪| 人妻熟人中文字幕一区二区| a色婷婷| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 四色 爱 婷婷 精品 亚洲 五月天| site:publishdd.com| 久久五月天综合| 国产毛片精品一区二区色欲黄A片| 五月婷婷影视| AV伊人青草丁香六月| 天天狠狠色综合| 五月激情网站| 久久婷五月影院| 五月婷婷色影院| 精品成人无码A片观看香草视频| 91日日日| 亚洲殴洲精品Av在线| 9精品视频在线| 精品99久久久久成人网站免费| 五月婷婷 激情五月| 超碰99在线观看| 九九九AAA热视频| ww亚洲ww在线观看| 夜色综合网| 香蕉AV777XXX色综合一区| 婷婷丁香黄色| 九九精品在线网| 99免费在线| 欧美日本99| 激情五月丁香社区| 极品人妻VideOssS人妻| 日产精品一线二线三线芒果| 日本久久网| 丁香五月婷婷色情综合| 国产99久久久国产精品免费看| 丁香五月综合网| 亲子乱av一区二区三区的| 久久性操| 六月激情网| 做爰丰满少妇1313| 综合五月天亚洲婷婷| 九九干视频| 波多野结衣不卡AV| 婷婷六月久久| 天天色粽合合合合合合合| 日本久久视频| 99久精品视频| 精品一二三区久久AAA片| 亚洲第一成人无码A片| 婷婷激情五月天网站| 丁香六月婷婷久久综合| 激情婷婷五月丁香啪啪啪| 丁香六月婷婷综合激情欧美 | 欧美123区免| 九九热视频免费观看| 激情综合亚洲| 色五月婷婷成人视频| 久久九九99| 五月激情婷婷偷拍| 永久精品| 欧美 日韩 成人| 色综合色综合色综合色综合| 久久久久久久久久久久63| 丁香五月婷婷激情123| 99久久婷婷| 久久久久久久久久久月丁| 男人的天堂五月丁香| 狠狠爱青青草| 丁香婷婷十月| 丁香五月播播| www,99视频| 狠狠色官网| 午夜大香蕉| 九九激情网| 天天拍天天操| 激情黄色小说五月天| 少妇被下春药玩弄A片| 六月综和久久| 99久久婷婷国产综合精品| 色综合五月婷婷狠狠干| 热99色| 99热99re6国产在线播放| 日日影院 | 国产99视频永久免费| 亚洲乱码日产精品BD| 丁香六月视频| 99热伊人综合| 亚洲精品99| 色啪久 | 另类激情四射| 日韩AV片| 丁香六月婷婷久久综合八月| 97干干干丁香| 人人摸人人搞| 在线观看av网站| 久久在这里99| 婷婷五月天激情网址| 少妇AB又爽又紧无码网站| 思思色综合网站| 亚洲182在线观看| 色婷婷婷婷| 97婷婷狠狠| 色吧综合网| 精品成人无码A片观看香草视频| 中文字幕91,综合| www.ppypp| 婷婷五月天精品| 综合激情五月天| 色综合天天网| 亚州婷婷五月激情综合| 丁香六月啪啪| 色婷婷色人人射| 色婷婷文字幕| 婷婷91| 99热这里只有精品一区| 99热综合网| 超碰v| 欧美成人性爱网| 97色色色| 欧美日本国产| 婷婷五月婷婷| 五月丁香啪啪网| 国产亚洲精品人人| 岛国午夜视频| 精品人妻伦一二三区久| 五月综合婷婷开心网| 日本全黄一级999| 九九亚洲综合| 开心婷婷五月中文字幕组| 激情综合网址| 天堂网操| 一本大道熟女人妻中文字幕在线 | 婷婷五月情| 日韩操| 99精品在线播放| 亚洲天堂色| 青草五月天| 夜夜撸日日骑| 色五月xxx| 亚洲乱啪| 秋霞少妇AV网站| 六月婷婷综合激情| 五月丁香六月婷婷网站| 日本精品在线噜噜噜| 久久婷鲁| 99热热热99精品婷婷| 激情综合网五月丁香| 欧美va亚洲va在线播放| 噜综合| 综合五月丁香六月婷婷| 五月伊人91| 五月婷婷激情综合网| 99色色色色| 色视频2025| 9999热在线免费观看| 欧美黄色一级录像| 婷婷综合激情| 99视频内射三四| 九九在线精品| 五月色婷婷综合色| 成人AV在线电影| 亚洲无AV在线中文字幕| 欧美成人精品A片免费一区99| 99久久五月婷婷| 99在线精品观看99| 丁香五月最新地址| 99日本视频| 中文字幕人妻一区二区| 婷婷综合婷婷| 五月激情小说| 色99色| 六月丁香久久| 亚洲网视屏| 九九精品亚洲| 婷婷香五月天| 久久九九热视频| 天天天天天天天操| 五月丁香婷在线| 色婷婷五月基地在线| 97福利视频| 99热久久日本| 亚洲av网址| 人操91在线| 国产亚洲精品久久久久久郑州| 色婷婷狠狠| 在线观看的av| 久久性爱视频| 中文av网站| 狠狠干婷婷| 色玖玖综合网| 五月天开心激情综合网| 久久精彩视频| 欧美精品999| 亚洲激情综合| 99操碰| www.天天干| 国产人妻777人伦精品HD| 天天综合色| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 丁香久月| 99久久婷| 激情五月黄色小说| 五月丁香天堂网婷婷| 丁香亚洲婷婷五月| 日日夜夜小色哥| 五月停停激情网| 婷婷五月深深的爱| 人人看人人要| 色色色色网站| 91碰在线| 国产成人AV在线| 日本五月婷| 婷婷五月花| AV中文网| 亚洲人妻电影| 激情伊人| www.色婷婷。com| 影音先锋按摩| 欧美99热| 五月丁香五月丁香| 激情婷婷五月天日本系列| 五月婷婷六月爱| 人人视频色| 丁香六月激情| 26uuu成人网| 97在线观视频免费观看| www.爱婷婷.com| 久久99久久99精品免观看粉| 欧美成人热| 这里只有精彩视| 久久96热| 亚洲操精品| 乱岳熟女50岁| 五月天基地| 成人片在线播放| 婷婷丁香五月av| 草美女在线观看视频在线播放| 五月综合激情视频| 久久久久久五月天| www.精品99| av国产精品| www.久操| 五月丁香激情片| 激情五月天色婷婷| 99综合视频一体| 九月丁香婷婷基地| 丁香六月婷婷综合| 丁香婷婷啪啪啪| 激情亚洲婷婷| 日本久久婷婷| 亚洲V国产V欧美V久久久久久| av大片在线| 色五月婷婷影院| 操91| 秋霞三级影视资源| 五月婷婷六月基地| 久久综合人妻| 色五月自偷自拍婷婷婷婷| 另类色网| 99精品在线观看| 爱射综合| 免费看片操逼| 婷婷五月天,影院| 激情五月激情综合网| 国产精品99久久久久久久女警| 亚洲AV无码一区二| 五月天激情国产综合婷婷婷就去爱| 九九热99精品在线| 91日日日| 欧美在线视频99| 亚洲无码影片| 91免费在线视频6| 婷婷久久丁香五月| 无码一区二区三区四区五区91c| 91大神在线免费看视频全集男男一起操| 91九色首页| 泰州成人视频| 91在线视频观看午夜福利| 激情五月丁香社区| 思思久久精品| 大香焦A∨| henhencao国产在线| 久久网日本| 97成人视频| 色五月婷婷五月久久| 夜丁香五月婷婷| 五月天婷婷综合网| 无码四色色色| 婷婷五月av| 五月激情射| 色综合天天天天做夜夜| 国产人妻777人伦精品HD| 另类专区在线观看| 9久久婷婷国产综合精品性色| 国产精品久久欧美久久一区| 天天肏在线| 777久久精品| 五月丁香婷婷综合网| 狠狠se| 日本五月婷婷| 草久私拍| 亚洲色五月天是什么| 综合激情视频| 激情婷婷综合网| 婷婷色欧美激情| 欧亚色色| 九九婷婷网五月天| 五月总合激情网| 五月激情六月宗合| 激情五月天视频| 丁香五月影视| 六月丁香av| 人人爱国产| 五月婷综合| 丁香五月另类小说| 九九中文字幕九| 天天插综合网| 玖玖婷婷五月| 综合色五月| 久久久99视频| 婷婷爱五月天| 夜夜骑操AV| 可以直接看的AV| 91综合视频在线| 九九热视频这里只有精品| 丁香婷婷五月综合欧美另类| 丁香五月综合AV在线| 东京热人妻一区二区三区在线| 色综合网综合| 天堂网操| 五月天激情四射网站| 9l视频自拍9l九色9l成人| 婷婷内射视频在线| 日本色频| 丁香五月电影| 色天天综合天天综合频道。| 国产人妻777人伦精品HD| 我爱va亚洲va52| 9+1视频网址| 五月天五月色| 五月花婷婷| www超碰| 五月花成人网| 狠狠狠狠青草| 超碰人人操在线| 激情文学 综合 色| 亚洲妇女熟BBW| 色亚洲中文| 久久9情免费| 五月六月激情| 视频一二区| 26UUU欧美| 五月丁香AV、伊人业余、性色熟妇| 51精品国自产在线| 蜘蛛女侠2003满天星免费观看| 猫咪伊人久久| 国产小精品| 色五月天激情| 色五月婷婷影视| 日本三级韩三级99久久| 色综合久久伊伊婷婷五月| 麻豆WWWCOM内射软件| 亚洲狠狠婷婷综合久久久| 五月婷婷综合色啪首页| 四色永久成人网站| 欧美英丁香开心快乐六月天网| 激情婷婷九月| 成人无码髙潮喷水A片| 操国产人妻| 激情综合网站| 久久亚洲婷婷| 色婷婷AV久久久久久久| 狠狠色丁香| 精品久9| 久久人妻精品| 天色综合网站| 亚洲综合在线播放| www.金莲av| 婷婷六月激情在线视频| 丁香五月成人| 国产精品A片在线| 久热这里只有精品6| 欧美成人精品老美女噜噜噜| 无码色色色色色| 黄色AAAAAAA| 五月婷色| 五月六月丁香激情| 中文久久久人妻| 中文字幕欧美久久| WWW、99热| 91欧美日韩综合| 女人天堂 AV| 青青.com| …亚洲黄色在线播放日韩、av中文a…| 图片区 小说区 区 亚洲五月 | 婷婷五月电影院| 婷婷丁香18| 五月婷婷激情久久| 久久激情五月天| 97精品综合| 大香蕉伊在| 婷婷最新地址| 超碰在线国产| 五月丁香婷婷中文| 夜夜夜叫天天天做| 丁香六月婷婷五月天| 色噜噜五月天| 国自产拍偷拍精品啪啪一区二区| 99啪啪视频| 久久人妻视频| 丁香成人色情五月天| 激情小说婷婷小说| 色播综合| 激情婷婷久久| 色情成人五月天| 日本精品人妻无码77777| 丁香五月Av| 8区视频在线| 亚洲综合激情五月久久| 天天日日人| 免费观看全黄做爰的视频| 欧美激情综合色综合| 婷婷五月天亚洲天堂| 五月大香蕉| 99资源人人| 99久热视频在线| 丰满少妇猛烈A片免费看观看 | 婷婷五月天激情基地| 五月天激情日色在线| 婷婷的色色五月天| 人人色性网| 91日本在线免费| 99这里有精品| 天天做天天爱天天日| 久久性爱视频| 亚洲五月丁香综合网| 色五月丁香五| 深爱五月综合网| 婷婷酒色网| 婷婷丁香五月激情密臀av| 在线国产精品色| 67194中文在线| 五月天成人综合| 婷婷五月丁综合| 色九区| 色狠狠色噜噜AV天堂五区| 丁香五月aV| 五月丁香人妻| 色色日韩| 久操乱| 五月婷婷六月天| 开心丁五月| www.99免费视频| ..真实国产乱子伦对白在线_欧| 丁香五月在线观看| Va另类视频| 噜噜噜噜婷婷五月天| 99久久婷婷精品视频| 久9无码视频| 婷婷射丁香| 午夜丁香六月婷| 99精品97| 操逼综合激情网| 99综合视频| 五月丁香六月激情欧美综合| 日本va欧美va欧美va精品| 亚洲精品九九| 色色99| 久久精品五月天| 丁香五月激情综合| 免费观看的婷婷五月视频在线| 99色色网| 亚洲无aV在线中文字幕| 一区三区视频有限公司| 色综合性视频| 婷婷六月丁香色| va婷婷在线| 激情美女五月天| 五月婷五月婷伊人伊人五月婷| 日韩欧美颜射| 妇激情基地| 狠狠香婷婷五月| 丁香五月性爱| 婷婷五月在线免费| 色婷婷狠狠爱| 99碰视频| 五月天婷婷久久| 天天开心婷婷丁香五月| 五月丁香六月婷婷综合免| 天天色五月| 激情五月天电影| 99re热在线视频观看| 色色色在线观看| 五月婷婷丁香五月婷婷| 夜夜骑天天操| 色婷婷狠狠| 久草热8精品视频在线观看| 色站9/| 人人综合91网| 久久人人看| 五六月丁香激情视频| 99国产这里只有精品| 欧美性色视频| 五月婷婷黄色| 欧美性生交XXXXX无码小说| 99久久婷婷五月| 日本三级日本三级99| 亚洲综人色综网| 婷婷综合五月色播| 七七九色| 超碰只有精品在线| 99ri在线观看视频| 日本啪啪网| 少妇水多A片太爽了| 激情色视频| 99精品在线观看视频| 六月婷综合| 人妻综合网| 狠狠色婷婷六月激情网| 五月丁香中文| 五月天综合在线| 激情久久久久久| 婷婷情色激情| 精品国产乱码久久久久夜深人妻| www.久久久久久久久久.com| 久久总和99| 五月丁香做爱视频| 无码激情AAAAA片-区区| 天天射天天干天插色综合| www天天色天天射| 丁香婷婷六月| 五月天AV大香蕉| 五月天最新网| 日本狠狠干| 久久9视频| 超碰资源在线| 最近中文字幕2019视频1| 99久久久精品| 99热在线99| 亚洲欧美婷婷五月色综合| 香蕉久久国产AV一区二区| 涩五月丁香| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色婷婷基地在线| 九九热av| 久久综合丁香| 亚洲av成人在线| 亚洲色基地| 免费视频无码| 五月叮香啪| 另类精品视频在线观看| 亚洲av免费在线| 久久99精品久久久久久三级| 五月婷婷丁香社区| 欧美久久久中文字幕| 亚洲色在线观看| 亚洲超级碰| 99无码视频| 99热这里有精品6| 丁香五月婷婷图片综合| 欧美五月丁香| 色婷丁香| 久久亭亭电影| 丁香婷婷少妇| 激情98色婷婷五| 久久综合天天综合| 色婷六月| 色噜噜狠狠色综无码久久合欧美| 《战争与艾拉》完整版| 欧美,日韩成人在线| 五月丁香综合啪啪| 五月婷婷,六月丁香| 插逼综合网| yw国产AV| www.色婷婷.com| 精品99在线| 五月天另类小说久久小说网| 五月婷婷丁香瑟瑟视频| 久久婷婷色综合| 五月综合激情| 五月六月丁香激情| 五月停停直播| 五月婷婷七月丁香| 欧美性猛交 XXXX 乱大交| 五月天欧美 另类小说| 五月丁香综合中文| 中文字幕丰满孑伦无码专区| 亚洲成人人人操| 91精品无码久久久久久五月天| 久久婷五月| 舔色婷婷| 人妻少妇色综合| 伊人深爱综合| 丁香五月婷婷色播艳门照| 91碰碰视频| 色愛综合网| 五月婷婷六月激情| 91色在线 | 日韩| 亚洲国产婷婷色五月| av免费在线观看0| 色色无码| 丁香五月六月婷婷殴美综合| 丁香玖玖视频大全| 韩国真做片在线观看| 爱之国产色情综合| 亚洲 成人 电影av在线观看| 99精品热| 欧美激情凹凸丁香网| 99欧州偷拍视频| 玖玖色综合色| 久久精品一区二区三区四区| 亚洲婷婷激情综合激情999精品| 欧美欧盟性爱网| 婷婷五月色综合| 亚洲精品成人片在线播| 婷婷五月色情天| 色五月婷婷久久大| 激情5月婷婷狠狠干| 无码地址| 操人久久| 光棍影院日韩精品| 成人在线观看国产| 精国产品一区二区三区A片| 久热网站| 五月丁香六月激情综合在线| aⅤ79成人片| 99热这里都是精品| 久久久五月天婷婷成人网| 97干在线| 天天色综网| 亚洲综合网 665566| 9 1超碰九色| 欧美高潮9| 九九视频在线观看视频6| 六月婷婷色| 538在线精品| 五月婷婷综合在线| 日韩丁香涩| 色婷五月天| 99热这里全是精品| 色婷婷中文在线| 强伦轩人妻一区二区电影| 五月精品免费XXX| 丁香五月亚综合图片| 免费播放片大片| 天天综合网站| 99操网站| 怡红院成人AV| 成人综合视频在线| caop在线视频| 五月色丁香国产在线视频| 色五月婷激情| 女高怪谈在线观看| h在线看免费版在线看| 狠狠噪| 91色综合网| 99热18| 婷婷丁香五月高清| 大陆肏屄视频| 色欧洲| 国产亚洲成AV人片在线| 五月天婷婷色情| 久月婷婷| 色综合久久88色综合天天| WWW.99热| 五月婷婷综合在线| 五月停视频天堂| 丁香五月精品视频| 这里只有精品在线播放| 日本熟妇人妻在线| 婷婷五月天激情电影小说| 激情伊人五月天| 九九一区| 五月丁香色婷婷久久| 亚洲精久久| 色欲五月婷婷| 国产欧美精品AAAAAA片| 六月婷久久| 激情五月天啪啪视频| 尔尔AV一区| 婷婷97色| 欧美日韩成人在线| 久久五月婷天天干| 玖玖婷婷五月天| 日韩99视频| 99国产精品久久久久久久久久久| 狠狠干天天日| 国产成人av在线| 亚洲丁香五月在线观看| 久久婷婷五月天懂色| 久久ri精品视频| 这里只有精品视频一区| 日本人妻伦在线中文字幕| 91肏| 4399人妻无码久久久| 久久大大香| 久草A片| 欧美婷婷日本| 久热视频97AV在线观看| 激情亚洲色图片丁香综合| 被强行糟蹋的女人A片| 五月婷婷干干干| 中文字幕av久久爽一区| 碰碰女| 婷婷色操| 超碰国产AV| 婷婷久久五月天丁香| 五月婷婷黄| 欧州色色| 9久国产| 五月天综合在线| 久热伊人9| 99热这里只有精品8| 婷婷五月丁香激情图片| 五月天精品| 色综合久久99色| 99在线观看| 婷婷网五月| 碰超在线九色| 这里只有精彩视| 九九婷婷热| 亚洲 视频 导航 一区| 色婷亚洲| 99精品在线| 日韩av大全| 中文婷婷狠狠| 啊V视频在线观看| 人人干Av| 色九九九综合| 激情五月天电影| 色五月激情五月丁香五月婷婷啪啪综合 | 超碰不卡在线| 五月综合久久| 五月综合色播播丁香婷婷| 96色婷婷| 噼里啪啦在线观看免费完整版视频 | 成人片黄网站色大片免费毛片| 天天天干夜夜夜操| www.综合久久.com| 日本三级黄色大片| 欧美色骚婷婷五月天| 一级视频网址| 五月天婷久精视频| 成人在线综合| 沈娜娜av| 操91| 玖玖五月丁香| 亚洲激情精品| 大香蕉久| 第四色五月婷婷| 色五月欧美| 亚洲综合视频网| 五月婷婷六月丁香激情综合网| 99热超碰人| 婷婷伊人网| 女高怪谈在线观看| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 大香蕉九九| 五月丁香 狠狠爱| 天天日天天插| 激情五月影院| 午夜丁香婷婷| 亚洲日韩26uuu| 婷婷久久大香蕉| 婷婷五月激情的图片| 熟女少妇内射日韩亚洲| 9热视频在线观看| 日日.c| 婷婷丁香五月天小说| 久久丁香五月婷婷| 伊人综合网站| 婷婷五月天激情偷拍| 欧日美女Va| 婷婷色在线视频| 丁香婷婷91在线观看视频| 小色小蛇伊人婷婷色香五月| 亚洲免费在线观看岛国| 色播播五月| 婷婷五月天在线观看第二页| 丁香婷婷激情六月五月开心| 97干97色| 精品无码久久久久久久久| 久久久日韩特色特黄AAAA| 9伊人网| 色婷婷综合久色AV五色最新| 思思精品久久艹| 色色色色色网站| 激情综合色图| 五月婷婷视频| 在线观看亚洲视频影院| 五月丁香亭亭成人电影| 99视频在线| 俺去也五月天| 九九热99在线视频| 影音先锋xfplay资源男人网| 狠狠色婷婷777| 久久99网站| 婷婷不卡基地| 成人超碰AV| 亚洲va在线∨a天堂va欧美va| 婷婷欧美| 97色在线观看视频| 深爱激情网噜噜色| 超碰九色| 1024在线视频| 亚洲精品色色| 色五月婷婷五月天| 99碰碰。| oVV4WIB3vFi8D| 丁香 久久| 九九热青青草| 99精品视频免费在线播放| 啄木鸟丝袜美女福利视频| 狠狠狠狠狠| 色综合综合色| 五月婷婷,狠狠操| 婷婷色色网站| hd五月婷婷在线| 久久婷五月| 99色视频在线观看最新| 欧美日韩AAAA| 久久丁香网| 五月丁香六月婷婷视频| 亚洲另类电影| 做爱夜夜干天天操| 成人丁香| 无码人妻激情| 五月丁香欧美综合| 婷婷综合偷拍| 婷婷五月天激情网站| 色天使久久综合| 婷婷丁香色情五月天| 最近中文字幕2019视频1| 日韩色色小视频| 久久思思热| 欧美亚洲999| 国产一级视频a| 男人的天堂五月丁香| 丁香婷婷老司机久操| 五月婷综合| 超级碰91| 97丁香婷婷| WWW,五月天| 天天爽天天爽| 亚洲精品午夜国产va久久成人| 亚洲天天免费| 99自拍视频在线观看| 丁香五月之久操视频| 久久久久久97| 亚洲精品午夜国产va久久成人| 天久综合91综合首页| 综合网色| 亚洲操B| 五月丁香婷婷无码中文| 99热最新网址| 婷婷色五月亚洲| 伊人网色婷婷五月天| 超碰熟女拍拍| 色娸娸综合网| 狠狠操狠狠操| 美女婷婷六月色| 天天揷综合网| 亚洲另类噜噜| 亚洲婷婷五月天| 成人网站在线观看视频| 99热这里精品| 俺也去综合| 欧美啪啪网| 五月天亚洲色| 色九月欧美| 久久婷色| 大陆肏屄视频| 欧美天堂久久| 大香蕉av在线| 九九在线这里只有精品视频| 超碰成人av| 国产AV一区二区三区日韩| 亚洲小视频| 狠狠色丁香久久婷婷综合五月| 色爱综合网| 色五月婷婷啪啪五月| 桃色激情五月天| 亚洲情综合五月天| 极品另类| 中文字幕 久久9999| VA日本视频| 五月久久婷婷丁香| 国外亚洲成AV人片在线观看| ji'qi'luan'ren'lun| 色吧婷婷| 丁香色五月 97干| 日撸夜撸日操| 色婷婷AV在线| 任你爽视频| 99视频精品在线| 婷婷她六月天| www.9操| 五月婷婷中文字幕| 侠女刀之记忆电影在线看免费| 色吧五月| 丁香婷婷五月色成人网站| 丁香五月婷婷成人色区| av色婷婷| 成人在线二区| 99ri精品视频在线观看| www.婷婷六月天|