欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

端側(cè)模型放得下嗎?從體量計(jì)算到量化壓縮實(shí)戰(zhàn)

端側(cè)模型放得下嗎?從體量計(jì)算到量化壓縮實(shí)戰(zhàn) 1. 先把體量賬算清楚端側(cè)設(shè)備的容量天花板在哪1.1 參數(shù)量、精度和文件大小的換算關(guān)系標(biāo)題里問(wèn)“端側(cè)本地模型放得下嗎”這問(wèn)題沒(méi)法用一句“能”或者“不能”回答因?yàn)椤澳P鸵?guī)模”和“能不能放下”之間隔著好幾層換算。很多人看到“XX億參數(shù)”就緊張其實(shí)先要搞懂一個(gè)最小單元一個(gè)參數(shù)在內(nèi)存里占多少個(gè)字節(jié)。同一個(gè)模型用不同精度存儲(chǔ)大小差得很遠(yuǎn)。FP32單精度浮點(diǎn)每個(gè)參數(shù)占 4 字節(jié)FP16半精度浮點(diǎn)每個(gè)參數(shù)占 2 字節(jié)INT88比特整數(shù)每個(gè)參數(shù)占 1 字節(jié)常見(jiàn)的 4bit 量化每個(gè)參數(shù)約 0.5 字節(jié)所以一個(gè) 10 億參數(shù)1B的模型原始 FP32 權(quán)重是 4GB轉(zhuǎn)成 FP16 是 2GB量化到 INT8 是 1GB再激進(jìn)一點(diǎn)壓到 4bit 只剩約 500MB。這個(gè)換算關(guān)系是整個(gè)話題的地基后面所有討論都建立在它上面。很多人只盯“文件大小”但真正決定能不能跑起來(lái)的是“運(yùn)行時(shí)峰值內(nèi)存”。權(quán)重文件能塞進(jìn)存儲(chǔ)不代表推理時(shí)能塞進(jìn)內(nèi)存。手機(jī) App 拿到一個(gè) 1GB 的模型文件加載時(shí)權(quán)重、激活值、KV Cache自回歸模型里的緩存、中間特征圖是同時(shí)在內(nèi)存里的實(shí)際占用往往是文件大小的 1.5 到 2 倍。1.2 端側(cè)設(shè)備的“三堵墻”存儲(chǔ)墻、內(nèi)存墻、算力墻判斷一個(gè)模型能不能本地跑要同時(shí)看三堵墻。第一堵墻是存儲(chǔ)。普通手機(jī)現(xiàn)在 128GB 起步空間看起來(lái)不缺但系統(tǒng)、照片、App 把空間瓜分完之后留給單個(gè)應(yīng)用離線模型包的往往只有幾個(gè) GB。嵌入式設(shè)備更緊張很多工業(yè)邊緣盒子存儲(chǔ)就是 8GB 或 16GB還要分一部分給日志和系統(tǒng)能放模型的區(qū)域非常有限。第二堵墻是內(nèi)存。這是最常被低估的。手機(jī)內(nèi)存看著有 12GB、16GB但操作系統(tǒng)、當(dāng)前 App、后臺(tái)進(jìn)程都在搶。一個(gè) App 能穩(wěn)定申請(qǐng)到的內(nèi)存很多時(shí)候只有 2GB 到 4GB。模型推理是內(nèi)存密集型操作峰值一沖上去輕則掉幀重則直接被系統(tǒng)殺掉。第三堵墻是算力。端側(cè) NPU/DSP 現(xiàn)在跑 CNN 這類結(jié)構(gòu)很擅長(zhǎng)但 Transformer 里的注意力矩陣、Softmax、Gelu 這類算子在不同芯片上的表現(xiàn)方差非常大。有些 NPU 對(duì)動(dòng)態(tài)形狀支持很差詞表檢索、beam search 這類操作可能根本加速不了。算力不夠模型就算裝得下推理速度也會(huì)讓人無(wú)法接受。1.3 端側(cè)模型常見(jiàn)的量級(jí)區(qū)間結(jié)合我實(shí)際做過(guò)和見(jiàn)過(guò)的設(shè)備大致有這么幾個(gè)舒適區(qū)模型量級(jí)FP16 大小INT8 大小4bit 量化后端側(cè)可行性100M0.1B200MB100MB50MB非常輕松任何設(shè)備都能跑300M0.3B600MB300MB150MB主流手機(jī)無(wú)壓力嵌入式需評(píng)估1B2GB1GB500MB手機(jī)上的上限區(qū)需配合優(yōu)化3B6GB3GB1.5GB高端機(jī)勉強(qiáng)普通設(shè)備吃力7B14GB7GB3.5GB基本告別普通端側(cè)除非特殊硬件所以“端側(cè)能不能放下”不是一個(gè)絕對(duì)概念。200M 級(jí)別的模型幾乎放哪都能跑1B 級(jí)別開始要精打細(xì)算再往上就屬于硬件專項(xiàng)定制范疇。有了這張尺子我們?cè)倩仡^量“萬(wàn)物識(shí)物”和“多語(yǔ)言翻譯”這兩個(gè)具體需求。2. “萬(wàn)物識(shí)物”的本質(zhì)為什么模型規(guī)模會(huì)失控2.1 從固定 1000 類到開放詞表任務(wù)定義改變了模型結(jié)構(gòu)傳統(tǒng)圖像分類模型比如大家熟悉的 ResNet、MobileNet 那套思路邏輯很簡(jiǎn)單圖片輸入網(wǎng)絡(luò)提取特征最后接一個(gè)全連接分類頭輸出神經(jīng)元個(gè)數(shù)等于類別數(shù)。你訓(xùn)練一個(gè) 1000 類模型分類頭就是 1000 個(gè)神經(jīng)元想識(shí)別 1 萬(wàn)類就把分類頭改成 1 萬(wàn)維。模型主體不動(dòng)動(dòng)的只是一個(gè)線性層。但“萬(wàn)物識(shí)物”的訴求完全不是這樣?,F(xiàn)實(shí)里的物體遠(yuǎn)遠(yuǎn)超出固定列表今天加一個(gè)品類、明天加一個(gè)品牌分類頭方案永遠(yuǎn)追不上。于是業(yè)界走向了開放詞表Open Vocabulary路線代表性的做法就是類 CLIP 的對(duì)比學(xué)習(xí)架構(gòu)一個(gè)圖像編碼器一個(gè)文本編碼器把圖片和文字映射到同一個(gè)向量空間通過(guò)計(jì)算圖像特征和文本特征之間的相似度來(lái)判斷“圖片里是什么”。這個(gè)架構(gòu)帶來(lái)的第一個(gè)變化是模型不再是一個(gè)網(wǎng)絡(luò)而是兩個(gè)網(wǎng)絡(luò)。圖像編碼器負(fù)責(zé)把像素變成向量文本編碼器負(fù)責(zé)把候選標(biāo)簽變成向量。兩個(gè)網(wǎng)絡(luò)的參數(shù)量加在一起規(guī)模立刻比單純分類模型大了一圈。2.2 類CLIP架構(gòu)的端側(cè)版本視覺(jué)和文本兩條鏈路各占多少很多人以為 CLIP 類模型“只有”幾百兆這個(gè)印象來(lái)自那些被裁剪過(guò)、只做推理用的版本。實(shí)際上完整訓(xùn)練態(tài)模型的體量視覺(jué)編碼器加文本編碼器動(dòng)輒 1B 以上。不過(guò)剛才那張尺子告訴我們端側(cè)更關(guān)心的是“能不能壓縮后運(yùn)行”所以我們要拆開看兩條鏈路的壓縮空間。視覺(jué)編碼器通常是 CNN 或 ViTCNN 類結(jié)構(gòu)對(duì)端側(cè)非常友好卷積算子在各家 NPU 上都有深度優(yōu)化壓縮到 INT8 甚至 4bit 后精度損失相對(duì)可控。文本編碼器是 Transformer算子和顯式/隱式的注意力機(jī)制相關(guān)端側(cè)支持度取決于芯片但 300M 到 600M 的文本編碼器壓到 150MB 左右并不夸張。更隱蔽的開銷在“萬(wàn)物”這個(gè)詞本身。你真正部署的時(shí)候不能把整本詞典都當(dāng)作候選標(biāo)簽一次丟進(jìn)去算相似度。假設(shè)一次識(shí)別要比較 100 個(gè)候選類別的文本特征那至少要把 100 個(gè)文本向量全部加載到內(nèi)存如果候選詞表有 10 萬(wàn)個(gè)詞把全部文本特征算一遍時(shí)間和內(nèi)存都會(huì)失控。所以實(shí)際工程里要做候選挖掘Candidate Mining先用一個(gè)輕量模型粗篩再對(duì)候選子集精細(xì)比較。2.3 “萬(wàn)物”還需要詞表兜底候選標(biāo)簽本身也要占內(nèi)存這里還要補(bǔ)一個(gè)很多人忽略的點(diǎn)文本編碼器不是吃進(jìn)去一個(gè)詞而是吃進(jìn)去一段經(jīng)過(guò) tokenizer 切分的 token 序列。多語(yǔ)言場(chǎng)景下詞表里每種語(yǔ)言都要有對(duì)應(yīng)的子詞單元標(biāo)簽文本越長(zhǎng)編碼器計(jì)算量越大。我遇到過(guò)最頭疼的情況是“萬(wàn)物”清單里放了大量長(zhǎng)尾名詞比如一條商品的完整標(biāo)題“2024 新款戶外防水登山鞋男防滑耐磨徒步鞋”tokenizer 切完可能是一長(zhǎng)串 token。識(shí)別時(shí)每一幀都要把這一長(zhǎng)串文本編碼一遍計(jì)算量不是線性的是隱性地暴漲。所以“萬(wàn)物識(shí)物”放在端側(cè)真正決定成敗的不是那個(gè)視覺(jué)編碼器而是文本編碼器和詞表帶來(lái)的附加內(nèi)存與延遲。如果把視覺(jué)端壓到 200M文本端卻因?yàn)樵~表膨脹到 300M總賬依然不好看。3. 多語(yǔ)言翻譯的真正瓶頸詞表膨脹比模型深度更麻煩3.1 BPE和子詞為什么多語(yǔ)言詞表按“語(yǔ)言數(shù)”放大多語(yǔ)言翻譯模型和單語(yǔ)翻譯模型的差異和“模型深度”關(guān)系不大最核心的差異在詞表Vocabulary。單語(yǔ)詞表通常 3 萬(wàn)到 5 萬(wàn)個(gè)子詞就夠用了。多語(yǔ)言場(chǎng)景下每種語(yǔ)言都有自己獨(dú)特的字符體系中文的漢字、日文的假名、韓文的諺文、阿拉伯文的連寫字母、各種拉丁字母變體……這些字符無(wú)法直接共享詞表只能跟著語(yǔ)言數(shù)量往上膨脹?,F(xiàn)在的做法主流是 BPE / SentencePiece 這類子詞切分算法好處是把常見(jiàn)詞拆成更小片段讓不同語(yǔ)言之間可以共享一部分子詞。比如“telephone”和“téléphone”可以共享一部分 token。但跨語(yǔ)系的共享非常有限中文漢字和英文子詞之間幾乎無(wú)法共享所以詞表膨脹是硬約束。一個(gè)典型的多語(yǔ)言詞表規(guī)模覆蓋歐洲十余種語(yǔ)言時(shí)詞表大約 100k 到 150k覆蓋亞歐非數(shù)十種語(yǔ)言時(shí)詞表往往沖到 250k 到 500k。這里每個(gè) token 不是一個(gè)簡(jiǎn)單的整型它還對(duì)應(yīng)一個(gè)向量。3.2 詞表與隱藏維度決定的 Embedding 權(quán)重賬Embedding 矩陣的體量很好算詞表大小 × 隱藏維度 × 參數(shù)精度假設(shè)詞表 300k、隱藏維度 1024、用 FP16300000 × 1024 × 2B 614MB這只是一個(gè) Embedding 矩陣。Transformer 模型通常輸入和輸出層各有一次 Embedding 操作很多實(shí)現(xiàn)是共享權(quán)重的也就是輸入層和輸出層用同一個(gè)矩陣這時(shí)還好如果不共享上面這個(gè) 614MB 就要乘以 2變成 1.2GB。更麻煩的是Embedding 矩陣在推理時(shí)不像普通權(quán)重層那樣可以連續(xù)計(jì)算它涉及查表操作內(nèi)存訪問(wèn)模式對(duì)端側(cè)緩存很不友好。翻譯模型解碼的時(shí)候每一步都要在輸出層做一次“詞表規(guī)模 × 隱藏維度”的矩陣乘法。詞表越大這一步越慢。還有一個(gè)小細(xì)節(jié)多語(yǔ)言模型通常還要給每種語(yǔ)言加一個(gè)語(yǔ)言 ID 嵌入Language Embedding雖然體量不大但同樣會(huì)占用維度空間。所以在多語(yǔ)言模型里幾百兆的參數(shù)可能不是核心網(wǎng)絡(luò)而是詞表嵌入矩陣。3.3 多語(yǔ)言翻譯模型的整體體量實(shí)測(cè)區(qū)間結(jié)合開源社區(qū)做過(guò)的一系列多語(yǔ)言翻譯模型大致落在這些區(qū)間模型配置詞表規(guī)模總參數(shù)量FP16 文件INT8 文件小型6層d_model 51260k200M-300M400-600MB200-300MB中型12層d_model 768150k800M-1.2B1.6-2.4GB0.8-1.2GB大型24層d_model 1024300k3B-5B6-10GB3-5GB結(jié)論很明確用中等規(guī)模的量化版本多語(yǔ)言翻譯模型是可以放進(jìn)端側(cè)的尤其是詞表控制在 150k 以內(nèi)、參數(shù)量在 1B 左右、量化到 INT8 或 4bit 時(shí)總占用能壓到 1GB 上下。對(duì)一部主流手機(jī)這是可行的對(duì) 8GB 存儲(chǔ)的嵌入式盒子就要斟酌了。4. 端側(cè)放不下時(shí)的實(shí)戰(zhàn)壓縮手段量化、蒸餾、分片的取舍4.1 量化從FP16到4bit的真實(shí)收益與精度回退既然原始模型放不下第一個(gè)想到的就是量化。量化不是新鮮概念但很多人把“量化”當(dāng)成一鍵壓縮忽略了精度回退問(wèn)題的分布不均。對(duì)翻譯模型來(lái)說(shuō)量化掉的經(jīng)驗(yàn)是Embedding 層對(duì)量化非常敏感因?yàn)樵~向量直接決定語(yǔ)義空間的位置從 FP16 強(qiáng)行砍到 4bit近義詞之間的距離會(huì)發(fā)生漂移翻譯出來(lái)的詞經(jīng)?!安钜豢跉狻?。而 Transformer 里的注意力層和前饋層對(duì)量化相對(duì)寬容。實(shí)操上建議混合精度Embedding 層保留 INT8 甚至 FP16計(jì)算密集的線性層用 4bit注意力矩陣用 8bit。這樣既保住了語(yǔ)義質(zhì)量又把整體占用壓下來(lái)。每次量化之后都要在真實(shí)數(shù)據(jù)上跑一遍雙語(yǔ) BLEU 或者 chrF 指標(biāo)不要只看困惑度。4.2 蒸餾與結(jié)構(gòu)化裁剪讓端側(cè)模型“本來(lái)就不大”量化是在“已訓(xùn)練好的大模型”上做減法蒸餾則是從源頭上訓(xùn)練一個(gè)小的。做法是用一個(gè)千億或者幾十億參數(shù)的大模型當(dāng)老師讓幾百 M 的小模型去擬合老師模型的輸出分布。蒸餾出來(lái)的小模型在指定語(yǔ)言對(duì)上的效果往往比直接拿小模型在數(shù)據(jù)上硬訓(xùn)要好很多。我特別推薦在多語(yǔ)言場(chǎng)景里做“分組蒸餾”不是讓一個(gè)小模型同時(shí)學(xué) 100 種語(yǔ)言而是按語(yǔ)系分組蒸餾出一組小模型每個(gè)小組負(fù)責(zé)若干種相近語(yǔ)言。翻譯時(shí)先判斷語(yǔ)言類型再路由到對(duì)應(yīng)的小模型。這樣每個(gè)模型詞表更小精度更高加載和切換也靈活。結(jié)構(gòu)化裁剪剪枝在端側(cè)的實(shí)際收益沒(méi)有想象中大。Transformer 里過(guò)度剪枝容易導(dǎo)致整體性能崩塌而且剪枝后的稀疏矩陣在很多 NPU 上不能直接用還要再轉(zhuǎn)回稠密折騰一圈還不如直接蒸餾一個(gè)小模型來(lái)得干凈。4.3 模型分片與詞表動(dòng)態(tài)加載運(yùn)行時(shí)再摳內(nèi)存如果模型總量還是超了可以考慮“并不全部加載進(jìn)內(nèi)存”的思路。翻譯模型里最常見(jiàn)的做法是“分片加載”把模型拆成 Embedding 層、若干 Transformer 層、輸出層幾個(gè)部分按需從存儲(chǔ)映射進(jìn)內(nèi)存。端側(cè)跑在第一個(gè) token 之前只加載前幾層解碼到中途再加載后面的層。配合操作系統(tǒng)的內(nèi)存映射mmap機(jī)制可以讓系統(tǒng)按頁(yè)讀取權(quán)重而不是一次性把整個(gè)文件讀進(jìn)來(lái)。對(duì)詞表特別大的模型可以做“詞表裁剪快照”模型包里放一個(gè)完整詞表用于離線檢索但推理時(shí)只加載當(dāng)前語(yǔ)言對(duì)相關(guān)的那部分 token 向量。比如一個(gè) 300k 詞表的模型如果用戶只切換中英、中日翻譯只把中文和英文相關(guān)的 60k token 的子詞向量加載進(jìn)來(lái)Embedding 內(nèi)存直接少一大塊。4.4 分層卸載不是丟人方案端側(cè)云端的混合架構(gòu)純端側(cè)方案一旦要覆蓋幾十種語(yǔ)言和“萬(wàn)物識(shí)別”成本會(huì)非常難看。我見(jiàn)過(guò)不少團(tuán)隊(duì)最后選擇了混合架構(gòu)端側(cè)放一個(gè)輕量級(jí)模型應(yīng)對(duì)離線需求和常見(jiàn)場(chǎng)景云端放完整大模型兜底。聯(lián)網(wǎng)時(shí)自動(dòng)走云端斷網(wǎng)時(shí)降級(jí)到端側(cè)模型。很多人覺(jué)得“端側(cè)云端”是妥協(xié)不“純粹”。但在實(shí)際產(chǎn)品里用戶在乎的是“能不能離線用”“快不快”“準(zhǔn)不準(zhǔn)”而不是“模型是否真的全部裝在本地”。一個(gè)合理的降級(jí)鏈路往往比“死磕端側(cè)”更能照顧體驗(yàn)。關(guān)鍵是降級(jí)策略要做到用戶無(wú)感端側(cè)模型負(fù)責(zé)大概率常見(jiàn)的識(shí)別和翻譯當(dāng)置信度低或遇到陌生語(yǔ)言對(duì)時(shí)自動(dòng)切換到云端。這個(gè)置信度閾值需要反復(fù)調(diào)調(diào)太高則離線模式頻繁失敗調(diào)太低則云端流量和延遲白白增加。5. 務(wù)實(shí)決策框架什么必須放端側(cè)什么應(yīng)該留在云端5.1 判定標(biāo)準(zhǔn)延遲、隱私、帶寬、離線到底哪些能力要放端側(cè)哪些可以交給云端我習(xí)慣用四個(gè)維度打分。延遲敏感度實(shí)時(shí)翻譯、實(shí)時(shí)識(shí)別用戶等不起一次 800ms 的網(wǎng)絡(luò)往返這類優(yōu)先放端側(cè)。隱私敏感度醫(yī)療影像、身份證件、聊天內(nèi)容等數(shù)據(jù)不出設(shè)備是硬需求必須本地處理。帶寬成本視頻流、大批量圖片識(shí)別在弱網(wǎng)環(huán)境下傳不動(dòng)端側(cè)可以先兜底。離線可用性明確要求飛行模式、野外環(huán)境也能用的場(chǎng)景比如巡檢、戶外導(dǎo)航端側(cè)是唯一選擇。四項(xiàng)里只要中了兩項(xiàng)就應(yīng)該考慮端側(cè)方案。如果一項(xiàng)都不占那上云端是更經(jīng)濟(jì)的選擇沒(méi)必要把模型塞進(jìn)設(shè)備折磨自己。5.2 參考架構(gòu)一個(gè)雙級(jí)緩存系統(tǒng)我自己比較偏好的參考架構(gòu)是“雙級(jí)緩存”第一級(jí)端側(cè)常駐一個(gè)覆蓋高頻需求的輕量模型比如 200M 的識(shí)別模型加一個(gè) 500M 左右、覆蓋頭部十幾種語(yǔ)言的翻譯模型。系統(tǒng)啟動(dòng)時(shí)就加載保證基礎(chǔ)功能離線可用。第二級(jí)按需下載的語(yǔ)言包或品類包。用戶第一次使用某種冷門語(yǔ)言或識(shí)別某個(gè)垂直品類時(shí)提示下載一個(gè)幾十 MB 的增量模塊。下載后替換或補(bǔ)充到第一級(jí)模型旁邊。這個(gè)方案的好處是不是一開始就讓用戶下載一個(gè) 3GB 的“全家桶”而是讓用戶只為他需要的部分付費(fèi)存儲(chǔ)和流量。增量模塊之間通過(guò)版本號(hào)管理服務(wù)端可以隨時(shí)發(fā)布新的語(yǔ)言包而不需要用戶升級(jí)整個(gè) App。5.3 低資源場(chǎng)景下的降級(jí)方案詞典、檢索、模板翻譯如果連 500M 的小模型都不想放或者設(shè)備太陳舊還有一條更輕的路線用檢索式方案代替生成式模型。物體識(shí)別可以退化為“特征向量 本地檢索庫(kù)”每張圖像抽一個(gè)向量提前給每個(gè)候選類別抽好向量部署時(shí)只放一個(gè)“類別向量庫(kù)”幾十 MB 搞定。翻譯可以退化為“短語(yǔ)詞典 模板匹配”離線詞典命中高頻短語(yǔ)模板負(fù)責(zé)句子結(jié)構(gòu)替換。這種方案效果當(dāng)然不如大模型但作為應(yīng)急降級(jí)、特定垂直領(lǐng)域比如工業(yè)設(shè)備銘牌識(shí)別、餐廳菜單翻譯完全夠用。這里我特別想強(qiáng)調(diào)一個(gè)工程心態(tài)端側(cè)方案不是“替代”云端方案而是“分層兜底”。很多時(shí)候低資源方案解決的是“有和沒(méi)有”的問(wèn)題不是“好和更好”的問(wèn)題。5.4 給三類團(tuán)隊(duì)的選型建議團(tuán)隊(duì)資源不同策略完全不同。個(gè)人開發(fā)者別輕易碰多語(yǔ)言全家桶。選一個(gè) 300M 以下的單一語(yǔ)言翻譯模型加一個(gè)輕量識(shí)別模型只支持中英等兩三個(gè)核心語(yǔ)言對(duì)先把閉環(huán)跑通。中小團(tuán)隊(duì)采用“按需下載 雙級(jí)緩存”架構(gòu)主推 5 到 10 種高頻語(yǔ)言冷門語(yǔ)言走云端 API云端失敗再提示離線不可用。大團(tuán)隊(duì)有硬件和算法資源可以考慮自研蒸餾管線針對(duì)自家設(shè)備做混合精度量化把模型壓到極限后常駐端側(cè)。6. 我踩過(guò)的坑和給你的實(shí)操建議6.1 詞表統(tǒng)一設(shè)計(jì)能一石二鳥我參與過(guò)的項(xiàng)目里有一個(gè)關(guān)鍵決策把“萬(wàn)物識(shí)物”的文本編碼器詞表和多語(yǔ)言翻譯的詞表統(tǒng)一起來(lái)。好處很明顯同一個(gè) tokenizer、同一套子詞視覺(jué)語(yǔ)言和翻譯模型共享 Embedding 矩陣整體包體直接小一截。但代價(jià)是詞表設(shè)計(jì)階段很痛苦。視覺(jué)標(biāo)簽用詞偏名詞翻譯用詞偏句式表達(dá)兩者對(duì)子詞切分的偏好不完全一致。你需要在大規(guī)模語(yǔ)料上做好詞頻統(tǒng)計(jì)平衡視覺(jué)和翻譯兩個(gè)域的子詞覆蓋。一旦定下來(lái)后續(xù)再做任何語(yǔ)言擴(kuò)展都要小心翼翼因?yàn)楦脑~表等于改模型輸入空間。6.2 多語(yǔ)言質(zhì)量退化加語(yǔ)言要雨露均沾多語(yǔ)言模型的經(jīng)典坑是語(yǔ)言越加越多每種語(yǔ)言的質(zhì)量都在掉尤其是資源稀缺的小語(yǔ)種會(huì)被高資源語(yǔ)言“擠占”。原因不難理解模型總?cè)萘坑邢拊~表、層參數(shù)要分給更多語(yǔ)言。我的建議是加語(yǔ)言不能“只加詞表、不訓(xùn)練”要把新語(yǔ)言的語(yǔ)料和已有語(yǔ)言的語(yǔ)料按比例混合重新做一輪全語(yǔ)言微調(diào)。每次加語(yǔ)言之后都要在已有的主要語(yǔ)言上重新跑一遍回歸測(cè)試。否則容易出現(xiàn)“新增中文翻譯很好但英文翻譯突然變差”的尷尬情況。6.3 別只看文件大小要看峰值內(nèi)存和首Token延遲模型放進(jìn)設(shè)備之后判斷能不能用不要只看安裝包大小。要實(shí)測(cè)兩件事峰值內(nèi)存用內(nèi)存分析工具跑一段連續(xù)翻譯任務(wù)看加載模型 推理時(shí)的峰值 RSSResident Set Size。如果超過(guò) App 可用內(nèi)存上限的一半大概率會(huì)在低內(nèi)存設(shè)備上被殺。首 Token 延遲多語(yǔ)言翻譯是自回歸生成用戶從輸入文字到屏幕上出現(xiàn)第一個(gè)譯文 token 的等待時(shí)間直接影響體驗(yàn)。這個(gè)數(shù)字受算力、量化方案、詞表大小影響很大實(shí)測(cè)比理論估算可靠。我自己吃過(guò)虧一個(gè) INT8 模型文件挺小但在某款 NPU 上因?yàn)榍度氩楸砗头戳炕阕硬恢С钟布铀偈?token 延遲沖到 1.5 秒只能重做算子融合。6.4 熱更新設(shè)計(jì)詞表不能隨便加模型版本要兼容端側(cè)模型很方便做熱更新但詞表版本不兼容是個(gè)暗坑。云端如果發(fā)布了新詞表舊模型不認(rèn)識(shí)新 token新模型不認(rèn)識(shí)舊緩存結(jié)果就是翻譯質(zhì)量暴跌或者直接索引越界。建議在模型包里帶上 tokenizer 的版本號(hào)服務(wù)端下發(fā)增量包時(shí)校驗(yàn)詞表版本一致性。模型文件命名務(wù)必帶 hash不要用“model_v2_final_really”這種詭異命名發(fā)布流程會(huì)亂到你懷疑人生。多語(yǔ)言翻譯和萬(wàn)物識(shí)別同時(shí)上端側(cè)沒(méi)有銀彈但也不是天方夜譚。核心策略就一句話能剪的剪、能量化的量化、能拆的拆、能降級(jí)的降級(jí)把用戶最常用的那部分留在本地把長(zhǎng)尾需求交給云端。端側(cè)模型這個(gè)方向上我會(huì)持續(xù)跟下去下次再分享更多實(shí)測(cè)數(shù)據(jù)和踩坑記錄。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色色色色色| 91精品久久久久久| 五月激情四射婷婷丁香| 另类综合激情| 噜噜噜噜在线| 五月婷婷说| 五月丁香黄色| 色婷婷五月视频| 久久99久久99精品免观看软件| 色婷婷综合久久| 久久伦乱| 五月停亭久久电影| 开心激情婷婷| 大香蕉婷婷丁香天堂AV| 99久久网站| 色色吧综合| 中文字幕永久免费| 一本久久亚洲五月婷婷| 亚洲综合干| 国产亚洲在线| 丁香婷婷色九月| 五月婷婷说| 五月婷婷久久开心网| 天天摸天天肏| 91大神操美女| 六月婷欧美| 久久99精品久| 亚洲av电影网站| 午夜少妇在线观看视频| 久久婷婷亚洲| 操骚货在线| 久婷婷婷| 9l视频自拍9l九色9l成人| 久久性爱视频这里只有精品| 婷婷激情网五月天| 思思热热久久| 99.色| 欧洲亚洲免费视频区| 色欲av伊人久久大香线蕉影院| 狠狠综合区| 91碰免费视频| 狠狠婷婷日韩| 丁香五月婷婷社区| 精品一区久热| 韩国不卡AC视频| 国产亚洲成AV人片在线观黄桃| 九九热在线视频观看| 丁香五月激情网| 激情综合网五月| 久久性爱视频这里只有精品 | 桃色激情婷婷伊人网| 天天人人综合| 99毛片| 日韩美女在线视频19| 五月天丁香看婷婷| 午夜福利8055| 视频久久9| 色综合色综合色综合| 六月五月天婷婷涩播在线| 无码人妻丰满熟妇奶水区码| 少妇AB又爽又紧无码网站| 99性爱| 久久综合人妻| 91性高潮久久久久久久久| 国产无套精品一区二区| 亚洲色热| 99色色| 日日夜夜天天| 人妻久久久久久| 色婷婷五月视频| 伊人久久五月天综合| 五月天婷婷激情春色小说| 丁香六月爱综合| 丁香五月网| 97涩涩丁香五月天| 人妻熟妇六区| 五月婷久久在线| 美国天天日天天操| 99操逼| 天堂草在线看www| 婷婷综合爱| 婷婷日日夜夜| 丁香五月成人婷婷| 丁香色综合| 欧美综合五月丁香六月婷| 99re视频在线播放| 综合网激情| 色综合久久888| 五月天大香蕉| 极品人妻VIDEOSSS人妻| 91嫩草国产线观看亚洲一区二区| 人妻Av在线| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 熟女激情网| 久久久久亚洲A∨成人乱码电影| 色丁香五月天射婷婷爱婷婷| 九九热只有精品6| 日日操夜夜操狠狠操| 色色色在线免费视频| 狠狠五月丁香色婷| 亚洲情a| 婷婷五月天香蕉| 色色色色色色色色综合网| 99热.com| 五月婷婷AV| 999激情视频| 亚洲第一成人无码A片| 激情五月天激情五月天| 成人在线网| 久久九九热视频| 无人精品在线视频| 欧美色99| 九九Av| 久久一级AV| 操逼电影免费看| 啪啪五月综合| 午夜亚洲国产精品av一区二区| 久久曰曰| 精品人妻久久久| 日韩操逼小电影| 日婷婷久久开心| 丁香久久五月婷综合| 人妻综合网| 99色天堂| 老师的粉嫩小又紧水又多A片视频| 五月婷六月综合在线观看| 91精品丝袜久久久久久| 久久综合首页| www.婷婷五月| 五月婷婷综合丁香视频| www久久久久久久97| 色播五月| 热热色色五月天婷婷| 日韩成人无码片| 99热99极品观看| 丁香五月激情综合| 色五月天在线| 操逼三区| 婷婷五月综合网| 91丨九色丨白浆秘| 99免费视频| 日本三级99人妇网站| 五月婷婷丁香网| www.婷婷六月天| 欧亚中文A V| 涩涩涩.com| 香蕉婷婷| 国产精品美女| 91精品91久久久久77777| 日日操无码| 久久丁香五月| 97色五月天| 五月婷婷啪| 精品成人在线观看| 国外亚洲成AV人片在线观看| av超碰在线| 999激情视频| 六月五月丁香五月欧美| 久久视频这里99| 久99视频在线观看| 99ER热精品视频| 色色六月| 亚洲婷婷在线播放十月| 久久久久久久久久人妻| 亚洲区视频| 亚洲无AV在线中文字幕| 丁乡久久| 五月丁香网站在线播放| 丁香六月av| 婷婷丁香色五月| 午夜一区| 久久丁香综合精品综合| 久久久婷| Www.激情| 9久精品| 亚洲无码影音| 在线99热| 丁香五月亚洲| 九九热在线精品视频| 日本波多野结衣视频| 欧美在线97| 丁香五月激情六月综合| 五月丁香婷婷综合视频| 国产伦亲子伦亲子视频观看| 97香蕉久久超级碰碰高清版 | 热99热9| 色播播五月天| 亚洲精品字幕| 人妻九九九九| 婷婷丁香五月天在线| 丁香婷婷六月天| 久久激情中文| 综合色五月天| 婷婷丁香五月亚洲| 久久五月丁香| 五月婷婷婷| 日日操夜夜爽白洁| www.色婷婷| 大香蕉五月天| 日本色色网站| 丁香五月激情视频在线| 色婷婷www| 婷婷五月天国产传媒| 久久与婷婷| 久久精彩视频99| 久久久18| 9热在线视频精品| 五月天激日本色情在线| 91色在线 | 日韩| 欧洲MV日韩MV国产| 色色五月天激情| 99免费视频网| 99爱在线视频| 99狠狠色| 久久人妻www| 五月丁香综合啪啪| 爱操天堂| 美女va| 六九色综合婷婷五月天| 丁香婷婷九月在线| 色五月婷婷 成人| 第五色婷婷| 久久99国产综合精品免费| 婷婷射图| 天天日夜夜拍| 色www久视频| 丁香婷婷五月六月久久| 99这里只有精品|v| 久久精品无码一区| 99re思思| 婷婷欧美综合| 99在线播放| 色播五月丁香综合| 五月丁香啪啪网| 99re热在线视频观看| 婷婷一本和五月丁香| 九九aV| 婷婷久久婷婷色五月| 亚洲婷婷丁香五月天激情小说| 成人 视频免费观看网站| 婷婷色色欧美综合网| 婷婷成人综合| 2025天天日爽| 久久99草五月婷婷| 欧美综合婷婷网| 99在线视频精品| 色爱爱综合网| 99这里只有精品在线| 久久婷婷视频| 九九热99熟女| 色五月婷婷色五月婷婷色五月婷婷| 五月丁香激情综合网| 91亚洲天堂| 99热九九在线| 久久er99热精品一区二区| 丁香五月情| 五月天涩涩| 无码人妻AV久久久一区二区三区| 激情综合区| 精品人妻一区| 久久精品日| 插插五月天| 激情五月天婷婷五月天| 婷婷99狠狠躁天天躁中| 欧美 日韩 成人| 色五月在线综合| 激情综合激情五月| 日本乱子人伦在线视频| 丁香五月婷婷激情网| 丁香五月婷中字幕| 亚洲成人av中文| 五月丁香六月激情网| 色香欲综合| 国产1区2区3区| 色色色色网站| 97丁香视频| 婷婷四色成人综合色视| 夜夜嗨一区二区三区直播内容 | 色播五月天激情| 草榴视频网| 性日本精品| 91中文狠狠综合| 天天拍夜夜撸| 色99在线| 日韩欧美一级大黄网站| 996er热| 69色婷婷| 五月丁香六月情| 欧美色必爱| 天天综合天天玩夜夜玩天天玩夜夜玩 | 婷婷综合久久| 亚洲色色图片| 丁香六月婷| 99re思思热在线视频| 91九色在线| 婷婷七月丁香色色| 香蕉人在线香蕉人在线 | av在线不卡播放| 色情五月停停丁香| 久草婷婷视频| 人人干人人操人人摸| 狠狠婷婷日韩| 天天射天天射一道本日本社区| 性做久久久久久久免费看| 亚洲婷婷五月天综合| 婷婷五月六月| 7777久久亚洲中文字幕| 天天搞天天色综合| 另类国产欧美视频| 五月婷婷之综合激情| 超碰免费电影| 亚洲婷婷免费| www,超碰| 久久人人九| 91好好热日本在线| 大香婷婷| 国产亚洲精品AAAAAAA片| 丁香五月偷拍| 激情小说在线视频| 丁香五月六月| 婷婷五月综合色小姐小说| 亚洲 无码 中文字幕 中出| 丁香婷婷六月| 色爱99| 婷色五月天| 五月色婷婷亚洲 | 丁香婷婷五月天色综合| 免费无码毛片一区二区A片| 精品视频99看在线视频| 99久久国产宗和精品1上映| 狠狠干总合| 爱久久小说下载网| 永久AⅤ1| 高清国产AV| 婷婷五月丁香在线视频| 91精品国产日韩91久久久久久国模| 超碰人人操| 97婷婷狠狠久久综合9色| 亭亭五月色男人| 丁香五月成人自拍| 久久hd| 97性视频| 亚洲热综合| 另类五月婷婷| 黄色视频网站在线播放| 丁香丝袜五月| 丁香六月欧美| 狠狠干综合网| 99超级碰免费视频| 中文av网| 99色1| 亚洲精品第一国产综合亚AV| 91人人爽久久涩噜噜噜| 99爽视频| 久久婷色| 婷婷亚洲在线| 日本三级色| 色色色在线观看| 丁香五月天网站| 99爱视频在线| 五月社区婷婷激情| 国产亚洲成人综合| 狠狠爱激情网| 狠狠色五月激情| 丁香网五月天| 亚洲综合五月天婷婷| 97影院一级片| 26UUU欧美| 最新激情五月天| 色九四色| 九九热99热| 亚洲免费观看高清完整版AV线| 少妇综合网| 国产成人av在线| 婷婷丁香五月综合| 五月丁香六月情婷婷久久| 亚洲AV日韩AV永久无码网站| 伊人狠狠丁香婷婷综合尤物| 精品无码色| 人操综合| 91超级碰在线视频| 99热国内| 婷婷丁香综合在线| 亚洲综合成人网| site:jszngf.com| 激情5月婷婷| 亚洲成人五月| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷激情四射五月天| 玖玖在线视| 婷激情五月天视频导航| 精品久9| 99热| 亚洲 精品 综合 精品| 五月丁香本色在线观看| 思思热在线视频精品| 91久久久久久| 久月久在线视频| 丁香激情五月天| 精热在线综合网| av操逼网| 99热新网址| 婷婷 久综合| 97午夜一区二区| 久久色五月| 另类五月婷婷| 丁香五月综合激情久久潮喷| 91狠狠色丁香婷婷综合久久精品| 婷婷色播综合五月| 欧美婷婷丁香五月| 婷婷丁香成人| 日婷婷久久开心| 成人日韩欧美| 国外亚洲成AV人片在线观看| 26uuu| 色婷婷黄色网络| 熟女人妻一区二区三区免费看| 色婷婷婷婷五月天| 九九色综合| 伊人网色婷婷五月天| 超碰在线超碰| 亚洲爱爱无码婷婷色五月| 九九激情| 在线中文av| 婷婷久久国产视频| 踪合专区啪啪| 国产亚洲精品久久久久久久久动漫| 九九热在线精品视频| 伍月婷婷免费视频| 婷婷色色丁香| 日日夜夜天天| 色欧美影院| 五月丁香婷婷五月色| 九月色婷婷综合| 久久99综合| 亚洲热视频在线| WWW.激情| 99色精品| 91 影音先锋| 婷婷射综合| 人人爱天天摸摸天天爱| 国产精品色婷婷99久久精品| 久久婷婷青青草| 婷婷五月天黄色| 激情五月,深深爱五月| 狠狠久综合| 99综合网| 黄色成人网站在线播放| 久久66成人网站| 91日韩在线| 丁香五月狠狠在线观看| 99热在线看| 日日爽日日| 色婷婷狠狠干| 91啪啪网| 97操资源婷婷| 婷婷久久综合| 久9免费视频| 26UUU精品一区二区Com| 99久久亚洲精品视频| 九九99视频精品| 婷婷亚洲天堂| 五月天激情久久| A网在线欧洲| 好好干Av| 丁香密臀AV激情网| 人人妖人人97| 99热精品在线观看| 久色网址| 思思热在线精品视频| 五月丁香六月婷婷不卡免费无码| 婷婷五月丁香综合| 婷婷综合偷拍| 狠狠婷婷色综合| 五月丁香六月情| 欧美va在线观看| 99精品7| 色狠狠狠干| 欧美WW在线网| 丁香网五月天| 日本婷婷五月天| 五月丁香成年黄色| 丁香六月无码播放| 亚洲AV无码久久精品色欲| 婷婷久热| 激情婷婷五月少妇| 久久综合55| WWW.桔色成人.COM| 婷婷香五月天| 久久久久久97| 99re8这里只有精品99re8热视频| tingtingzonghewang| 亚洲小视频免费播放| 9久9久| 久9热视频在线| 九九综合久久| 丁香五月香蕉| 天天综合精品| 天天色激情| 99这里只有精品视频在线| 人妻AV在线观看| 色情五月| 亚洲永远av在线播放| 亚洲视频在线观看| 婷婷五月综合网| 思思99久久| 五月丁香六月综合基地| 五月天电影网| RenRenSe在线视频网站| 开心 五月 综合| 九九九九国产| 九九综合色综合| 狠狠久久婷| 97操资源婷婷| 国产婷伊人| 五月丁香婷婷综合| 99热这里只有精品55| 国产成人综合在线| 免费视频无码| 久久婷.com| www:99热视频| 大香蕉久久综合网| 99免费超碰在线| 亚洲综合在线视频| 成人AV在线电影| 亚洲色久| 婷婷伊人网| 色色色五月婷| 婷婷成人视频| 婷婷天天日婷婷| 五月婷婷人妻| 婷婷丁香色五月久久88| 99re热视频| 激情五月天之六月婷婷| 激情网 五月天| 日本女天天爽| 久久综合激情五月天| 久热伊人| 99精品久久久久久久婷婷| 97婷婷丁香| 国产无人区大片| 男人的天堂97| 色婷婷文字幕| 成人AV网站在线| 久热爱大香蕉在线蜜臀悦色 | 五月天激情综合10p| 色婷婷丁香五月天在线视频| www.99热最新视频8| 亚洲精品乱码久久久久久按摩观| 欧亚洲在线高清视频| 超碰女人天堂| 九九九九国产| 亚洲色久| 久久丁香五月综合六月激情红杏视频 | 色色五月婷婷久久| 久久婷婷丁香| 欧洲亚洲午夜| 久久精品9| AV在线大香蕉| 91九色精品熟女内射| 日韩无码专区| 久久五月婷婷电影| 婷婷 久综合| 五月丁香五月丁香| 五月丁香亭亭成人电影| 婷婷综合成人五月天| 亚洲AAA| 九九亚洲小视频| 丁香婷婷啪啪啪| 色婷婷a三区麻| 五月婷色啪| 思思热国产在线| 五月丁香六月激情综合欧美| 五月丁香六月情| 丁香五月五月婷婷| 五月天激情四射网站| 婷婷五月丁香综合激情| 久99久视频| 天天插天天插天天插天天插| 丁香五月六月| 国产精品一区在线观看你懂的| 三人荫蒂添的好舒服A片| 久久人人做人人妻人人玩精品va| 99视频免费播放 | 五月开心啪啪| 日本欧美国产| 97色碰| 狠狠操天天操| 欧美亚洲操逼| 欧美色色网| 亚洲综合另类| 99九九在线| 欧美婷婷综合| 熟妇内谢69XXXXXA片| 色婷婷六月| 殴美97色| 激情爱爱网站| 99久视频| 深爱激情四射| 99热99热不卡| 色噜噜狠噜噜视频| 亚洲综合色色| 亚洲乱码日产精品BD| 婷婷最新地址| 九九偷拍网| 99热插| 久久婷婷热| 99在线观看| 5月丁香婷婷| 淫水导航| 日日干日日| 五月丁香婷婷综合网| 色婷婷亚洲婷婷| 五月天婷a在线| 青青草Avb在线| 熟女激情网| 天天 青草 制服丝袜 在线| 18久久| 五月婷婷色激情| 高清激情av在线观看| 色婷网| 九月婷婷激情| 丁香六月啪啪啪| 尔尔AV一区| 快色t v在线入口| 日本的α片xxxwww| 性爱综合网| 丁香五月婷婷激情中文| 九月丁香八月婷婷加勒比| 激情丁香五月婷婷| 婷婷五月激情图片| www.激情| 婷婷色成人| 日本a片网址| 激情综合婷婷久久| 久久久久9999| 日本色五月| 婷婷久久综合| 97色色视频| 另类婷婷五月天啪帕帕| 99亚洲视频| 婷婷啪啪| 天天天日天天天干| 丁香五月婷婷亚洲色图| 婷婷五月天电影网| 成人久碰| 亚洲天堂爱爱| 婷婷中文字幕版| 丁香婷婷激情五月天无毒不卡蜜桃| 成人在线日韩| 大香蕉久久综合网| 国产激情av| site:picc-up.com| 六月色播| 久久这里只精品| 三日本无码| 久久婷婷色色| 9+1视频网址| 狠狠狠五月婷婷六月丁香| 色女人久久| 偷偷与邻居做爰完整视频| 综合99在线| WWW.天天日| 青青草原精品久久| 美日韩成人| 人操综合| 99久久久久| 丁香六月视频免费观看| 五月激情网站| 欧美情色一区| 日韩在线视频中文字幕| 成人婷婷深爱综合网| 女人被男人吃奶到高潮| 99re在线播放| 久久亚洲无码| 无码人妻一区二区三区四区| 狠狠色五月| 日本精品人妻无码77777| 色五月婷婷激情基地| 99热在这里只有免费精品| 丁香六月亭亭久久综合| 97色色色色色| 九九九AAA热视频| 丁香五月1页| 五月草视频| 天天干一干| 97在线/日本| 九九综合久久丁香婷婷,开心激情综合网| 欧美婷婷精品激情| 97av在线视频| 五月天婷婷AV| 开心五月丁香综合久久| 日韩色色视频| 熟女少妇内射日韩亚洲| 久久婷婷五月天蜜桃| 欧美日本一区二区三区| WWW.婷婷| 欧美亚洲成人在线| 深爱五月天婷综合| 91色在线/日韩| 91色性感五月婷婷丁香| 丁香无月在线观看| 丁香五月天成人网站| 99热66| 婷婷五月六月丁香| 韩国情人在线电视剧免费观看高清版全集| 九九热精品视频在线观看| 无码激情AAAAA片-区区| 久久多色| 日日夜夜婷婷| 免费看欧美成人A片无码| 97人人操人人| 少妇人妻人伦A片| 最新无码专区| 91久久综合亚洲噜噜成人在线 | 九九视频在线| 五月婷婷六月丁香| 丁香花社区av| 精品激情| 亚洲色无码| 久久婷色| 99热8| 激情久久久| 六月丁香久久| 青青久久五月| 婷婷丁香黄色| 丁香五月综合首页| 亚洲欧美婷婷五月色综合| 国产精品久久久久9999小说| 色色婷| www婷婷| 五月激情四射网站| 六月激情久久婷婷| 色婷婷五月色| 成人免费视频一区| 丁香五月大片| 激情五月,激情综合网| 99热成人| 狠狠爱激情网| 5月婷婷6月六月丁香| 精品久久久中文字幕大豆网推荐理由| 综合久| 天天综合精品| 噢美99| 婷婷五月蜜桃成人桃色丁香| 色碰碰视频| 婷婷久久18| 99热久草| 日本乱子人伦在线视频| 色色是色N一| 色情丁香五月婷婷精品| 五月婷婷九九久久| 夜夜爽天操| 亚洲V国产V欧美V久久久久久| 激情五月综合网最新| 欧美婷婷五月天| 欧美A片在线视频免费观看| 久久久精品AV| 婷婷丁香五月婷婷| 大香蕉视频99| 五月丁香六月合| 日日干日日| 午夜免费试看| 色五月婷婷在线| 欧美超碰人人| www.99视频| 亚州在线中文字幕| 伊人丁香五月| 99精彩视频| 五月天色色色| 97香蕉碰碰人妻国产欧美| 九九精品热播| 婷婷五月天综合在线| 香蕉99网| 婷婷五月婷婷五月| 成人做爰黄A片免费看直播室男男| 青草性爱视频| 激情婷婷五月天| 久草婷婷在线| 久久AAAA片一区二区| 色色婷婷五月| 91色涩| 久久怕怕视频| 久久婷五月影院| 亚洲综合视频一下| 99精品国产在热久久| 日本69日人视频| 超碰97干| 久久在线92| 久久久性爱视频| 黄色AAAAAAA| 99热这里只有精品搜| 久久成人亚洲欧美电影| 玖玖资源天天无码| 国产欧美性成人精品午夜| 天天激情视频| 在线观看免费视频| 激情五月天开心网丁香无码| WWW.桔色成人.COM| 婷婷区日本| 夜夜操狠狠操| 五月天激情在线视频| 国产一级片| 激情的五月婷婷蜜桃| 久热九九| 亚洲激情综合色站| 久久98| 激情五月激情综合网一级丸片 | 久久女婷| 亚洲色爽| 99色在线观看| 丁香五月亭亭六月综合激情网| 狠狠色婷婷| 狠狠88综合久久久久噜噜噜| 日韩精品AV一区二区三区| 婷婷舔| 亚洲精品字幕| 丁香婷婷啪啪啪| 九色99视频| 亚洲A色| 9一精品视频观看| 99在线观看精品视频| 综合久久综合五月天婷婷| 激情婷婷网| 婷婷久久色| 99热精品中文字幕| 婷婷终合色图| 激情五月婷| 色综合丁香| 网站免费一站二站| 99久久国产宗和精品1上映| 激情五月综合亚洲另类| 开心四月婷婷在线色播播| 久久人妻熟女一区二区| 99热只有国产在线精品| 久久无码成人| 丁香五月区| 婷婷综合日本| 影音先锋色婷婷| 7月婷婷六月丁香| 开心激情综合| 深爱五月婷婷开心中文字幕| 欧美成人精品A片免费一区99| 激情久久天天| 午夜激情四射影院| 成人在线99| 久久精品4| 五月婷在线观看| 婷婷五月深深的爱| 97五月婷| 中文AV网站| 成人婷婷| 激情第四色| 狠狠干在线视频| 第四色色六月色综合| 天天操天天操天天操天天操天天操 | 久久丁香婷婷色情综合| 久久这里只有精品热在99| 69久久99精品久久久久婷婷| 操操啪| 好好日激情五月天| 久久精品A片777777| 久久婷婷五月综合色和| 一本色道久久88加勒比—| 久9热| 久久er+| 五月丁香婷婷激情图片| 丁香久月| 这里只有精品日韩| 91无码色色| 久久99热这里只有精品| 日本3级片偷拍网站| 色五月首页| 激情伊人五月婷婷久久| 美女爆乳18禁www久久久久久| 成人免费在线电影| 日本久久网| 丰满少妇乱A片无码| 这里只有精品69| 天堂综合久| 操骚货在线| 久久这里有精品99| .comwww在线观看免费操| 婷婷四色五月| 色播五月婷婷综合| 任你弄在线视频免费| 国产97色在线 | 日韩| 天天射夜夜爽| 超碰在线免费观看3 9| 欧美中文五月天| 97人人操人人干| 变态 另类 在线 | 九九这里都是精品| 欧洲日韩一区二区三区| www.刺激色网站www.| 69精品人人人人| 六月丁香婷婷天堂| se99热久久一本| 亚洲色婷婷五月天| 四五月婷婷| 婷婷五月激情五月丁香五月| 色五月在线播放| 色综合五月婷婷狠狠干| 婷婷五月丁香色播| 99操碰| 丁香六月婷婷激情| 婷婷色五月激情| 婷婷丁香九色| 天堂在线9| 婷婷区日本| 婷婷丁香91| www色色com| 色婷婷丁香| 色婷婷丁香五月| 骚逼视频一区2区| 97AV在线视频| 99热精国产这里只有精品| www.久久99热地址发布| 丁香婷婷综合激情五月色| 日韩视频99| 五月婷婷干干干| 婷婷色狠狠| 色久天| 色丁香婷婷| 丁香五月电影| 五月天大香焦| www.婷婷.com| 狠狠五月综合在线| 五月婷婷色播| 欧美精品在线观看| 超碰日日操| 五月丁香啪啪激情| 91九色视频在线观看| 亚洲精品V天堂中文字幕| 久久久噜噜噜久久人妻| 99无码免费视频| 青青日韩| 农村熟妇高潮精品A片| 激情第四色| 丁香九月综合| 婷香狠狠爱五月| 这里只有精品视频在线| 五月丁香六月婷婷久久| 五月天婷婷日日爱| 亚洲成人av在线观看| www.夜夜操| 激情五月天激情综合网| 婷婷丁香五月综合| 亚洲国产网址| 色综合色| 天天干天天操天天射| 中国AV性爱观看| 超碰在线视屏| 婷婷六久久| 女人天堂AV| 播播网色播播| 亚洲看av的网站| 久久久久8888| 刘玥精品一区| 天天干天天日天天操| 狠狠狠激情网| 久婷| av一区二区电影免费在线观看| 影视av久久久噜噜噜噜噜三级| 激情都市五月天| 九九热99视频| 免费观看的av| 日日夜夜天天爽| 开心五月综合激情综合五月| 欧美va视频不用播放器的va视频网| 人妻射精AV| 热中文字幕| 久久久久9| 国産精品| 亚洲AV综合网| 久久综合丁香| 亚洲无码成人网| 色婷婷91| 久久刺激网| 99热碰碰热| 国产婷婷综合在线免费视频| 丁香久久九九99| av一级棒av| 99色在线观看| 综合啪啪| 99精品自拍| 最新va在线播放| 婷婷色五月天在线观看| 九九精品这里只有| 色狠狠999综合| 七七色综合| 99精品视频在线观看| 久久婷五月婷| 五月婷婷色情| 亚洲欧洲另类| 久久色五月天| 激情五月婷婷丁香综合网| 亚洲乱码精品久久久久..| 五月激情综合网| 天天天摸夜夜夜玩| 久久综合网免费视频| 久久综合五月天| 精品九九网| BlACKEDRAW视频一区二区| 欧美日韩99| 亚洲成人在线免费| 欧美综合激情丁香五月六月婷| 五月丁香六月激情综合在线| 99这里有精品视频3| 一本久道综合99| 色黄啪啪| 婷婷丁香日韩五月| 亚洲欧洲另类| 久久综合丁香激情五月| 五月婷婷|欧美| 激情五月丁香六月| 开心五月丁香婷婷| 梁铮版蜘蛛女在线观看| 操碰91| 激情性爱五月| 日韩日比视频在线| 97色婷婷| www.99在线| 五月丁香六月婷| 超碰人人99| 激情5月婷婷| 丁香六月天婷婷开心综合| 日本天天综合| 26UUU| 国产激情AV| 久久 无毛。| 久草婷| 狠狠色丁香乆乆| 中文字幕日产A片在线看| 丁香花五月天激情| 先锋资源婷婷| 五月丁香婷婷综合网| 五月婷婷色情| 天天插天天很| 秋霞免费三级片| 日本久久视频| 吊色AV男人的天堂| 超色欲天天| 久草x色在线观看99| 日韩免费视频| 久久婷婷五月综合| www.婷婷五月天| 91久久久久久久| 9l视频自拍九色9l视频自拍九色9l社区| 久久精彩视频| 五月天四色房丁香亭亭| 亚洲热久久| 五月天婷a在线| 99热这里只有精品22| 直接看的AV| 久久久高清| 国产激情在线| 国产99精品免费视频| 六月丁香五月天| 国内外色色色色色成人视频| 狠狠狠狠狠狠草| 五月丁香另类图片| 亚洲综合婷婷六月丁香五月| 99爱视频| 激情小说五月天| 色在线免费观看| 久久老码第一| 99亚洲色色| 成人丁香五月| www.婷婷五月.com| 日韩在线视频网站| 亚洲综合网激情小说| 日本欧美国产| 丁香六月婷婷色播| 9l视频自拍9l九色成人| 国产综合81p| 久久久天天啊| 99re热视频| 国产精品久久久60086| 五月丁香亚洲综合网| 婷婷色播综合五月| 丁香色播五月天| 丁香五月激情综合网激情五月| 操逼福利视频| 欧美黑人巨大猛烈cuckold| 婷婷五月天激情视频| 先锋资源996| 婷婷六月激情丁香| 伊人狠狠狠综合| 天天色综合色| 极品人妻videosss人妻| 久色网五月| 九九热这里精品| 色五月丁香总合网| 亚洲激情高潮| 婷婷丁香基地在线| 亚洲综合在线丁香五月| 国产婷婷五月天| 99爱在线精品视频免费观看| 99这里只有精品视频| www.99热视频| 日本婷婷色日| 丁香综合| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 开心五月丁香啪| 香蕉操亚洲| 91精品国产综合久久蜜芽解析速度| 狠狠搞综合色| 成人视频网| 天天射美女| 天天色天天日| 婷婷啪啪| 久热丁香| 五月天综合区| 丁香五月婷婷影院| 日本黄色精品| 99热这里只有精品 搜| 大香蕉手机视频| 色五月婷婷婷婷婷婷婷婷婷婷| 国产 亚洲 在线| 婷婷操逼网| 伊人成人宗合网| 九九无毛| 射琪琪| 人妻精品在线| 日本va欧美va欧美va精品| 就99这里只有精品| 国产精品噜噜在线视频| 射久久丁香五月| 五月天狠狠网| 人人妻人人澡| 色五月婷婷在线| 欧美婷婷五月丁香| 丁香五月AV| 五月丁香六月片| 玖玖婷婷免费| 人操人| 丁香婷色| 新久久五月天激情| 色五月激情五月丁香五月婷婷啪啪综合| 俺也去综合| 久久激情五月婷婷| 91超碰在线观看| 亚洲精品亚洲人成人网| 婷婷激情五月天在线视频| 婷婷综合久久| 五月婷婷成人网首页| 狠狠色丁香婷婷综合久久97AV| 婷婷开心久久| 五月天婷婷乱论小说| 激情图片婷婷丁香五月| 五月开心激情| 色五月婷婷五月天| 丁香五月婷婷免费视频| 综合超碰熟| 婷婷视频网| 免费精品66| 天天操夜夜爽歪歪| 日本丁香五月| 97在线视频观看| 国产一区二区三区影院| 真实的国产乱XXXX在线91| 成人短视频在线免费观看| 久久九区| 五月天色播网| 欧洲激情五月天| 99热6色| 九月婷婷久久久| 最近中文字幕大全免费版在线 | 久色大香蕉| 九九热99视频在线| 久久网站观看免费欧洲国产| 成 人 色 色| www.97碰碰com| 丁香激情网| 激情婷婷22月间| 狼人久草| 婷婷丁香五月天小说| 婷婷五月天激情五月天网站| 9九色首页| 99热思思| 成人AV播放| 欧美综合123区| 婷婷六月丁香色| 亚洲视频色婷婷| 丁香婷婷色五月激情综合| 久久精品国产精品| 黑人无码一区| 国产精品久久久99视频| 99视频这里只有久久精品| 夜夜久久综合网| 国产亚洲精品久久久久久牛牛| 日韩成人电影Av| 欧美精品99| 丁香五月第九色| 五月婷婷五月| 91久久久久久| 激情丁香五月| 久久五月婷婷电影| 五月婷婷开心丁香| 人妻少妇色综合| 婷婷色综合| Av中文在线| 亚洲av免费在线| 五月停停丁香| 97干在线播放| 风流少妇A片一区二区蜜桃| 日韩无码人妻一区二区| 色五月婷婷五月丁香五月激情五月视频 | 欧美十二区| 久操综合| www.丁香黄色五月天人与| 日韩在线一级| 大地资源色婷婷视频在线| 五月丁香在线观看国产| www.射伊蕉婷婷| 天天噪夜夜爽| 色哟哟www| 丁香婷婷九月在线| av在线不卡播放| 丁香五月 综合| 久久久免费精彩视频| 狠狠干综合| 色播五月综合网| 日日操日日干| aaa久久| 99热精品在线观看| www,色综合| 天天 日综合| 美欧成人视频| 欧美日韩精品人妻狠狠躁免费视频| 国产伊人大香蕉| 青青操绿aaa一区日v| 国产精品色| 五月综合视频| 99手机在线精品视频| 九九热99精品在线| 色五月网址| 丁香激情五月天| 九九99在线观看视频| 五月花综合视频| 久99| 五月天婷综合| 开心五月丁香啪| 国产成人在线精品| 97超级碰| 五月婷婷深深的爱| 五月天婷婷视频| 中国女人做爰A片| 影音先锋一区| 996日日爱| 婷婷六月色| 欧美成人日韩| 五月婷婷免费视频| 狠狠色综合网站久久久久| 99热欲| 五月天婷a在线| www、色色色| www.天天色综合| 天天综合91入口| 99热在线观看| 99在线热| 99re这里只有精品视频了| 狠狠色婷婷在线| 五月婷婷七月丁香| 色99综合色88|